JP5674532B2 - 撮像装置、画像処理方法及び画像処理装置 - Google Patents

Description

本発明は撮像装置、画像処理方法及び画像処理装置に係り、特に画像の復元処理を含む画像処理に関する。

従来、被写界深度拡大光学系（EdoF(Extended Depth Of Focus）レンズ）を有する撮像装置では、EDoFレンズによって低下した伝達関数(MTF)を、復元フィルタのデコンボリューション処理により向上させ、高解像度の画像に復元するようにしている（特許文献１）。

面内均一の光学伝達関数(OTF)の場合、１つの復元フィルタを使うことで良好な画像を得ることが可能であるが、実際のカメラモジュールでは、画面全体一定のOTFを実現する被写界深度拡大光学系を作ることは非常に難しく、場所ごとに異なる復元フィルタを使用して復元処理を行うことが提案されている（特許文献２）。

また、特許文献３には、位置ごとに異なる収差情報を読み込み、倍率色収差補正と電子変倍処理、あるいは歪曲収差補正と電子変倍処理、あるいは倍率色収差及び歪曲収差と電子変倍処理のための補間演算処理を一度に行う画像処理方法が提案されている。

特開２００９−８９３５号公報 特開２０１０−８７８５７号公報 特開平１１−２２５２７０号公報

特許文献１に記載の撮像装置は、被写界深度拡大光学系に特徴があり、復元処理は、一般的なものである。

特許文献２には、像高に応じて結像特性も変わるため、画像エリアに対応づけて画像処理パラメータ（復元フィルタ）を格納し、各画像エリアの画像に対し、その画像エリアに対応づけられた復元フィルタを選択し、その選択した復元フィルタを使用して画像処理する技術が記載されているが、復元処理以外の画像処理に関する記載がない。特に、像高ごとに復元フィルタを変化させた処理では、画像が出力されるまで計算に時間がかかり、復元処理後の通常の画像処理を含めると、全ての画像処理が終了するまでに多くの処理時間がかかるという問題がある。

特許文献３には、歪曲収差等の収差補正と電子変倍処理のための補間演算処理を一度に行う技術が記載されているが、特許文献３に記載の画像処理方法は、被写界深度が拡大されたEDoF画像を復元処理する方法ではない。

本発明はこのような事情に鑑みてなされたもので、画像の復元処理と他の補正処理とを含む全体の画像処理の処理時間の短縮化を図ることができる撮像装置、画像処理方法及び画像処理装置を提供することを目的とする。

前記目的を達成するために本発明の一の態様に係る撮像装置は、レンズ部と、前記レンズ部により結像される被写体像を画像信号に変換する撮像素子と、前記撮像素子から取得される画像の各画素の位置情報に対応して、該画素位置における画像を復元処理するために使用する復元フィルタを記憶する第１の記憶部と、前記撮像素子から取得した画像の画素毎に、該画素の位置情報に対応する復元フィルタを前記第１の記憶部から読み出し、読み出した復元フィルタを使用したデコンボリューション処理を行う復元処理部と、前記撮像素子から取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正部と、前記撮像素子から取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理部による復元処理と前記補正部による補正処理とを同時に行わせる制御部と、を備えたことを特徴としている。

本発明の一の態様によれば、前記復元処理部及び補正部は、それぞれ前記撮像素子から取得した画像の画素毎に、その画素の位置情報（像高）に対応した画像の復元処理及び補正処理を行うが、これらの画素の位置に対応する処理を同時に行うことにより、全体の画像処理の処理時間の短縮化を可能にしている。

本発明の他の態様に係る撮像装置において、前記第１の記憶部は、１画面を複数の領域に分割した分割領域毎に復元フィルタを記憶し、前記復元処理部は、処理対象の画素の位置情報に基づいて、前記第１の記憶部から前記位置情報に対応する分割領域の復元フィルタとその近傍の分割領域の復元フィルタとを読み出し、読み出した複数の復元フィルタの係数を前記位置情報に基づいて補間して復元フィルタを生成し、生成した復元フィルタを使用してデコンボリューション処理を行うことを特徴としている。これにより、第１の記憶部に記憶させる復元フィルタの数（記憶容量）を最小限にしつつ、各画素の位置情報（像高）に対応した適切な復元フィルタを使用した復元処理を行うことができる。

本発明の更に他の態様に係る撮像装置において、前記補正部は、前記レンズ部、又は前記レンズ部及び撮像素子による画像の歪みを補正する歪み補正部であることを特徴としている。レンズ部の歪曲収差や撮像素子の像面の歪みは、各画素の位置情報（像高）に対応して補正するため、復元処理と同時に補正処理が可能である。

本発明の更に他の態様に係る撮像装置において、前記歪み補正部は、歪み補正後の画像の各画素の位置に関連づけて歪み補正前の画像における対応画素の位置情報を記憶する第２の記憶部を有し、歪み補正後の画像の各画素の位置に基づいて前記第２の記憶部から対応画素の位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪み補正することを特徴としている。

本発明の更に他の態様に係る撮像装置において、前記第２の記憶部は、歪み補正によって生じる画像サイズの変動を相殺するための電子変倍処理を考慮して、歪み補正及び電子変倍処理後の画像の各画素の位置に関連づけて歪み補正及び電子変倍処理前の画像における対応画素の位置情報を記憶し、前記歪み補正部は、歪み補正及び電子変倍処理後の画像の各画素の位置に基づいて前記第２の記憶部から対応画素の位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪み補正するとともに、前記電子変倍処理を行うことを特徴としている。これにより、画像の歪み補正と同時に電子倍率処理を行うことができる。

本発明の更に他の態様に係る撮像装置において、前記補正部は、前記レンズ部、又は前記レンズ部及び撮像素子によるシェーディングを補正するシェーディング補正部であることを特徴としている。シェーディング補正は、各画素の位置情報（像高）に対応して補正するため、復元処理と同時に補正処理が可能である。

本発明の更に他の態様に係る撮像装置において、前記シェーディング補正部は、画像の各画素の位置に関連づけてシェーディングデータを記憶する第３の記憶部を有し、処理対象の画素の位置に基づいて前記第３の記憶部から対応するシェーディンデータを読み出し、読み出したシェーディングデータに基づいて処理対象の画像をシェーディング補正することを特徴としている。

本発明の他の態様に係る画像処理方法は、レンズ部と、前記レンズ部により結像される被写体像を画像信号に変換する撮像素子とを有するカメラモジュールから画像を取得する工程と、前記取得される画像の各画素の位置情報に対応して、該画素位置における画像を復元処理するために使用する復元フィルタを記憶する第１の記憶部から復元フィルタを読み出し、前記取得した画像の画素毎に、前記読み出した復元フィルタを使用したデコンボリューション処理を行う復元処理工程と、前記取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正工程と、を含み、前記取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理工程による復元処理と前記補正工程による補正処理とを同時に行うようにしたことを特徴としている。

本発明の更に他の態様に係る画像処理方法において、前記第１の記憶部は、１画面を複数の領域に分割した分割領域毎に復元フィルタを記憶しており、前記復元処理工程は、処理対象の画素の位置情報に基づいて、前記第１の記憶部から前記位置情報に対応する分割領域の復元フィルタとその近傍の分割領域の復元フィルタとを読み出し、読み出した複数の復元フィルタの係数を前記位置情報に基づいて補間して復元フィルタを生成し、生成した復元フィルタを使用してデコンボリューション処理を行うことを特徴としている。

本発明の更に他の態様に係る画像処理方法において、前記補正工程は、前記レンズ部、又は前記レンズ部及び撮像素子による歪み補正することを特徴としている。

本発明の更に他の態様に係る画像処理方法において、前記歪み補正する補正工程は、歪み補正後の画像の各画素の位置に関連づけて歪み補正前の画像における対応画素の位置情報を記憶する第２の記憶部から、歪み補正後の画像の各画素の位置に対応する位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪み補正することを特徴としている。

本発明の更に他の態様に係る画像処理方法において、前記第２の記憶部は、歪み補正によって生じる画像サイズの変動を相殺するための電子変倍処理を考慮して、歪み補正及び電子変倍処理後の画像の各画素の位置に関連づけて歪み補正及び電子変倍処理前の画像における対応画素の位置情報を記憶しており、前記歪み補正する工程は、歪み補正及び電子変倍処理後の画像の各画素の位置に基づいて前記第２の記憶部から対応画素の位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪み補正するとともに、前記電子変倍処理を行うことを特徴としている。

本発明の更に他の態様に係る画像処理方法において、前記補正工程は、前記レンズ部、又は前記レンズ部及び撮像素子によるシェーディングを補正するシェーディング補正工程であることを特徴とすることを特徴としている。

本発明の更に他の態様に係る画像処理方法において、前記シェーディング補正工程は、画像の各画素の位置に関連づけてシェーディングデータを記憶する第３の記憶部から、処理対象の画素の位置に基づいて対応するシェーディンデータを読み出し、読み出したシェーディングデータに基づいて処理対象の画像をシェーディング補正することを特徴としている。
本発明の更に他の態様に係る画像処理方法は、カメラモジュールから画像を取得する工程と、前記取得される画像の各画素の位置情報に対応して、該画素位置における画像を復元処理するために使用する復元フィルタを記憶する第１の記憶部から復元フィルタを読み出し、前記取得した画像の画素毎に、前記読み出した復元フィルタを使用したデコンボリューション処理を行う復元処理工程と、前記取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正工程と、を含み、前記取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理工程による復元処理と前記補正工程による補正処理とを同時に行うようにしたことを特徴としている。
本発明の更に他の態様に係る画像処理装置は、カメラモジュールから取得される画像の各画素の位置情報に対応して、該画素位置における画像を復元処理するために使用する復元フィルタを記憶する第１の記憶部と、前記カメラモジュールから取得した画像の画素毎に、該画素の位置情報に対応する復元フィルタを前記第１の記憶部から読み出し、読み出した復元フィルタを使用したデコンボリューション処理を行う復元処理部と、前記カメラモジュールから取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正部と、前記撮像素子から取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理部による復元処理と前記補正部による補正処理とを同時に行わせる制御部と、を備えたことを特徴としている。

本発明によれば、ボケた画像の復元処理と、画像の位置情報を使用する他の補正処理とを同時に行うようにしたため、前記復元処理と他の補正処理とを含む全体の画像処理の処理時間の短縮化を図ることができる。

本発明に係る撮像装置の実施の形態を示すブロック図 被写界深度を拡大する位相変調機能を有するレンズ部の一例を示す図 撮像素子に配設されたベイヤー配列のカラーフィルタを示す図 画面をｎ×ｍに分割した領域と各領域の中心の画素の位置情報との関係を示す図 画面の各領域の中心の画素の位置に関連づけて記憶された復元フィルタを示す図 歪み補正と電子変倍処理を説明するために用いた図 撮像素子の像面の歪みに起因して歪む画像を説明するために用いた図 画面の各領域の中心の画素の位置に関連づけて記憶された歪み補正データを示す図 シェーディング補正を説明するために用いた図 画面の各領域の中心の画素の位置に関連づけて記憶されたシェーディングデータを示す図 本発明に係る画像処理方法の第１の実施形態を示すフローチャート 歪み補正に必要な位置のEDoF画素を復元する方法を説明するために用いた図 ＲＡＷ画像を画素毎に復元処理するとともに、歪み補正する様子を示すイメージ図 本発明に係る画像処理方法の第２の実施形態を示すフローチャート シェーディングを考慮した復元フィルタの特性を示す図

以下、添付図面に従って本発明に係る撮像装置、画像処理方法及び画像処理装置の実施の形態について説明する。

＜撮像装置＞
図１は本発明に係る撮像装置の実施の形態を示すブロック図である。

図１に示すように、撮像装置１００は、レンズ部１１と撮像素子１２とを有する撮像ユニット１０と、ＡＤ変換部１４と、復元処理ブロック２０とからなるカメラモジュール１が組み込まれて構成されており、カメラモジュール１以外の構成は、通常のデジタルカメラ等とほぼ同様の構成を有している。

図２はレンズ部１１の構成例を示す図である。図２に示すようにレンズ部１１は、単焦点の固定された撮影レンズ１１Ａと、瞳位置に挿入される光学フィルタ１１Ｂとが構成されている。光学フィルタ１１Ｂは、位相を変調させるもので、拡大された被写界深度（Extended Depth Of Focus:EDoF）が得られるように撮影レンズ１１ＡをEDoF化させる。

尚、光学フィルタ１１Ｂの近傍には、図示しない絞りが配設されている。また、光学フィルタ１１Ｂは、１枚でもよいし、複数枚を組み合わせたものでもよい。更に、光学フィルタ１１Ｂの替わりに、撮影レンズ１１Ａのうちの１枚又は複数枚のレンズに、光学フィルタ１１Ｂの機能（位相変調機能）を持たせるようにしてもよい。

このレンズ部１１は、メカ的に焦点調節を行う焦点調節機構を省略することができ、小型化が可能であり、カメラ付き携帯電話や携帯情報端末に搭載されるものとして好適である。

EDoF化されたレンズ部１１を透過した被写体像は、撮像素子１２に結像され、ここで電気信号に変換される。

撮像素子１２は、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の原色フィルタが所定のパターンで配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、ハニカム配列等）されたカラーイメージセンサであり、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサにより構成されている。

この実施の形態の撮像素子１２は、図３に示すようにベイヤー配列のカラーフィルタが配設されている。即ち、撮像素子１２の奇数ラインには、Ｇ_bＢＧ_bＢＧ_bＢ…の順にカラーフィルタが配列され、偶数ラインには、ＲＧ_rＲＧ_rＲＧ_r…の順にカラーフィルタが配列されている。

レンズ部１１を介して撮像素子１２の受光面に入射した被写体像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積された信号電荷は、電圧信号（画像信号）として順次出力される。

ＡＤ変換部１４は、撮像素子１２から出力されるアナログの画像信号をデジタルの画像信号に変換する。ＡＤ変換部１４によりデジタルの画像信号に変換されたデジタル画像信号（Ｒ、Ｇ、Ｂの色信号）は、復元処理ブロック２０に加えられる。

復元処理ブロック２０は、主としてEDoFレンズによってボケた画像（EDoF画像）の復元処理を行う復元処理部と、歪み補正、電子変倍処理、シェーディング補正等の補正部とを含む画像処理部２２と、ＲＯＭ（Read Only Memory）２３と、ＲＡＭ（Random Access Memory）とから構成されている。ＲＯＭ２３には、それぞれ複数の復元フィルタ、歪み補正データ、及びシェーディングデータ等が記憶されている。

まず、ＲＯＭ２３に記憶される復元フィルタについて説明する。

１つの復元フィルタは、７×７、９×９等の所定のカーネルサイズの復元ゲインデータ（係数）からなり、例えば、図４に示すように１画面をｎ×ｍ（例えば、１６×１６、８×８）に分割した分割領域（Ａ_１１〜Ａ_ｎｍ）毎にＲＯＭ２３に記憶される。

図４に示すように各分割領域（Ａ_１１〜Ａ_ｎｍ）の中心の画素位置をそれぞれＳ(1,1)〜Ｓ(n,m)とすると、図５に示すように各分割領域の中心の画素位置Ｓ(1,1)〜Ｓ(n,m)に対応して、その画素位置Ｓ(1,1)〜Ｓ(n,m)の画素を復元するための復元フィルタ（Ｆ(1,1)〜Ｆ(n,m)）がそれぞれＲＯＭ２３に記憶される。

これらの復元フィルタは、レンズ部１１（光学フィルタ１１Ｂ）による位相変調分のデコンボリューション処理に使用されるものであり、予め製品出荷前に撮像装置１００（撮像ユニット１）毎に生成され、ＲＯＭ２３に書き込まれる。

上記復元フィルタ（復元ゲインデータ）を生成する方法は、レンズ部１１の点像分布関数（ＰＳＦ：Point spread function）を測定するために、レンズ部１１により点像（点光源）を撮像し、画像被写界深度が拡大された（位相変調された）ぼけた画像を取得する。点像の撮像により取得した画像をｇ（ｘ，ｙ）、元の点像をｆ（ｘ，ｙ）、点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とすると、ぼけた画像ｇ（ｘ，ｙ）は、次式で表すことができる。

［数１］
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
ただし、＊はコンボリューションを示す。

この点像の撮像により取得したぼけた画像ｇ（ｘ，ｙ）に基づいて［数１］式のｈ（ｘ，ｙ）（即ち、点像分布関数（ＰＳＦ））を求める。続いて、上記求めた点像分布関数（ＰＳＦ）の逆関数を求める。この逆関数をＲ（ｘ，ｙ）とすると、次式のように位相変調された画像ｇ（ｘ，ｙ）を、Ｒ（ｘ，ｙ）によりコンボリューション処理することにより、元の画像ｆ（ｘ，ｙ）に対応する復元画像が得られる。

［数２］
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）が復元フィルタである。復元フィルタは、図４に示したように各分割領域（Ａ_１１〜Ａ_ｎｍ）の中心の画素位置Ｓ(1,1)〜Ｓ(n,m)における点像ごとに求め、図５に示すように画素位置Ｓ(1,1)〜Ｓ(n,m)に関連づけて復元フィルタＲ(1,1)〜Ｒ(n,m)をＲＯＭ２３に記憶させる。

次に、ＲＯＭ２３に記憶される歪み補正データについて説明する。

図６（Ａ）は、レンズ部に歪曲収差がなく、かつ撮像素子の像面に歪みがない理想の場合に関して示している。

図６（Ｂ）は、レンズ部１１の歪曲収差及び撮像素子１２の像面の歪みにより画像が歪んでいる様子を示している。尚、図６（Ｂ）では、いわゆる糸巻歪みが生じている場合に関して示している。

図７は撮像素子１２の像面が何らかの理由で、数１０μｍ反り返っている例を示している。カメラを低背化させるために、撮像素子１２を薄くしていくと、撮像素子１２の像面が反ったり、波打ったりすることがある。

撮像素子１２の像面の中心に比べ、周辺が１０１０μｍ反った場合、反っていない場合よりも数画素ずれた位置に結像する。これにより、レンズ部１１の歪曲収差だけでなく、撮像素子１２の像面の歪みに起因して画像が歪む。

この歪んだ画像を補正するために、図６（Ｃ）に示すように画素の位置に応じて画素を移動させて歪みを補正する。この場合、歪み補正に伴い画像サイズが小さくなる。そこで、図６（Ｄ）に示すように元の画像サイズに戻すために電子変倍処理を行う。

ここで、図４に示したように画面の各分割領域（Ａ_１１〜Ａ_ｎｍ）の中心の画素位置Ｓ(1,1)〜Ｓ(n,m)の画素が、上記歪み補正及び電子変倍処理を行う前に、画面上のどの位置にあったかを示す対応点位置（歪み補正データ）を求め、図８に示すように画素位置Ｓ(1,1)〜Ｓ(n,m)に関連づけて歪み補正データＳ’(1’,1’)〜Ｓ’(n’,m’)をＲＯＭ２３に記憶させる。

次に、ＲＯＭ２３に記憶されるシェーディングデータについて説明する。

図９（Ａ）に示すように、輝度分布が一様の被写体（基準白板）を撮像して得られる面内輝度分布は、画面の中心（レンズ部１１の光軸）の輝度が高く、中心から遠ざかるにしたがって低下する。シェーディング補正は、図９（Ｂ）に示すように上記周辺光量の低下を補正するものである。尚、周辺光量の低下もレンズの味のひとつであるため、完全に補正せず周辺光量の低下を少し残すようにしている。

このシェーディング補正を行うためのシェーディングデータ（周辺ほど大きなゲイン値）を、予め撮像ユニット毎に求め、図１０に示すように画素位置Ｓ(1,1)〜Ｓ(n,m)に関連づけてシェーディングデータＤ(1,1)〜Ｄ(n,m)をＲＯＭ２３に記憶させる。尚、撮像素子１２の画素毎の光電変換特性のバラツキを考慮して上記シェーディングデータを持たせるようにしてもよい。

図１に戻って、ＲＡＭ２４は、画像処理部２２で処理するための画像データを一時保持するとともに、演算作業用領域として利用される。

画像処理部２２は、ＡＤ変換部１４から入力する画像データのうち、処理対象の注目画素毎に、ＲＯＭ２３に記憶された復元フィルタを適用して復元処理を行うとともに、ＲＯＭ２３に記憶された歪み補正データによる歪み補正（電子変倍処理を含む）、ＲＯＭ２３に記憶されたシェーディングデータによるシェーディング補正を同時に行う。尚、これらの処理の詳細については後述する。

上記のようにして復元処理ブロック２０により復元処理及び歪み補正等が行われたＲ、Ｇ、Ｂの画像データは、通常のＲＡＷデータとして出力される。

この復元処理ブロック２０から出力されるＲＡＷデータは、EDoF化されたレンズ部１１、及び復元処理ブロック２０を含まない画像信号と同様なものとなるため、後段の信号処理系は、通常のデジタルカメラ等と同等の構成を有している。

中央処理装置（ＣＰＵ）１０２は、操作部１０４からの操作入力及び所定のプログラムに従って装置全体を統括制御する部分であり、自動露出（ＡＥ）演算、ホワイトバランス（ＷＢ）調整演算等、各種演算を実施する演算部としても機能する。

ＣＰＵ１０２には、バス１０３及びメモリ・インターフェース１０６を介してＲＡＭ１０８及びＲＯＭ１１０が接続されている。ＲＡＭ１０８は、プログラムの展開領域及びＣＰＵ１０２の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＲＯＭ１１０には、ＣＰＵ１０２が実行するプログラム及び制御に必要な各種データや、撮像動作に関する各種定数／情報等が格納されている。

撮像ユニット１０及び復元処理ブロック２０は、ＣＰＵ１０２からの指令により撮影動作等を行い、復元処理ブロック２０からＲ、Ｇ、ＢのＲＡＷデータを出力する。このＲＡＷデータは、バス１０３及びメモリＩ／Ｆ１０６を介してＲＡＭ１０８に一時的に保存される。

ＲＡＭ１０８に保存されたＲＧＢのＲＡＷデータは、デジタル信号処理部１１２に入力され、ここで、ノイズリダクション処理、ホワイトバランス補正、ガンマ補正、同時化処理、ＲＧＢ／ＹＣ変換処理等の画像処理が施される。

また、ＲＡＷデータ記録が選択されている場合には、前記ＲＡＷデータはＲＡＷファイルのフォーマットで、外部メモリＩ／Ｆ１１４を介してメモリカード１１６に記録される。

操作部１０４には、シャッターボタン、撮影モードと再生モードを選択するモード選択スイッチ、表示部（ＬＣＤ）１１８にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー等が含まれる。操作部１０４からの出力信号は、バス１０３を介してＣＰＵ１０２に入力され、ＣＰＵ１０２は操作部１０４からの入力信号に基づいて撮影や再生等の適宜の処理を実施させる。

撮像装置１００には、被写体にフラッシュ光を照射するためのフラッシュ装置１２０が含まれ、フラッシュ装置１２０は、ＣＰＵ１０２からの発光指令によって充電部１２２から電源の供給を受けてフラッシュ光を照射する。

デジタル信号処理部１１２で処理された画像データ（輝度信号Ｙ，色差信号Ｃr,Ｃｂ）は、圧縮伸張処理回路１２４に与えられ、ここで、所定の圧縮フォーマット（例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、画像ファイル（例えば、JPEGファイル）のフォーマットで、外部メモリＩ／Ｆ１１４を介してメモリカード１１６に記録される。

また、ＬＣＤ１１８には、ＬＣＤインターフェース１２６を介して加えられる画像信号により撮像準備中に映像（ライブビュー画像）が表示され、また、再生モード時にメモリカード１１６に記録されたJPEGファイル、又はＲＡＷファイルが読み出され、画像が表示される。尚、JPEGファイルに格納された圧縮された画像データは、圧縮伸張処理回路１２４によって伸張処理が行われてＬＣＤ１１８に出力され、ＲＡＷファイルに格納されたＲＡＷデータは、前記デジタル信号処理部１１２によってＲＡＷ現像した後にＬＣＤ１１８に出力される。

［画像処理方法］
＜第１の実施形態＞
図１１は本発明に係る画像処理方法の第１の実施形態を示すフローチャートである。

第１の実施形態では、EDoF画像の復元処理と歪み補正とを同時に行うようにしている。

図１１において、復元処理ブロック２０は、撮像ユニット１０及びＡＤ変換部１４を介してベイヤー配列のカラーフィルタに応じてＲ，Ｇ，ＢのＲＡＷ画像を取得する（ステップＳ０１）。続いて、取得したＲＡＷ画像をＲ，Ｇ_r，Ｇ_b，Ｂの画素に分け、Ｒ，Ｇ_r，Ｇ_b，Ｂ毎に４面の画像をＲＡＭ２４に一時記憶させる（ステップＳ０２）。

次に、図６（Ｄ）に示したように処置後のＲ画像の注目画素（処理対象の画素）の位置(x,y)に基づいて処理前のＲ画像の位置(x’,y’)を取得する（ステップＳ０４）。

図４に示すように注目画素の位置(x,y)が、領域Ａ_１２内の位置とすると、図８に示したように領域Ａ_１２の中心の画素の位置Ｓ(1,2)に関連づけて記憶された歪み補正データＳ’(1’,2’)と、これに隣接する領域の中心の画素の位置に関連づけて記憶された歪み補正データとを、注目画素の位置(x,y)の領域Ａ_１２の中心の画素位置Ｓ(1,2)と、これに隣接する領域の中心の画素の位置と注目画素の位置Ｓ(x,y)との位置関係に基づいて線形補間することにより、注目画素の位置(x,y)に対応する、歪み補正された画素の位置(x’,y’)を取得する。この画素の位置(x’,y’)におけるＲのＲＡＷ画像から復元した画素値を、注目画素の位置(x,y)における画素値とすることにより、歪み補正を行うことができる。

次に、図１２に示すように歪み補正に必要な位置(x’,y’)に近い４つのEDoF画素を復元する。４つの画素の左上の画素をX(n,m)とし、右の画素を(n+1,m)、X(n,m)の下をX(n,m+1)、X(n,m)の右下をX(n+1,m+1)とする。今、復元フィルタをN×Nのマトリックスf(a,b)で表した場合、復元信号X’(n,m)は以下の式となる。

ここで、［数３］式で使用する復元フィルタは、図５に示したように画素位置X(n,m)と、その画素位置X(n,m)を含む領域の中心の画素の位置における復元フィルタ、及び隣接する領域の中心の画素の位置における復元フィルタをＲＯＭ２３から読み出し（ステップＳ０３）、読み出した復元フィルタの復元ゲインデータを、画素位置X(n,m)と各領域の中心の画素位置との位置関係に基づいて線形補間することにより作成する（ステップＳ０５）。

そして、作成した復元フィルタと、X(n,m)に基づいてＲのＲＡＷ画像から抽出したN×NのマトリックスのＲ画像とをデコンボリューション処理することにより、画素位置X(n,m)のEDoF画素の画素値を復元する。同様にして、画素位置(x’,y’)に近い４つの画素のうちの残りの画素についてもそれぞれ画素値を求め、求めた４つの画素値を、画素位置(x’,y’)と各領域の中心の画素位置とに基づいて線形補間することにより、画素位置(x’,y’)におけるＲの復元された画素値を求める（ステップＳ０６）。

続いて、Ｒ，Ｇ_r，Ｇ_b，Ｂの各画素で処理したか否かを判別し（ステップＳ０７）、他の画素について処理していない場合には、ステップＳ０６に戻り、上記と同様にして対応する色のＲＡＷ画像を使用して復元処理を行う。

上記のようにしてＲＡＷ画像から復元した画素の位置(x’,y’)におけるＲ，Ｇ_r，Ｇ_b，Ｂの画素値を、注目画素の位置(x,y)における画素値とすることにより、歪み補正も同時に行われることになる。尚、歪み補正データは、電子変倍処理を含むデータとして記憶されているため、電子変倍処理も同時に行われることになる。

次に、全領域で上記復元処理及び歪み補正をしたか否かを判別する（ステップＳ０８）。全領域で処理が終了していない場合には、ステップＳ０４に遷移し、次の画素位置（例えば、(x+1,y)）について、上記と同様に復元処理及び歪み補正を行う。

図１３はＲＡＷ画像を画素毎に復元処理するとともに、歪み補正する様子を示すイメージ図である。ここで、画素毎に復元する際に、画素位置(x,y)の次の画素位置(x+1,y)）の復元は、画素位置(x’,y’)の復元時に使用したN×NのマトリックスのＲＡＷ画像又は隣接する画素を基準にしたN×NのマトリックスのＲＡＷ画像を使用することが多いため、前回の復元処理に使用したN×NのマトリックスのＲＡＷ画像は、復元処理に使用しなくなるまで保持しておいてもよい。図１３に示すようにデコンボリューション領域を１画素分シフトする場合、ＲＡＭ２４から新たに読み出すＲＡＷ画像は、N×Nのマトリックスの１列分で済み、これにより処理の高速化を図ることができる。

ステップＳ０８において、全領域で復元処理及び歪み補正が行われたと判別されると、復元処理ブロック２０での処理が終了し、EDoF画像の復元処理及び歪み補正（電子変倍処理を含む）が行われたＲ、Ｇ、ＢのＲＡＷデータは、バス１０３及びメモリＩ／Ｆ１０６を介してＲＡＭ１０８に一時的に保存される。

その後、ＲＡＭ１０８に保存されたＲＧＢのＲＡＷデータは、デジタル信号処理部１１２に入力され、ここで、画面内の画素の位置情報を必要としない他の画像処理、即ち、ノイズリダクション処理、ホワイトバランス補正、ガンマ補正、同時化処理、ＲＧＢ／ＹＣ変換処理等の画像処理が行われる。

＜第２の実施形態＞
図１４は本発明に係る画像処理方法の第２の実施形態を示すフローチャートである。尚、図１４において、図１１に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

第２の実施形態では、EDoF画像の復元処理とシェーディング補正とを同時に行うようにしている。

図１４において、ステップＳ１０では、処置後のＲ画像の注目画素（処理対象の画素）の位置(x,y)を取得する。続いて、この取得した注目画素の位置(x,y)の実空間のシェーディングを考慮した復元フィルタを作成する（ステップＳ１１）。注目画素の位置(x,y)に対応する復元フィルタの作成方法は、第１の実施形態と同様に行うことができる。

また、注目画素の位置(x,y)に対応するシェーディングデータは、図４及び図９に示すように注目画素の位置(x,y)を含む領域の中心の画素の位置におけるシェーディングデータ、及び隣接する領域の中心の画素の位置におけるシェーディングデータをＲＯＭ２３から読み出し（ステップＳ１２）、読み出した複数のシェーディングデータを、注目画素の位置(x,y)と各領域の中心の画素位置との位置関係に基づいて線形補間することにより作成する。

そして、ステップＳ１１では、上記のようにした作成した復元フィルタとシェーディングデータとを乗算することにより、注目画素の位置(x,y)の実空間のシェーディングを考慮した復元フィルタを作成する。図１５（Ａ）及び（Ｂ）は、それぞれ画面の中心の復元フィルタと８割像高の復元フィルタの一例を示している（図９（Ａ）参照）。図１５に示すように中心の復元フィルタに比べて周辺の復元フィルタは、積分強度が増加している。

そして、上記作成した復元フィルタと、注目画素の位置(x,y)に基づいてＲのＲＡＷ画像から抽出したN×NのマトリックスのＲ画像とをデコンボリューション処理することにより、注目画素の位置(x,y)のEDoF画素の画素値を復元するとともに、シェーディング補正を行う（ステップＳ１３）。

尚、第２の実施形態では、それぞれ分割領域毎の復元フィルタとシェーディングデータとに基づいて注目画素の位置(x,y)の実空間のシェーディングを考慮した復元フィルタを作成するようにしたが、分割領域毎の復元フィルタとして、図１５に示したように像高に応じたシェーディングデータを考慮した復元フィルタを、予めＲＯＭ２３に記憶させるようにしてもよい。

〔その他〕
本発明は上記の実施形態に限らず、例えば、第１の実施形態と第２の実施形態とを組み合わせ、EDoF画像の復元処理と、歪み補正と、電子変倍処理と、シェーディング補正とを同時に行うようにしてもよいし、EDoF画像の復元処理と、画素位置の情報を使用した他の補正処理（歪み補正、歪み補正及び電子変倍処理、シェーディング補正等）とを同時に行うようにしてもよい。

また、歪み補正データ及びシェーディングデータは、画面を分割した領域毎に設定されたものに限らず、全画素毎にデータが設定されたものでもよい。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１…カメラモジュール、１０…撮像ユニット、１１…レンズ部、１１Ａ…撮影レンズ、１１Ｂ…光学フィルタ、１２…撮像素子、１４…ＡＤ変換部、２０…復元処理ブロック、２２…画像処理部、２３…ＲＯＭ、２４…ＲＡＭ、１００…撮像装置、１０２…中央処理装置（ＣＰＵ）、１１２…デジタル信号処理部

Claims (12)

1. レンズ部と、
   前記レンズ部により結像される被写体像を画像信号に変換する撮像素子と、
   前記撮像素子から取得される画像の各画素の位置情報に対応して、該位置情報に対応する画素位置における画像を復元処理するために使用する復元フィルタを記憶する第１の記憶部と、
   前記撮像素子から取得した画像の画素毎に、該画素の位置情報に対応する復元フィルタを前記第１の記憶部から読み出し、読み出した復元フィルタを使用したデコンボリューション処理を含む前記復元処理を行う復元処理部と、
   前記撮像素子から取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正部であって、前記レンズ部、又は前記レンズ部及び撮像素子による画像の歪みを補正する歪み補正部と、
   前記撮像素子から取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理部による復元処理と前記歪み補正部による補正処理とを同時に行わせる制御部と、を備え、
   前記歪み補正部は、歪み補正後の画像の各画素の位置に関連づけて歪み補正前の画像における対応画素の位置情報を記憶する第２の記憶部を有し、歪み補正後の画像の各画素の位置に基づいて前記第２の記憶部から対応画素の位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪み補正することを特徴とする撮像装置。
2. レンズ部と、
   前記レンズ部により結像される被写体像を画像信号に変換する撮像素子と、
   前記撮像素子から取得される画像の各画素の位置情報に対応して、該位置情報に対応する画素位置における画像を復元処理するために使用する復元フィルタを記憶する第１の記憶部と、
   前記撮像素子から取得した画像の画素毎に、該画素の位置情報に対応する復元フィルタを前記第１の記憶部から読み出し、読み出した復元フィルタを使用したデコンボリューション処理を含む前記復元処理を行う復元処理部と、
   前記撮像素子から取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正部であって、前記レンズ部、又は前記レンズ部及び撮像素子による画像の歪みを補正する歪み補正部と、
   前記撮像素子から取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理部による復元処理と前記歪み補正部による補正処理とを同時に行わせる制御部と、を備え、
   前記歪み補正部は、歪み補正後の画像の各画素の位置に関連づけて歪み補正前の画像における対応画素の位置情報を記憶する第２の記憶部を有し、
   前記第２の記憶部は、歪み補正によって生じる画像サイズの変動を相殺するための電子変倍処理を考慮して、歪み補正及び電子変倍処理後の画像の各画素の位置に関連づけて歪み補正及び電子変倍処理前の画像における対応画素の位置情報を記憶し、
   前記歪み補正部は、歪み補正及び電子変倍処理後の画像の各画素の位置に基づいて前記第２の記憶部から対応画素の位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪み補正するとともに、前記電子変倍処理を行うことを特徴とする撮像装置。
3. レンズ部と、
   前記レンズ部により結像される被写体像を画像信号に変換する撮像素子と、
   前記撮像素子から取得される画像の各画素の位置情報に対応して、該位置情報に対応する画素位置における画像を復元処理するために使用する復元フィルタであって、前記画像の各画素の位置情報に関連づけられたシェーディングデータが乗算された復元フィルタを記憶する第１の記憶部と、
   前記撮像素子から取得した画像の画素毎に、該画素の位置情報に対応する復元フィルタを前記第１の記憶部から読み出し、読み出した復元フィルタを使用したデコンボリューション処理を含む前記復元処理を行う復元処理部と、
   前記撮像素子から取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正部であって、前記レンズ部、又は前記レンズ部及び撮像素子によるシェーディングを補正するシェーディング補正部と、
   前記撮像素子から取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理部による復元処理と前記シェーディング補正部による補正処理とを同時に行わせる制御部と、を備え、
   前記復元処理部は、前記撮像素子から取得した画像の画素毎に、該画素の位置情報に対応する復元フィルタを前記第１の記憶部から読み出し、読み出した復元フィルタを使用したデコンボリューション処理を含む前記復元処理を行うことで、処理対象の画像をシェーディング補正する前記シェーディング補正部を兼ねる撮像装置。
4. 前記第１の記憶部は、１画面を複数の領域に分割した分割領域毎に復元フィルタを記憶し、
   前記復元処理部は、処理対象の画素の位置情報に基づいて、前記第１の記憶部から前記位置情報に対応する分割領域の復元フィルタとその近傍の分割領域の復元フィルタとを読み出し、読み出した複数の復元フィルタの係数を前記位置情報に基づいて補間して復元フィルタを生成し、生成した復元フィルタを使用してデコンボリューション処理を含む前記復元処理を行うことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. レンズ部と、前記レンズ部により結像される被写体像を画像信号に変換する撮像素子とを有するカメラモジュールから画像を取得する工程と、
   前記取得される画像の各画素の位置情報に対応して、該位置情報に対応する画素位置における画像を復元処理するために使用する復元フィルタを記憶する第１の記憶部から復元フィルタを読み出し、前記取得した画像の画素毎に、前記読み出した復元フィルタを使用したデコンボリューション処理を含む前記復元処理を行う復元処理工程と、
   前記取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正工程であって、前記レンズ部、又は前記レンズ部及び撮像素子による画像の歪みを補正する歪み補正工程と、を含み、
   前記歪み補正工程は、歪み補正後の画像の各画素の位置に関連づけて歪み補正前の画像における対応画素の位置情報を記憶する第２の記憶部から、歪み補正後の画像の各画素の位置に対応する位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪みを補正し、
   前記取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理工程による復元処理と前記歪み補正工程による補正処理とを同時に行うことを特徴とする画像処理方法。
6. レンズ部と、前記レンズ部により結像される被写体像を画像信号に変換する撮像素子とを有するカメラモジュールから画像を取得する工程と、
   前記取得される画像の各画素の位置情報に対応して、該位置情報に対応する画素位置における画像を復元処理するために使用する復元フィルタを記憶する第１の記憶部から復元フィルタを読み出し、前記取得した画像の画素毎に、前記読み出した復元フィルタを使用したデコンボリューション処理を含む前記復元処理を行う復元処理工程と、
   前記取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正工程であって、前記レンズ部、又は前記レンズ部及び撮像素子による画像の歪みを補正する歪み補正工程と、
   前記取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理工程による復元処理と前記歪み補正工程による補正処理とを同時に行わせる工程と、を含み、
   前記歪み補正工程は、歪み補正後の画像の各画素の位置に関連づけて歪み補正前の画像における対応画素の位置情報を記憶する第２の記憶部を有し、
   前記第２の記憶部は、歪み補正によって生じる画像サイズの変動を相殺するための電子変倍処理を考慮して、歪み補正及び電子変倍処理後の画像の各画素の位置に関連づけて歪み補正及び電子変倍処理前の画像における対応画素の位置情報を記憶しており、
   前記歪み補正工程は、歪み補正及び電子変倍処理後の画像の各画素の位置に基づいて前記第２の記憶部から対応画素の位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪み補正するとともに、前記電子変倍処理を行うことを特徴とする画像処理方法。
7. レンズ部と、前記レンズ部により結像される被写体像を画像信号に変換する撮像素子とを有するカメラモジュールから画像を取得する工程と、
   前記取得される画像の各画素の位置情報に対応して、該位置情報に対応する画素位置における画像を復元処理するために使用する復元フィルタであって、前記画像の各画素の位置情報に関連づけられたシェーディングデータが乗算された復元フィルタを記憶する第１の記憶部から復元フィルタを読み出し、前記取得した画像の画素毎に、前記読み出した復元フィルタを使用したデコンボリューション処理を含む前記復元処理を行う復元処理工程と、
   前記取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正工程であって、前記レンズ部、又は前記レンズ部及び撮像素子によるシェーディングを補正するシェーディング補正工程と、を含み、
   前記復元処理工程は、前記撮像素子から取得した画像の画素毎に、該画素の位置情報に対応する復元フィルタを前記第１の記憶部から読み出し、読み出した復元フィルタを使用したデコンボリューション処理を含む前記復元処理を行うことで、処理対象の画像をシェーディング補正する前記シェーディング補正工程を兼ねることを特徴とする画像処理方法。
8. 前記第１の記憶部は、１画面を複数の領域に分割した分割領域毎に復元フィルタを記憶しており、
   前記復元処理工程は、処理対象の画素の位置情報に基づいて、前記第１の記憶部から前記位置情報に対応する分割領域の復元フィルタとその近傍の分割領域の復元フィルタとを読み出し、読み出した複数の復元フィルタの係数を前記位置情報に基づいて補間して復元フィルタを生成し、生成した復元フィルタを使用してデコンボリューション処理を含む前記復元処理を行うことを特徴とする請求項５から７のいずれか１項に記載の画像処理方法。
9. カメラモジュールから取得される画像の各画素の位置情報に対応して、該位置情報に対応する画素位置における画像を復元処理するために使用する復元フィルタを記憶する第１の記憶部と、
   前記カメラモジュールから取得した画像の画素毎に、該画素の位置情報に対応する復元フィルタを前記第１の記憶部から読み出し、読み出した復元フィルタを使用したデコンボリューション処理を含む前記復元処理を行う復元処理部と、
   前記カメラモジュールから取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正部であって、前記カメラモジュールのレンズ部、又はレンズ部及び撮像素子による画像の歪みを補正する歪み補正部と、
   前記カメラモジュールから取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理部による復元処理と前記歪み補正部による補正処理とを同時に行わせる制御部と、を備え、
   前記歪み補正部は、歪み補正後の画像の各画素の位置に関連づけて歪み補正前の画像における対応画素の位置情報を記憶する第２の記憶部を有し、歪み補正後の画像の各画素の位置に基づいて前記第２の記憶部から対応画素の位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪み補正することを特徴とする画像処理装置。
10. カメラモジュールから取得される画像の各画素の位置情報に対応して、該位置情報に対応する画素位置における画像を復元処理するために使用する復元フィルタを記憶する第１の記憶部と、
    前記カメラモジュールから取得した画像の画素毎に、該画素の位置情報に対応する復元フィルタを前記第１の記憶部から読み出し、読み出した復元フィルタを使用したデコンボリューション処理を含む前記復元処理を行う復元処理部と、
    前記カメラモジュールから取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正部であって、前記カメラモジュールのレンズ部、又はレンズ部及び撮像素子による画像の歪みを補正する歪み補正部と、
    前記カメラモジュールから取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理部による復元処理と前記歪み補正部による補正処理とを同時に行わせる制御部と、を備え、
    前記歪み補正部は、歪み補正後の画像の各画素の位置に関連づけて歪み補正前の画像における対応画素の位置情報を記憶する第２の記憶部を有し、
    前記第２の記憶部は、歪み補正によって生じる画像サイズの変動を相殺するための電子変倍処理を考慮して、歪み補正及び電子変倍処理後の画像の各画素の位置に関連づけて歪み補正及び電子変倍処理前の画像における対応画素の位置情報を記憶し、
    前記歪み補正部は、歪み補正及び電子変倍処理後の画像の各画素の位置に基づいて前記第２の記憶部から対応画素の位置情報を読み出し、読み出した位置情報に基づいて前記取得した画像から画素を読み出し、読み出した画素を再配置することにより歪み補正するとともに、前記電子変倍処理を行うことを特徴とする画像処理装置。
11. カメラモジュールから取得される画像の各画素の位置情報に対応して、該位置情報に対応する画素位置における画像を復元処理するために使用する復元フィルタであって、前記画像の各画素の位置情報に関連づけられたシェーディングデータが乗算された復元フィルタを記憶する第１の記憶部と、
    前記カメラモジュールから取得した画像の画素毎に、該画素の位置情報に対応する復元フィルタを前記第１の記憶部から読み出し、読み出した復元フィルタを使用したデコンボリューション処理を含む前記復元処理を行う復元処理部と、
    前記カメラモジュールから取得した画像の画素毎に、該画素の位置情報に対応した画像の補正処理を行う補正部であって、前記カメラモジュールのレンズ部、又は前記カメラモジュールのレンズ部及び撮像素子によるシェーディングを補正するシェーディング補正部と、
    前記カメラモジュールから取得した画像の処理対象の画素に対し、該画素の位置情報に対応する前記復元処理部による復元処理と前記シェーディング補正部による補正処理とを同時に行わせる制御部と、を備え、
    前記復元処理部は、前記カメラモジュールから取得した画像の画素毎に、該画素の位置情報に対応する復元フィルタを前記第１の記憶部から読み出し、読み出した復元フィルタを使用したデコンボリューション処理を含む前記復元処理を行うことで、処理対象の画像をシェーディング補正する前記シェーディング補正部を兼ねる画像処理装置。
12. 前記第１の記憶部は、１画面を複数の領域に分割した分割領域毎に復元フィルタを記憶し、
    前記復元処理部は、処理対象の画素の位置情報に基づいて、前記第１の記憶部から前記位置情報に対応する分割領域の復元フィルタとその近傍の分割領域の復元フィルタとを読み出し、読み出した複数の復元フィルタの係数を前記位置情報に基づいて補間して復元フィルタを生成し、生成した復元フィルタを使用してデコンボリューション処理を含む前記復元処理を行うことを特徴とする請求項９から１１のいずれか１項に記載の画像処理装置。