JP5743772B2 - 画像処理システム - Google Patents

Description

本発明は、画像のボケを復元させる画像処理システムに関するものである。

デジタルカメラなどの電子撮像装置によって撮像した画像には、ボケが含まれることがある。そこで、このようなボケを低減化させるためにフィルタリング処理を施すことが提案されている（特許文献１、２参照）。

特開２０００−０５７３３９号公報 特開平０８−２６５５７２号公報

光学系のボケの低減化に用いるフィルタは、光学系の点拡がり関数ＰＳＦ（Point Spread Function）に基づいて設計される。理想画像をｆ（ｘ，ｙ）、ボケ画像などの劣化画像をｇ（ｘ，ｙ）、ＰＳＦをｈ（ｘ，ｙ）とすると、以下の（１）式の関係式が成り立つ。

式（１）を二次元フーリエ変換すると、（２）式が得られる。

なお、Ｈ（ｕ，ｖ）は伝達関数（Optical Transfer Function）と呼ばれる。（２）式の両辺に伝達関数の逆フィルタＨ^−１（ｕ，ｖ）を乗じることにより（３）式に示すように、理想画像の二次元フーリエ変換Ｆ（ｕ，ｖ）が算出される。

さらに、（３）式をフーリエ逆変換することにより（４）式に示すように、理想画像を復元することが可能である。

ところで、伝達関数Ｈ（ｕ，ｖ）の値がゼロである場合や、実質的にゼロである場合に、逆フィルタＨ^−１（ｕ，ｖ）が無限大に発散してしまい、理想画像の二次元フーリエ変換Ｆ（ｕ，ｖ）を算出することが出来ない。それゆえ、従来は、逆フィルタＨ^−１（ｕ，ｖ）の代わりにウィーナフィルタなどの画像復元用のフィルタが用いられる。

ウィーナフィルタＨ_ｗ１ ^−１（ｕ，ｖ）では、（５）式で示すように、分母に定数Γを付加することにより、発散が防止されている。

（５）式において、定数Γの値を小さくするほどボケの復元強度は高くなる一方で、ノイズが増加する性質がある。上述のようなウィーナフィルタＨ_ｗ１ ^−１（ｕ，ｖ）はボケの度合いが全方向に同様であれば劣化画像を十分に復元可能であるが、方向によってボケの度合いが変わる劣化画像を十分に復元することは出来ない。

例えば、σ＝１．５のガウス分布特性を有するＰＳＦに対する２１×２１のサイズを有するウィーナフィルタの例を説明する。σ＝１．５のガウス分布特性を有するＰＳＦは、図７に示される。図７に示すように、中心部から同心円状に分布強度が減少している。

このようなＰＳＦに対して、係数Γを０．５にしたウィーナフィルタＨ_ｗ１ ^−１（ｕ，ｖ）が、図８に示される。また、このようなウィーナフィルタＨ_ｗ１ ^−１（ｕ，ｖ）をフーリエ逆変換した復元フィルタｈ_ｗ ^−１（ｘ、ｙ）は、図９に示される。

図９におけるグラフの縦軸は、注目画素を原点とする座標（ｘ，ｙ）の画素に対する復元フィルタの要素を表す。図９に示すように、注目画素から同じ距離の画素に対する復元フィルタｈ_ｗ ^−１（ｘ，ｙ）要素は同じである。

このような復元フィルタｈ_ｗ ^−１（ｘ，ｙ）を用いる場合には、空間周波数に対する伝達関数のＭＴＦは行方向も列方向も同じ曲線となる（図１０参照）。すなわち、上述の復元フィルタｈ_ｗ ^−１（ｘ，ｙ）の復元強度は行方向も列方向にも等しくなる。

このような復元フィルタは、ボケの度合いが全方向で同等であれば、ボケ画像の復元に適している。しかし、ボケの度合いが方向によって異なる場合には、最適のフィルタとならない。

例えば、補間率を方向別に変えて画素を補間する場合には、補間率の高い方向と低い方向とではボケの度合いが変わり得る。このような画像に対しては上述のウィーナフィルタＨ_ｗ１ ^−１（ｕ，ｖ）を用いても、全方向に対して同じ復元強度となるため、一部の方向には十分にボケの復元が可能でも、別の方向に対してはボケの復元が不十分となる。逆に一部の方向に十分にボケの復元をすると、別の方向に対してはノイズの影響が大きくなり得る。

したがって、かかる事情に鑑みてなされた本発明の目的は、光学系により結像される画像を用いて作成される画像が方向によりボケの度合いが異なっても、いずれの方向にも均一な解像感を覚えさせる画像に復元する画像処理システムを提供することにある。

上述した諸課題を解決すべく、本発明による画像処理システムは、
任意の光学系により球面収差を生じるように結像された結像画像を用いて再生画像を作成し、ボケの度合いが方向に応じて異なる再生画像のボケを復元する画像処理システムであって、
結像画像における球面収差によるボケを復元するように設計された復元フィルタを、方向に応じて異なる再生画像におけるボケの度合いに基づき、注目画素を中心とする各画素に対する要素を非同心円状に変化させることにより、補正した補正フィルタを格納するメモリと、
補正フィルタにより、再生画像の前記ボケを復元する復元部とを備える
ことを特徴とするものである。

上記のように構成された本発明に係る画像処理システムによれば、結像画像におけるボケを復元するように設計された復元フィルタを補正した補正フィルタを用いてフィルタリングを行うので、いずれの方向にも均一な解像感を覚えさせる画像に復元可能である。

本発明の一実施形態に係る画像処理システムを有する撮像装置の光学的構成および電気的な概略構成を示す構成図である。 撮像素子の受光面の平面図である。 補正関数のグラフである。 補正ウィーナフィルタの特性を表すグラフである。 補正フィルタの要素を表すグラフである。 補正フィルタによる方向別のＭＴＦを表すグラフである。 σ＝１．５のガウス分布特性を有するＰＳＦの分布強度を示すグラフである。 球面収差を復元するためのウィーナフィルタの特性を表すグラフである。 球面収差を復元するための復元フィルタの要素を表すグラフである。 復元フィルタのＭＴＦを表すグラフである。

以下、本発明を適用した画像処理システムの実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る画像処理システムを有する撮像装置の光学的構成および電気的な概略構成を示す構成図である。撮像装置１０は、撮影光学系１１０、撮像素子１０１、ＣＰＵ１０２、ＤＳＰ１０３（画像処理部、フィルタリング部）、操作部１０４、モニタ１０５を含んで構成される。

撮影光学系１１０は、複数のレンズ１１１によって構成される。単一のレンズ１１１の内面に収差制御面１１２（深度拡張光学系）が形成されることにより、撮影光学系１１０に所定の球面収差を発生させる。撮影光学系１１０により、撮影されるための被写体像（結像画像）が結像され、撮像素子１０１の受光面上に形成される。

撮像素子１０１は例えばＣＣＤやＣＭＯＳエリアセンサであり、図２に示すように、受光面上に複数の画素１１３がマトリックス状に配置される。なお、図２においては、説明のために６行１２列に並ぶ画素１１３が例示されているが、６行以上であって１２列以上の行列状に画素１１３が配置されてもよい。

各画素１１３の列方向の長さは、行方向の１．５倍に形成されている。なお、行方向（第１の方向）をｘ軸方向、列方向（第２の方向）をｙ軸方向とし、後述する復元フィルタ及び補正フィルタの設計のためのＰＳＦなどはｘ軸およびｙ軸を用いて表される。

撮像素子１０１の受光面に形成される被写体像を受光する各画素１１３では、受光量に応じた画素信号が生成される。全画素１１３の画素信号が、１フレームの原画像信号として扱われる。

生成された原画像信号は、ＡＦＥ（図示せず）においてＣＤＳ処理、Ａ／Ｄコンバージョン処理等が施されデジタル信号に変換されて、ＤＳＰ１０３に送信される。ＤＳＰ１０３はＤＲＡＭ１０６をワークメモリとして用い、受信した原画像信号に対して、所定の信号処理を施す。

なお、所定の信号処理には、補間処理と復元処理とが含まれる。なお、補間処理とは、存在しない画素信号を、他の画素信号から擬似的に生成する処理である。復元処理とは、原画像信号のボケを低減化させる処理である。

モニタ１０５は撮像素子１０１の受光面と相似形である一方で、モニタ１０５の画素（図示せず）は正方形であって撮像素子１０１に比べて列方向により多くの画素を有する。それゆえ、原画像信号では、モニタ１０５の画素に比べて列方向の画素信号が不足している。そこで、原画像信号における列方向の画素数を１．５倍に増やすように、画素信号が補間される。なお、行方向には補間処理は実行されない。

上述のように、原画像信号に対して、列方向の画素信号は補間され、行方向の画素信号は補間されない。それゆえ、補間処理後の画像（再生画像）では、行方向より列方向に強いボケが生じる。

補間処理後の原画像信号に対して、さらに復元処理が施される。撮影光学系１１０により形成される被写体像である画像は、収差制御面１１２の機能により焦点深度の深い光学像であって、ボケの発生した像である。元の画像は球面収差により全方向にボケの程度が同様であるが、補間処理後の画像では、列方向のボケの度合いは行方向のボケの度合いより高い。

復元処理を実行するために、補正フィルタが用いられる。補正フィルタは、球面収差を含むボケを復元する復元フィルタを以下に説明するように補正することにより作成される。作成された補正フィルタは、ＥＥＰＲＯＭ１０７に予め格納される。復元処理の実行時に、補正フィルタがＣＰＵ１０２を介してＥＥＰＲＯＭ１０７からＤＳＰ１０３に読出される。

なお、復元フィルタとは、撮影光学系１１０により結像される画像における球面収差などの所定のボケに応じたＰＳＦに基づいて、所定のボケを復元させるように設計されたフィルタである。また、以下に例示する復元フィルタ及び補正フィルタは２１×２１のサイズを有するフィルタである。

復元フィルタｈ^−１（ｘ，ｙ）は、前述のように、撮影光学系１１０の固有のＰＳＦ ｈ（ｘ，ｙ）に基づいて、予め設計される。補正フィルタｈ_２ ^−１（ｘ，ｙ）は、復元フィルタの算出の過程における逆フィルタＨ^−１（ｕ，ｖ）の代わりに補正ウィーナフィルタＨ_ｗ２ ^−１（ｕ，ｖ）を用いることにより算出される。補正ウィーナフィルタＨ_ｗ２ ^−１（ｕ，ｖ）は、補正関数γ（ｕ，ｖ）を用いて、（６）式によって算出される。

なお、（６）式において、伝達関数Ｈ（ｕ，ｖ）は、撮影光学系１１０固有のＰＳＦ ｈ（ｘ、ｙ）の二次元フーリエ変換である。また、Γは定数である。補正関数γ（ｕ，ｖ）は、上述の補間処理により生じる行方向と列方向のボケの度合いに応じて定められる関数である。

本実施形態では、例えば、Γ＝０．５、γ（ｕ，ｖ）＝ａ×（｜ｖ｜−ｂ）^２に定められる（図３参照）。このように補正関数γ（ｕ，ｖ）を定めると、Γ×γ（ｕ，ｖ）は、ｕに対しては一定であり、−ｂ≦ｖ≦ｂの範囲内においてｖの絶対値の増加に応じて減少する。したがって、−ｂ≦ｖ≦ｂの範囲内においてｖの絶対値の増加に対して復元強度を高めることが可能である。すなわち、列方向のボケの復元強度を行方向のボケの復元強度より高めることが可能である。

このような補正関数γ（ｕ，ｖ）により補正された補正フィルタの具体例について説明する。例えば、撮影光学系１１０のＰＳＦがσ＝１．５のガウス分布特性を有する場合に、上述の補正関数γ（ｕ，ｖ）を用いた補正ウィーナフィルタＨ_ｗ２ ^−１（ｕ，ｖ）は、図４に示される要素を有する。

補正ウィーナフィルタＨ_ｗ２ ^−１（ｕ，ｖ）をフーリエ逆変換することにより、図５に示される補正フィルタｈ_２ ^−１（ｘ，ｙ）が算出される。図５におけるグラフの縦軸は、注目画素を原点とする座標（ｘ，ｙ）の画素に対する補正フィルタｈ_２ ^−１（ｘ，ｙ）の要素を表す。

図５に示すように、補正フィルタｈ_２ ^−１（ｘ，ｙ）の要素は注目画素を中心として非同心円状である（縦軸０．００近傍における形状参照）。言い換えると、注目画素からの距離が同じ複数の画素に対する要素は行方向と列方向とで異なっている。すなわち、補正フィルタｈ_２ ^−１（ｘ，ｙ）は、復元フィルタｈ^−１（ｘ，ｙ）の各要素を、注目画素を中心として非同心円状に変化する補正量によって補正するフィルタに相当する。

このような補正フィルタｈ_２ ^−１（ｘ，ｙ）においては、図６に示すように、空間周波数の全帯域において列方向のＭＴＦ（符号“ｃ”参照）が行方向のＭＴＦ（符号“ｒ”参照）よりも高い。したがって、補正フィルタｈ_２ ^−１（ｘ，ｙ）は、行方向よりも列方向の復元強度が高いフィルタであることが分かる。

したがって、補間処理により行方向よりも列方向のボケの度合いが大きくなった画像に対して、補正フィルタｈ_２ ^−１（ｘ，ｙ）を用いて復元処理を行うことにより、両方向に均一な解像感を覚えさせるように復元される。

復元処理の施された原画像信号に対して、さらにガンマ補正処理等の他の所定の信号処理が施される。所定の信号処理が施された画像信号は、ＤＳＰ１０３からモニタ１０５に送信され、画像信号に対応する光学像がモニタ１０５に表示される。また、所定の信号処理の施された画像信号はＣＰＵ１０２を介して、ＣＰＵ１０２に着脱可能な記憶メディア（図示せず）に格納させることも可能である。

撮像素子１０１およびＤＳＰ１０３における様々な動作の時期はタイミングジェネレータ（ＴＧ）１０８によって制御される。また、ＴＧ１０８はＣＰＵ１０２の制御に基づいて、撮像素子１０１およびＤＳＰ１０３の動作時期を制御する。また、ＣＰＵ１０２はＴＧ１０８だけでなく、撮像装置１０の各部位の動作を制御する。

ＣＰＵ１０２はボタン（図示せず）やダイヤル（図示せず）などの入力機器によって構成される操作部１０４に接続される。使用者による操作部１０４への操作入力に基づいて、ＣＰＵ１０２は各部位の動作の制御を実行する。ＣＰＵ１０２はＥＥＰＲＯＭ１０７に接続される。前述のフィルタだけでなく撮像装置１０に設けられる様々な機能を実行するために必要な情報はＥＥＰＲＯＭ１０７に格納されており、必要に応じてＣＰＵ１０２により読出される。

以上のような構成の本実施形態の画像処理ステムによれば、撮影光学系１１０により結像される画像における球面収差などのボケを復元するように設計された復元フィルタが、補正関数によって補正される。補正関数を用いた補正では、注目画素を中心とする各画素に対する要素が非同心円状に変化する補正量によって復元フィルタの要素を補正することにより、補正フィルタは作成される。したがって、画像処理によってボケの度合いが方向に応じて変えられた画像に対しても、全方向に対して均一な解像感を覚えさせる画像に復元可能である。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、上記実施形態において、補間処理により撮影光学系１１０による結像画像のボケの度合いが方向によって変えられる構成であるが、ボケの度合いを方向別に変えてしまう他の画像処理が施された画像に補正フィルタを用いる構成であってもよい。

さらには、撮影光学系１１０による結像画像のボケの度合いを方向別に変える動作は画像処理に限定されない。結像画像に基づいてモニタ１０５などに再生させる再生画像を作成する過程において、ボケの度合いが方向別に変えられる構成においても本実施形態と同様の効果を得ることが可能である。

１００ 撮像装置
１０１ 撮像素子
１０２ ＣＰＵ
１０３ ＤＳＰ
１０４ 操作部
１０５ モニタ
１０６ ＤＲＡＭ
１０７ ＥＥＰＲＯＭ
１０８ タイミングジェネレータ（ＴＧ）
１１０ 撮影光学系
１１１ レンズ
１１２ 収差制御面
ｏｉ 原画像
ｐｘ 画素

Claims (4)

1. 任意の光学系により球面収差を生じるように結像された結像画像を用いて再生画像を作成し、ボケの度合いが方向に応じて異なる前記再生画像のボケを復元する画像処理システムであって、
   前記結像画像における球面収差によるボケを復元するように設計された復元フィルタを、前記方向に応じて異なる前記再生画像におけるボケの度合いに基づき、注目画素を中心とする各画素に対する要素を非同心円状に変化させることにより、補正した補正フィルタを格納するメモリと、
   前記補正フィルタにより、前記再生画像の前記ボケを復元する復元部とを備える
   ことを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムであって、前記補正フィルタは、前記再生画像において前記ボケの度合いが高い方向には復元強度が高くなるように、且つ前記再生画像において前記ボケの度合いが低い方向には復元強度が低くなるように、補正されていることを特徴とする画像処理システム。
3. 請求項１または請求項２に記載の画像処理システムであって、前記再生画像の作成には、第１、第２の方向に沿って並ぶ複数の画素によって形成される原画像に対して、前記第１、第２の方向の補間率が異なるように前記第１、第２の方向の少なくとも一方に沿った補間処理が前記結像画像に対して施されることを特徴とする画像処理システム。
4. 請求項１〜請求項３のいずれか１項に記載の画像処理システムであって、前記光学系は前記光学系の被写界深度を拡張する深度拡張光学系を含むことを特徴とする画像処理システム。

Images