JP5552956B2

JP5552956B2 - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP5552956B2
Application number: JP2010180731A
Authority: JP
Inventors: 司村田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-08-12
Filing date: 2010-08-12
Publication date: 2014-07-16
Anticipated expiration: 2030-08-12
Also published as: JP2012042988A

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

ボケ画像の復元方法として、近年、モデル関数を用いた方法が盛んに研究されている（例えば特許文献１および非特許文献１〜３参照）。これらの方法は、撮影によって得られたボケ画像がボケの無い理想画像をボカした画像であるという仮定の下、ベイズ統計等の理論モデルを用いて目的関数を作り、撮影によって得られるボケのある画像からボケの無い理想画像を予測する方法である。

特許文献１国際公開第２００６／０４１１２６号
非特許文献１ M. A. T. Figueiredo and R. D. Nowak, "An EM Algorithm for Wavelet-Based Image Restoration", IEEE Trans. Image Processing, vol 12, pp.906-916, 2003
非特許文献２ G. K. Chantas, N. P. Galatsanos and A. C. Likas, "Bayesian Restoration Using a New Nonstationary Edge-Preserving Image Prior", IEEE Trans. Image Processing, vol 15, pp.2987-2997, 2006
非特許文献３ P. Pan and S. J. Reeves, "Efficient Huber-Markov Edge-Preserving Image Restoration",IEEE Trans. Image Processing, vol 15, pp.3728-3735, 2006

モデル関数を用いた画像復元方法の多くは、理想画像の全面が共通のボケ関数でボカされていると仮定して、入力されたボケのある画像からボケの無い理想画像を復元する。しかし、実際の撮像画像では、合焦面と被写体位置との差(デフォーカス量)に依存してボケの程度は異なるので、画面内にボケが生じている箇所とボケが生じていない箇所とが含まれる。従って、撮像画像の全面が共通のボケ関数でボカされていると仮定して画像復元をした場合、ボケ関数と一致するボケが生じている箇所では適切に復元がされるが、元々合焦していたボケの無い箇所は過剰にボケ復元がされて不自然な画像となってしまう。

また、撮像画像には、軸上色収差が生じる場合がある。軸上色収差は、色面毎の合焦度合いの違いによって生じる。その為、ボケた色成分に対して適切なボケ復元処理を施す事で、軸上色収差を補正することができる。しかし、この場合、全ての色面に対して共通にボケ復元を行うと、ボケが生じている色面は適切に復元がされるが、元々合焦していた色面は過剰にボケ復元がされて不自然な画像となってしまう。この結果、撮像画像の軸上色収差も補正されない。

また、例えば、画像の画素数拡大に伴うボケを超解像処理により補正する場合がある。この場合、ユーザが着目する箇所（例えば主要被写体）に対して解像感が向上していればよく、着目箇所以外の箇所（例えば背景）については解像感を向上していなくてもよいことが多い。

上記課題を解決するために、本発明の第１の態様においては、撮像画像のうち一部の補正対象領域を特定する特定部と、前記補正対象領域から抽出した部分画像における独立した複数の色面のうち少なくとも１つの色面に対して、ボケ画像からボケの無い画像を復元する復元処理を行って、復元画像を生成する復元部と、前記撮像画像における前記補正対象領域を前記復元画像により補正した補正撮像画像を生成する補正部と、を備える画像処理装置、画像処理方法およびプログラムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る画像処理装置１０の構成を示す。本実施形態に係る画像処理装置１０による画像復元の処理フローを示す。ステップＳ１１において入力される撮像画像の一例を示す。ステップＳ１２において特定される補正対象領域３０の一例を示す。ステップＳ１３における復元処理の一例を示す。ステップＳ１４における重み付け合成処理の一例を示す。ステップＳ１５における合成画像を撮像画像に挿入する処理の一例を示す。本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る画像処理装置１０の構成を示す。画像処理装置１０は、撮像画像に対してボケ復元処理を施す。

画像処理装置１０は、入力部１２と、特定部１４と、抽出部１６と、復元部１８と、合成部２０と、補正部２２とを備える。入力部１２は、ボケ復元の対象となる撮像画像を入力する。

特定部１４は、撮像画像のうち一部の補正対象領域を特定する。即ち、特定部１４は、撮像画像における、当該撮像画像の全領域より小さい領域を、補正対象画像として特定する。抽出部１６は、撮像画像における、特定部１４により特定された補正対象領域から部分画像を抽出する。

復元部１８は、補正対象領域から抽出した部分画像における独立した複数の色面のうち少なくとも１つの色面に対して、ボケ画像からボケの無い画像を復元する復元処理を行って、復元画像を生成する。復元部１８は、一例として、補正対象領域における複数の色面のうちのボケの生じた色面に対して復元処理を行って、復元画像を生成する。

復元部１８は、一例として、部分画像におけるＲ面、Ｇ面およびＢ面の少なくとも１面に対して復元処理を行って、復元画像を生成する。これに代えて、復元部１８は、一例として、輝度面（Ｙ面）および色差面（Ｃｒ面、Ｃｂ面）の少なくとも１面に対して復元処理を行って、復元画像を生成してもよい。

合成部２０は、補正対象領域から抽出した部分画像と、復元部１８により復元された復元画像とを合成した合成画像を生成する。この場合において、合成部２０は、補正対象領域内の画像と補正対象領域外の画像とが自然に接続されるように、部分画像と復元画像とを重み付けをして加算した合成画像を生成する。一例として、合成部２０は、特定部１４で指定された対象領域から、重み付け用のマスクを作り、このマスクを用いて画像合成するとよい。

補正部２２は、撮像画像における補正対象領域を復元画像により補正した補正撮像画像を生成する。補正部２２は、一例として、撮像画像における補正対象領域の画像を合成画像に置き換えて補正撮像画像を生成する。そして、補正部２２は、生成した補正対象画像を外部へ出力する。

このような画像処理装置１０は、撮像画像におけるボケが生じている箇所または撮像画像における着目箇所に対してのみ、ボケ復元を行うことができる。また、画像処理装置１０は、ボケた色成分に対して色面毎に適切なボケ復元処理を施す事で、軸上色収差を補正することができる。これにより、画像処理装置１０によれば、自然な違和感の無い画像を生成することができる。さらに、画像処理装置１０によれば、演算コストを少なくすることができる。

図２は、本実施形態に係る画像処理装置１０による画像復元の処理フローを示す。まず、ステップＳ１１において、画像処理装置１０は、復元対象となる撮像画像を入力する。続いて、ステップＳ１２において、画像処理装置１０は、補正対象領域を特定して、部分画像を抽出する。

続いて、ステップＳ１３において、画像処理装置１０は、復元処理を行う。続いて、ステップＳ１４において、画像処理装置１０は、部分画像と復元画像とを合成する重み付け合成処理を行う。そして、ステップＳ１５において、画像処理装置１０は、撮像画像に対して合成画像を挿入する挿入処理を行う。

以下、図３から図７を参照して、ステップＳ１１からステップＳ１５の各処理について更に説明する。

図３は、ステップＳ１１において入力される撮像画像の一例を示す。ステップＳ１１において、入力部１２は、デジタルカメラ等により撮像された撮像画像の画像データを入力する。図３の例においては、撮像画像には、人物と建物とが映っている。撮像画像における人物は、カメラに対して建物よりも手前に位置している。そして、本例の撮像画像は、人物にピントを合わせて撮像がされなかったので、人物がボケている。

図４は、ステップＳ１２において特定される補正対象領域３０の一例を示す。ステップＳ１２において、特定部１４は、撮像画像のうち、ボケを復元すべき一部の補正対象領域を特定する。

特定部１４は、一例として、ユーザが指定した領域の情報を受け取る。そして、特定部１４は、一例として、撮像画像におけるユーザにより指定された領域を補正対象領域として特定する。これにより、特定部１４は、ユーザの着目領域に対してボケの復元処理をさせることができる。

また、特定部１４は、一例として、顔検出等を行う事で、撮像画像中における主要被写体を検出する。そして、特定部１４は、一例として、撮像画像における主要被写体を含む領域を補正対象領域として特定する。これにより、特定部１４は、撮像画像中におけるユーザが着目するであろうと予測される領域に対してボケの復元処理をさせることができる。

また、特定部１４は、一例として、色差面のエッジ情報を用いて撮像画像における軸上色収差が生じている領域を検出する。そして、特定部１４は、一例として、撮像画像における軸上色収差が生じている箇所を含む領域を補正対象領域として特定する。これにより、特定部１４は、軸上色収差により少なくとも１つの色面にボケが生じている領域に対してボケの復元処理をさせることができる。

また、特定部１４は、一例として、画像の撮影時にカメラがフォーカスを合わせた位置を示す情報を受け取る。そして、特定部１４は、一例として、撮像画像の撮像においてフォーカスを合わせた画面位置に応じて補正対象領域を特定する。これにより、特定部１４は、撮像者が主要な被写体と判断した領域に対してボケの復元処理をさせることができる。

続いて、抽出部１６は、特定部１４により特定された補正対象領域から部分画像を抽出する。抽出部１６は、一例として、撮像画像から部分画像を切り出してもよいし、同時に部分画像における補正対象領域以外の部分をマスクする為のマスク画像を生成してもよい。

図４の例においては、特定部１４は、人物を含む矩形の領域を補正対象領域として特定する。これにより、特定部１４は、撮像画像における人物に生じているボケを復元をさせることができる。

図５は、ステップＳ１３における復元処理の一例を示す。ステップＳ１３において、復元部１８は、部分画像における独立した複数の色面のうち少なくとも１つの色面に対して復元処理を行って、復元画像を生成する。

ここで、復元部１８は、予め定められたアルゴリズムを用いて復元処理を行う。このアルゴリズムは、ボケ画像がボケの無い理想画像をボカした画像であるという仮定の下、ベイズ統計等の理論モデルを用いて目的関数を作り、ボケ画像から元画像を予測するアルゴリズムである。即ち、復元部１８は、理想画像を予め定められたボケ関数によりぼかした画像と部分画像との差に応じて計算される目的関数の値を、最小とする理想画像を算出する。例えば、復元部１８は、特許文献１および非特許文献１〜３の何れかに記載のアルゴリズムを復元処理に用いる。

以下の式（１）は、非特許文献２に記載されたアルゴリズムを用いた場合における、復元部１８により処理される演算を示す。非特許文献２は、ＢａｙｅｓｉａｎＡｌｇｏｒｉｔｙｍおよび画像モデルを用いた目的関数の導出方法が記載されている。

式（１）において、Ｊ_Ｂ（ｇ，ｆ；β，ｍ，ｌ）は、目的関数を表す。また、ｇは撮像画像、ｆは理想画像を表わし、ここでは１次元のベクトル表示で表される。Ｈはボケ関数を表す行列である。

また、Ｑは、画像のエッジを算出する演算行列を表し、ｋ＝１〜４は、縦方向、横方向、右上方向および左上方向のそれぞれの方向のエッジを指定する係数である。

さらに、βはショットノイズの分散に関する量で、画像のノイズ成分の影響を表す。ｍ、ｌは、式（１）のモデルパラメータで、理想画像ｆから算出されるエッジ画像の分布の振舞いを制限するパラメータである。

復元部１８では、以上のような式（１）におけるＪ_Ｂ（ｇ，ｆ；β，ｍ，ｌ）の最小値を逐次近似により算出する。そして、復元部１８は、Ｊ_Ｂを最小化したときのｆを復元画像として出力する。

また、目的関数を用いて、予め定められたボケ関数を用いて理想画像をぼかしたものと撮像画像との差に応じて理想画像を予測するアルゴリズムでは、何らかのボケ関数Ｈを用いる必要がある。復元部１８は、一例として、下記の式（２）で定義される汎用ボケ関数（ｆ（ｘ；α＝０．５）を用いる。

式（２）において、Γ（ｘ）はガンマ関数を表す。また、式（２）を用いる場合には、σの値を変更することによりボケ関数のフィルタサイズが変えられるため、復元の強度を調整することができる。

また、このようなボケ関数に代えて、復元部１８は、一例として、画像にレンズのデフォーカスによるボケを与えるボケ関数Ｈを用いてもよい。これにより、復元部１８は、レンズのデフォーカスにより画像に生じたボケを復元することができる。

また、復元部１８は、一例として、画像に撮像における手振れによるボケを与えるボケ関数Ｈを用いてもよい。これにより、復元部１８は、手振れにより画像に生じたボケを復元することができる。

また、復元部１８は、一例として、画像の拡大に応じたボケを更に与えるボケ関数を用いてもよい。これにより、復元部１８は、例えば画像拡大により画像に生じたボケを超解像処理により復元することができる。

以上のような復元処理を行うことにより、復元部１８は、従来のエッジ強調による画像の鮮明化を行う処理方法と比較して、より自然に画像を復元することができる。また、復元部１８は、エッジ強調により復元できないような大きなボケも復元することができる。

図６は、ステップＳ１４における重み付け合成処理の一例を示す。ステップＳ１４において、合成部２０は、補正対象領域内の画像と補正対象領域外の画像とが自然に接続されるように、部分画像と復元画像とを重み付けをして加算した合成画像を生成する。

合成部２０は、一例として、部分画像における主要被写体の位置に応じて重み付けをする。合成部２０は、一例として、主要被写体の領域については、復元画像に乗じる重みを１とし、部分画像に乗じる重みを０とする。そして、合成部２０は、主要被写体の以外の領域については、復元画像に乗じる重みを０とし、部分画像に乗じる重みを１とする。これにより、合成部２０は、補正対象領域における周縁部分をボケ復元していない元々の画像とすることができるので、補正対象領域の境界において自然に画像を接続することができる。

また、０および１の２値マスク状の重みではなく、主要被写体の境界部分において、部分画像と復元画像とが滑らかに混合させるように、多値マスクによる重みを用いてもよい。また、合成部２０は、主要被写体の位置を演算により検出してもよいし、ユーザからの指定を受けてもよい。

また、合成部２０は、一例として、部分画像における軸上色収差が生じている箇所の位置に応じて重み付けをしてもよい。より具体的には、合成部２０は、軸上色収差が生じている箇所については、復元画像に乗じる重みを１とし、部分画像に乗じる重みを０とする。そして、合成部２０は、軸上色収差が生じていない箇所については、復元画像に乗じる重みを０とし、部分画像に乗じる重みを１とする。これにより、合成部２０は、軸上色収差の影響によりボケの生じている領域についてのみ復元した画像とし、ボケの生じていない領域については元の画像として、自然な違和感の無い画像を生成することができる。

また、合成部２０は、一例として、部分画像に含まれるエッジ量に応じて重みを変更する。より具体的には、合成部２０は、エッジ量が例えば基準値より多くボケが生じていないと判断される箇所については、復元画像に乗じる重みを０とし、部分画像に乗じる重みを１とする。そして、合成部２０は、エッジ量が例えば基準値より少なくボケが生じていると判断される箇所については、復元画像に乗じる重みを１とし、部分画像に乗じる重みを０とする。これにより、合成部２０は、ボケの生じている領域についてのみ復元した画像とし、ボケの生じていない領域については元の画像として、自然な違和感の無い画像を生成することができる。更に一例として、０，１の２値マスクを平滑化フィルタで均す事で、境界部が滑らかにつながる多値マスクにしてもよい。こうする事で、２値マスクから、自然な合成が行える多値マスクの生成が比較的簡単にできる。

また、以上の処理に代えてまたは加えて、合成部２０は、一例として、補正対象領域における中心からの距離に応じた重みを用いて、部分画像と復元画像とを重み付けをして加算した合成画像を生成してもよい。より具体的には、合成部２０は、復元画像に乗じる重みについては、補正対象領域における中心において大きくし、中心から離れるに従って小さくする。反対に、合成部２０は、部分画像に乗じる重みについては、補正対象領域における中心において小さくし、中心から離れるに従って大きくする。

これにより、合成部２０は、補正対象領域の周縁部分においては、元の画像である部分画像の成分を多く含むので、補正対象領域の境界において自然に画像が接続される。反対に、合成部２０は、補正対象領域の中心部分においては、復元画像の成分を多く含むので、ボケの無い鮮明な画像とすることができる。

また、合成部２０は、一例として、補正対象領域における境界からの距離に応じた重みを用いて、部分画像と復元画像とを重み付けをして加算した合成画像を生成してもよい。より具体的には、合成部２０は、復元画像に乗じる重みについては、補正対象領域における境界において小さくし、境界から内側に向かうに従い大きくする。反対に、合成部２０は、部分画像に乗じる重みについては、補正対象領域における境界において大きくし、境界から内側に向かうに従い小さくする。

このようにしても、合成部２０は、補正対象領域の周縁部分においては、元の画像である部分画像の成分を多く含むので、補正対象領域の境界において自然に画像が接続される。反対に、合成部２０は、補正対象領域の中心部分においては、復元画像の成分を多く含むので、ボケの無い鮮明な画像とすることができる。

図７は、ステップＳ１５における合成画像を撮像画像に挿入する処理の一例を示す。ステップＳ１５において、補正部２２は、撮像画像における補正対象領域に、ステップＳ１４において算出した合成画像を挿入する。即ち、ステップＳ１５において、補正部２２は、撮像画像における補正対象領域の画像を、ステップＳ１４において算出した合成画像に置き換えて補正撮像画像を生成する。そして、補正部２２は、このように生成した補正撮像画像を出力する。

以上のステップＳ１１からステップＳ１５の処理を実行することにより、画像処理装置１０は、撮像画像におけるボケの生じた箇所または撮像画像における着目される箇所にのみボケ復元を行い、他の箇所についてはボケ復元を行わないようにすることができる。これにより、画像処理装置１０によれば、違和感の無い自然な画像復元を行うことができる。さらに、画像処理装置１０によれば、演算コストも小さくすることができる。

図８は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ１９００にインストールされ、コンピュータ１９００を画像処理装置１０として機能させるプログラムは、入力モジュールと、特定モジュールと、抽出モジュールと、復元モジュールと、合成モジュールと、補正モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、入力部１２、特定部１４、抽出部１６、復元部１８、合成部２０および補正部２２としてそれぞれ機能させる。

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である入力部１２、特定部１４、抽出部１６、復元部１８、合成部２０および補正部２２として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理装置１０が構築される。

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０画像処理装置、１２入力部、１４特定部、１６抽出部、１８復元部、２０合成部、２２補正部、３０補正対象領域、１９００コンピュータ、２０００ＣＰＵ、２０１０ＲＯＭ、２０２０ＲＡＭ、２０３０通信インターフェイス、２０４０ハードディスクドライブ、２０５０フレキシブルディスク・ドライブ、２０６０ＣＤ−ＲＯＭドライブ、２０７０入出力チップ、２０７５グラフィック・コントローラ、２０８０表示装置、２０８２ホスト・コントローラ、２０８４入出力コントローラ、２０９０フレキシブルディスク、２０９５ＣＤ−ＲＯＭ

Claims

撮像画像のうち一部の補正対象領域を特定する特定部と、
前記補正対象領域から抽出した部分画像における独立した複数の色面のうち少なくとも１つの色面に対して、ボケ画像からボケの無い画像を復元する復元処理を行って、復元画像を生成する復元部と、
前記撮像画像における前記補正対象領域を前記復元画像により補正した補正撮像画像を生成する補正部と、
前記部分画像と前記復元画像とを合成した合成画像を生成する合成部と、
を備え、
前記補正部は、前記撮像画像における前記補正対象領域の画像を前記合成画像に置き換えて前記補正撮像画像を生成して、
前記合成部は、前記部分画像と前記復元画像とを重み付けをして加算した合成画像を生成して、前記部分画像における主要被写体の位置に応じて重み付けをする
画像処理装置。
撮像画像のうち一部の補正対象領域を特定する特定部と、
前記補正対象領域から抽出した部分画像における独立した複数の色面のうち少なくとも１つの色面に対して、ボケ画像からボケの無い画像を復元する復元処理を行って、復元画像を生成する復元部と、
前記撮像画像における前記補正対象領域を前記復元画像により補正した補正撮像画像を生成する補正部と、
前記部分画像と前記復元画像とを合成した合成画像を生成する合成部と、
を備え、
前記補正部は、前記撮像画像における前記補正対象領域の画像を前記合成画像に置き換えて前記補正撮像画像を生成して、
前記合成部は、前記部分画像と前記復元画像とを重み付けをして加算した合成画像を生成して、前記部分画像における軸上色収差が生じている箇所の位置に応じて重み付けをする
画像処理装置。
前記特定部は、前記撮像画像におけるユーザにより指定された領域を前記補正対象領域として特定する
請求項１または２に記載の画像処理装置。
前記特定部は、前記撮像画像における主要被写体を含む領域を前記補正対象領域として特定する
請求項１または２に記載の画像処理装置。
前記特定部は、前記撮像画像における軸上色収差が生じている箇所を含む領域を前記補正対象領域として特定する
請求項１または２に記載の画像処理装置。
前記特定部は、前記撮像画像の撮像においてフォーカスを合わせた画面位置に応じて前記補正対象領域を特定する
請求項１または２に記載の画像処理装置。
前記合成部は、前記補正対象領域における中心からの距離に応じた重みを用いて、前記部分画像と前記復元画像とを重み付けをして加算した合成画像を生成する
請求項１から６の何れか１項に記載の画像処理装置。
前記合成部は、前記部分画像に含まれるエッジ量に応じて重みを変更する
請求項１から７の何れか１項に記載の画像処理装置。
前記復元部は、理想画像を予め定められたボケ関数によりぼかした画像と前記部分画像との差に応じた目的関数を最小とする前記理想画像を算出するアルゴリズムを、復元処理に用いる
請求項１から８の何れか１項に記載の画像処理装置。
前記復元部は、画像にレンズのデフォーカスによるボケを与えるボケ関数を用いる
請求項９に記載の画像処理装置。
前記復元部は、画像に撮像における手振れによるボケを与えるボケ関数を用いる
請求項９または１０に記載の画像処理装置。
前記復元部は、画像に拡大に応じたボケを与えるボケ関数を用いる
請求項９から１１の何れか１項に記載の画像処理装置。
撮像画像のうち一部の補正対象領域を特定し、
前記補正対象領域から抽出した部分画像における独立した複数の色面のうち少なくとも１つの色面に対して、ボケ画像からボケの無い画像を復元する復元処理を行って、復元画像を生成し、
前記撮像画像における前記補正対象領域を前記復元画像により補正した補正撮像画像を生成して、
前記部分画像と前記復元画像とを合成した合成画像を生成して、
前記補正では、前記撮像画像における前記補正対象領域の画像を前記合成画像に置き換えて前記補正撮像画像を生成して、
前記合成画像の生成では、前記部分画像と前記復元画像とを重み付けをして加算した合成画像を生成して、前記部分画像における主要被写体の位置に応じて重み付けをする
画像処理方法。
撮像画像のうち一部の補正対象領域を特定し、
前記補正対象領域から抽出した部分画像における独立した複数の色面のうち少なくとも１つの色面に対して、ボケ画像からボケの無い画像を復元する復元処理を行って、復元画像を生成し、
前記撮像画像における前記補正対象領域を前記復元画像により補正した補正撮像画像を生成する
前記部分画像と前記復元画像とを合成した合成画像を生成して、
前記補正では、前記撮像画像における前記補正対象領域の画像を前記合成画像に置き換えて前記補正撮像画像を生成して、
前記合成画像の生成では、前記部分画像と前記復元画像とを重み付けをして加算した合成画像を生成して、前記部分画像における軸上色収差が生じている箇所の位置に応じて重み付けをする
画像処理方法。
コンピュータを撮像画像のボケを復元する画像処理装置として機能させるためのプログラムであって、
前記画像処理装置は、
撮像画像のうち一部の補正対象領域を特定する特定部と、
前記補正対象領域から抽出した部分画像における独立した複数の色面のうち少なくとも１つの色面に対して、ボケ画像からボケの無い画像を復元する復元処理を行って、復元画像を生成する復元部と、
前記撮像画像における前記補正対象領域を前記復元画像により補正した補正撮像画像を生成する補正部と、
前記部分画像と前記復元画像とを合成した合成画像を生成する合成部と、
を備え、
前記補正部は、前記撮像画像における前記補正対象領域の画像を前記合成画像に置き換えて前記補正撮像画像を生成して、
前記合成部は、前記部分画像と前記復元画像とを重み付けをして加算した合成画像を生成して、前記部分画像における主要被写体の位置に応じて重み付けをする
プログラム。
コンピュータを撮像画像のボケを復元する画像処理装置として機能させるためのプログラムであって、
前記画像処理装置は、
撮像画像のうち一部の補正対象領域を特定する特定部と、
前記補正対象領域から抽出した部分画像における独立した複数の色面のうち少なくとも１つの色面に対して、ボケ画像からボケの無い画像を復元する復元処理を行って、復元画像を生成する復元部と、
前記撮像画像における前記補正対象領域を前記復元画像により補正した補正撮像画像を生成する補正部と、
前記部分画像と前記復元画像とを合成した合成画像を生成する合成部と、
を備え、
前記補正部は、前記撮像画像における前記補正対象領域の画像を前記合成画像に置き換えて前記補正撮像画像を生成して、
前記合成部は、前記部分画像と前記復元画像とを重み付けをして加算した合成画像を生成して、前記部分画像における軸上色収差が生じている箇所の位置に応じて重み付けをする
プログラム。