JP5631935B2 - 画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置 - Google Patents

Description

本発明の実施形態は、画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置に関する。

マイクロレンズアレイを備えたライトフィールドカメラや、カメラアレイなどにより、隣接する画像に同一の被写体が位置をずらされて写っている複数の画像を同時に撮像する技術が知られている。このように、隣接する画像に同一の被写体が位置をずらされて撮像された複数の画像をずらして重ね合わせることで、画像内に指定した任意の距離に焦点を合わせた画像を再構成することが可能である。この焦点を変更して再構成した画像をリフォーカス画像と呼ぶ。

特開２００７−００４４７１号公報 特開２０１１−０２２７９６号公報

しかしながら、従来技術では、焦点を合わせた被写体の距離から離れた距離を写した領域では、重ね合わせた画像間での画素値の変化量が大きく、リフォーカス画像に偽像状のアーチファクトが発生するという問題点があった。

本発明が解決しようとする課題は、アーチファクトが抑制されたリフォーカス画像を生成可能な画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置を提供することにある。

実施形態の画像処理装置は、生成部が、撮像部により、撮像部から被写体上の点の位置までの距離に応じて被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する。処理部は、生成されたリフォーカス画像の各画素に対して、合焦の度合いに応じた強さでぼかし処理を施す。算出部は、合焦の度合いが低いほど大きな値を示す非フォーカス度をリフォーカス画像の画素毎に算出する。処理部は、リフォーカス画像の各画素に対して、リフォーカス画像の画素の非フォーカス度が大きいほど強くぼかし処理を施し、算出部は、所定の距離に応じて決まる拡大率に従い複数の単位画像を拡大した際に重ね合わされた各単位画像において画素位置が一致する各画素の画素値のばらつきに応じた大きさの非フォーカス度を算出する。

第１の実施形態に係る画像処理装置の一例の構成を示すブロック図。 第１の実施形態に適用可能な取得部の一例の構成を概略的に示す図。 第１の実施形態に適用可能な取得部で取得される画像の例を示す模式図。 第１の実施形態に係る画像処理装置の動作を示す一例のフローチャート。 第１の実施形態に係るリフォーカス画像生成処理の例を示すフローチャート。 第１の実施形態に係る、各マイクロレンズ像を拡大した様子を示す模式図。 第１の実施形態に係るリフォーカス画像の生成について説明するための図。 第１の実施形態に係る非フォーカス度の一例の算出処理を示すフローチャート。 第１の実施形態に係る画像処理装置の別の例の構成を示すブロック図。 第１の実施形態に係るぼかし処理の例を示すフローチャート。 第１の実施形態に係る、カーネルの大きさに対して上下限値を設ける場合の例を示す図。 第１の実施形態に係る非フォーカス度のマップの例を示す図。 第２の実施形態による撮像装置の一例の構成を示すブロック図。 第３の実施形態によるセンサ装置の一例の構成を示すブロック図。 第４の実施形態に適用可能な画像処理システムの一例の構成を示すブロック図。 他の実施形態による、画像処理装置を適用可能なコンピュータ装置の一例の構成を示すブロック図。

（第１の実施形態）
以下、第１の実施形態に係る画像処理装置について説明する。図１は、第１の実施形態に係る画像処理装置１００の一例の構成を示す。画像処理装置１００は、取得部１０１で取得された画像に対して第１の実施形態による処理を施す。画像処理装置１００は、リフォーカス処理部１０２、非フォーカス度算出部１０３およびぼかし処理部１０４を有する。これらリフォーカス処理部１０２、非フォーカス度算出部１０３およびぼかし処理部１０４は、協働するハードウェアによって構成してもよいし、一部または全部をＣＰＵ(Central Processing Unit)上で動作するプログラムにより構成してもよい。

取得部１０１は、取得部１０１から被写体上の位置までの距離に応じて被写体上の点の位置が異なる位置に撮像された複数の単位画像を取得する。

図２は、第１の実施形態に適用可能な取得部１０１の一例の構成を概略的に示す。図２の例では、取得部１０１は、光学系として、被写体１２０からの光を結像させるメインレンズ１１０と、マイクロレンズが所定ピッチで複数配列されたマイクロレンズアレイ１１１とを備える。さらに、取得部１０１は、マイクロレンズアレイ１１１の各マイクロレンズにより結像された光を電気信号に変換して出力するセンサ１１２を備える。図２の例では、メインレンズ１１０の結像面がメインレンズ１１０およびマイクロレンズアレイ１１１の間（像面Ｚ）に位置するように、メインレンズ１１０が設定されている。

図示は省略するが、取得部１０１は、さらに、センサを駆動するセンサ駆動部を備える。センサ駆動部は、外部からの制御信号に従い駆動制御される。

センサ１１２は、受光面に受光した光を電気信号に変換して出力する。センサ１１２としては、例えばＣＣＤ(Charge Coupled Device)イメージセンサや、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサを用いることができる。これらのイメージセンサでは、それぞれ画素に対応する受光素子が受光平面上にマトリクス状に並べられて構成され、受光素子それぞれの光電変換によって、光が各画素の電気信号に変換されて出力される。

取得部１０１は、メインレンズ１１０上のある位置から、マイクロレンズアレイ１１１上のある位置に入射した光を、センサ１１２で受光し、画素毎の画素信号を含む画像信号を出力する。この取得部１０１のような構成の撮像装置は、ライトフィールドカメラやＰｌｅｎｏｐｔｉｃカメラという名称で知られている。

図３は、取得部１０１で撮像され取得される画像の例を模式的に示す。マイクロレンズアレイ１１１の各マイクロレンズによりセンサ１１２の受光面に結像された像１３１、１３１、…がマイクロレンズの配列に対応して配置された画像１３０が取得部１０１で取得される。また、像１３１がマイクロレンズアレイ１１１における各マイクロレンズの配列に従って配置された画像１３０を、以下、複眼画像１３０と呼ぶ。なお、各像１３１、１３１、…は、複眼画像１３０を構成する単位となる単位画像である。

各マイクロレンズによる各像１３１は、センサ１１２上に重なり無く結像されることが望ましい。また、図３に例示される複眼画像１３０中の各像１３１は実像であるため、各像１３１を個々に抜き出して上下左右反転したものをマイクロレンズ像１３１とし、これを単位画像として以下の説明を行う。すなわち、１つのマイクロレンズにより結像された像の画像がマイクロレンズ像１３１であり、マイクロレンズ像１３１が複数並んだ画像が複眼画像１３０である。

ここで、図２の構成によれば、被写体１２０からの光は、被写体１２０の全体または被写体１２０における小領域が各マイクロレンズの位置に応じて少しずつずれて、各マイクロレンズ像１３１として撮像されることになる。すなわち、取得部１０１は、２以上のマイクロレンズにより共通に結像される被写体１２０上の注目点の位置が、この２以上のマイクロレンズそれぞれの注目点までの距離に応じてずれて撮像された２以上のマイクロレンズ像１３１を取得する。換言すれば、取得部１０１は、注目点が複数のマイクロレンズそれぞれからの距離に応じて異なる位置に撮像された複数のマイクロレンズ像１３１を取得する。

なお、上述では、取得部１０１において、メインレンズ１１０の結像面がメインレンズ１１０とマイクロレンズアレイ１１１との間にあるように説明したが、これはこの例に限定されない。例えば、メインレンズ１１０の結像面をマイクロレンズアレイ１１１上に設定してもよいし、センサ１１２の後方側に位置するように設定してもよい。メインレンズ１１０による結像面をセンサ１１２の後方側に位置させる場合、センサ１１２に結像するマイクロレンズ像１３１は、虚像となる。

また、上述では、取得部１０１がマイクロレンズが多数配列されたマイクロレンズアレイ１１１を用いるものとして説明したが、これはこの例に限定されない。例えば、取得部１０１は、多数のカメラが配列されたカメラアレイを用いてもよい。マイクロレンズアレイを用いる場合は、１つのセンサを用いることが一般的である。これに対して、カメラアレイを用いる場合は、カメラアレイを構成する個々のカメラが１つずつのセンサを持つ。マイクロレンズによる像の縮小率は、カメラアレイのカメラのレンズの縮小率に相当する。また、マイクロレンズ間のピッチは、カメラアレイのカメラ間の距離に相当する。カメラアレイを用いた場合、各カメラの撮像画像が単位画像となり、カメラアレイ全体の出力画像が複眼画像となる。

図１の説明に戻り、リフォーカス処理部１０２は、取得部１０１で取得された複眼画像１３０から、取得部１０１（メインレンズ１１０）からの距離が指定した距離である被写体に合焦させたリフォーカス画像を生成する。ぼかし処理部１０４は、リフォーカス処理部１０２から出力されたリフォーカス画像に対して、リフォーカス画像の各画素の合焦の度合いに応じた強さでぼかし処理を施す。ぼかし処理部１０４でぼかし処理を施されたリフォーカス画像が出力画像として画像処理装置１００から出力される。

ぼかし処理部１０４によるぼかし処理は、より具体的には以下のように行う。非フォーカス度算出部１０３は、取得部１０１で取得された複眼画像１３０から、リフォーカス画像の画素毎に、合焦の度合いを示す非フォーカス度を算出する。この場合、非フォーカス度は、より焦点がずれている（合焦の度合いが低い）場合に、より大きな値を示すように算出する。ぼかし処理部１０４は、この非フォーカス度に基づき、リフォーカス処理部１０２から出力されたリフォーカス画像に対して、上述したぼかし処理を施す。ぼかし処理部１０４でぼかし処理を施されたリフォーカス画像が出力画像として画像処理装置１００から出力される。

図４は、第１の実施形態に係る画像処理装置１００の動作を示す一例のフローチャートである。先ず、ステップＳ２１で、取得部１０１により複眼画像１３０が取得される。取得された複眼画像１３０は、リフォーカス処理部１０２および非フォーカス度算出部１０３に供給される。次のステップＳ２２で、リフォーカス処理部１０２は、ステップＳ２１で取得部１０１から供給された複眼画像１３０から、合焦位置を変更したリフォーカス画像を生成する。次のステップＳ２３で、非フォーカス度算出部１０３は、ステップＳ２１で取得部１０１から供給された複眼画像１３０から、リフォーカス画像の各画素について、非フォーカス度を算出する。そして、ステップＳ２４で、ぼかし処理部１０４は、ステップＳ２２で生成されたリフォーカス画像に対して、ステップＳ２３で算出された非フォーカス度に基づきぼかし処理を施す。

ステップＳ２２のリフォーカス画像生成処理について説明する。リフォーカス処理部１０２は、ステップＳ２２で、取得部１０１から供給された複眼画像１３０から、取得部１０１（メインレンズ１１０）から被写体１２０に向けた所定の距離に合焦したリフォーカス画像を生成する。所定の距離は、予め決められた距離を用いてもよいし、図示されない入力部に対する入力などにより、ユーザが指定してもよい。リフォーカス処理部１０２は、合焦させる距離に対応した拡大倍率により単位画像を拡大して重ね合わせることで、リフォーカス画像を生成する。

図５は、リフォーカス処理部１０２によるリフォーカス画像生成処理の例を示すフローチャートである。図５の説明に先んじて、焦点を合わせる距離と、単位画像であるマイクロレンズ像１３１の拡大倍率との関係を、図２を参照して説明する。像面Ｚは、リフォーカス処理により生成する画像の像面を示す。距離Ａは、合焦させたい被写体１２０とメインレンズ１１０との間の距離を示す。距離Ｂは、メインレンズ１１０と像面Ｚとの間の距離を示す。また、距離Ｃは像面Ｚとマイクロレンズアレイ１１１との間の距離、距離Ｄは、マイクロレンズアレイ１１１とセンサ１１２との間の距離を示す。なお、像面Ｚには、メインレンズ１１０からの距離が距離Ａである被写体１２０の像が結像するものとする。

像面Ｚの像を生成するためには、マイクロレンズ像１３１をＣ／Ｄ倍で拡大して、マイクロレンズのピッチ分だけずらして重ね合わせればよい。このとき、レンズの性質から、距離Ａと距離Ｂとは１対１の対応関係にあり、距離Ｂ＋距離Ｃを固定の距離Ｋとすれば、距離Ａと距離Ｃとは、１対１の対応関係となる。これにより、距離Ａから逆算して距離Ｃの値を決定することで、マイクロレンズ像１３１の拡大倍率ｍを定めることができる。

図５のフローチャートの説明に戻り、ステップＳ９１で、リフォーカス処理部１０２は、上述したようにして、合焦させたい距離Ａにより定められる拡大倍率ｍを求める。

リフォーカス処理部１０２は、次のステップＳ９２で、各マイクロレンズ像１３１をステップＳ９１で求めた拡大倍率ｍにより拡大する。マイクロレンズ像１３１の拡大方法は、特に限定されず、例えば双線形補間や３次畳込み内挿法などの一般的な画像拡大手法を適用することができる。ｉ番目のマイクロレンズ像１３１を拡大した画像をマイクロレンズ像Ｍ_iとする。

図６は、各マイクロレンズ像１３１を拡大倍率ｍで拡大した様子を模式的に示す。図６の例では、互いに隣接する３のマイクロレンズにより撮像されたマイクロレンズ像１３１₁、１３１₂および１３１₃を、それぞれ拡大倍率ｍで拡大している。拡大された各マイクロレンズ像Ｍ₁、Ｍ₂およびＭ₃は、互いに重なり合う部分が発生している。

リフォーカス処理部１０２は、次のステップＳ９３で、ステップＳ９２で拡大した各マイクロレンズ像Ｍ_iを、そのマイクロレンズ像Ｍ_iを結像したマイクロレンズの中心座標ｏ_iの差分だけずらして画素毎に重ね合わせる。そして、リフォーカス処理部１０２は、次のステップＳ９４で、重ね合わせて位置が一致する画素の値の平均値を計算し、この平均値を画素値としたリフォーカス画像１４０（図６参照）を生成する。

ｉ番目のマイクロレンズ像Ｍ_iのセンサ１１２上における中心座標ｏ_iを用いて、リフォーカス画像Ｉの画素値は、次の式（１）で計算できる。なお、式（１）において、Ｗ(ｘ)は、座標ｘに重なるマイクロレンズ像Ｍ_iの番号ｉの集合であり、記号｜・｜は、集合の要素数を表す。

図７を用いて、リフォーカス画像１４０の生成についてより具体的に説明する。例えば、拡大された各マイクロレンズ像Ｍ₁、Ｍ₂およびＭ₃は、像面Ｚ上で、図７に例示されるように、それぞれセンサ１１２上におけるマイクロレンズ像１３１₁、１３１₂および１３１₃（図６参照）の各中心座標ｏ₁、ｏ₂およびｏ₃を中心に配置され、拡大されたマイクロレンズ像Ｍ_i同士が重なる重なり部分が発生している。

この場合、例えば拡大されたマイクロレンズ像Ｍ₁およびＭ₂が重なった重なり部分の座標ｘ₁の画素値は、拡大されたマイクロレンズ像Ｍ₁およびＭ₂が重ね合わされた際に当該座標ｘ₁に位置する画素値の平均により計算できる。同様に、拡大されたマイクロレンズ像Ｍ₁、Ｍ₂およびＭ₃が重なった重なり部分の座標ｘ₂は、拡大されたマイクロレンズ像Ｍ₁、Ｍ₂およびＭ₃中の該当する画素値の平均により計算できる。

なお、リフォーカス画像１４０の大きさは自由に設定することができる。リフォーカス画像１４０の大きさをセンサ１１２の解像度の１／αにするときは、拡大倍率と各中心座標ｏ_iとをそれぞれ１／α倍にした値を用いて、リフォーカス処理部１０２によるリフォーカス処理をすればよい。

また、各マイクロレンズ像１３１の拡大を行わずに、単位画像のずらし量を変更することでリフォーカス画像１４０を生成することもできる。このとき、ずらし量は、上述した拡大倍率ｍを用い、各中心座標ｏ_iを１／ｍ倍した値を用いて、式（１）によりリフォーカス画像１４０を生成すればよい。

ユーザが後から距離Ａを設定する場合、距離Ａを設定するのではなく、拡大倍率ｍを直接的に設定してもよい。この場合、ユーザは、設定した拡大倍率ｍに応じたリフォーカス画像１４０を確認しながら、合焦させたい被写体に焦点が合うまで、繰り返し拡大倍率ｍの設定を変更することができる。

なお、カメラアレイにより撮影した複眼画像を処理する場合も、合焦させた距離Ａに応じて決まるカメラ間の視差量をずらし量として、単位画像をずらして重ね、重なった画素値の平均値を計算することで、リフォーカス画像１４０を生成できる。

図４のフローチャートにおけるステップＳ２３の非フォーカス度算出処理について説明する。非フォーカス度算出部１０３は、リフォーカス画像１４０の画素毎に、合焦の度合いの低さを示す非フォーカス度を算出する。より具体的には、非フォーカス度は、フォーカスが合っていない程、すなわち合焦の度合いが低い程、大きい値を示す値である。

非フォーカス度算出部１０３は、各単位画像（マイクロレンズ像１３１）が拡大されたマイクロレンズ像Ｍ_iが重ね合わされた重なり部分において、各マイクロレンズ像Ｍ_iの位置が対応する画素の画素値のばらつきを算出する。そして、非フォーカス度算出部１０３は、算出した画素値にばらつきが大きい程、大きな値となるように非フォーカス度を算出する。

図８は、非フォーカス度算出部１０３における非フォーカス度Ｊの一例の算出処理を示すフローチャートである。非フォーカス度算出部１０３は、ステップＳ１００１〜ステップＳ１００３で、上述したリフォーカス処理部１０２の処理と同じ拡大倍率ｍとマイクロレンズの中心座標ｏ_iとを用いて各マイクロレンズ像１３１を拡大し、拡大された各マイクロレンズ像Ｍ_iを重ね合わせる。なお、このステップＳ１００１〜ステップＳ１００３の処理は、図５を用いて説明したリフォーカス処理部１０２によるステップＳ９１〜ステップＳ９３の処理と同一なので、ここでの詳細な説明を省略する。

非フォーカス度算出部１０３は、各マイクロレンズ像Ｍ_iの重ね合わせを行うと、次のステップＳ１００４で、重ね合わせた際に位置が一致する画素の画素値のばらつきを算出する。ばらつきは、例えば、式（２）に従い、重ね合わせて位置が一致するマイクロレンズ像Ｍ_iの画素の画素値の分散を、非フォーカス度Ｊとして求める。

なお、非フォーカス度Ｊの算出は、式（２）の分散による方法に限定されない。例えば、式（３）で表される、重なった各マイクロレンズ像Ｍ_iの位置が一致する画素値の平均値からの差分の平均値を、非フォーカス度Ｊとして算出してもよい。

マイクロレンズ像１３１は、合焦した被写体が撮像されている領域では、拡大してずらして重ねることで像が一致するために、拡大されて重なった各マイクロレンズ像Ｍ_iの位置が一致する画素の画素値のばらつきが小さくなる。そのため、上述の式（２）や式（３）で算出される非フォーカス度Ｊの値が小さくなる。一方、合焦していない被写体が撮像されている領域では、拡大されたマイクロレンズ像Ｍ_iを重ねても像が一致しないため、画素値のばらつきが大きくなり、式（２）や式（３）で算出される非フォーカス度Ｊの値が大きくなる。

なお、上述では、非フォーカス度算出部１０３は、リフォーカス処理部１０２と同様にしてリフォーカス画像１４０を生成して非フォーカス度Ｊを算出しているが、これはこの例に限定されない。すなわち、非フォーカス度算出部１０３は、リフォーカス処理部１０２における処理過程の情報を入力として受け取り、非フォーカス度Ｊの算出処理を行なってもよい。例えば、図９に画像処理装置１００’として例示されるように、非フォーカス度算出部１０３は、リフォーカス処理部１０２が処理過程で生成した、拡大したマイクロレンズ像Ｍ_iを受け取り、このマイクロレンズ像Ｍ_iを用いて非フォーカス度Ｊを算出してもよい。

なお、カメラアレイにより撮像して取得した複眼画像１３０から非フォーカス度Ｊを算出する場合は、リフォーカス処理部１０２でずらしたずらし量だけ単位画像をずらして重ね合わせたときの画素値のばらつきを計算する。

なお、非フォーカス度の計算方法は、上述した方法に限定されない。例えば、被写体から取得部１０１（メインレンズ１１０）までの距離を示す距離情報を別途取得し、この距離情報に基づき非フォーカス度Ｊを求めるようにしてもよい。この場合、取得した距離情報がリフォーカス処理部１０２で合焦した距離から離れる程、非フォーカス度Ｊが大きくなるように計算する。距離情報は、距離センサやステレオカメラを用いて別途計測した情報から計算することができる。また、複眼画像中の単位画像のずれ量を計算して、距離情報を取得することも可能である。

次に、図４のフローチャートにおけるステップＳ２４のぼかし処理について説明する。ぼかし処理部１０４は、ステップＳ２３で非フォーカス度算出部１０３で算出された非フォーカス度Ｊに基づき、ステップＳ２２でリフォーカス処理部１０２で生成されたリフォーカス画像１４０に対してぼかし処理を施す。

図１０は、ぼかし処理部１０４による一例のぼかし処理を示すフローチャートである。ステップＳ１１０１で、ぼかし処理部１０４は、リフォーカス処理部１０２から供給されたリフォーカス画像１４０上の１の座標ｘ_pを注目画素の座標として選択する。ぼかし処理部１０４は、次のステップＳ１１０２で、出力画像の画素値を計算するためのカーネルの大きさを、座標ｘ_pの非フォーカス度Ｊ(ｘ_p)に応じて決定する。カーネルは、フィルタ処理により画像をぼかす際の、１の座標（注目画素）に対してフィルタ処理を行う画像範囲である。すなわち、カーネルは、注目画素の近傍に位置する各近傍画素を含む範囲であるといえる。

ぼかし処理部１０４は、例えば、座標ｘ_pの非フォーカス度Ｊ(ｘ_p)が大きい程、カーネルのサイズを大きくする。座標ｘ_pにおけるカーネルの大きさをｋ(ｘ_p)とし、次の式（４）によりカーネルの大きさｋ(ｋ_p)を計算する。なお、式（４）において、値αは正の定数である。

ぼかし処理部１０４は、カーネルの大きさｋ(ｘ_p)に下限と上限の値を設けてもよい。図１１は、カーネルの大きさｋ(ｘ_p)に対して上下限値を設ける場合の例を示す。ぼかし処理部１０４は、この図１１に示した関係に従い、非フォーカス度Ｊ(ｘ_p)からカーネルの大きさｋ(ｘ_p)を算出する。

より具体的には、ぼかし処理部１０４は、非フォーカス度Ｊ(ｘ_p)の値が０から下限値ｔｈ₁の間であれば、カーネルの大きさｋ(ｘ_p)を値ｋ₁とする。ぼかし処理部１０４は、非フォーカス度Ｊ(ｘ_p)の値が下限値ｔｈ₁から上限値ｔｈ₂の間であれば、カーネルの大きさｋ(ｘ_p)を値ｋ₁から値ｋ₂まで、非フォーカス度Ｊ(ｘ_p)の値に応じて徐々に大きな値となるように設定する。また、ぼかし処理部１０４は、非フォーカス度Ｊ(ｘ_p)の値が上限値ｔｈ₂を超えていれば、カーネルの大きさｋ(ｘ_p)の値を上限値ｋ₂とする。

図１１に示したような非フォーカス度Ｊ(ｘ_p)とカーネルの大きさｋ(ｘ_p)との関係は、計算により求めてもよいし、テーブルとして予め用意しておいてもよい。

なお、カーネルの大きさｋ(ｘ_p)の値を１以上の奇数の整数となるように量子化すると、次のステップＳ１１０３の計算を簡単にすることができ、好ましい。

また、上述では、カーネルの大きさｋ(ｘ_p)を、１の座標ｘ_pにおける非フォーカス度Ｊ(ｘ_p)のみから決定するように説明したが、これはこの例に限定されない。例えば、座標ｘ_pの周辺の座標の非フォーカス度Ｊの値を用いてカーネルの大きさｋ(ｘ_p)を決定すると、リフォーカス画像１４０のアーチファクトをより効果的に低減することができ、好ましい。

例えば、座標ｘ_pを中心として水平および垂直方向それぞれに±ｂ画素の範囲の矩形領域の各座標の非フォーカス度Ｊを求め、求めた各非フォーカス度Ｊの最大値を求めて非フォーカス度Ｊ’(ｘ_p)とする。そして、上述の式（４）における非フォーカス度Ｊ(ｘ_p)の代わりにこの非フォーカス度Ｊ’(ｘ_p)を用いて、カーネルの大きさｋ(ｘ_p)を計算してもよい。例えば、次式（５）により、カーネルの大きさｋ(ｘ_p)を計算する。

また、上述の非フォーカス度Ｊ’(ｘ_p)の算出方法は、式（５）によるものに限られない。例えば、座標ｘ_pを中心として水平および垂直方向に±ｂ画素の範囲の矩形領域の各座標の非フォーカス度Ｊの平均値を用いて、カーネルの大きさｋ(ｘ_p)を求めることもできる。

次のステップＳ１１０３で、ぼかし処理部１０４は、ステップＳ１１０２で求めたカーネルの大きさｋ(ｘ_p)を用いて、座標ｘ_pにおける出力画像の画素値Ｉ’(ｘ_p)を、次式（６）により計算する。

ここで、式（６）において、Ｙ(ｘ_p)は、座標ｘ_pを中心に水平および垂直方向の長さがカーネルの大きさｋ(ｘ_p)である矩形領域内の座標の集合を示す。また、画素値Ｉ(ｘ)は、カーネル内の各画素の画素値を示す。画素値Ｉ’(ｘ_p)は、当該矩形領域内の画素値の平均値となる。この画素値Ｉ’(ｘ_p)は、リフォーカス処理部１０２から供給されたリフォーカス画像１４０の画素をぼかし処理によりぼかした画素値となっている。

ぼかし処理部１０４が施すぼかし処理は、上述した方法に限定されない。例えば、カーネルの大きさｋ(ｘ_p)の値により分散を決定したガウシアンカーネルを用いて、画素値Ｉ(ｘ_p)をぼかした画素値Ｉ”(ｘ_p)を計算することもできる。

上述では、リフォーカス画像１４０内の各座標の画素値について逐次的にぼかし処理を施すように説明したが、これはこの例に限定されない。例えば、リフォーカス画像１４０について、非フォーカス度Ｊのマップを作成し、このマップに基づきぼかし処理を施してもよい。

図１２は、非フォーカス度Ｊのマップの例を示す。図１２において、非フォーカス度Ｊの値が小さくなる程、密度の高いハッチングを付して示している。図１２の例では、リフォーカス画像１４０は、取得部１０１（メインレンズ１１０）からの距離が異なる３の被写体の画像１５０、１５１および１５２が含まれている。取得部１０１に対して、画像１５０の被写体が最も近く、画像１５２の被写体が最も遠い。

リフォーカス画像１４０は、各画像１５０、１５１および１５２の被写体のうち、中間の距離に位置する被写体（画像１５１）に合焦させて生成されているものとする。したがって、リフォーカス画像１４０において、非フォーカス度Ｊは、画像１５１に含まれる座標で小さな値となる。また、この図１２の例では、非フォーカス度Ｊは、画像１５０に含まれる座標で２番目に小さな値となり、画像１５２に含まれる座標で３番目に小さい値となる。また、図１２の例では、リフォーカス画像１４０において、画像１５０、１５１および１５２以外の領域は、非フォーカス度Ｊが、画像１５０、１５１および１５２に対して大きな値となっている。

ぼかし処理部１０４は、この非フォーカス度Ｊのマップに対してフィルタ処理を施したマップを用いて、リフォーカス画像に対するぼかし処理を行う。フィルタ処理としては、例えば膨張フィルタ処理を用いることができる。これに限らず、一般的なぼかし処理フィルタ（平均値フィルタなど）によるフィルタ処理を、このマップに対して施してもよい。

ぼかし処理部１０４は、次のステップＳ１１０４で、ステップＳ１１０１〜ステップＳ１１０３の処理を、リフォーカス処理部１０２から供給されたリフォーカス画像１４０における全座標について処理したか否かを判定する。若し、全座標について処理していないと判定した場合、ぼかし処理部１０４は、処理をステップＳ１１０１に戻し、リフォーカス画像１４０においてぼかし処理をおこなっていない座標を１つ選択し、その座標に対するぼかし処理を行う。

一方、ぼかし処理部１０４は、リフォーカス画像１４０の全座標に対してステップＳ１１０１〜ステップＳ１１０３の処理を行ったと判定した場合、リフォーカス画像１４０の全座標の画素値Ｉ’を、ぼかし処理を施した出力画像として出力する。

このように、第１の実施形態に係わる画像処理装置１００によれば、非フォーカス度Ｊが大きい領域、すなわち、焦点が合っていない領域において、リフォーカス画像１４０をより強くぼかすようにしている。この処理により、画像処理装置１００は、アーチファクトの抑制されたリフォーカス画像を生成することが可能となる。

なお、上述では、複眼画像１３０は、その都度、取得部１０１で取得されて画像処理装置１００に入力されるように説明したが、これはこの例に限定されない。例えば、取得部１０１をハードディスクなどのストレージ装置とし、別途取得された複眼画像１３０を、ハードディスクなどのストレージ装置に格納、蓄積し、画像処理装置１００に対して、このストレージ装置に格納された複眼画像１３０を入力するようにしてもよい。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、第１の実施形態による画像処理装置１００を、光学系を有すると共に出力画像の記憶および表示が可能な撮像装置に適用した例である。

図１３は、第２の実施形態による撮像装置２００の一例の構成を示す。なお、図１３において、上述した図１と共通する部分には同一の符号を付し、詳細な説明を省略する。撮像装置２００は、図１３に例示されるように、撮像部１６０と、画像処理装置１００と、操作部２１０と、メモリ２１１と、表示部２１２とを有する。

なお、この撮像装置２００の全体の動作は、図示されないＣＰＵにより、プログラムに従い制御される。また、撮像部１６０は、上述した取得部１０１に対応するもので、図２に例示した光学系とセンサ１１２とを有する。

メモリ２１１は、例えば不揮発性の半導体メモリであって、画像処理装置１００から出力された出力画像を記憶する。また、表示部２１２は、例えばＬＣＤ(Liquid Crystal Display)などの表示デバイスと、表示デバイスを駆動する駆動回路とを含み、画像処理装置１００から出力された出力画像を表示させる。

操作部２１０は、ユーザ入力を受け付ける。例えば、操作部２１０に対するユーザ入力により、画像処理装置１００に対して、リフォーカス画像１４０において合焦させたい距離を指定することができる。合焦させたい距離は、例えば単位画像を拡大する際の拡大倍率ｍに応じた値となる。操作部２１０は、さらに、撮像部１６０に対する撮像タイミングや出力画像のメモリ２１１への記憶タイミング、撮像時の合焦制御のユーザ入力などを受け付けることができる。

このような構成において、撮像装置２００は、操作部２１０に対するユーザ入力に従い撮像時の合焦距離を指定する。また、撮像装置２００は、操作部２１０に対するユーザ入力に従い、撮像部１６０から出力される複眼画像１３０を画層処理装置１００に取り込むタイミングを指定する。

さらに、撮像装置２００は、操作部２１０に対するユーザ入力により指定された、リフォーカス画像１４０における合焦距離に従い、ぼかし処理部１０４によるぼかし処理までが施された出力画像を表示部２１２に表示させる。例えば、ユーザは、この表示部２１２の表示を参照して、合焦距離を操作部２１０から再入力することができる。例えば、ユーザは、気に入った出力画像が得られると、操作部２１０を操作して、当該出力画像をメモリ２１１に記憶する。

このように、第２の実施形態に係る撮像装置２００によれば、撮像部１６０で撮像された複眼画像１３０から生成したリフォーカス画像１４０の非フォーカス度Ｊを求める。そして、焦点が合っておらず非フォーカス度Ｊが大きい領域において、リフォーカス画像１４０をより強くぼかした出力画像を得るようにしている。そのため、ユーザは、撮像装置２００で撮像された複眼画像１３０から、アーチファクトの抑制されたリフォーカス画像を生成し、出力画像として得ることができる。

（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態は、第１の実施形態による画像処理装置１００を、光学系を有すると共に、出力画像の外部に対する送信と、外部からの操作信号の受信を行うようにしたセンサ装置に適用した例である。

図１４は、第３の実施形態によるセンサ装置３００の一例の構成を示す。なお、図１４において、上述した図１および図１３と共通する部分には同一の符号を付し、詳細な説明を省略する。センサ装置３００は、図１４に例示されるように、撮像部１６０および画像処理装置１００を有する。

外部から有線または無線通信により送信された操作信号がセンサ装置３００に受信され、画像処理装置１００に入力される。また、画像処理装置１００から出力された出力画像が、有線または無線通信によりセンサ装置３００から出力される。

このような構成において、センサ装置３００は、外部から送信された操作信号により指定された、リフォーカス画像１４０における合焦距離に従い、ぼかし処理部１０４によるぼかし処理までが施された出力画像を生成する。この出力画像は、センサ装置３００から外部に送信される。外部において、受信した出力画像を表示させ、この表示に基づき、合焦位置を指定する操作信号をセンサ装置３００に対して送信することができる。操作部２１０から再入力することができる。

センサ装置３００は、例えば監視カメラへの応用が考えられる。この場合、遠隔地からセンサ装置３００からの出力画像による表示を監視し、表示画像に不審な画像が含まれる場合に、この不審な画像部分に対する合焦距離を指定し、センサ装置３００に対して操作信号を送信する。センサ装置３００では、この操作信号に応じてリフォーカス画像１４０を再生成し、ぼかし処理を施して、出力画像を送信する。合焦距離が最設定され、アーチファクトが抑制された出力画像により、不審な画像部分の詳細を確認することができる。

（第４の実施形態）
次に、第４の実施形態について説明する。第４の実施形態は、第１の実施形態による画像処理装置１００をネットワーク・クラウド上に構成した画像処理システムの例である。図１５は、第４の実施形態に適用可能な画像処理システムの一例の構成を示す。なお、図１５において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。

図１５において、画像処理システムは、画像処理装置１００がネットワーク・クラウド５００上に構成される。ネットワーク・クラウド５００は、互いにネットワークで接続される複数のコンピュータを含み、外部からは、その内部が隠蔽されたブラックボックスとして入出力のみが示されるネットワーク・グループである。ネットワーク・クラウド５００は、例えば通信プロトコルとしてＴＣＰ／ＩＰ(Transmission Control Protocol/Internet Protocol)を用いるものとする。

取得部１０１で取得された複眼画像１３０は、通信部５１０を介してネットワーク・クラウド５００に向けて送信され、画像処理装置１００に入力される。通信部５１０を介して送信された複眼画像１３０を、ネットワーク・クラウド５００上のサーバ装置などに蓄積的に格納しておいてもよい。画像処理装置１００は、通信部５１０を介して送信された複眼画像１３０に基づきリフォーカス画像１４０を生成すると共に非フォーカス度Ｊを求め、非フォーカス度Ｊに基づきリフォーカス画像１４０に対してぼかし処理を施して出力画像を生成する。

生成された出力画像は、画像処理装置１００から出力され、ネットワーク・クラウド５００から、例えばＰＣ（パーソナルコンピュータ）である端末装置５１１に受信される。端末装置５１１は、受信した出力画像をディスプレイに表示させることができると共に、ユーザ入力に応じて合焦距離を指定する操作信号をネットワーク・クラウド５００に向けて送信することができる。画像処理装置１００は、この操作信号に応じて、指定された合焦距離でリフォーカス画像１４０を再生成し、ぼかし処理を施して、出力画像を生成する。この出力画像は、ネットワーク・クラウド５００から端末装置５１１に向けて再び送信される。

この第４の実施形態の構成によれば、ユーザは、画像処理装置１００を有していなくても、画像処理装置１００により生成されぼかし処理によりアーチファクトを抑制された出力画像を得ることができる。

（他の実施形態）
上述した実施形態による画像処理装置１００は、汎用的なコンピュータ装置を基本ハードウェアとして用いて実現することも可能である。図１６は、他の実施形態による、画像処理装置１００を適用可能なコンピュータ装置４００の一例の構成を示す。

図１６に例示されるコンピュータ装置４００において、バス４０１に対してＣＰＵ(Central Processing Unit)４０２、ＲＯＭ(Read Only Memory)４０３、ＲＡＭ(Random Access Memory)４０４および表示制御部４０５が接続される。また、バス４０１に対して、ストレージ４０７、ドライブ装置４０８、入力部４０９、通信Ｉ／Ｆ４１０およびカメラＩ／Ｆ４２０が接続される。ストレージ４０７は、データを不揮発に記憶することが可能な記憶媒体であって、例えばハードディスクである。これに限らず、ストレージ４０７をフラッシュメモリなど不揮発性の半導体メモリとしても良い。

ＣＰＵ４０２は、ＲＯＭ４０３およびストレージ４０７に記憶されるプログラムに従い、ＲＡＭ４０４をワークメモリとして用いて、このコンピュータ装置４００の全体を制御する。表示制御部４０５は、ＣＰＵ４０２により生成された表示制御信号を、表示部４０６が表示可能な信号に変換して出力する。

ストレージ４０７は、上述のＣＰＵ４０２が実行するためのプログラムや各種データが格納される。ドライブ装置４０８は、脱着可能な記録媒体（図示しない）が装填可能とされ、当該記録媒体に対するデータの読み書きを行うことができる。ドライブ装置４０８が対応可能な記録媒体としては、ＣＤ(Compact Disk)、ＤＶＤ(Digital Versatile Disk)といったディスク記録媒体や、不揮発性の半導体メモリが考えられる。

入力部４０９は、外部からのデータの入力を行う。例えば、入力部４０９は、ＵＳＢ(Universal Serial Bus)やＩＥＥＥ１３９４(Institute of Electrical and Electronics Engineers 1394)といった所定のインターフェイスを有し、このインターフェイスにより外部の機器からのデータ入力を行う。入力画像の画像データは、この入力部４０９から入力することができる。

また、入力部４０９に対して、キーボードやマウスといった、ユーザ入力を受け付ける入力デバイスが接続される。ユーザは、例えば表示部４０６に対する表示に応じてこれら入力デバイスを操作することで、コンピュータ装置４００に対して指示を出すことができる。なお、ユーザ入力を受け付ける入力デバイスを、表示部４０６と一体的に構成してもよい。このとき、入力デバイスは、押圧した位置に応じた制御信号を出力すると共に、表示部４０６の画像を透過するタッチパネルとして構成すると、好ましい。

通信Ｉ／Ｆ４１０は、所定のプロトコルを用いて外部の通信ネットワークと通信を行う。

カメラＩ／Ｆ４２０は、取得部１０１とコンピュータ装置４００との間のインターフェイスである。取得部１０１で取得された複眼画像１３０は、カメラＩ／Ｆ４２０を介してコンピュータ装置４００に取り込まれ、例えばＲＡＭ４０４やストレージ４０７に格納される。また、カメラＩ／Ｆ４２０は、ＣＰＵ４０２の命令に従った制御信号を取得部１０１に供給することができる。

上述したリフォーカス処理部１０２、非フォーカス度算出部１０３およびぼかし処理部１０４は、ＣＰＵ４０２上で動作する画像処理プログラムによって実現される。実施形態に係る画像処理を実行するための画像処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、画像処理プログラムを、ＲＯＭ４０３に予め記憶させて提供してもよい。

さらに、実施形態に係る画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワークに接続されたコンピュータ上に格納し、通信ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態に係る画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワーク経由で提供または配布するように構成してもよい。

実施形態に係る画像処理を実行するための画像処理プログラムは、例えば、上述した各部（リフォーカス処理部１０２、非フォーカス度算出部１０３およびぼかし処理部１０４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ４０２が例えばストレージ４０７から当該画像処理プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ４０４）上にロードされ、各部が主記憶装置上に生成されるようになっている。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００ 画像処理装置
１０１ 取得部
１０２ リフォーカス処理部
１０３ 非フォーカス度算出部
１０４ ぼかし処理部
１１０ メインレンズ
１１１ マイクロレンズアレイ
１１２ センサ
１２０ 被写体
１３０ 複眼画像
１３１ マイクロレンズ像

Claims (13)

1. 撮像部により、該撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成部と、
   前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の合焦の度合いに応じた強さでぼかし処理を施す処理部と、
   前記合焦の度合いが低いほど大きな値を示す非フォーカス度を前記リフォーカス画像の画素毎に算出する算出部と
   を有し、
   前記処理部は、
   前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の前記非フォーカス度が大きいほど強くぼかし処理を施し、
   前記算出部は、
   前記所定の距離に応じて決まる拡大率に従い前記複数の単位画像を拡大した際に重ね合わされた各単位画像において画素位置が一致する各画素の画素値のばらつきに応じた大きさの前記非フォーカス度を算出する
   ことを特徴とする画像処理装置。
2. 撮像部により、該撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成部と、
   前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の合焦の度合いに応じた強さでぼかし処理を施す処理部と、
   前記合焦の度合いが低いほど大きな値を示す非フォーカス度を前記リフォーカス画像の画素毎に算出する算出部と
   を有し、
   前記処理部は、
   前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の前記非フォーカス度が大きいほど強くぼかし処理を施し、
   前記算出部は、
   前記所定の距離に応じて決まるずらし量に従い前記複数の単位画像をずらして重ね合わせた際に、重ね合わせた各単位画像において画素位置が一致する各画素の画素値のばらつきに応じた大きさの前記非フォーカス度を算出する
   ことを特徴とする画像処理装置。
3. 前記処理部は、
   前記リフォーカス画像の注目画素の近傍に位置する各近傍画素について前記算出部が算出した各非フォーカス度の大きさに応じた範囲内の画素の画素値を用いて、該注目画素に対するぼかし処理を施す
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記処理部は、
   注目画素を含む所定の範囲内の画素における非フォーカス度の最大値の大きさに応じた強さで、該注目画素に対するぼかし処理を施す
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
5. 前記ばらつきは、前記画素位置が一致する各画素の画素値の分散である
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
6. 撮像部により、該撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成ステップと、
   前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の合焦の度合いに応じた強さでぼかし処理を施す処理ステップと、
   前記合焦の度合いが低いほど大きな値を示す非フォーカス度を前記リフォーカス画像の画素毎に算出する算出ステップと
   を有し、
   前記処理ステップは、
   前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の前記非フォーカス度が大きいほど強くぼかし処理を施し、
   前記算出ステップは、
   前記所定の距離に応じて決まる拡大率に従い前記複数の単位画像を拡大した際に重ね合わされた各単位画像において画素位置が一致する各画素の画素値のばらつきに応じた大きさの前記非フォーカス度を算出する
   ことを特徴とする画像処理方法。
7. 画像処理方法をコンピュータに実行させるためのプログラムであって、
   前記画像処理方法は、
   撮像部により、該撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成ステップと、
   前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の合焦の度合いに応じた強さでぼかし処理を施す処理ステップと、
   前記合焦の度合いが低いほど大きな値を示す非フォーカス度を前記リフォーカス画像の画素毎に算出する算出ステップと
   を有し、
   前記処理ステップは、
   前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の前記非フォーカス度が大きいほど強くぼかし処理を施し、
   前記算出ステップは、
   前記所定の距離に応じて決まる拡大率に従い前記複数の単位画像を拡大した際に重ね合わされた各単位画像において画素位置が一致する各画素の画素値のばらつきに応じた大きさの前記非フォーカス度を算出する
   ことを特徴とするプログラム。
8. 撮像部と、
   前記撮像部により、前記撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成部と、
   前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の合焦の度合いに応じた強さでぼかし処理を施す処理部と、
   前記合焦の度合いが低いほど大きな値を示す非フォーカス度を前記リフォーカス画像の画素毎に算出する算出部と、
   外部から送信された少なくとも前記所定の距離を示す情報を受信する受信部と、
   前記処理部でぼかし処理を施されたリフォーカス画像を外部に送信する送信部と
   を有し、
   前記処理部は、
   前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の前記非フォーカス度が大きいほど強くぼかし処理を施し、
   前記算出部は、
   前記所定の距離に応じて決まる拡大率に従い前記複数の単位画像を拡大した際に重ね合わされた各単位画像において画素位置が一致する各画素の画素値のばらつきに応じた大きさの前記非フォーカス度を算出する
   ことを特徴とする撮像装置。
9. 撮像部と、
   前記撮像部により、前記撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成部と、
   前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の合焦の度合いに応じた強さでぼかし処理を施す処理部と、
   前記合焦の度合いが低いほど大きな値を示す非フォーカス度を前記リフォーカス画像の画素毎に算出する算出部と、
   少なくとも前記所定の距離を示す情報のユーザ入力を受け付ける入力部と、
   前記処理部でぼかし処理を施されたリフォーカス画像を表示する表示部と
   を有し、
   前記処理部は、
   前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の前記非フォーカス度が大きいほど強くぼかし処理を施し、
   前記算出部は、
   前記所定の距離に応じて決まる拡大率に従い前記複数の単位画像を拡大した際に重ね合わされた各単位画像において画素位置が一致する各画素の画素値のばらつきに応じた大きさの前記非フォーカス度を算出する
   ことを特徴とする撮像装置。
10. 撮像部により、該撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成ステップと、
    前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の合焦の度合いに応じた強さでぼかし処理を施す処理ステップと、
    前記合焦の度合いが低いほど大きな値を示す非フォーカス度を前記リフォーカス画像の画素毎に算出する算出ステップと
    を有し、
    前記処理ステップは、
    前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の前記非フォーカス度が大きいほど強くぼかし処理を施し、
    前記算出ステップは、
    前記所定の距離に応じて決まるずらし量に従い前記複数の単位画像をずらして重ね合わせた際に、重ね合わせた各単位画像において画素位置が一致する各画素の画素値のばらつきに応じた大きさの前記非フォーカス度を算出する
    ことを特徴とする画像処理方法。
11. 画像処理方法をコンピュータに実行させるためのプログラムであって、
    前記画像処理方法は、
    撮像部により、該撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成ステップと、
    前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の合焦の度合いに応じた強さでぼかし処理を施す処理ステップと、
    前記合焦の度合いが低いほど大きな値を示す非フォーカス度を前記リフォーカス画像の画素毎に算出する算出ステップと
    を有し、
    前記処理ステップは、
    前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の前記非フォーカス度が大きいほど強くぼかし処理を施し、
    前記算出ステップは、
    前記所定の距離に応じて決まるずらし量に従い前記複数の単位画像をずらして重ね合わせた際に、重ね合わせた各単位画像において画素位置が一致する各画素の画素値のばらつきに応じた大きさの前記非フォーカス度を算出する
    ことを特徴とするプログラム。
12. 撮像部と、
    前記撮像部により、前記撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成部と、
    前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の合焦の度合いに応じた強さでぼかし処理を施す処理部と、
    前記合焦の度合いが低いほど大きな値を示す非フォーカス度を前記リフォーカス画像の画素毎に算出する算出部と、
    外部から送信された少なくとも前記所定の距離を示す情報を受信する受信部と、
    前記処理部でぼかし処理を施されたリフォーカス画像を外部に送信する送信部と
    を有し、
    前記処理部は、
    前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の前記非フォーカス度が大きいほど強くぼかし処理を施し、
    前記算出部は、
    前記所定の距離に応じて決まるずらし量に従い前記複数の単位画像をずらして重ね合わせた際に、重ね合わせた各単位画像において画素位置が一致する各画素の画素値のばらつきに応じた大きさの前記非フォーカス度を算出する
    ことを特徴とする撮像装置。
13. 撮像部と、
    前記撮像部により、前記撮像部から被写体上の点の位置までの距離に応じて該被写体上の点が異なる位置に撮像された複数の単位画像から、所定の距離に合焦させたリフォーカス画像を生成する生成部と、
    前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の合焦の度合いに応じた強さでぼかし処理を施す処理部と、
    前記合焦の度合いが低いほど大きな値を示す非フォーカス度を前記リフォーカス画像の画素毎に算出する算出部と、
    少なくとも前記所定の距離を示す情報のユーザ入力を受け付ける入力部と、
    前記処理部でぼかし処理を施されたリフォーカス画像を表示する表示部と
    を有し、
    前記処理部は、
    前記リフォーカス画像の各画素に対して、前記リフォーカス画像の画素の前記非フォーカス度が大きいほど強くぼかし処理を施し、
    前記算出部は、
    前記所定の距離に応じて決まるずらし量に従い前記複数の単位画像をずらして重ね合わせた際に、重ね合わせた各単位画像において画素位置が一致する各画素の画素値のばらつきに応じた大きさの前記非フォーカス度を算出する
    ことを特徴とする撮像装置。

Images