JP6637242B2 - 画像処理装置、撮像装置、プログラム、および画像処理方法 - Google Patents

Description

本発明は画像処理装置、撮像装置、および画像処理方法に関する。特に、複数の画像から被写界深度を浅くした画像を生成することが可能な画像処理装置、撮像装置、および画像処理方法に関する。

現在、デジタル画像を撮像する撮像装置としてデジタルカメラが普及している。ユーザーは撮像したい被写体に対して自動または手動でフォーカスを合わせ、撮像操作を行うことで画像を取得する。フォーカスが合わされた被写体は鮮明に撮像され、フォーカスが合わされなかった被写体はぼけて撮像される。ぼけの度合いは撮像装置により決定され、ユーザーは絞りを変化させることで調整することができる。しかし、スマートフォンなどに搭載されるカメラモジュールやコンパクトデジタルカメラなどでは、絞りを調整できなかったり、被写界深度が深かったりするため、ユーザーが所望とするぼけ量が得られない場合がある。

そこで、主要被写体の背景を画像処理によりぼかすことで、撮像画像よりもぼけ度合いが大きい画像を得る技術が開発されている（例えば、特許文献１）。特許文献１に開示されている技術では、フォーカスブラケット撮像により複数の画像を連続的に撮像し、各画素の鮮鋭度を比較して被写体距離に相当する参照値を算出し、参照値に基づいて画像の平滑化処理をすることで、背景をぼかした画像を生成する。

特開２０１０−２０７５８号公報（２０１０年１月２８日公開）

しかしながら、特許文献１で開示されている技術では、ぼかし画像を生成して保存した後に、ぼかし強度を変更する場合、フォーカスブラケット撮像した全画像を保存しておく必要がある。すなわち、ユーザーが必要としていない画像まで保存しておく必要があるとともに、画像を保存するための記憶領域が多く必要となるという問題がある。

本発明は、上記の問題に鑑みてなされたものであり、その目的は、画像を保存するための記憶領域を抑制しつつ、保存した画像からぼかしを調整することができる画像処理装置を提供することにある。

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、基準画像および当該基準画像にぼかし処理を施したぼかし画像を記憶する記憶部と、上記記憶部に記憶された上記ぼかし画像のぼかし強度を調整するぼかし調整部と、を備え、上記ぼかし調整部は、上記基準画像に対して複数の平滑化強度を有する平滑化処理を施すことによって、平滑化強度の異なる複数の再ぼかし画素を生成し、上記ぼかし画像の画素と、上記複数の再ぼかし画素との階調値を比較し、比較した結果に応じて上記複数の再ぼかし画素の何れかを選択することによって、上記ぼかし画像のぼかし強度を調整する。

本発明の一態様によれば、ぼかし画像を参照して再ぼかし処理を行うので、フォーカスブラケット撮像した全画像を保存しておく必要がない。したがって、本発明の一態様によれば、画像を保存するための記憶領域が少なくても、保存した画像からぼかしを調整することが可能であるという効果を奏する。

実施形態１に係る撮像装置の構成例を示す図である。 実施形態１に係る各画像における合焦度を比較した図である。 実施形態１に係るぼかし処理部によって行われる画像間の対応点探索を説明するための図である。 実施形態１に係る基準候補画像と基準画像の関係を説明するための図である。 実施形態１に係るぼかし処理部によって行われる基準画像とぼかし画素の生成処理の一例を示す図である。 実施形態１に係るぼかし処理部によって行われる基準画像とぼかし画素の生成処理の他の例を示す図である。 実施形態１に係る再ぼかし画素の生成処理を示す図である。 実施形態１に係るぼかし画像と再ぼかし画素の比較処理の一例を示す図である。 実施形態１に係るぼかし画像と再ぼかし画素の比較処理の一例を示す図である。 実施形態１に係るぼかし画像と再ぼかし画素の比較処理の一例を示す図である。 実施形態１に係るぼかし画像と再ぼかし画素の比較処理の一例を示す図である。 実施形態１に係る再ぼかし処理の流れを示すフローチャートである。 実施形態２に係る撮像装置の構成例を示す図である。 実施形態２に係る再ぼかし画素の生成処理を示す図である。 実施形態２に係るぼかし画像と再ぼかし画素の比較処理を示す図である。 実施形態２に係る全焦点画像を使用したぼかし調整処理を示す図である。 実施形態３に係る撮像装置の構成例を示す図である。 実施形態３に係る再ぼかし画素の生成処理を示す図である。 実施形態３に係るぼかし画像と再ぼかし画素の比較処理を示す図である。

以下、図面を使って本発明の実施の形態を詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際のものとは異なる場合がある。

〔実施形態１〕
図１は、本実施形態の構成を示す図である。本実施形態に係る画像処理装置１０５は、ぼかし処理部１０２、記憶部１０３、および、ぼかし再調整部１０４を備える。ぼかし再調整部１０４をぼかし調整部と呼ぶこともある。また、本実施形態に係る撮像装置１００は、画像処理装置１０５の備える各部に加え、撮像部１０１を備える。

撮像部１０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサといった固体撮像素子、レンズ、などにより構成され、設定された露出やフォーカス位置などの撮像条件により画像を取得する。

ぼかし処理部１０２は、処理対象となる画像に対してぼかし処理を行う。ぼかし処理部１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によるソフトウェア処理によって実現されてもよいし、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によるハードウェア処理によって実現されてもよい。

記憶部１０３は、記憶媒体に画像を記憶する。記憶部１０３は、フラッシュメモリ、磁気ディスク、などの記憶媒体により実現されてよい。

ぼかし再調整部１０４は、記憶部１０３に記憶された画像に対して、ぼかし処理を行う。ぼかし再調整部１０４は、ぼかし処理部１０２と同様に、ハードウェアやソフトウェアにより処理することにより実現され、演算が行われる場所は、ぼかし処理部１０２と共通であってもよい。

撮像部１０１では、異なるフォーカス位置で撮像した複数の画像を取得する。撮像部１０１は、撮像する際のフォーカス位置を、例えば、ユーザーがタッチパネル等により選択した被写体が合焦するように制御し、あらかじめ設定されたフォーカス位置の移動量に基づいて、遠景方向にフォーカス位置を移動させつつ連続的に撮像してもよい。他の例では、オートフォーカスにより得られた被写体のフォーカス位置の前後に新たなフォーカス位置を設定しつつ、連続的に撮像してもよい。さらに、他の例としては、最近景から最遠景までを所定の間隔でフォーカス位置を移動させつつ、連続的に撮像してもよい。

ぼかし処理部１０２では、撮像された複数の画像に基づいたぼかし処理を行うことによってぼかし画像を生成する。ぼかし処理部１０２は、合焦した被写体からの被写体距離が遠い被写体ほど大きくぼかすようにぼかし処理を行うことで、被写界深度が浅い撮像装置で撮像したようなぼかし画像を生成することができる。撮像装置から被写体までの被写体距離は、撮像された複数の画像間で、対応する画素の合焦度を比較することで取得することができる。つまり、近景にフォーカスを合わせた画像では、近景被写体に属する画素の合焦度が高く、遠景被写体に属する画素の合焦度が低くなり、遠景にフォーカスを合わせた画像では、近景被写体に属する画素の合焦度が低く、遠景被写体に属する画素の合焦度が高くなるので、ぼかし処理部１０２は、合焦度を比較することで、被写体の位置関係を取得することができる。

各画像の合焦度は、注目画素と注目画素の周辺に位置する周辺画素のコントラストなどを比較することで算出することができる。ぼかし処理部１０２は、例えば、注目画素の階調値と周辺画素の階調値との差や、複数の周辺画素間での階調値の差などによって各画像の合焦度を算出する。また、ぼかし処理部１０２は、合焦度を算出する際に参照する周辺画素の範囲を、ぼかし処理の対象となる画像の画素数によって適宜設定することができる。また、画像の画素数が大きい場合には処理量が大きくなるので、ぼかし処理部１０２は、縮小した画像において合焦度の比較を行う構成としてもよい。

図２は、フォーカス位置が異なる画像が５枚のときの、任意の画素の合焦度を比較した様子を示す図である。図２（ａ）に示す画素では、２番目に近景の画像が最も合焦度が高くなっている。一方、図２（ｂ）に示す画素では、最遠景の画像が最も合焦度が高くなっている。例えば、撮像装置から被写体までの距離情報を、近い側を０、遠い側を４とする５段階の数字で表すと、図２（ａ）では距離情報が１となり、図２（ｂ）では距離情報が４となる。このようにして、ぼかし処理部１０２は、フォーカス位置の異なる複数の画像を参照して、被写体までの距離を推定することができる。

合焦度の比較では、画像間の対応する画素を比較する必要があるが、フォーカス位置を移動させることにより、各フォーカス位置での撮像画角が変化する場合がある。このような場合、ぼかし処理部１０２は、各画素が対応するように各画像を補正する。ぼかし処理部１０２は、画像を補正するための補正量を、画像内の特徴点の座標値を比較することにより算出することができる。ここで特徴点とは、被写体のエッジなど、周辺とのコントラストがある画素のことを指す。

図３は、フォーカス位置が異なる画像が５枚のときの、特徴点の座標値を比較する様子を示す図である。ぼかし処理部１０２は、特徴点の座標値の比較を、探索基準画像の特徴点を探索参照画像内で対応する点を探索することで行う。探索方法としては、ブロックマッチングなどがある。探索基準画像には、探索基準画像内で検出された特徴点と、特徴点の周辺画素により構成される探索基準領域が設定される。探索参照画像には、画像内に探索基準領域と同じ大きさの探索参照領域が設定される。探索参照領域を逐次設定して、探索基準領域と探索参照領域との類似度、または、相違度を比較することで特徴点の対応関係を算出する。類似度や相違度の比較には従来の方法が使用でき、例えば、各領域を構成する画素の階調値をＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）で評価する。

ぼかし処理部１０２における探索基準画像と探索参照画像の設定方法としては、処理対象の画像のうち、１つの探索基準画像を設定し、その他を探索参照画像とすることで、対応点を探索することが挙げられる。しかし、撮像部１０１は、フォーカス位置を移動して撮像しているため、被写界深度や撮像画角が異なる。よって、画像内の特徴点の階調値や座標の変化が少なく、フォーカス位置が隣接する２画像間で対応点探索を行えば、誤検出が低減するので好適である。例えば、図３のように、フォーカス位置が近景側の画像から、探索参照画像（Ａ）、探索基準画像（Ｂ）、探索参照画像（Ｃ）、探索基準画像（Ｄ）、探索参照画像（Ｅ）、とする。探索基準画像（Ｂ）、および、探索基準画像（Ｄ）、では、それぞれ特徴点を検出して探索基準領域が設定され、探索基準画像（Ｂ）と探索参照画像（Ａ）および（Ｃ）とで対応点探索を行い、探索基準画像（Ｄ）と探索参照画像（Ｃ）および（Ｅ）とで対応点探索を行う。これにより、ぼかし処理部１０２は、各画像間の特徴点の位置の変化量を算出することができる。

ぼかし処理部１０２は、算出された各画像間の特徴点の位置の変化量に基づいて、撮像画角の変化を補正する。ここで、ぼかし処理部１０２は、画角を合わせる基準となる補正基準画像を、最も画角が狭い画像に設定すると良い。これは、画角が広い画像を補正基準画像にすると、周辺部に画素が存在しない画像が生成されてしまうためである。ぼかし処理部１０２は、各画像の補正量を、補正対象画像から補正基準画像までの、特徴点の位置の変化量に基づいて算出する。例えば、最も画角が狭い画像が最近景の探索参照画像（Ａ）により、探索基準画像（Ｄ）を補正する場合、
探索参照画像（Ａ）と探索基準画像（Ｂ）の特徴点の位置の変化量、
探索基準画像（Ｂ）と探索参照画像（Ｃ）の特徴点の位置の変化量、および
探索参照画像（Ｃ）と探索基準画像（Ｄ）の特徴点の位置の変化量
の和によって補正量を算出することができる。これにより、各画像間の画素の対応をとることができ、撮像画角が異なっている場合においても合焦度の比較が可能となる。ぼかし処理部１０２は、合焦度の比較により算出された被写体毎の距離情報を、ぼかし処理を行うときに使用する。

ここで、「距離」とは、撮像する際の、撮像部１０１から被写体までの奥行方向の距離のことを指している。以下では、上記意味での「距離」のことを「奥行距離」とも呼ぶ。

ぼかし処理部１０２におけるぼかし処理は、注目画素と周辺画素との平均化処理によって実現することができる。具体的な平均化処理としては、各画素への重み付けが同じである方法、注目画素からの距離に応じて重み付けを変える方法、などから適宜選択すればよい。ぼかし処理の強度は、平均化する範囲を変化させることで調整することが可能であり、平均化範囲が大きい場合には、ぼかし強度が大きくなり、平均化範囲が小さい場合には、ぼかし強度が小さくなる。また、ぼかしの形状は、平均化する範囲の形状に基づき、例えば、四角形、六角形、八角形、などを採用することができ、平均化する範囲の形状を調整することで、ぼかしの形状も変化させることが可能である。したがって、ユーザーが調整できるように設定しておくと、ユーザーが好むぼかしの形状を得ることが可能となる。

ぼかし処理部１０２は、合焦度の比較によって算出された被写体の距離情報に基づいて、被写体毎にぼかし強度を変化させてぼかし処理をする。これにより、撮像装置１００は、被写界深度が浅い撮像装置で撮像したような画像を生成することができる。例えば、最近景の被写体に合焦させる場合、被写体が遠くなるほどぼかし強度を強くすればよい。

ぼかし処理のぼかし強度や合焦させる被写体の距離は、あらかじめ決められている設定であってもよく、撮像時のフォーカス位置に基づいて設定するのでもよく、ユーザーが設定するのでもよい。予め決められている設定で処理をする場合、例えば、最近景の被写体が合焦するようにし、ぼかし強度を設定可能範囲の中間にすればよい。また、撮像時のフォーカス位置に基づいて設定する場合、撮像時にユーザーがフォーカスを合わせた被写体等（例えば、オートフォーカスにより設定した被写体等）が合焦するようにし、ぼかし強度を設定可能範囲の中間にすればよい。ユーザーが毎回設定する場合は、その入力情報をディスプレイに表示して選択させることにより実現すればよい。

図４に、ぼかし処理部１０２が生成するぼかし画像と、ぼかし画像を生成するための平均化処理が施される基準画像と、基準画像として選択される候補である基準候補画像との関係を示す。ぼかし処理において、合焦させる被写体の合焦度は高い方が良いので、ぼかし処理部１０２は、合焦させる被写体によって基準画像を変更する構成とすると良い。つまり、フォーカス位置が異なる複数の画像を基準候補画像（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）とし、ぼかし処理部１０２は、何れの被写体を合焦被写体とするのかに応じて、基準画像となる画像を選択する。図４に図示されるのは、近景被写体が合焦したぼかし画像を生成する場合であり、基準候補画像（Ａ）を基準画像としている。ここで、撮像部１０１のフォーカス位置を移動させる際に、各フォーカス位置での撮像画角が変化する場合には、最も画角が狭い画像に合わせて補正した後の画像を基準候補画像とする。

ぼかし画像を構成するぼかし画素は、基準候補画像から選択された基準画像に対して平滑化処理をすることにより生成される。ぼかし処理部１０２は、処理対象の画素と、合焦被写体との距離が大きいほど、当該処理対象の画素に施すぼかし処理のぼかし強度を大きくすることによってぼかし画素を生成すればよい。これにより、自然なぼかし処理が実現できる。つまり、ぼかし処理部１０２は、基準画像内に含まれる各被写体に対応した距離情報に基づいて、ぼかし強度を変化させるとよい。

例えば、ぼかし処理部１０２は、図５のように、基準画像に対して異なる平滑化範囲で平滑化処理（すなわち、異なる平滑化強度での平滑化処理）をした、ぼかし強度Ａ、ぼかし強度Ｂ、ぼかし強度Ｃ、ぼかし強度Ｄ、ぼかし強度Ｅ、の５段階の画像を生成し、５段階のぼかし画像から、被写体毎に、当該被写体に対応した距離情報に基づいて画素値を選択する。これにより、ぼかし処理部１０２は、設定された被写体にフォーカスが合い、他の領域がぼけた被写界深度の狭い画像を生成する。

他の例として、ぼかし処理部１０２は、図６に示すように、ぼかし強度が異なるぼかし画像を、平滑化された画像から生成しても良い。図６に示す例では、ぼかし処理部１０２は、基準画像に対して異なる平滑化範囲で平滑化処理をした、ぼかし強度Ａ、ぼかし強度Ｅ、の画像を生成し、ぼかし強度Ａとぼかし強度Ｅとの加重平均を行うことにより、ぼかし強度ａ、ぼかし強度ｂ、ぼかし強度ｃ、ぼかし強度ｄ、ぼかし強度ｅ、の５段階の画像を生成する。また、ぼかし処理部１０２は、この５段階のぼかし画像から、被写体毎に、当該被写体に対応した距離情報に基づいて画素値を選択する。このような方法は、ぼかし強度の異なりを滑らかにすることができるため好適である。

記憶部１０３は、ぼかし処理部１０２によって生成されたぼかし画像を記憶する。また、記憶部１０３は、ぼかし処理の元となった基準画像も記憶する。これにより、画像撮像時のぼかし処理が完了する。

（再ぼかし処理）
ぼかし画像が記憶部に記憶された後、保存された画像に対してぼかし強度を変更する場合、ぼかし再調整部１０４において処理が行われる。撮像時には、フォーカス位置の異なる複数の画像から被写体までの距離を推定したが、ぼかし再調整時には、ぼかし処理部１０２は、記憶部１０３に記憶されたぼかし画像と基準画像とから被写体毎の被写体距離を推定する。より具体的には、ぼかし再調整部１０４は、記憶部１０３に記憶されたぼかし画像と基準画像とから各被写体に含まれる画素毎の奥行距離を推定する。

各被写体の距離情報は、当該被写体のぼかし強度として間接的にぼかし画像内に含まれているため、上述のように、ぼかし再調整部１０４は、ぼかし画像と基準画像とから被写体毎（より具体的には、各被写体に含まれる画素毎）の被写体距離を推定することが可能となる。つまり、従来のようにフォーカスブラケット撮像した全画像を保存しておく必要なく、ぼかし強度を変更することができる本実施形態に係る画像処理装置を実現することができる。

ぼかし再調整部１０４は、基準画像に対してぼかし処理を行う。図７は、ぼかし処理の例を示しており、ぼかし再調整部１０４は、ぼかし強度Ａ、ぼかし強度Ｂ、ぼかし強度Ｃ、ぼかし強度Ｄ、ぼかし強度Ｅ、のぼかし強度で平滑化をした再ぼかし画素を生成する。次にぼかし再調整部１０４は、生成された再ぼかし画素とぼかし画像における当該再ぼかし画素に対応する画素（ぼかし画素）とを比較する。図８は、ぼかし画像と再ぼかし画素との比較を示しており、ぼかし画像の画素（ぼかし画像内の処理対象画素）と、生成された再ぼかし画素（これに対応する画素であって各ぼかし強度を有する再ぼかし画素）とを比較する。このとき、合焦被写体の距離も比較処理の対象とするために、再ぼかし画素に加えて基準画像の画素とも比較処理を行ってもよい。

ここで、ぼかし強度と距離とが対応付いているので、「ある画素に対して距離を割り当てる処理」とは「基準画像に対して施されたぼかし処理のぼかし強度を、当該画素に割り当てる処理」ということを意味している。

図９は、画素の階調値の比較を示しており、ぼかし再調整部１０４は、対応する画素の階調値が最も近い画素（最近階調値画素とも呼ぶ）を探索する。図９に示す例では、ぼかし強度Ｂの再ぼかし画素とぼかし画像の画素が対応している。図９に示す例では、ぼかし再調整部１０４は、比較対象の画素が、ぼかし強度Ｂに対応する距離を有する画素であると推定することができる。ここで、一定領域で同じ階調値の画素に対して平滑化をすると、平滑化の範囲（すなわち、ぼかし強度）が異なっても、平滑化後の階調値が同じになる場合がある。この場合、いずれのぼかし強度の再ぼかし画素を選択しても生成されるぼかし画像に大きな差は発生しないが、図１０のように、ぼかし強度が中央となる距離を当該画素に割り当てると、距離情報推定の誤差が低減できて、精度良く再ぼかし処理ができるため好適である。また、図１１のように、階調値が最も近い画素が偶数個ある場合には、最近階調値画素のぼかし強度に隣接するぼかし強度の画素を互いに比較し、隣接するぼかし強度の画素の階調値が近い方、つまり、ぼかし強度がより近い方を選択する。そして、上記複数の最近階調値画素のうち、当該選択した画素に隣接する最近階調値画素に割り当てられた距離をぼかし画像内の処理対象画素の距離として推定する。

図１１の例においては、ぼかし画像の画素の階調値は「１２８」であるので、最近階調値画素は、ぼかし強度Ｂの再ぼかし画素とぼかし強度Ｃの再ぼかし画素である。最近階調値画素が偶数個であるので、ぼかし再調整部１０４は、隣接するぼかし強度Ａの再ぼかし画素の階調値「６４」と隣接するぼかし強度Ｄの再ぼかし画素の階調値「１６０」とを比較し、ぼかし画像の画素の階調値「１２８」により近い、ぼかし強度Ｄの再ぼかし画素を選択する。そして、ぼかし再調整部１０４は、ぼかし強度Ｄの再ぼかし画素に隣接するぼかし強度Ｃの再ぼかし画素に割り当てられた距離をぼかし画像内の処理対象画素の距離として推定する。

次に、ぼかし再調整部１０４は、ぼかし強度の異なる再ぼかし画素とぼかし画像の画素とを比較した結果から得られた距離情報に基づいて再ぼかし処理を行う。再ぼかし処理でぼかし強度を強くする場合において、例えば、処理対象である注目画素が、ぼかし強度Ｃでぼかした画素のとき、ぼかし強度Ｃよりも広い範囲で平滑化された再ぼかし画素（すなわち、ぼかし強度Ｃよりも強いぼかし強度でぼかした画素）を選択すればよい。一方、再ぼかし処理でぼかし強度を弱くする場合において、例えば、処理対象である注目画素が、ぼかし強度Ｃでぼかした画素のとき、ぼかし強度Ｃよりも狭い範囲で平滑化された再ぼかし画素（すなわち、ぼかし強度Ｃよりも弱いぼかし強度でぼかした画素）を選択すればよい。そして、基準画像において再ぼかし処理を行う領域に含まれる処理対象画素毎に、当該基準画像の画素（画素値）を選択された再ぼかし画素（画素値）と置き換える。これにより、ぼかし再調整部１０４は、ぼかし画像と基準画像とを使用して、ぼかし強度を変更した再ぼかし画像を生成することができる。したがって、ユーザーが必要な画像情報のみで、多くの画像情報を記憶せずに、ぼかし処理の強度を調整することが可能となる。また、ユーザーによるぼかし強度の調整は、タッチパネルやボタンなどによって、画像を選択したり、ぼかし強度を入力したりすることで実現が可能である。

なお、上述した「基準画像において再ぼかし処理を行う領域」は、例えば、基準画像内の各画素の合焦度に応じて、ぼかし再調整部１０４が自動的に設定する構成とすることができる。

図１２は、本実施形態に係る画像処理装置１０５によって行われる再ぼかし処理の流れを示すフローチャートである。

（ステップＳ１）
まず、ぼかし再調整部１０４は、記憶部１０３に記憶されている基準画像に対して複数の平滑化処理を施すことにより、強度の異なる複数の再ぼかし画素を生成する。

（ステップＳ２）
次に、ぼかし再調整部１０４は、記憶部１０３に記憶されているぼかし画像の画素の階調値と、ステップＳ１において生成した複数の再ぼかし画素の各々の階調値とを、処理対象画素毎に比較する。

（ステップＳ３）
次に、ぼかし再調整部１０４は、当該再ぼかし処理において、ぼかし強度を強くするべきであるのか否かを判別する。ぼかし再調整部１０４は、当該判別処理を、ユーザーが入力した操作情報を参照して行う。なお、本ステップは、上述したステップＳ１やステップＳ２に先立って行われる構成としてもよい。

（ステップＳ４）
ステップＳ３においてぼかし強度を強くすべきであると判別した場合、ぼかし再調整部１０４は、ステップＳ２において比較を行った複数の再ぼかし画素のうち、ぼかし画像の対象画素の階調値に最も近い階調値を有する画素である最近階調値画素よりもぼかし強度の強い画素を、処理対象画素毎に選択することによって、ぼかし画像のぼかし強度を調整する。換言すれば、ぼかし再調整部１０４は、ぼかし画像における最近階調値画素を生成する際に用いられた平滑化処理における平滑化範囲よりも広い平滑化範囲で平滑化された再ぼかし画素を、処理対象画素毎に選択する。

（ステップ５）
ステップ３においてぼかし強度を強くすべきでないと判別した場合、ぼかし再調整部１０４は、当該再ぼかし処理において、ぼかし強度を弱くするべきであるのか否かを判別する。ぼかし再調整部１０４は、当該判別処理を、ユーザーが入力した操作情報を参照して行う。なお、本ステップは、上述したステップＳ１やステップＳ２やステップＳ３に先立って行われる構成としてもよい。

（ステップＳ６）
ステップＳ５においてぼかし強度を弱くすべきであると判別した場合、ぼかし再調整部１０４は、ステップＳ２において比較を行った複数の再ぼかし画素のうち、ぼかし画像の対象画素の階調値に最も近い階調値を有する画素である最近階調値画素よりもぼかし強度の弱い画素を、処理対象画素毎に選択することによって、ぼかし画像のぼかし強度を調整する。換言すれば、ぼかし再調整部１０４は、ぼかし画像における最近階調値画素を生成する際に用いられた平滑化処理における平滑化範囲よりも狭い平滑化範囲で平滑化された再ぼかし画素を、処理対象画素毎に選択する。

＜実施形態１の付記事項１＞
なお、ぼかし画像と基準画像を記憶部１０３に記憶するときには、ぼかし再調整時に互いの関係性が分かるように関連付けて記憶すると、複数の画像が記憶部１０３に記憶されていてもぼかし再調整処理が実現可能になる。例えば、ぼかし画像と基準画像のいずれか、または、双方のファイルヘッダーに相互の関係を記述したり、双方のファイル名に共通部分を設け、対応するぼかし画像、または、対応する基準画像が判断できるようにしたりするとよい。

＜実施形態１の付記事項２＞
また、ぼかし処理部１０２における撮像時のぼかし処理において行われる平滑化範囲は、ぼかし強度や合焦させる被写体などに応じて個別に各々設定しておく必要がある。多くの種類のぼかし強度を用いてぼかし処理を行うと、平滑化範囲の種類が増加してしまう場合がある。そこで、合焦した被写体の位置、または、ぼかし強度のレベルが分かるように、平滑化後の各画像のファイル名やファイルヘッダーに、合焦した被写体の位置、または、ぼかし強度のレベルを記載しても良い。つまり、図５では、ぼかし強度ＡからＥまでの５段回のぼかし強度を使用してぼかし処理を行ったが、合焦した被写体の位置や、ぼかし強度のレベルによって、ぼかし強度ＡからＣの三段階でぼかし処理をする設定であれば、ぼかし再調整部１０４でのぼかし画素の比較が三種類で済むため、処理量を低減することができる。

＜実施形態１の付記事項３＞
さらに、本実施形態においては、撮像部１０１で異なるフォーカス位置で撮像した複数の画像を取得する方法について説明したが、異なる位置で撮像した複数の画像を取得する場合でも同様の効果を得ることができる。例えば、多眼カメラで撮像した複数の画像から視差を算出することで、基準画像に対応した距離情報を算出し、距離情報に基づいてぼかし処理をした場合にも適用できる。つまりこの場合においても、多眼カメラで撮像した全画像を記憶しておく必要が無く、ぼかし画像と、ぼかし処理に使用した基準画像を記憶しておくことで、ぼかし処理の再調整が可能となる。

〔実施形態２〕
本実施形態における撮像装置２００の構成は、図１３に示すように全焦点処理部２０１を備えた構成である。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

本実施形態の撮像装置２００は、撮像部１０１で撮像した画像から全焦点画像を生成する。全焦点画像とは、画像内の全被写体にフォーカスが合うように、撮像画像よりも被写界深度が拡大するように処理された画像である。

全焦点処理部２０１は、撮像部１０１で撮像した画像から全焦点画像を生成する処理を行う。撮像部１０１は、実施形態１の撮像装置１００のように、異なるフォーカス位置で撮像した複数の画像を取得する。全焦点処理部２０１は、ぼかし処理部１０２と同様に、複数の画像間の合焦度を処理対象画素毎に比較し、合焦度が最も高い画素を選択することにより、全焦点画像を生成する。このようにして生成された全焦点画像では、すべての画素若しくはほとんどの画素が全焦していると推定される。また、ここで、撮像部１０１で撮像した画像に対してフォーカス位置により画角を変化させる補正が行われている場合、全焦点処理部２０１は、当該補正処理が行われた画像を使用して全焦点画像を生成する。つまり、全焦点画像は、基準画像と同じ画角で生成される。なお、生成された全焦点画像は、上記基準画像よりも被写界深度が深い。

生成された全焦点画像は、ぼかし処理に使用された基準画像、および、ぼかし画像とともに記憶部１０３に記憶される。

ぼかし再調整部１０４は、図１４、および、図１５に示すように、実施形態１の撮像装置１００と同様の動作により、基準画像を使用して再ぼかし画素を生成し、ぼかし画像の対応する画素と比較して撮像時の撮像部１０１から被写体までの距離を推定する。実施形態１の撮像装置１００は、推定された距離情報に基づき、基準画像を使用してぼかし強度を変更したが、本実施形態に係る撮像装置２００は、図１６に示すように、全焦点画像に対してぼかし処理を施す。ぼかし処理は、実施形態１と同様の方法で行われ、設定された合焦する被写体と、ぼかし強度により処理が行われる。すなわち、全焦点画像において再ぼかし処理を行う領域に含まれる処理対象画素毎に、当該全焦点画像の画素（画素値）を再ぼかし画素（画素値）と置き換える。実施形態１のように、基準画像を使用して、ぼかし処理の再調整をする場合、最適に合焦する被写体が限定されてしまうが、本実施形態のように全焦点画像を使用してぼかし画像を再生成することにより、最適に合焦する被写体を再設定することが可能となる。つまり、ぼかし画像と基準画像から被写体の距離を推定し、推定した距離情報に基づいて全焦点画像にぼかし処理をすることにより、ユーザーにとって所望の合焦被写体が最適に合焦したぼかし画像で、ぼかし処理の再調整が可能となる。

〔実施形態３〕
本実施形態における撮像装置３００の構成を図１７に示す。なお、実施形態２と同様である共通する各部の詳細な説明は省略する。

上記実施形態では、基準画像を、ユーザーが選択した画像としたが、本実施形態では、基準画像として、フォーカス位置の異なる複数の画像のうち最も合焦度の高い画素を選択して、選択した画素を合成することによって得られる全焦点画像を用いる。

本実施形態の撮像装置３００は、実施形態２の撮像装置２００と比較して、記憶部１０３に記憶する画像が異なる。すなわち、実施形態２では、基準画像、ぼかし画像、および全焦点画像、を記憶したが、本実施形態では、ぼかし画像と全焦点画像とを記憶する。

全焦点処理部２０１は、実施形態２の撮像装置２００と同様に、全焦点画像を撮像部１０１の撮像画像から生成する。ぼかし処理部１０２は、基準画像を全焦点処理部２０１で生成した全焦点画像として、設定された合焦させる距離と、ぼかし強度に基づいてぼかし処理をする。そして、記憶部１０３は、全焦点画像と全焦点画像を基準画像として生成したぼかし画像を記憶する。

ぼかし再調整部１０４は、図１８に示すように、全焦点画像を使用して再ぼかし画素を生成し、図１９に示すように、ぼかし画像の対応する画素を比較して撮像時の撮像部１０１から被写体までの距離を推定する。ぼかし再調整部１０４は、再ぼかし画素を、実施形態１と同様の方法を使用して生成することができる。ぼかし再調整部１０４は、推定した距離情報に基づいて、実施形態２と同様に、設定された合焦する被写体までの距離と、ぼかし強度とに応じたぼかし処理の調整を行う。これにより、ぼかし画像と全焦点画像から被写体までの距離を推定し、推定した距離情報に基づいて全焦点画像にぼかし処理をして、合焦被写体が最適に合焦したぼかし画像を用いて、ぼかし処理の再調整が可能となる。

換言すれば、ぼかし再調整部１０４は、基準画像（全焦点画像）に対して複数の平滑化強度を有する平滑化処理を施すことによって、平滑化強度の異なる複数の再ぼかし画素を生成し、上記ぼかし画像の画素と、上記複数の再ぼかし画素との階調値を比較し、比較した結果に応じて上記複数の再ぼかし画素の何れかを選択することによって、上記ぼかし画像のぼかし強度を調整するものである。

また、ぼかし再調整部１０４は、上記全焦点画像の処理対象画素を、上記選択した画素によって置き換えることにより、上記ぼかし画像のぼかし強度を調整する。

本実施形態では、全焦点画像を用いるので、最適に合焦する被写体を再設定することが可能である。さらに本実施形態では、ぼかし画像と全焦点画像を記憶部１０３に記憶すれば良いので、画像を保存するための記憶領域がより少なくてもぼかし画像を生成することができる。

本実施形態では、全焦点画像の生成が完了しないと、ぼかし画像の生成ができないが、全焦点画像の生成に失敗したと判断された場合には、実施形態１の処理を行うことで、ぼかし画像の生成に失敗することを防ぐことができる。

〔実施形態４〕
撮像装置１００、２００、３００の制御ブロック（特にぼかし処理部１０２およびぼかし再調整部１０４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、撮像装置１００、２００、３００は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る画像処理装置１０５は、基準画像および当該基準画像にぼかし処理を施したぼかし画像を記憶する記憶部１０３と、上記記憶部１０３に記憶された上記ぼかし画像のぼかし強度を調整するぼかし調整部（ぼかし再調整部１０４）と、を備え、上記ぼかし調整部（ぼかし再調整部１０４）は、上記基準画像に対して複数の平滑化強度を有する平滑化処理を施すことによって、平滑化強度の異なる複数の再ぼかし画素を生成し、上記ぼかし画像の画素と、上記複数の再ぼかし画素との階調値を比較し、比較した結果に応じて上記複数の再ぼかし画素の何れかを選択することによって、上記ぼかし画像のぼかし強度を調整する。

上記の構成によれば、画像を保存するための記憶領域が少なくても、保存した画像からぼかしを調整することが可能である。

本発明の態様２に係る画像処理装置１０５は、上記態様１において、上記ぼかし調整部（ぼかし再調整部１０４）は、上記基準画像の処理対象画素を、上記選択した画素によって置き換えることにより、上記ぼかし画像のぼかし強度を調整してもよい。

上記の構成によれば、ぼかし再調整部（ぼかし再調整部１０４）は、ぼかし画像と基準画像とを使用して、ぼかし強度を変更したぼかし画像を生成することができる。

本発明の態様３に係る画像処理装置２０５は、上記態様１において、上記記憶部１０３は、上記基準画像よりも被写界深度が深い全焦点画像を記憶し、上記ぼかし調整部（ぼかし再調整部１０４）は、上記全焦点画像の処理対象画素を、上記選択した画素によって置き換えることにより、上記ぼかし画像のぼかし強度を調整してもよい。

上記の構成によれば、ぼかし調整部（ぼかし再調整部１０４）は、ぼかし画像と全焦点画像とを用いて、ぼかし強度を変更したぼかし画像を生成することができる。全焦点画像を用いるので、最適に合焦する被写体を再設定することが可能である。

本発明の態様４に係る画像処理装置３０５は、上記態様１において、上記基準画像は、フォーカス位置の異なる複数の画像のうち最も合焦度の高い画素を選択して、選択した画素を合成した全焦点画像であり、上記ぼかし調整部は、上記全焦点画像の処理対象画素を、上記選択した画素によって置き換えることにより、上記ぼかし画像のぼかし強度を調整してもよい。

上記の構成によれば、ぼかし調整部（ぼかし再調整部１０４）は、ぼかし画像と全焦点画像とを用いて、ぼかし強度を変更したぼかし画像を生成することができる。全焦点画像を用いるので、最適に合焦する被写体を再設定することが可能である。さらに、基準画像を用いないことで、画像を保存するための記憶領域がより少なくてもぼかし画像を生成することができる。

本発明の態様５に係る画像処理装置１０５、２０５、３０５は、上記態様１〜４の何れかの態様において、上記ぼかし調整部（ぼかし再調整部１０４）は、前記ぼかし画像の画素のぼかし強度を強くする場合においては、当該ぼかし画像の画素を生成する際に用いられた平滑化処理における平滑化範囲よりも広い平滑化範囲で平滑化された再ぼかし画素を、処理対象画素毎に選択し、前記ぼかし画像の画素のぼかし強度を弱くする場合においては、当該ぼかし画像の画素を生成する際に用いられた平滑化処理における平滑化範囲よりも狭い平滑化範囲で平滑化された再ぼかし画素を選択してもよい。

上記の構成によれば、ぼかし調整部（ぼかし再調整部１０４）は、ぼかし画像の画素のぼかし強度を変更する場合に、異なる平滑化範囲で平滑化された再ぼかし画素を処理対象画素毎に選択するので、画素毎にぼかし強度を変更できる。

本発明の態様６に係る画像処理装置は、上記態様１〜５の何れかの態様において、上記基準画像は、フォーカス位置の異なる複数の画像のうち基準となる一の画像であり、上記複数の画像を参照して上記基準画像の画素毎に被写体距離を算出し、上記基準画像に対して複数の平滑化処理を施して強度の異なる複数のぼかし画素を生成し、上記複数のぼかし画素の何れかを上記基準画像の被写体距離に応じて選択することで上記ぼかし画像を生成するぼかし処理部１０２をさらに備えてもよい。

上記の構成によれば、ぼかし処理部１０２は、複数のぼかし画素の何れかを基準画像の被写体距離に応じて選択するので、ぼかし画像は画素毎に距離情報を持つことができる。

本発明の態様７に係る撮像装置１００、２００、３００は、フォーカス位置の異なる複数の画像を撮像する撮像部と、態様１〜６の何れか１態様に記載の画像処理装置とを備える。

上記の構成によれば、フォーカス位置の異なる複数の画像を得られるので、画素毎の距離情報を得ることができる。

本発明の態様８に係る撮像装置１００、２００、３００は、撮像位置の異なる複数の画像を撮像する撮像部と、態様１〜５の何れか１態様に記載の画像処理装置とを備える。

上記の構成によれば、撮像位置の異なる複数の画像を得られるので、画素毎の距離情報を得ることができる。

本発明の態様９に係る画像処理方法は、基準画像に対して複数の平滑化強度を有する平滑化処理を施すことによって、平滑化強度の異なる複数の再ぼかし画素を生成する生成ステップＳ１と、上記基準画像にぼかし処理を施したぼかし画像の画素と、上記複数の再ぼかし画素との階調値を比較する比較ステップＳ２と、比較した結果に応じて上記複数の再ぼかし画素の何れかを選択することによって、上記ぼかし画像のぼかし強度を調整する調整ステップＳ４及びＳ６とを含む。

上記の構成によれば、態様１と同様の効果を得ることができる。

本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、画像処理および撮像に利用することができる。

１００、２００、３００ 撮像装置
１０１ 撮像部
１０２ ぼかし処理部
１０３ 記憶部
１０４ ぼかし再調整部
１０５、２０５、３０５ 画像処理装置
２０１ 全焦点処理部

Claims (7)

1. 記憶部に記憶された基準画像と、前記基準画像にぼかし処理を施して前記記憶部に記憶された第１のぼかし画像と、に基づいて、前記第１のぼかし画像とはぼかし強度が異なる第２のぼかし画像を生成するぼかし調整部を備え、
   前記ぼかし調整部は、前記基準画像にぼかし処理を施すことにより得られた画素と、前記第１のぼかし画像の画素とに基づいて、前記第２のぼかし画像の画素を生成することを特徴とする画像処理装置。
2. 記憶部に記憶された基準画像と、前記基準画像にぼかし処理を施して前記記憶部に記憶された第１のぼかし画像と、に基づいて、前記第１のぼかし画像とはぼかし強度が異なる第２のぼかし画像を生成するぼかし調整部を備え、
   前記ぼかし調整部は、前記基準画像にぼかし処理を施すことにより得られた画素と、前記第１のぼかし画像の画素とに基づいて、前記基準画像にぼかし処理を施した画素から前記第２のぼかし画像の画素を生成することを特徴とする画像処理装置。
3. 記憶部に記憶された基準画像と、前記基準画像にぼかし処理を施して前記記憶部に記憶された第１のぼかし画像と、に基づいて、前記第１のぼかし画像とはぼかし強度が異なる第２のぼかし画像を生成するぼかし調整部を備え、
   前記記憶部には、前記基準画像に対応する前記基準画像よりも被写界深度が深い全焦点画像がさらに記憶されており、
   前記ぼかし調整部は、前記全焦点画像の画素と、前記第１のぼかし画像の画素とに基づいて前記第２のぼかし画像の画素を生成することを特徴とする画像処理装置。
4. 記憶部に記憶された基準画像と、前記基準画像にぼかし処理を施して前記記憶部に記憶された第１のぼかし画像と、に基づいて、前記第１のぼかし画像とはぼかし強度が異なる第２のぼかし画像を生成するぼかし調整部を備え、
   前記記憶部には、前記基準画像に対応する全焦点画像が記憶されており、
   前記ぼかし調整部は、前記全焦点画像の画素と、前記第１のぼかし画像の画素とに基づいて、前記全焦点画像にぼかし処理を施した画素から前記第２のぼかし画像の画素を生成することを特徴とする画像処理装置。
5. フォーカス位置の異なる複数の画像を撮像する撮像部と、
   請求項１〜４の何れか１項に記載の画像処理装置とを備える、
   ことを特徴とする撮像装置。
6. 請求項１〜４の何れか１項に記載の画像処理装置としてコンピュータを機能させるためのプログラムであって、当該コンピュータを前記ぼかし調整部として機能させるためのプログラム。
7. 記憶部に記憶された基準画像と、前記基準画像にぼかし処理を施して前記記憶部に記憶された第１のぼかし画像と、に基づいて、前記第１のぼかし画像とはぼかし強度が異なる第２のぼかし画像を生成するぼかし調整ステップを含み、
   前記ぼかし調整ステップでは、前記基準画像にぼかし処理を施すことにより得られた画素と、前記第１のぼかし画像の画素とに基づいて、前記第２のぼかし画像の画素を生成する、
   ことを特徴とする画像処理方法。

Images