本発明は、被写体を流し撮りした入力画像のブレを補正する画像処理装置、撮像装置、及び画像処理方法に関するものである。
近年、カメラの多機能化が進むことにより、カメラの手軽さが増加してきている。ユーザニーズは、カメラの機能によってサポートされる撮影技術へとシフトしている。そのような撮影技術の中の1つに流し撮りがある。流し撮りとは、画像内の特定の位置にその像を固定したい被写体にレンズを向け、シャッターの開口中に、被写体の位置がずれないように、その被写体の動きに合わせてカメラを動かして撮影することである。流し撮りされた画像において、背景は露光中にカメラが動いた分だけブレて写り、被写体は止まっているように写る。
その結果、流し撮りされた画像では、離着陸もしくは低空飛行中の航空機、又は走行中の列車、自動車もしくはバイクなど、動きの速い被写体のスピード感が表現される。
ユーザが手でカメラを動かして流し撮りした場合には、大きな手ブレによって被写体の像までも不鮮明になってしまうことが多い。特に、ユーザが手持ち撮影に熟練したフォトグラファーでない場合には、流し撮りは困難な撮影技術である。一脚あるいは三脚といった器具を用いて流し撮りされた場合であっても、被写体の移動方向とは異なる方向のブレ(縦ブレ)が被写体の像に発生する場合がある。
従来、流し撮りした画像のブレ補正を行う方法が提案されている(例えば、特許文献1参照)。図1は、特許文献1に記載された従来の撮像装置を示すブロック図である。
図1において、撮像装置は、撮像部11と、制御系部12と、要因情報保存部13と、検出部14と、処理部15と、記録部16とを備える。撮像部11は、画像を撮影する。制御系部12は、撮像部11を駆動する。要因情報保存部13は、画像劣化等を生じさせる既知の変化要因情報(例えば撮影光学系の収差等)を保存する。検出部14は、角速度センサ等からなり、画像劣化等の変化の要因となる変化要因情報を検知する。処理部15は、撮像部11で撮影された画像を処理する。記録部16は、処理部15で処理された画像を記録する。
また、処理部15は、撮影画像が流し撮り撮影画像であるか否かを判定する。そして、処理部15は、撮影画像が流し撮り撮影画像であると判定した場合、要因情報保存部13に保存されている変化要因情報から、流し撮りの方向における変化要因情報を取り去ったデータを用いてブレの補正を行う。
また、従来、連続して撮影した複数枚の画像から流し撮り画像を生成する方法も提案されている(例えば、特許文献2参照)。図2は、特許文献2に記載された従来の撮像装置を示すブロック図である。
図2において、撮像装置は、撮像部21と、背景獲得部22と、処理部23と、合成部24とを備える。撮像部21は、動く被写体の像を含む複数のフレームを撮影する。背景獲得部22は、複数のフレームから動く被写体の像を除去するように、複数のフレーム間の画像の差分を計算する。処理部23は、被写体の像を除去した画像に対してボカシ処理をおこなうことで、背景をぼかした画像を生成することができる。合成部24は、ボカシ処理結果に被写体の像を重ね合わせることで、背景がぼけていて、かつ、被写体がくっきりと写っている画像を生成する。
特開2007−074269号公報
特開2006−339784号公報
しかしながら、特許文献1に示される方法では、流し撮りの方向のブレを補正できない。したがって、流し撮りの対象となる被写体の像が流し撮りの方向のブレを有する場合には、効果的にブレ補正を行うことができない。
また、特許文献2に示される方法では、ブレを有していない背景画像に対してボカシ処理が行われるため、被写体の移動方向にブレを有する背景画像を得ることができない。つまり、特許文献2に示される方法では、被写体のスピード感が表現された流し撮り画像を得ることはできない。
本発明は、上記従来の課題を解決するものであって、被写体を流し撮りした画像のブレ補正を行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することができる画像処理装置、撮像装置、及び画像処理方法を提供することを目的とする。
従来の課題を解決するために、本発明の一態様に係る画像処理装置は、被写体を流し撮りした入力画像のブレ補正を行う画像処理装置であって、前記入力画像内の複数の領域の各々において、ブレの方向及び大きさを推定するブレ推定部と、推定された前記ブレの方向及び大きさのうち少なくとも一方の類似性に基づいて、前記複数の領域のクラスタリングを行うクラスタリング部と、前記クラスタリングによって得られた複数のクラスタの中から、前記被写体に対応する少なくとも1つのクラスタを特定する被写体領域特定部と、推定された前記ブレの方向及び大きさに基づいて、特定された前記クラスタに属する領域のブレ補正を行うブレ補正部とを備える。
この構成によれば、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことができる。動いている被写体を流し撮りした場合、被写体の像と背景の像とは異なるブレを有する。したがって、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことにより、被写体に対応するクラスタ(領域の集合)と背景に対応するクラスタとに切り分けることができる。そこで、被写体に対応するクラスタに属する領域のブレ補正を、当該クラスタに属する領域から推定されたブレの方向及び大きさに基づいて行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することが可能となる。
また、前記ブレ推定部は、前記入力画像内の複数の領域の各々において、PSF(Point Spread Function)を推定することにより、前記ブレの方向及び大きさを推定することが好ましい。
この構成によれば、入力画像内の複数の領域の各々において、PSFを推定することにより、ブレの方向及び大きさを高精度に推定することが可能となる。
また、前記ブレ推定部は、前記入力画像の特徴と前記入力画像が撮影されたときの撮影条件との少なくとも一方に応じてサイズが適応的に変化するように、PSFのサイズを決定するPSFサイズ決定部と、前記入力画像内の複数の領域の各々において、決定されたサイズのPSFを推定するPSF推定部とを備えることが好ましい。
この構成によれば、撮影条件又は入力画像の特徴に応じて、PSFのサイズを適応的に変化させることができる。被写体の像の形状と合致するクラスタを得るためには、各領域のサイズは、小さいことが好ましい。各領域のサイズは、PSFのサイズ以上である必要がある。したがって、PSFのサイズはできる限り小さいことが好ましい。しかしながら、PSFのサイズがブレの大きさよりも小さい場合、PSFはブレを適切に表現できない。また、領域内の画像の特徴によっては、PSFのサイズを大きくしなければ、適切にPSFを推定できない場合もある。そこで、撮影条件又は入力画像の特徴に応じて、PSFのサイズを適応的に変化させることにより、適切なサイズのPSFを推定することが可能となる。
また、前記PSFサイズ決定部は、前記被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、前記PSFのサイズを決定することが好ましい。
この構成によれば、被写体の像の輪郭形状が複雑さに基づいて、PSFのサイズを決定することができる。被写体の像の輪郭形状が複雑でない場合には、領域内に特徴が少なくなり小さなサイズのPSFを高精度に推定することが難しい。そこで、被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、PSFのサイズを決定することにより、PSFを高精度に推定することが可能となる。
また、前記PSFサイズ決定部は、前記入力画像が撮影されたときの露光時間が長いほどサイズが大きくなるように、前記PSFのサイズを決定することが好ましい。
この構成によれば、露光時間が長いほどサイズが大きくなるように、PSFのサイズを決定することができる。露光時間が長いほどブレは大きくなる傾向がある。したがって、露光時間が長いほどPSFのサイズを大きくすることにより、PSFのサイズがブレの大きさよりも小さくなる可能性を低減することが可能となる。
また、前記クラスタリング部は、2つの領域のPSF間におけるL2ノルム又はL1ノルムが小さいほど当該2つの領域が同一のクラスタに属するように、前記複数の領域のクラスタリングを行うことが好ましい。
この構成によれば、PSF間のL2ノルム又はL1ノルムに基づいて、複数の領域のクラスタリングを正確に行うことが可能となる。
また、前記クラスタリング部は、2つの領域のブレの方向及び大きさを表すベクトルの差分が小さいほど当該2つの領域が同一のクラスタに属するように、前記複数の領域のクラスタリングを行うことが好ましい。
この構成によれば、ブレを表すベクトルの差分に基づいて、複数の領域のクラスタリングを正確に行うことが可能となる。
また、前記被写体領域特定部は、前記入力画像の中央から閾値以内の距離に位置するクラスタを前記被写体に対応するクラスタとして特定することが好ましい。
この構成によれば、主要な被写体が画像の中心に写されることが多いという特徴を利用して、被写体に対応するクラスタを自動で容易に特定することが可能となる。
また、前記被写体領域特定部は、ユーザから受け付けられた入力情報であって、前記入力画像内における前記被写体の像の位置を示す入力情報に基づいて、前記被写体に対応するクラスタを特定することが好ましい。
この構成によれば、ユーザからの入力情報に基づいて、被写体に対応するクラスタを正確に特定することが可能となる。
また、前記被写体領域特定部は、ブレの大きさが閾値よりも小さいクラスタを前記被写体に対応するクラスタとして特定することが好ましい。
この構成によれば、被写体の像が有するブレよりも背景の像が有するブレの方が大きいことが多いという特徴を利用して、被写体に対応するクラスタを自動で正確に特定することが可能となる。
また、前記ブレ補正部は、特定された前記クラスタに属する領域ごとに、当該領域において推定された前記ブレの方向及び大きさを用いて当該領域のブレ補正を行うことが好ましい。
この構成によれば、領域ごとにブレ補正を行うことができ、より高精度にブレ補正を行うことが可能となる。
また、前記ブレ補正部は、特定された前記クラスタに属する領域ごとに推定された前記ブレの方向及び大きさの平均を用いて、特定された前記クラスタに属する領域のブレ補正を行うことが好ましい。
この構成によれば、クラスタに属する領域のブレ補正を一括で行うことができ、計算負荷を低減することが可能となる。
また、前記ブレ補正部は、さらに、前記被写体に対応するクラスタに属する領域において推定された前記ブレの方向及び大きさを用いて、前記被写体に対応するクラスタ以外のクラスタに属する領域のブレ加工を行うことが好ましい。
この構成によれば、被写体に対応するクラスタ以外のクラスタ(つまり、背景に対応するクラスタ)に属する領域の画像が被写体のブレの方向にブレるように、ブレ補正を行うことができる。したがって、被写体のスピード感がより強調された画像を生成することが可能となる。
また、前記画像処理装置は、集積回路として構成されてもよい。
また、本発明の一態様に係る撮像装置は、上記画像処理装置と、前記入力画像を生成する撮像部とを備える。
この構成によれば、上記画像処理装置と同様の効果を奏することができる。
なお、本発明は、このような画像処理装置として実現することができるだけでなく、このような画像処理装置が備える特徴的な構成要素の動作をステップとする画像処理方法として実現することができる。また、本発明は、画像処理方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc Read Only Memory)等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
本発明によれば、被写体を流し撮りした画像のブレ補正を行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することができる。
図1は、従来のブレ補正処理の一例を説明するための図である。
図2は、従来のブレ補正処理の他の一例を説明するための図である。
図3Aは、本発明の実施の形態における撮像装置の外観図である。
図3Bは、本発明の実施の形態における撮像装置の機能構成を示すブロック図である。
図4は、PSFを説明するための図である。
図5は、本発明の実施の形態におけるPSF推定部の機能構成を示すブロック図である。
図6は、本発明の実施の形態における画像処理装置の動作を説明するための図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。
図3Aは、本発明の実施の形態における撮像装置30の外観図である。図3Bは、本発明の実施の形態における撮像装置30の機能構成を示すブロック図である。
図3Bにおいて、撮像装置30は、撮像部31と画像処理装置36とを備える。撮像部31は、画像を生成する。具体的には、撮像部31は、図示しない光学系及び撮像素子などを備え、光学系を介して入射した光を撮像素子によって電気信号に変換することにより画像を生成する。
本実施の形態では、撮像部31は、例えば、ユーザによって、被写体を追跡するように動かされる。その結果、撮像部31は、被写体を流し撮りした入力画像を生成する。
このように生成された入力画像では、背景の像は、撮像部31を動かした方向のブレを有し、被写体の像は、撮像部31の動きと被写体の動きとが合算されたブレを有する。ここで、ブレとは、画像に生じるぼやけ(blur)のうち、被写体又は撮像装置が動くことにより生じるぼやけ(motion blur)を意味する。
画像処理装置36は、被写体を流し撮りした入力画像のブレ補正を行う。ブレ補正とは、ブレが低減させる画像処理である。図3Bに示すように、画像処理装置36は、ブレ推定部32と、クラスタリング部33と、被写体領域特定部34と、ブレ補正部35とを備える。
ブレ推定部32は、入力画像内の複数の領域の各々において、ブレの方向及び大きさを推定する。本実施の形態では、ブレ推定部32は、入力画像内の領域ごとに、当該領域のPSF(Point Spread Function)を推定することにより、ブレの方向及び大きさを推定する。
一般的に、PSFは、図4に示すように、動きの軌跡として表現され、白い箇所に値を持った画像として表現される。つまり、PSFは、ブレの方向及び大きさを表す。図4において、PSF41は、横方向のブレを表し、PSF42は、斜め方向のブレを表し、PSF43は、円状のブレを表す。
図5は、本発明の実施の形態におけるブレ推定部32の詳細な機能構成を示すブロック図である。図5に示すように、ブレ推定部32は、画像入力部51と、PSFサイズ決定部52と、PSF推定部53とを備える。
画像入力部51は、撮像部31から入力画像を取得する。そして、画像入力部51は、入力画像内に複数の領域を設定する。本実施の形態では、画像入力部51は、互いに重複しない複数の矩形領域に入力画像を分割することにより、複数の領域を設定する。領域のサイズは、すべての領域で共通であり、後述するPSFのサイズ(例えば20×20画素)と同一である。
なお、複数の領域は、必ずしも互いに重複しない領域である必要はなく、他の領域と一部が重複する領域であってもよい。例えば、画像入力部51は、入力画像を1画素ずつラスタ走査することにより、複数の領域を設定してもよい。
PSFサイズ決定部52は、PSFのサイズを決定する。PSFのサイズは、一般的に20×20画素程度であれば、十分にブレを表現できるサイズであると言われている。そこで、本実施の形態では、PSFサイズ決定部52は、一般的なブレを表現できるようにあらかじめ定められたサイズであって、領域のサイズと同一のサイズ(例えば20×20画素)を、PSFのサイズとして決定する。なお、PSFの形状は、必ずしも正方形でなくてもよいが、矩形であることが好ましい。
PSF推定部53は、決定されたサイズのPSFを領域ごとに推定する。このPSFの推定方法は様々な方法がある。しかし、画像内の各領域におけるPSFは、ジャイロセンサなどのセンシング情報を用いて推定することはできない。そこで本実施の形態では、PSF推定部53は、画像処理によって各領域のPSFを推定する。つまり、PSF推定部53は、領域ごとに、当該領域を構成する画素の画素値を用いてPSFを推定する。
具体的には、PSF推定部53は、例えば、非特許文献1(「High−Quality Motion Deblurring From a Single Image」、Siggraph2008、Qi,Shen etc、)に記載されている方法を用いて、各領域のPSFを推定する。
これにより、PSF推定部53は、1枚の入力画像から各領域のブレの方向及び大きさを推定することができる。したがって、ブレの方向及び大きさを推定するために複数枚の画像を連続して撮影する必要がないので、処理負荷を軽減するとともに、撮像部31の構成を簡易にすることができる。
次に、クラスタリング部33について説明する。クラスタリング部33は、推定されたブレの方向及び大きさのうち少なくとも一方の類似性に基づいて、複数の領域のクラスタリングを行う。つまり、クラスタリング部33は、ブレの方向及び大きさのうち少なくとも一方が類似する互いに隣接する領域が同一のクラスタに属するように、複数の領域のクラスタリングを行う。
ここで、クラスタリングとは、データの集合を、互いに特徴が類似するデータの部分集合に切り分けることをいう。このような部分集合をクラスタという。つまり、クラスタリングによって得られる複数のクラスタの各々には、互いに特徴が類似するデータが属する。
本実施の形態では、クラスタリング部33は、PSFの類似性に基づいて、複数の領域のクラスタリングを行う。PSFは、図5で示すような直線あるいは曲線で表される関数であり、画像とみなされうる。そこで、クラスタリング部33は、以下の(式1)のように、2つの領域のPSF間のL2ノルムが小さいほど当該2つの領域が同一のクラスタに属するように、複数の領域のクラスタリングを行う。
(式1)において、VALは、2つのPSF間の類似度を示すL2ノルムを表す。このVALは、値が小さいほど類似度が高いことを示す。また、Nは、領域に含まれる画素の総数を表す。また、P1p及びP2pは、比較対象となる2つのPSFの画素pにおける画素値を表す。
つまり、クラスタリング部33は、このVALに基づいて、複数の領域のクラスタリングを行う。例えば、クラスタリング部33は、互いに隣接する2つの領域のPSF間のVALが閾値thより小さい場合に、当該2つの領域が同一のクラスタに属するようにクラスタリングを行う。また、クラスタリング部33は、互いに隣接する2つのPSF間のVALが閾値th以上の場合に、当該2つの領域が異なるクラスタに属するようにクラスタリングを行う。
なお、本実施の形態では、クラスタリング部33は、L2ノルムに基づいて複数の領域のクラスタリングを行ったが、必ずしもL2ノルムに基づいてクラスタリングを行う必要はない。例えば、クラスタリング部33は、L1ノルムに基づいてクラスタリングを行ってもよい。
また、クラスタリング部33は、ブレの方向もしくはブレの大きさ、又はそれらの組合せに基づいて、クラスタリングを行ってもよい。例えば、クラスタリング部33は、PSFから得られるブレの角度の差異が一定角度より小さくなる領域が1つのクラスタに属するように、クラスタリングを行ってもよい。
また、クラスタリング部33は、2つの領域のブレの方向及び大きさを表すベクトルの差分が小さいほど当該2つの領域が同一のクラスタに属するように、複数の領域のクラスタリングを行ってもよい。例えば、クラスタリング部33は、差分ベクトルの大きさが一定の大きさより小さくなる領域が1つのクラスタに属するように、クラスタリングを行ってもよい。これにより、クラスタリング部33は、複数の領域のクラスタリングを正確に行うことができる。
以上のように、クラスタリング部33は、PSFの値の大きさ、あるいは、PSFによって示されるブレの方向又は大きさ(図4でいう白い線)が類似していれば、1つのクラスタに属するように、複数の領域のクラスタリングを行う。
次に、被写体領域特定部34について説明する。被写体領域特定部34は、クラスタリングによって得られた複数のクラスタの中から、流し撮りの対象となる被写体に対応するクラスタを特定する。一般的に、主要な被写体の像は画像の中央付近に位置し、主要な被写体の像の面積は比較的大きいことが知られている。
そこで本実施の形態では、被写体領域特定部34は、画像の中央付近であり、かつ、面積が最大となるクラスタを、被写体に対応するクラスタとして特定する。つまり、被写体領域特定部34は、入力画像の中央から閾値以内の距離に位置するクラスタを、被写体に対応するクラスタとして特定する。また、入力画像の中央から閾値以内の距離に位置するクラスタが複数ある場合は、被写体領域特定部34は、それらのクラスタのうち最も面積が大きいクラスタを、被写体に対応するクラスタとして特定する。これにより、被写体領域特定部34は、主要な被写体が画像の中心に写されることが多いという特徴を利用して、被写体に対応するクラスタを自動で容易に特定することが可能となる。
なお、クラスタの位置とは、クラスタに属する複数の領域を代表する位置である。例えば、クラスタの位置は、クラスタに属する複数の領域の中心位置又は重心位置などである。
最後に、ブレ補正部35について説明する。
ブレ補正部35は、被写体領域特定部34によって特定されたクラスタに属する領域について、PSFを用いて、ブレの復元を行う。つまり、ブレ補正部35は、推定されたブレの方向及び大きさに基づいて、特定されたクラスタに属する領域のブレ補正を行う。
なお、ブレ補正部35は、前述した非特許文献1に記載の方法、ウィナーフィルタ、あるいはリチャードソンルーシー(ルーシーリチャードソン)手法などを用いてブレ補正を行えばよい。
これにより、ブレ補正部35は、背景の像は被写体の移動方向のブレを有し、被写体の像はブレを有しない出力画像を生成することができる。つまり、ブレ補正部35は、適切に流し撮りされた画像を生成することができる。
なお、ブレ補正部35は、領域ごとにブレ補正を行ってもよいし、クラスタごとにブレ補正を行ってもよい。具体的には、ブレ補正部35は、例えば、特定されたクラスタに属する領域ごとに、当該領域において推定されたブレの方向及び大きさを用いて当該領域のブレ補正を行ってもよい。これにより、ブレ補正部35は、高精度にブレ補正を行うことが可能となる。また、ブレ補正部35は、例えば、特定されたクラスタに属する領域ごとに推定されたブレの方向及び大きさの平均を用いて、特定されたクラスタに属する領域のブレ補正を行ってもよい。これにより、ブレ補正部35は、クラスタに属する領域のブレ補正を一括で行うことができ、計算負荷を低減することが可能となる。
次に、以上のように構成された画像処理装置における各種動作について説明する。
図6は、本発明の実施の形態における画像処理の流れを示すフローチャートである。
まず、ブレ推定部32は、入力画像内の複数の領域の各々においてPSFを推定する(S101)。図6では、ブレ推定部32は、入力画像61を複数の矩形領域に分割し、その矩形領域ごとにPSFを推定する。
続いて、クラスタリング部33は、推定されたPSFの類似性に基づいて、複数の領域のクラスタリングを行う(S102)。例えば、クラスタリング結果62に示すように、クラスタリング部33は、第1クラスタ62a(ハッチングされた領域)と、第2クラスタ62b(ハッチングされていない領域)とに、複数の領域をクラスタリングする。
そして、被写体領域特定部34は、クラスタリングによって得られた複数のクラスタの中から、被写体に対応する少なくとも1つのクラスタを特定する(S103)。例えば、被写体領域特定部34は、入力画像の中央に位置する第1クラスタ62aを、被写体に対応するクラスタとして特定する。
最後に、ブレ補正部35は、推定されたブレの方向及び大きさに基づいて、特定されたクラスタに属する領域のブレを補正する(S104)。例えば、ブレ補正部35は、第1クラスタ62aに属する8つの領域のブレ補正を行うことにより、出力画像63を生成する。
以上のように、本実施の形態における画像処理装置36によれば、背景の像と被写体の像との分離を容易に行うことができる。そして、流し撮りの対象となる主要な被写体の像についてのみブレ補正を行い、背景の像についてはブレを有する状態のまま維持することができるため、手軽に流し撮り画像を生成することができる。
つまり、本実施の形態における画像処理装置36によれば、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことができる。動いている被写体を流し撮りした場合、被写体の像と背景の像とは異なるブレを有する。したがって、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことにより、被写体に対応するクラスタ(領域の集合)と背景に対応するクラスタとに切り分けることができる。そこで、被写体に対応するクラスタに属する領域のブレ補正を、当該クラスタに属する領域から推定されたブレの方向及び大きさに基づいて行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することが可能となる。
以上、本発明の一態様に係る画像処理装置36について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、上記実施の形態において、ブレ推定部32は、各領域のPSFを推定することにより、各領域のブレの方向及び大きさを推定していたが、各領域のブレの方向及び大きさを推定できればよく、必ずしもPSFを推定する必要はない。例えば、ブレ推定部32は、連続して撮影された、入力画像を含む複数枚の画像において、各画像間で対応する点を追跡することにより、ブレの方向及び大きさを推定してもよい。
また例えば、上記実施の形態において、PSFサイズ決定部52は、あらかじめ定められたサイズをPSFのサイズとして決定していたが、必ずしもこのようにPSFのサイズを決定する必要はない。PSFサイズ決定部52は、入力画像の特徴と入力画像が撮影されたときの撮影条件との少なくとも一方に応じてサイズが適応的に変化するように、PSFのサイズを決定してもよい。
被写体の像の形状と合致するクラスタを得るためには、各領域のサイズは、小さいことが好ましい。各領域のサイズは、PSFのサイズ以上である必要がある。したがって、PSFのサイズはできる限り小さいことが好ましい。しかしながら、PSFのサイズがブレの大きさよりも小さい場合、PSFはブレを適切に表現できない。また、領域内の画像の特徴によっては、PSFのサイズを大きくしなければ、適切にPSFを推定できない場合もある。そこで、PSFサイズ決定部52は、撮影条件又は入力画像の特徴に応じて、PSFのサイズを適応的に変化させることにより、適切なサイズのPSFを推定することが可能となる。
具体的には、PSFサイズ決定部52は、被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、PSFのサイズを決定してもよい。被写体の像の輪郭形状が複雑でない場合には、領域内に特徴が少なくなり小さなサイズのPSFを高精度に推定することが難しい。そこで、PSFサイズ決定部52は、被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、PSFのサイズを決定することにより、PSFを高精度に推定することが可能となる。なお、一般的に、被写体の像の輪郭形状が複雑である場合、入力画像を構成する画素の画素値の分散は大きくなる。したがって、PSFサイズ決定部52は、入力画像を構成する画素の画素値の分散が大きいほどサイズが小さくなるように、PSFのサイズを決定してもよい。
また、PSFサイズ決定部52は、例えば、入力画像が撮影されたときの露光時間が長いほどPSFのサイズが大きくなるように、PSFのサイズを決定してもよい。また、PSFサイズ決定部52は、入力画像が撮影されたときの撮像装置30の動きが大きいほどPSFのサイズが大きくなるように、PSFのサイズを決定してもよい。この場合、PSFサイズ決定部52は、撮像装置30に取り付けられた動きセンサ(例えばジャイロセンサなど)から取得した情報を用いて、PSFのサイズを決定してもよい。これにより、PSFサイズ決定部52は、PSFのサイズがブレの大きさよりも小さくなる可能性を低減することが可能となる。
また、PSFサイズ決定部52は、ユーザから指示された被写体に関する情報を利用して、PSFのサイズを決定してもよい。この場合、PSFサイズ決定部52は、ユーザからの入力を受け付けることにより、被写体に関する情報を取得すればよい。なお、被写体に関する情報は、例えば、被写体の種別(自動車、電車、飛行機、人あるいは馬など)、被写体の移動速度などである。
なお、上記実施の形態において、被写体領域特定部34は、入力画像の中央付近に位置するクラスタを、被写体に対応するクラスタとして特定していたが、必ずしもこのように特定する必要はない。例えば、被写体領域特定部34は、ユーザから受け付けられた入力情報であって、入力画像内における被写体の像の位置を示す入力情報に基づいて、被写体に対応するクラスタを特定してもよい。この場合、ユーザは、例えば、タッチパネルなどに表示された入力画像に対して、被写体の像の位置を指示すればよい。これにより、被写体領域特定部34は、被写体に対応するクラスタを正確に特定することが可能となる。
また、被写体領域特定部34は、ブレの大きさが閾値よりも小さいクラスタを前記被写体に対応するクラスタとして特定してもよい。これにより、被写体領域特定部34は、被写体の像が有するブレよりも背景の像が有するブレの方が大きいことが多いという特徴を利用して、被写体に対応するクラスタを自動で正確に特定することが可能となる。
なお、被写体領域特定部34は、上記の各種方法を組み合わせて、被写体に対応する領域を特定してもよい。例えば、被写体領域特定部34は、入力画像の中央付近に位置しており、かつ、ブレが小さいクラスタを、被写体に対応するクラスタとして特定してもよい。
なお、上記実施の形態において、複数の領域のサイズは、すべて同一であったが、必ずしも同一である必要はない。例えば、画像入力部51は、入力画像の位置に応じて、領域のサイズを適応的に変化させてもよい。
なお、上記実施の形態において、入力画像は、ユーザによって被写体を追跡するように撮像部31が動かされて撮影された画像であったが、例えば、撮像部31が固定されて撮影された画像であってもよい。この場合、ブレ補正部35は、さらに、被写体に対応するクラスタに属する領域において推定されたブレの方向及び大きさを用いて、被写体に対応するクラスタ以外のクラスタに属する領域のブレ加工を行うことが好ましい。ここで、ブレ加工とは、ブレを強調させる画像処理である。具体的には、ブレ加工は、例えば、画像とPSFとを畳込み演算することにより実現される。
これにより、ブレ補正部35は、被写体に対応するクラスタ以外のクラスタ(つまり、背景に対応するクラスタ)に属する領域の画像が被写体のブレの方向にブレるように、ブレ補正を行うことができる。したがって、ブレ補正部35は、被写体のスピード感がより強調された画像を生成することが可能となる。
なお、上記実施の形態において、画像処理装置36は、撮像装置30に備えられていたが、必ずしも撮像装置30に備えられる必要はない。つまり、画像処理装置36は、撮像装置30とは独立した装置として構成されてもよい。
また、上記実施の形態における画像処理装置36が備える構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。例えば、画像処理装置36は、ブレ推定部32と、クラスタリング部33と、被写体領域特定部34と、ブレ補正部35とを有するシステムLSIから構成されてもよい。
システムLSIは、複数の構成要素を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Ramdom Access Memory)などを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、あるいはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、本発明は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部をステップとする画像処理方法として実現することもできる。また、画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、CD−ROM等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
本発明は、被写体を流し撮りした入力画像のブレ補正を行うことができる画像処理装置、又はその画像処理装置を備えるデジタルスチルカメラ、デジタルビデオカメラなどの撮像装置に有用である。
30 撮像装置
31 撮像部
32 ブレ推定部
33 クラスタリング部
34 被写体領域特定部
35 ブレ補正部
36 画像処理装置
51 画像入力部
52 PSFサイズ決定部
53 PSF推定部
本発明は、被写体を流し撮りした入力画像のブレを補正する画像処理装置、撮像装置、及び画像処理方法に関するものである。
近年、カメラの多機能化が進むことにより、カメラの手軽さが増加してきている。ユーザニーズは、カメラの機能によってサポートされる撮影技術へとシフトしている。そのような撮影技術の中の1つに流し撮りがある。流し撮りとは、画像内の特定の位置にその像を固定したい被写体にレンズを向け、シャッターの開口中に、被写体の位置がずれないように、その被写体の動きに合わせてカメラを動かして撮影することである。流し撮りされた画像において、背景は露光中にカメラが動いた分だけブレて写り、被写体は止まっているように写る。
その結果、流し撮りされた画像では、離着陸もしくは低空飛行中の航空機、又は走行中の列車、自動車もしくはバイクなど、動きの速い被写体のスピード感が表現される。
ユーザが手でカメラを動かして流し撮りした場合には、大きな手ブレによって被写体の像までも不鮮明になってしまうことが多い。特に、ユーザが手持ち撮影に熟練したフォトグラファーでない場合には、流し撮りは困難な撮影技術である。一脚あるいは三脚といった器具を用いて流し撮りされた場合であっても、被写体の移動方向とは異なる方向のブレ(縦ブレ)が被写体の像に発生する場合がある。
従来、流し撮りした画像のブレ補正を行う方法が提案されている(例えば、特許文献1参照)。図1は、特許文献1に記載された従来の撮像装置を示すブロック図である。
図1において、撮像装置は、撮像部11と、制御系部12と、要因情報保存部13と、検出部14と、処理部15と、記録部16とを備える。撮像部11は、画像を撮影する。
制御系部12は、撮像部11を駆動する。要因情報保存部13は、画像劣化等を生じさせる既知の変化要因情報(例えば撮影光学系の収差等)を保存する。検出部14は、角速度センサ等からなり、画像劣化等の変化の要因となる変化要因情報を検知する。処理部15は、撮像部11で撮影された画像を処理する。記録部16は、処理部15で処理された画像を記録する。
また、処理部15は、撮影画像が流し撮り撮影画像であるか否かを判定する。そして、処理部15は、撮影画像が流し撮り撮影画像であると判定した場合、要因情報保存部13に保存されている変化要因情報から、流し撮りの方向における変化要因情報を取り去ったデータを用いてブレの補正を行う。
また、従来、連続して撮影した複数枚の画像から流し撮り画像を生成する方法も提案されている(例えば、特許文献2参照)。図2は、特許文献2に記載された従来の撮像装置を示すブロック図である。
図2において、撮像装置は、撮像部21と、背景獲得部22と、処理部23と、合成部24とを備える。撮像部21は、動く被写体の像を含む複数のフレームを撮影する。背景獲得部22は、複数のフレームから動く被写体の像を除去するように、複数のフレーム間の画像の差分を計算する。処理部23は、被写体の像を除去した画像に対してボカシ処理をおこなうことで、背景をぼかした画像を生成することができる。合成部24は、ボカシ処理結果に被写体の像を重ね合わせることで、背景がぼけていて、かつ、被写体がくっきりと写っている画像を生成する。
特開2007−074269号公報
特開2006−339784号公報
しかしながら、特許文献1に示される方法では、流し撮りの方向のブレを補正できない。したがって、流し撮りの対象となる被写体の像が流し撮りの方向のブレを有する場合には、効果的にブレ補正を行うことができない。
また、特許文献2に示される方法では、ブレを有していない背景画像に対してボカシ処理が行われるため、被写体の移動方向にブレを有する背景画像を得ることができない。つまり、特許文献2に示される方法では、被写体のスピード感が表現された流し撮り画像を得ることはできない。
本発明は、上記従来の課題を解決するものであって、被写体を流し撮りした画像のブレ補正を行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することができる画像処理装置、撮像装置、及び画像処理方法を提供することを目的とする。
従来の課題を解決するために、本発明の一態様に係る画像処理装置は、被写体を流し撮りした入力画像のブレ補正を行う画像処理装置であって、前記入力画像内の複数の領域の各々において、ブレの方向及び大きさを推定するブレ推定部と、推定された前記ブレの方向及び大きさのうち少なくとも一方の類似性に基づいて、前記複数の領域のクラスタリングを行うクラスタリング部と、前記クラスタリングによって得られた複数のクラスタの中
から、前記被写体に対応する少なくとも1つのクラスタを特定する被写体領域特定部と、推定された前記ブレの方向及び大きさに基づいて、特定された前記クラスタに属する領域のブレ補正を行うブレ補正部とを備える。
この構成によれば、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことができる。動いている被写体を流し撮りした場合、被写体の像と背景の像とは異なるブレを有する。したがって、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことにより、被写体に対応するクラスタ(領域の集合)と背景に対応するクラスタとに切り分けることができる。そこで、被写体に対応するクラスタに属する領域のブレ補正を、当該クラスタに属する領域から推定されたブレの方向及び大きさに基づいて行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することが可能となる。
また、前記ブレ推定部は、前記入力画像内の複数の領域の各々において、PSF(Point Spread Function)を推定することにより、前記ブレの方向及び大きさを推定することが好ましい。
この構成によれば、入力画像内の複数の領域の各々において、PSFを推定することにより、ブレの方向及び大きさを高精度に推定することが可能となる。
また、前記ブレ推定部は、前記入力画像の特徴と前記入力画像が撮影されたときの撮影条件との少なくとも一方に応じてサイズが適応的に変化するように、PSFのサイズを決定するPSFサイズ決定部と、前記入力画像内の複数の領域の各々において、決定されたサイズのPSFを推定するPSF推定部とを備えることが好ましい。
この構成によれば、撮影条件又は入力画像の特徴に応じて、PSFのサイズを適応的に変化させることができる。被写体の像の形状と合致するクラスタを得るためには、各領域のサイズは、小さいことが好ましい。各領域のサイズは、PSFのサイズ以上である必要がある。したがって、PSFのサイズはできる限り小さいことが好ましい。しかしながら、PSFのサイズがブレの大きさよりも小さい場合、PSFはブレを適切に表現できない。また、領域内の画像の特徴によっては、PSFのサイズを大きくしなければ、適切にPSFを推定できない場合もある。そこで、撮影条件又は入力画像の特徴に応じて、PSFのサイズを適応的に変化させることにより、適切なサイズのPSFを推定することが可能となる。
また、前記PSFサイズ決定部は、前記被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、前記PSFのサイズを決定することが好ましい。
この構成によれば、被写体の像の輪郭形状が複雑さに基づいて、PSFのサイズを決定することができる。被写体の像の輪郭形状が複雑でない場合には、領域内に特徴が少なくなり小さなサイズのPSFを高精度に推定することが難しい。そこで、被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、PSFのサイズを決定することにより、PSFを高精度に推定することが可能となる。
また、前記PSFサイズ決定部は、前記入力画像が撮影されたときの露光時間が長いほどサイズが大きくなるように、前記PSFのサイズを決定することが好ましい。
この構成によれば、露光時間が長いほどサイズが大きくなるように、PSFのサイズを決定することができる。露光時間が長いほどブレは大きくなる傾向がある。したがって、露光時間が長いほどPSFのサイズを大きくすることにより、PSFのサイズがブレの大
きさよりも小さくなる可能性を低減することが可能となる。
また、前記クラスタリング部は、2つの領域のPSF間におけるL2ノルム又はL1ノルムが小さいほど当該2つの領域が同一のクラスタに属するように、前記複数の領域のクラスタリングを行うことが好ましい。
この構成によれば、PSF間のL2ノルム又はL1ノルムに基づいて、複数の領域のクラスタリングを正確に行うことが可能となる。
また、前記クラスタリング部は、2つの領域のブレの方向及び大きさを表すベクトルの差分が小さいほど当該2つの領域が同一のクラスタに属するように、前記複数の領域のクラスタリングを行うことが好ましい。
この構成によれば、ブレを表すベクトルの差分に基づいて、複数の領域のクラスタリングを正確に行うことが可能となる。
また、前記被写体領域特定部は、前記入力画像の中央から閾値以内の距離に位置するクラスタを前記被写体に対応するクラスタとして特定することが好ましい。
この構成によれば、主要な被写体が画像の中心に写されることが多いという特徴を利用して、被写体に対応するクラスタを自動で容易に特定することが可能となる。
また、前記被写体領域特定部は、ユーザから受け付けられた入力情報であって、前記入力画像内における前記被写体の像の位置を示す入力情報に基づいて、前記被写体に対応するクラスタを特定することが好ましい。
この構成によれば、ユーザからの入力情報に基づいて、被写体に対応するクラスタを正確に特定することが可能となる。
また、前記被写体領域特定部は、ブレの大きさが閾値よりも小さいクラスタを前記被写体に対応するクラスタとして特定することが好ましい。
この構成によれば、被写体の像が有するブレよりも背景の像が有するブレの方が大きいことが多いという特徴を利用して、被写体に対応するクラスタを自動で正確に特定することが可能となる。
また、前記ブレ補正部は、特定された前記クラスタに属する領域ごとに、当該領域において推定された前記ブレの方向及び大きさを用いて当該領域のブレ補正を行うことが好ましい。
この構成によれば、領域ごとにブレ補正を行うことができ、より高精度にブレ補正を行うことが可能となる。
また、前記ブレ補正部は、特定された前記クラスタに属する領域ごとに推定された前記ブレの方向及び大きさの平均を用いて、特定された前記クラスタに属する領域のブレ補正を行うことが好ましい。
この構成によれば、クラスタに属する領域のブレ補正を一括で行うことができ、計算負荷を低減することが可能となる。
また、前記ブレ補正部は、さらに、前記被写体に対応するクラスタに属する領域において推定された前記ブレの方向及び大きさを用いて、前記被写体に対応するクラスタ以外のクラスタに属する領域のブレ加工を行うことが好ましい。
この構成によれば、被写体に対応するクラスタ以外のクラスタ(つまり、背景に対応するクラスタ)に属する領域の画像が被写体のブレの方向にブレるように、ブレ補正を行うことができる。したがって、被写体のスピード感がより強調された画像を生成することが可能となる。
また、前記画像処理装置は、集積回路として構成されてもよい。
また、本発明の一態様に係る撮像装置は、上記画像処理装置と、前記入力画像を生成する撮像部とを備える。
この構成によれば、上記画像処理装置と同様の効果を奏することができる。
なお、本発明は、このような画像処理装置として実現することができるだけでなく、このような画像処理装置が備える特徴的な構成要素の動作をステップとする画像処理方法として実現することができる。また、本発明は、画像処理方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc Read Only Memory)等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
本発明によれば、被写体を流し撮りした画像のブレ補正を行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することができる。
図1は、従来のブレ補正処理の一例を説明するための図である。
図2は、従来のブレ補正処理の他の一例を説明するための図である。
図3Aは、本発明の実施の形態における撮像装置の外観図である。
図3Bは、本発明の実施の形態における撮像装置の機能構成を示すブロック図である。
図4は、PSFを説明するための図である。
図5は、本発明の実施の形態におけるPSF推定部の機能構成を示すブロック図である。
図6は、本発明の実施の形態における画像処理装置の動作を説明するための図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。
図3Aは、本発明の実施の形態における撮像装置30の外観図である。図3Bは、本発明の実施の形態における撮像装置30の機能構成を示すブロック図である。
図3Bにおいて、撮像装置30は、撮像部31と画像処理装置36とを備える。撮像部31は、画像を生成する。具体的には、撮像部31は、図示しない光学系及び撮像素子などを備え、光学系を介して入射した光を撮像素子によって電気信号に変換することにより画像を生成する。
本実施の形態では、撮像部31は、例えば、ユーザによって、被写体を追跡するように動かされる。その結果、撮像部31は、被写体を流し撮りした入力画像を生成する。
このように生成された入力画像では、背景の像は、撮像部31を動かした方向のブレを有し、被写体の像は、撮像部31の動きと被写体の動きとが合算されたブレを有する。ここで、ブレとは、画像に生じるぼやけ(blur)のうち、被写体又は撮像装置が動くことにより生じるぼやけ(motion blur)を意味する。
画像処理装置36は、被写体を流し撮りした入力画像のブレ補正を行う。ブレ補正とは、ブレが低減させる画像処理である。図3Bに示すように、画像処理装置36は、ブレ推定部32と、クラスタリング部33と、被写体領域特定部34と、ブレ補正部35とを備える。
ブレ推定部32は、入力画像内の複数の領域の各々において、ブレの方向及び大きさを推定する。本実施の形態では、ブレ推定部32は、入力画像内の領域ごとに、当該領域のPSF(Point Spread Function)を推定することにより、ブレの方向及び大きさを推定する。
一般的に、PSFは、図4に示すように、動きの軌跡として表現され、白い箇所に値を持った画像として表現される。つまり、PSFは、ブレの方向及び大きさを表す。図4において、PSF41は、横方向のブレを表し、PSF42は、斜め方向のブレを表し、PSF43は、円状のブレを表す。
図5は、本発明の実施の形態におけるブレ推定部32の詳細な機能構成を示すブロック図である。図5に示すように、ブレ推定部32は、画像入力部51と、PSFサイズ決定部52と、PSF推定部53とを備える。
画像入力部51は、撮像部31から入力画像を取得する。そして、画像入力部51は、入力画像内に複数の領域を設定する。本実施の形態では、画像入力部51は、互いに重複しない複数の矩形領域に入力画像を分割することにより、複数の領域を設定する。領域のサイズは、すべての領域で共通であり、後述するPSFのサイズ(例えば20×20画素)と同一である。
なお、複数の領域は、必ずしも互いに重複しない領域である必要はなく、他の領域と一部が重複する領域であってもよい。例えば、画像入力部51は、入力画像を1画素ずつラスタ走査することにより、複数の領域を設定してもよい。
PSFサイズ決定部52は、PSFのサイズを決定する。PSFのサイズは、一般的に20×20画素程度であれば、十分にブレを表現できるサイズであると言われている。そこで、本実施の形態では、PSFサイズ決定部52は、一般的なブレを表現できるようにあらかじめ定められたサイズであって、領域のサイズと同一のサイズ(例えば20×20画素)を、PSFのサイズとして決定する。なお、PSFの形状は、必ずしも正方形でなくてもよいが、矩形であることが好ましい。
PSF推定部53は、決定されたサイズのPSFを領域ごとに推定する。このPSFの推定方法は様々な方法がある。しかし、画像内の各領域におけるPSFは、ジャイロセンサなどのセンシング情報を用いて推定することはできない。そこで本実施の形態では、PSF推定部53は、画像処理によって各領域のPSFを推定する。つまり、PSF推定部53は、領域ごとに、当該領域を構成する画素の画素値を用いてPSFを推定する。
具体的には、PSF推定部53は、例えば、非特許文献1(「High−Quality Motion Deblurring From a Single Image」、Siggraph2008、Qi,Shen etc、)に記載されている方法を用いて、各領域のPSFを推定する。
これにより、PSF推定部53は、1枚の入力画像から各領域のブレの方向及び大きさを推定することができる。したがって、ブレの方向及び大きさを推定するために複数枚の画像を連続して撮影する必要がないので、処理負荷を軽減するとともに、撮像部31の構成を簡易にすることができる。
次に、クラスタリング部33について説明する。クラスタリング部33は、推定されたブレの方向及び大きさのうち少なくとも一方の類似性に基づいて、複数の領域のクラスタリングを行う。つまり、クラスタリング部33は、ブレの方向及び大きさのうち少なくとも一方が類似する互いに隣接する領域が同一のクラスタに属するように、複数の領域のクラスタリングを行う。
ここで、クラスタリングとは、データの集合を、互いに特徴が類似するデータの部分集合に切り分けることをいう。このような部分集合をクラスタという。つまり、クラスタリングによって得られる複数のクラスタの各々には、互いに特徴が類似するデータが属する。
本実施の形態では、クラスタリング部33は、PSFの類似性に基づいて、複数の領域のクラスタリングを行う。PSFは、図5で示すような直線あるいは曲線で表される関数であり、画像とみなされうる。そこで、クラスタリング部33は、以下の(式1)のように、2つの領域のPSF間のL2ノルムが小さいほど当該2つの領域が同一のクラスタに属するように、複数の領域のクラスタリングを行う。
(式1)において、VALは、2つのPSF間の類似度を示すL2ノルムを表す。このVALは、値が小さいほど類似度が高いことを示す。また、Nは、領域に含まれる画素の総数を表す。また、P1p及びP2pは、比較対象となる2つのPSFの画素pにおける画素値を表す。
つまり、クラスタリング部33は、このVALに基づいて、複数の領域のクラスタリングを行う。例えば、クラスタリング部33は、互いに隣接する2つの領域のPSF間のVALが閾値thより小さい場合に、当該2つの領域が同一のクラスタに属するようにクラスタリングを行う。また、クラスタリング部33は、互いに隣接する2つのPSF間のVALが閾値th以上の場合に、当該2つの領域が異なるクラスタに属するようにクラスタリングを行う。
なお、本実施の形態では、クラスタリング部33は、L2ノルムに基づいて複数の領域のクラスタリングを行ったが、必ずしもL2ノルムに基づいてクラスタリングを行う必要はない。例えば、クラスタリング部33は、L1ノルムに基づいてクラスタリングを行っ
てもよい。
また、クラスタリング部33は、ブレの方向もしくはブレの大きさ、又はそれらの組合せに基づいて、クラスタリングを行ってもよい。例えば、クラスタリング部33は、PSFから得られるブレの角度の差異が一定角度より小さくなる領域が1つのクラスタに属するように、クラスタリングを行ってもよい。
また、クラスタリング部33は、2つの領域のブレの方向及び大きさを表すベクトルの差分が小さいほど当該2つの領域が同一のクラスタに属するように、複数の領域のクラスタリングを行ってもよい。例えば、クラスタリング部33は、差分ベクトルの大きさが一定の大きさより小さくなる領域が1つのクラスタに属するように、クラスタリングを行ってもよい。これにより、クラスタリング部33は、複数の領域のクラスタリングを正確に行うことができる。
以上のように、クラスタリング部33は、PSFの値の大きさ、あるいは、PSFによって示されるブレの方向又は大きさ(図4でいう白い線)が類似していれば、1つのクラスタに属するように、複数の領域のクラスタリングを行う。
次に、被写体領域特定部34について説明する。被写体領域特定部34は、クラスタリングによって得られた複数のクラスタの中から、流し撮りの対象となる被写体に対応するクラスタを特定する。一般的に、主要な被写体の像は画像の中央付近に位置し、主要な被写体の像の面積は比較的大きいことが知られている。
そこで本実施の形態では、被写体領域特定部34は、画像の中央付近であり、かつ、面積が最大となるクラスタを、被写体に対応するクラスタとして特定する。つまり、被写体領域特定部34は、入力画像の中央から閾値以内の距離に位置するクラスタを、被写体に対応するクラスタとして特定する。また、入力画像の中央から閾値以内の距離に位置するクラスタが複数ある場合は、被写体領域特定部34は、それらのクラスタのうち最も面積が大きいクラスタを、被写体に対応するクラスタとして特定する。これにより、被写体領域特定部34は、主要な被写体が画像の中心に写されることが多いという特徴を利用して、被写体に対応するクラスタを自動で容易に特定することが可能となる。
なお、クラスタの位置とは、クラスタに属する複数の領域を代表する位置である。例えば、クラスタの位置は、クラスタに属する複数の領域の中心位置又は重心位置などである。
最後に、ブレ補正部35について説明する。
ブレ補正部35は、被写体領域特定部34によって特定されたクラスタに属する領域について、PSFを用いて、ブレの復元を行う。つまり、ブレ補正部35は、推定されたブレの方向及び大きさに基づいて、特定されたクラスタに属する領域のブレ補正を行う。
なお、ブレ補正部35は、前述した非特許文献1に記載の方法、ウィナーフィルタ、あるいはリチャードソンルーシー(ルーシーリチャードソン)手法などを用いてブレ補正を行えばよい。
これにより、ブレ補正部35は、背景の像は被写体の移動方向のブレを有し、被写体の像はブレを有しない出力画像を生成することができる。つまり、ブレ補正部35は、適切に流し撮りされた画像を生成することができる。
なお、ブレ補正部35は、領域ごとにブレ補正を行ってもよいし、クラスタごとにブレ補正を行ってもよい。具体的には、ブレ補正部35は、例えば、特定されたクラスタに属する領域ごとに、当該領域において推定されたブレの方向及び大きさを用いて当該領域のブレ補正を行ってもよい。これにより、ブレ補正部35は、高精度にブレ補正を行うことが可能となる。また、ブレ補正部35は、例えば、特定されたクラスタに属する領域ごとに推定されたブレの方向及び大きさの平均を用いて、特定されたクラスタに属する領域のブレ補正を行ってもよい。これにより、ブレ補正部35は、クラスタに属する領域のブレ補正を一括で行うことができ、計算負荷を低減することが可能となる。
次に、以上のように構成された画像処理装置における各種動作について説明する。
図6は、本発明の実施の形態における画像処理の流れを示すフローチャートである。
まず、ブレ推定部32は、入力画像内の複数の領域の各々においてPSFを推定する(S101)。図6では、ブレ推定部32は、入力画像61を複数の矩形領域に分割し、その矩形領域ごとにPSFを推定する。
続いて、クラスタリング部33は、推定されたPSFの類似性に基づいて、複数の領域のクラスタリングを行う(S102)。例えば、クラスタリング結果62に示すように、クラスタリング部33は、第1クラスタ62a(ハッチングされた領域)と、第2クラスタ62b(ハッチングされていない領域)とに、複数の領域をクラスタリングする。
そして、被写体領域特定部34は、クラスタリングによって得られた複数のクラスタの中から、被写体に対応する少なくとも1つのクラスタを特定する(S103)。例えば、被写体領域特定部34は、入力画像の中央に位置する第1クラスタ62aを、被写体に対応するクラスタとして特定する。
最後に、ブレ補正部35は、推定されたブレの方向及び大きさに基づいて、特定されたクラスタに属する領域のブレを補正する(S104)。例えば、ブレ補正部35は、第1クラスタ62aに属する8つの領域のブレ補正を行うことにより、出力画像63を生成する。
以上のように、本実施の形態における画像処理装置36によれば、背景の像と被写体の像との分離を容易に行うことができる。そして、流し撮りの対象となる主要な被写体の像についてのみブレ補正を行い、背景の像についてはブレを有する状態のまま維持することができるため、手軽に流し撮り画像を生成することができる。
つまり、本実施の形態における画像処理装置36によれば、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことができる。動いている被写体を流し撮りした場合、被写体の像と背景の像とは異なるブレを有する。したがって、ブレの類似性に基づいて、入力画像内の複数の領域のクラスタリングを行うことにより、被写体に対応するクラスタ(領域の集合)と背景に対応するクラスタとに切り分けることができる。そこで、被写体に対応するクラスタに属する領域のブレ補正を、当該クラスタに属する領域から推定されたブレの方向及び大きさに基づいて行うことにより、被写体の像のブレが抑制され、かつ被写体のスピード感が表現された画像を生成することが可能となる。
以上、本発明の一態様に係る画像処理装置36について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、上記実施の形態において、ブレ推定部32は、各領域のPSFを推定することにより、各領域のブレの方向及び大きさを推定していたが、各領域のブレの方向及び大きさを推定できればよく、必ずしもPSFを推定する必要はない。例えば、ブレ推定部32は、連続して撮影された、入力画像を含む複数枚の画像において、各画像間で対応する点を追跡することにより、ブレの方向及び大きさを推定してもよい。
また例えば、上記実施の形態において、PSFサイズ決定部52は、あらかじめ定められたサイズをPSFのサイズとして決定していたが、必ずしもこのようにPSFのサイズを決定する必要はない。PSFサイズ決定部52は、入力画像の特徴と入力画像が撮影されたときの撮影条件との少なくとも一方に応じてサイズが適応的に変化するように、PSFのサイズを決定してもよい。
被写体の像の形状と合致するクラスタを得るためには、各領域のサイズは、小さいことが好ましい。各領域のサイズは、PSFのサイズ以上である必要がある。したがって、PSFのサイズはできる限り小さいことが好ましい。しかしながら、PSFのサイズがブレの大きさよりも小さい場合、PSFはブレを適切に表現できない。また、領域内の画像の特徴によっては、PSFのサイズを大きくしなければ、適切にPSFを推定できない場合もある。そこで、PSFサイズ決定部52は、撮影条件又は入力画像の特徴に応じて、PSFのサイズを適応的に変化させることにより、適切なサイズのPSFを推定することが可能となる。
具体的には、PSFサイズ決定部52は、被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、PSFのサイズを決定してもよい。被写体の像の輪郭形状が複雑でない場合には、領域内に特徴が少なくなり小さなサイズのPSFを高精度に推定することが難しい。そこで、PSFサイズ決定部52は、被写体の像の輪郭形状が複雑であるほどサイズが小さくなるように、PSFのサイズを決定することにより、PSFを高精度に推定することが可能となる。なお、一般的に、被写体の像の輪郭形状が複雑である場合、入力画像を構成する画素の画素値の分散は大きくなる。したがって、PSFサイズ決定部52は、入力画像を構成する画素の画素値の分散が大きいほどサイズが小さくなるように、PSFのサイズを決定してもよい。
また、PSFサイズ決定部52は、例えば、入力画像が撮影されたときの露光時間が長いほどPSFのサイズが大きくなるように、PSFのサイズを決定してもよい。また、PSFサイズ決定部52は、入力画像が撮影されたときの撮像装置30の動きが大きいほどPSFのサイズが大きくなるように、PSFのサイズを決定してもよい。この場合、PSFサイズ決定部52は、撮像装置30に取り付けられた動きセンサ(例えばジャイロセンサなど)から取得した情報を用いて、PSFのサイズを決定してもよい。これにより、PSFサイズ決定部52は、PSFのサイズがブレの大きさよりも小さくなる可能性を低減することが可能となる。
また、PSFサイズ決定部52は、ユーザから指示された被写体に関する情報を利用して、PSFのサイズを決定してもよい。この場合、PSFサイズ決定部52は、ユーザからの入力を受け付けることにより、被写体に関する情報を取得すればよい。なお、被写体に関する情報は、例えば、被写体の種別(自動車、電車、飛行機、人あるいは馬など)、被写体の移動速度などである。
なお、上記実施の形態において、被写体領域特定部34は、入力画像の中央付近に位置するクラスタを、被写体に対応するクラスタとして特定していたが、必ずしもこのように特定する必要はない。例えば、被写体領域特定部34は、ユーザから受け付けられた入力
情報であって、入力画像内における被写体の像の位置を示す入力情報に基づいて、被写体に対応するクラスタを特定してもよい。この場合、ユーザは、例えば、タッチパネルなどに表示された入力画像に対して、被写体の像の位置を指示すればよい。これにより、被写体領域特定部34は、被写体に対応するクラスタを正確に特定することが可能となる。
また、被写体領域特定部34は、ブレの大きさが閾値よりも小さいクラスタを前記被写体に対応するクラスタとして特定してもよい。これにより、被写体領域特定部34は、被写体の像が有するブレよりも背景の像が有するブレの方が大きいことが多いという特徴を利用して、被写体に対応するクラスタを自動で正確に特定することが可能となる。
なお、被写体領域特定部34は、上記の各種方法を組み合わせて、被写体に対応する領域を特定してもよい。例えば、被写体領域特定部34は、入力画像の中央付近に位置しており、かつ、ブレが小さいクラスタを、被写体に対応するクラスタとして特定してもよい。
なお、上記実施の形態において、複数の領域のサイズは、すべて同一であったが、必ずしも同一である必要はない。例えば、画像入力部51は、入力画像の位置に応じて、領域のサイズを適応的に変化させてもよい。
なお、上記実施の形態において、入力画像は、ユーザによって被写体を追跡するように撮像部31が動かされて撮影された画像であったが、例えば、撮像部31が固定されて撮影された画像であってもよい。この場合、ブレ補正部35は、さらに、被写体に対応するクラスタに属する領域において推定されたブレの方向及び大きさを用いて、被写体に対応するクラスタ以外のクラスタに属する領域のブレ加工を行うことが好ましい。ここで、ブレ加工とは、ブレを強調させる画像処理である。具体的には、ブレ加工は、例えば、画像とPSFとを畳込み演算することにより実現される。
これにより、ブレ補正部35は、被写体に対応するクラスタ以外のクラスタ(つまり、背景に対応するクラスタ)に属する領域の画像が被写体のブレの方向にブレるように、ブレ補正を行うことができる。したがって、ブレ補正部35は、被写体のスピード感がより強調された画像を生成することが可能となる。
なお、上記実施の形態において、画像処理装置36は、撮像装置30に備えられていたが、必ずしも撮像装置30に備えられる必要はない。つまり、画像処理装置36は、撮像装置30とは独立した装置として構成されてもよい。
また、上記実施の形態における画像処理装置36が備える構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。例えば、画像処理装置36は、ブレ推定部32と、クラスタリング部33と、被写体領域特定部34と、ブレ補正部35とを有するシステムLSIから構成されてもよい。
システムLSIは、複数の構成要素を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Ramdom Access Memory)などを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スー
パーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、あるいはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、本発明は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部をステップとする画像処理方法として実現することもできる。また、画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、CD−ROM等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
本発明は、被写体を流し撮りした入力画像のブレ補正を行うことができる画像処理装置、又はその画像処理装置を備えるデジタルスチルカメラ、デジタルビデオカメラなどの撮像装置に有用である。
30 撮像装置
31 撮像部
32 ブレ推定部
33 クラスタリング部
34 被写体領域特定部
35 ブレ補正部
36 画像処理装置
51 画像入力部
52 PSFサイズ決定部
53 PSF推定部