JP6624048B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、およびプログラムに関し、特に、簡単にスローシャッタ撮影を行うことができるようにした画像処理装置、画像処理方法、およびプログラムに関する。

シャッタスピードを遅くすることで光の軌跡や水の流れ、物体の動きを記録するスローシャッタ撮影を行うことができるが、露光中のぶれを防ぐため、カメラなどの撮像装置を三脚などで固定する必要があった。しかしながら、三脚の運搬・設置の負担や構図の制約など、ユーザは手間のかかる撮影をしなければならなかった。

そこで、例えば、特許文献１に提案されているように、露光時間の短い画像を連続で撮影して、それらを合成することで疑似的にスローシャッタ効果を得る方法があった。しかしながら、この方法は、シャッタを閉じている際の被写体の動きをとらえられないため、合成画像が不自然になってしまっていた。

特開２０１２−８３８４８号公報

以上のように、簡単にスローシャッタ撮影を行う方法が確立されておらず、昨今においては、そのような方法が早急に求められていた。

本開示は、このような状況に鑑みてなされたものであり、簡単にスローシャッタ撮影を行うことができるものである。

本開示の一側面の画像処理装置は、連続撮影された露光時間の異なる長時間露光画像と短時間露光画像とからなる複数の画像のうちの前記長時間露光画像における被写体動き方向の勾配強度に基づいて、初期ラベルマップを生成するラベルマップ生成部と、前記ラベルマップ生成部により生成された前記初期ラベルマップに基づいて、前景を抽出して、動きのある被写体の領域を示す合成用マスクを生成するマスク生成部と、前記合成用マスクが示す前記被写体の領域には、前記長時間露光画像を用い、前記被写体の領域以外の背景領域には、前記短時間露光画像を用いて、前記複数の画像を合成する画像合成部とを備える。

本開示の一側面の画像処理方法は、連続撮影された露光時間の異なる長時間露光画像と短時間露光画像とからなる複数の画像のうちの前記長時間露光画像における被写体動き方向の勾配強度に基づいて、初期ラベルマップを生成し、前記初期ラベルマップに基づいて、前景を抽出して、動きのある被写体の領域を示す合成用マスクを生成し、前記合成用マスクが示す前記被写体の領域には、前記長時間露光画像を用い、前記被写体の領域以外の背景領域には、前記短時間露光画像を用いて、前記複数の画像を合成する。

本開示の一側面のプログラムは、連続撮影された露光時間の異なる長時間露光画像と短時間露光画像とからなる複数の画像のうちの前記長時間露光画像における被写体動き方向の勾配強度に基づいて、初期ラベルマップを生成するラベルマップ生成部と、前記ラベルマップ生成部により生成された前記初期ラベルマップに基づいて、前景を抽出して、動きのある被写体の領域を示す合成用マスクを生成するマスク生成部と、前記合成用マスクが示す前記被写体の領域には、前記長時間露光画像を用い、前記被写体の領域以外の背景領域には、前記短時間露光画像を用いて、前記複数の画像を合成する画像合成部として、コンピュータを機能させる。

本開示の一側面においては、連続撮影された露光時間の異なる長時間露光画像と短時間露光画像とからなる複数の画像のうちの前記長時間露光画像における被写体動き方向の勾配強度に基づいて、初期ラベルマップが生成され、前記初期ラベルマップに基づいて、前景を抽出して、動きのある被写体の領域を示す合成用マスクが生成される。そして、前記合成用マスクが示す前記被写体の領域には、前記長時間露光画像を用い、前記被写体の領域以外の背景領域には、前記短時間露光画像を用いて、前記複数の画像が合成される。

本開示によれば、スローシャッタ撮影を行うことができる。特に、本開示によれば、簡単にスローシャッタ撮影を行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した撮像装置の構成例を示すブロック図である。 撮像装置の機能構成例を示すブロック図である。 マスク生成部の構成例を示すブロック図である。 ラベルマップについて説明する図である。 初期ラベルマップ生成部の構成例を示すブロック図である。 ラベルの判定について説明する図である。 ラベルマップ更新部の構成例を示すブロック図である。 色相ヒストグラムを示す図である。 更新領域の設定方法を説明する図である。 スローシャッタモードの場合の撮影処理を説明するフローチャートである。 マスク生成処理を説明するフローチャートである。 ラベルマップ更新処理を説明するフローチャートである。 被写体動き方向を選択するためのUIの例を示す図である。 本技術により得られる画像の一例について説明する図である。 再生処理を説明するフローチャートである。 撮像装置の他の機能構成例を示すブロック図である。 スローシャッタモードの場合の撮影処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態（撮像装置）
２．第２の実施の形態（コンピュータ）

＜０．概要＞
（本技術の概要）
三脚などの固定手段がない状況下におけるスローシャッタ撮影は、カメラの本体のぶれに起因する背景や被写体以外の動体のぶれによる影響を受けやすい。このぶれは、画像全体に等しく影響するが、人の目からは、スローシャッタで撮影したい光の軌跡や水の流れ、物体の動きなどの被写体（以下、単に被写体と称する）よりも本来静止しているはずの背景や人物などの領域ほど影響を大きく感じやすい。

そこで、本技術においては、露光時間の異なる複数枚の画像（以下、画像のうち、最も露光時間の長い画像を長時間露光画像、それ以外を短時間露光画像とする）を撮影し、長時間露光画像から被写体を検出し、合成用マスクを作成し、合成用マスクに基づき、スローシャッタで表現したい領域は長時間露光画像を、それ以外の背景領域を短時間露光画像を使って合成される。なお、長時間露光画像としては、合成用に用いる画像のうち、最も露光時間の短い画像の露光時間よりも露光時間の長い画像を用いることもできる。

これによりユーザは三脚などの固定手段がない状況下においてカメラ本体のぶれを抑制したスローシャッタ撮影を行うことができる。すなわち、高品質のスローシャッタ撮影による画像（以下、スローシャッタ画像とも称する）を得ることができる。

以下、上述した本技術について詳細に説明する。

＜１．第１の実施の形態＞
（本技術を適用する撮像装置の構成例）
図１は、本技術の画像処理装置を適用する撮像装置の一実施の形態を示すブロック図である。なお、図１に示される各部は、回路で構成されてもよい。

図１に示される撮像装置１１は、撮影系である、レンズなどの光学系２１、そのレンズ駆動部２２、撮像素子２３、AFE(Analog Front End)部２４、現像処理部２５、解像度変換部２６、コーデック部２７、位置合わせ部２８、マスク生成部２９、画像合成処理部３０により構成されている。撮像装置１１には、さらに、撮像装置１１は、バス３１、RAM(Random Access Memory)３２、CPU(Central Processing Unit)３３、GPU(Graphics Processing Unit)３４、各種センサ３５、装着可能なリムーバブル記録媒体４１が挿入されている画像記録、読み出し用のドライブ３６、ディスプレイ３７により構成されている。

なお、AFE部２４乃至画像合成処理部３０、およびRAM３２乃至ディスプレイ３７は、バス３１を介して相互に接続されている。

また、AFE部２４、現像処理部２５、解像度変換部２６、およびコーデック部２７は、少なくとも２枚以上の画像を連続撮影することが可能なデジタル信号処理LSI(Large Scale Integration)からなる。また、図１の例においては、撮影系と処理系が一つになった例を記載されているが、別々になっていてもよい。

光学系２１より撮像された光は、撮像素子２３上に集結されて、画像信号として、AFE部２４に出力される。

AFE部２４は、アンプやA/Dコンバータ、フィルタなどの半導体チップで構成される。AFE部２４は、撮像素子２３からの画像信号を調整して、デジタルデータに変換し、現像処理部２５に供給する。

現像処理部２５は、AFE部２４からの画像データに、デモザイクなどの信号処理を行う。現像処理部２５は、スローシャッタ機能時には、信号処理後の画像データを、位置合わせ部２８に供給する。現像処理部２５は、スローシャッタ機能以外の場合、信号処理後の画像データを、解像度変換部２６に供給する。

解像度変換部２６は、現像処理部２５または画像合成処理部３０からの画像データの解像度変換を行い、その後、コーデック部２７に供給する。

コーデック部２７は、解像度変換部２６からの画像データを記録するため、符号化処理し、符号化処理後の符号化データを、例えば、ドライブ３６に供給する。コーデック部２７は、また、ドライブ３６から読み出された符号化データをデコードし、デコードした結果の画像データを位置合わせ部２８に供給する。

位置合わせ部２８は、現像処理部２５またはコーデック部２７からの複数の画像の位置合わせを行い、位置合わせ後の画像データを、マスク生成部２９および画像合成処理部３０に供給する。

マスク生成部２９は、位置合わせ部２８により位置合わせが行われた複数の画像のうち、長秒(長時間)露光画像を用いて、合成用マスクを生成し、生成した合成用マスクを、画像合成処理部３０に供給する。

画像合成処理部３０は、マスク生成部２９からの合成用マスクを用いて、位置合わせ部２８からの位置合わせ後の画像データを合成することで、スローシャッタ画像を生成する。生成したスローシャッタ画像は、例えば、解像度変換部２６に供給される。生成したスローシャッタ画像は、コーデック部２７やドライブ３６に供給されてもよい。

RAM３２は、プログラムやデータを一時的に記憶する。CPU３３は、例えば、リムーバブル記録媒体４１または図示せぬ記憶部に記憶されているプログラムを、バス３１を介して、RAM３２にロードして実行することにより、所定の処理を行う。CPU３３においては、例えば、レンズ駆動部２２や光学系２１を制御しての撮影処理や画像処理、UIなどの表示処理などが行われる。

GPU３４は、3Dグラフィックスの表示に必要な計算処理を行う。各種センサ３５は、例えば、カメラ機能に必要な測距センサや明度センサなどで構成される。

ドライブ３６は、コーデック部２７からの符号化データをリムーバブル記録媒体４１に記録したり、リムーバブル記録媒体４１からの符号化データを読み出し、コーデック部２７に供給する。リムーバブル記録媒体４１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどよりなる。

ディスプレイ３７は、LCD(Liquid Crystal Display)などで構成され、各部からのデータや画像を表示する。

（撮像装置の機能構成例）
図２は、撮像装置の機能構成例を示している。なお、図２の例においては、最小構成例が示されている。

図２に示されるように、撮像装置１１は、位置合わせ部２８、マスク生成部２９および画像合成処理部３０を含むように構成されている。

位置合わせ部２８には、現像処理部２５により信号処理が行われた長時間露光画像５１および短時間露光画像５２が入力される。この撮像装置１１においては、三脚で固定されていない状況も想定されているので、撮影した画像間で位置合わせをする必要がある。

なお、短時間露光画像５２は、複数枚であってもよいし、１枚であってもよい。複数枚の場合、例えば、露光量を変えて撮ることで、よりよいものを使用できる。また、夜景の場合、短時間露光画像を重ねることで、ノイズを減らすことができる。

位置合わせ部２８は、入力されたこれらの画像の位置合わせを行う。位置合わせの方法としては、ブロックマッチングを用いた手法や特徴点検出でホモグラフィ行列を算出する手法などがある。

位置合わせ部２８は、位置合わせ後の長時間露光画像５１と短時間露光画像５２とを、画像合成処理部３０に供給する。また、位置合わせ部２８は、位置合わせ後の長時間露光画像５１をマスク生成部２９に供給する。

マスク生成部２９は、位置合わせ後の長時間露光画像５１を用いて、長時間露光画像５１と短時間露光画像５２とを合成する際に用いるマスク（以下、合成用マスクと称する）５３を生成する。マスク生成部２９は、生成した合成用マスク５３を画像合成処理部３０に供給する。合成用マスク５３においては、スローシャッタで撮影したい被写体領域とそれ以外の領域が示されている。

画像合成処理部３０は、マスク生成部２９から供給された合成用マスク５３に基づいて、位置合わせ後の長時間露光画像５１と短時間露光画像５２とを合成し、出力画像５４を得る。例えば、長時間露光画像５１と短時間露光画像５２とは、αブレンディングされる。このとき、合成用マスク５３境界付近でのブレンド率をなだらかに変化させることで境界を目立たなくさせることができる。

（マスク生成部の構成例）
図３は、マスク生成部の構成例を示すブロック図である。

マスク生成部２９は、画像勾配抽出部７１、初期ラベルマップ生成部７２、前景抽出部７３、およびラベルマップ更新部７４を含むように構成されている。

画像勾配抽出部７１には、入力画像として、位置合わせされた長時間露光画像６１が入力される。画像勾配抽出部７１は、長時間露光画像から、撮影時動いている被写体が合った場合、その被写体の動きの方向を示す被写体動き方向の画像勾配成分を抽出する。長時間露光画像６１は、カメラぶれ、手ぶれなどによりぼけた画像になる傾向がある。そのため、被写体以外の領域に被写体と同方向の勾配が存在しても、その強度は弱まるので、被写体領域を抽出しやすい。

なお、勾配抽出の手法としては、隣接画素の差分を求めてもよいし、”Navneet Dslal etal.,”Histogras of Oriented Gradients forHuman Detection”,Proc. CVPR,pp.886-893,2005”（以下、非特許文献１と称する）のように、局所領域毎の勾配ヒストグラムとして算出してもよい。

画像勾配抽出部７１は、抽出した画像の勾配抽出結果６２を、初期ラベルマップ生成部７２に供給する。

初期ラベルマップ生成部７２は、画像勾配抽出部７１からの勾配抽出結果６２に基づいて、初期のラベルマップ６３を生成する。初期ラベルマップ生成部７２は、各画素あるいは各局所領域の特定方向勾配強度が予め設定された閾値未満であれは、背景確定領域に割り当て、閾値以上であれば、被写体側未定領域に割り当て、その結果、初期のラベルマップ６３を生成する。初期ラベルマップ生成部７２は、長時間露光画像６１と生成した初期のラベルマップ６３とを前景抽出部７３に供給する。

前景抽出部７３は、初期ラベルマップ生成部７２またはラベルマップ更新部７４からのラベルマップ６３を基に、長時間露光画像６１から前景を抽出して、合成用マスク５３を生成する。また、前景抽出部７３は、初期のラベルマップ６３に基づき前景抽出で生成された合成用マスク５３の被写体検出精度を向上するために、指定回数だけ前景抽出を繰り返す。指定回数に満たない場合、前景抽出部７３は、長時間露光画像６１と生成した合成用マスク５３とをラベルマップ更新部７４に供給する。指定回数を満たした場合、前景抽出部７３は、合成用マスク５３を画像合成処理部３０に出力する。

ラベルマップ更新部７４は、合成用マスク５３と長時間露光画像６１とを用いて、ラベルマップ６３を更新する。ラベルマップ更新部７４は、更新したラベルマップ６３を前景抽出部７３に供給する。

なお、前景抽出部７３においては、画素単位で被写体領域を特定するために、前景抽出アルゴリズムが適用される。前景抽出アルゴリズムには、” Carsten Rother et al., “GrabCut - Interactive Foreground Extraction using Iterated Graph Cuts,” Trans. ACM GRAPH, pp.309-314, 2004.” （以下、非特許文献２と称する）や、” Yuri Boykov, et al., “Fast Approximate Energy Minimization via Graph Cuts,” Trans. PAMI, 1999.” （以下、非特許文献３と称する）などがあげられる。

前景を抽出するためには、図４に示されるラベルマップ６３が必要である。通常はユーザが別途作成して与えることもあるが、本技術においては、初期ラベルマップ生成部７２およびラベルマップ更新部７４において、長時間露光画像６１の被写体動き方向のみからラベルマップ６３が生成、更新される。

本技術においては、図４に示されるように、長時間露光画像と被写体動き方向から、背景確定領域、背景側未定領域、被写体側未定領域、被写体領域の４種類のラベルが割り当てられる。

（初期ラベルマップ生成部の構成例）
図５は、初期ラベルマップ生成部の構成例を示すブロック図である。

図５の例において、初期ラベルマップ生成部７２は、ラベル判定処理部８１を含むように構成される。

ラベル判定処理部８１は、長時間露光画像６１と被写体動き方向とを用いて、ラベルを割り当てる。すなわち、ラベル判定処理部８１は、図６に示されるように、各画素あるいは各局所領域の被写体動き方向勾配強度が予め指定された閾値θ未満であれば、背景確定領域のラベルに割り当て、閾値θ以上であれば、被写体側未定領域のラベルに割り当てる。初期ラベルマップ生成部７２においては、そのようにして、ラベルマップ６３が生成される。

（ラベルマップ更新部の構成例）
図７は、ラベルマップ更新部の構成例を示すブロック図である。

図７の例において、ラベルマップ更新部７４は、前景内代表色決定処理部９１、更新領域設定処理部９２、およびラベル判定処理部９３を含むように構成される。

前景内代表色決定処理部９１は、長時間露光画像６１と合成用マスク５３と用い、合成用マスク５３の前景領域内の色ヒストグラムを算出し、代表色を決定する。前景内代表色決定処理部９１は、長時間露光画像６１、合成用マスク５３、および代表色を更新領域設定処理部９２に供給する。代表色は最も頻出頻度が高い色成分でもよいし、図８に示されるように、一定以上の頻度を持つ色成分を使ってもよい。

図８の例においては、合成用マスク５３の前景領域内の色相ヒストグラムが示されている。なお、図８の場合、色相が用いられているが、輝度を用いてもよいし、その他特定チャネルを用いてもよい。

更新領域設定処理部９２は、ラベルマップ６３の更新領域を設定する。すなわち、更新領域設定処理部９２は、図９に示されるように、前景領域の外接矩形を指定した割合で、縦方向、横方向拡大した領域を更新領域として設定する。更新領域設定処理部９２は、長時間露光画像６１、合成用マスク５３、代表色、および更新領域をラベル判定処理部９３に供給する。

ラベル判定処理部９３は、合成用マスク５３、代表色、および更新領域に基づいて、長時間露光画像６１のラベルマップ６３を更新する。

（撮影処理の例）
次に、図１０のフローチャートを参照して、撮像装置１１のスローシャッタモードの場合の撮影処理を説明する。例えば、撮像装置１１において、本技術の方法がスローシャッタモードとして設定されており、いま、ユーザによりそのモードが選択されているものとする。

例えば、ユーザの操作に基づき、ステップＳ２１において、撮像装置１１のCPU３３は、露光中の被写体動き方向（すなわち、特定方向）を設定する。例えば、画面上から下に向かって流れる滝を撮影する場合、垂直方向が被写体動き方向として設定される。なお、被写体動き方向は、ユーザが操作することなく、画像解析などにより自動的に設定されてもよい。例えば、画像解析の結果、画像内で最も大きい領域を持つ画像勾配成分の方向が、被写体動き方向として設定される。

次に、ステップＳ２２において、ユーザの操作に基づき、CPU３３は、長時間露光画像および短時間露光画像の露出時間、絞り、ISO、などの露出設定を行う。これらの設定値は、ユーザが操作して設定してもよいし、検波値から自動で設定するようにしてもよい。

ステップＳ２３において、シャッタを切るなどのユーザの操作に基づき、CPU３３は、連続撮影を行う。これにより、光学系２１より撮像された光は、撮像素子２３上に集結されて、画像信号として、AFE部２４に出力される。AFE部２４は、撮像素子２３からの画像信号を調整して、デジタルデータに変換し、現像処理部２５に供給する。

ステップＳ２４において、現像処理部２５は、AFE部２４からの画像データに、デモザイクなどのカメラ信号処理を行い、カメラ信号処理後の画像データを、位置合わせ部２８に供給する。

ステップＳ２５において、位置合わせ部２８は、現像処理部２５からの複数の画像間の位置合わせを行い、位置合わせ後の画像データを、マスク生成部２９および画像合成処理部３０に供給する。

ステップＳ２６において、マスク生成部２９は、位置合わせ後の長時間露光画像を用いて、マスク生成処理を行う。このマスク生成処理の詳細は、図１１を参照して後述する。マスク生成処理により、合成用マスク５３が生成され、画像合成処理部３０に供給される。

画像合成処理部３０は、ステップＳ２７において、合成用マスク５３と、長時間露光画像および短時間露光画像を用いて、画像合成処理を行い、スローシャッタ画像を生成する。生成したスローシャッタ画像は、解像度変換部２６に供給される。

ステップＳ２８において、解像度変換部２６、コーデック部２７、およびドライブ３６は、メディア記録を行う。すなわち、スローシャッタ画像は、解像度変換部２６により解像度変換され、コーデック部２７により符号化されて、符号化データがドライブ３６に供給される。ドライブ３６は、その符号化データをリムーバブル記録媒体４１に記録する。

なお、図１０の例においては、ステップＳ２１において被写体動き方向が選択されたが、被写体動き方向が選択されるタイミングは、マスク生成を行う前であれば、ステップＳ２１乃至Ｓ２５のどのタイミングであってもよい。

（マスク生成処理の例）
次に、図１１のフローチャートを参照して、マスク生成処理について説明する。

ステップＳ５１において、画像勾配抽出部７１は、長時間露光画像６１から、被写体動き方向画像勾配を抽出する。画像勾配抽出部７１は、抽出した画像の勾配抽出結果６２を、初期ラベルマップ生成部７２に供給する。

ステップＳ５２において、初期ラベルマップ生成部７２は、画像勾配抽出部７１からの勾配抽出結果６２に基づいて、初期のラベルマップ６３を生成する。すなわち、初期ラベルマップ生成部７２は、図６に示されるように、各画素あるいは各局所領域の特定方向勾配強度が予め設定された閾値未満であれは、背景確定領域に割り当て、閾値以上であれば、被写体側未定領域に割り当て、その結果、初期のラベルマップ６３を生成する。初期ラベルマップ生成部７２は、長時間露光画像６１と生成した初期のラベルマップ６３とを前景抽出部７３に供給する。

ステップＳ５３において、前景抽出部７３は、初期ラベルマップ生成部７２またはラベルマップ更新部７４からのラベルマップを基に、長時間露光画像６１から前景を抽出して、合成用マスク５３を生成する。

ステップＳ５４において、前景抽出部７３は、指定回数前景抽出したか否かを判定し、指定回数前景抽出していないと判定した場合、長時間露光画像６１と生成した合成用マスク５３とをラベルマップ更新部７４に供給する。その後、処理は、ステップＳ５５に進む。

ステップＳ５５において、ラベルマップ更新部７４は、合成用マスク５３と長時間露光画像６１とを用いて、ラベルマップ６３を更新する。このラベルマップ更新処理の詳細は、図１２を参照して後述する。ラベルマップ更新処理により、ラベルマップが更新され、更新されたラベルマップ６３は、前景抽出部７３に供給され、処理は、ステップＳ５３に戻る。

ステップＳ５４において、指定回数前景抽出したと判定された場合、処理は、ステップＳ５６に進む。ステップＳ５６において、前景抽出部７３は、合成用マスク５３を画像合成処理部３０に出力する。

（ラベルマップ更新処理の例）
次に、図１２のフローチャートを参照して、ラベルマップ更新処理について説明する。

ステップＳ７１において、前景内代表色決定処理部９１は、長時間露光画像６１と合成用マスク５３と用い、合成用マスク５３の前景領域内の色ヒストグラムを算出し、代表色を決定する。前景内代表色決定処理部９１は、長時間露光画像６１、合成用マスク５３、および代表色を更新領域設定処理部９２に供給する。

ステップＳ７２において、更新領域設定処理部９２は、図９を参照して上述したように、ラベルマップ６３の更新領域を設定する。更新領域設定処理部９２は、長時間露光画像６１、合成用マスク５３、代表色、および更新領域をラベル判定処理部９３に供給する。

なお、次のステップＳ７４乃至Ｓ８１は、ラベル判定処理部９３により画素単位で行われる処理である。

ステップＳ７４において、ラベル判定処理部９３は、長時間露光画像６１の画素(x,y)を入力する。ステップＳ７４において、ラベル判定処理部９３は、入力した画素(x,y)が更新領域内か否かを判定する。ステップＳ７４において、入力した画素(x,y)が更新領域外であると判定された場合、処理は、ステップＳ７５に進む。ステップＳ７５において、ラベル判定処理部９３は、入力した画素(x,y)を、背景確定領域とする。その後、処理は、ステップＳ８１に進む。

ステップＳ７４において、入力した画素(x,y)が更新領域内であると判定された場合、処理は、ステップＳ７６に進む。ステップＳ７６において、ラベル判定処理部９３は、入力した画素(x,y)が代表色であるか否かを判定する。ステップＳ７６において、入力した画素(x,y)が代表色ではないと判定された場合、処理は、ステップＳ７７に進む。ステップＳ７７において、ラベル判定処理部９３は、入力した画素(x,y)を、背景側未定領域とする。その後、処理は、ステップＳ８１に進む。

ステップＳ７６において、入力した画素(x,y)が代表色であると判定された場合、処理は、ステップＳ７８に進む。ステップＳ７８において、ラベル判定処理部９３は、入力した画素(x,y)は、合成用マスク５３において前景であるか否かを判定する。

ステップＳ７８において、入力した画素(x,y)が合成用マスク５３において前景ではないと判定された場合、処理は、ステップＳ７９に進む。ステップＳ７９において、ラベル判定処理部９３は、入力した画素(x,y)を、被写体側未定領域とする。その後、処理は、ステップＳ８１に進む。

ステップＳ７８において、入力した画素(x,y)が合成用マスク５３において前景であると判定された場合、処理は、ステップＳ８０に進む。ステップＳ８０において、ラベル判定処理部９３は、入力した画素(x,y)を、被写体側未定領域とする。その後、処理は、ステップＳ８１に進む。

ステップＳ８１において、ラベル判定処理部９３は、すべての画素について終了したか否かを判定する。ステップＳ８１において終了していないと判定された場合、処理は、ステップＳ７３に戻り、以降の処理を繰り返す。ステップＳ８１において終了したと判定された場合、ラベルマップ更新処理は終了し、処理は、図１１のステップＳ５５に戻る。

（被写体動き方向の選択UI）
図１３のＡ乃至図１３のＣは、被写体動き方向を選択するためのUIの例を示す図である。なお、図１３のＡ乃至図１３のＣの画面には、露光時間を変えて撮影した複数枚の画像のうちの１つの画像（好ましくは、長時間露光画像）が表示されてもよい。被写体動き方向などの特定方向を選択する場合、長時間露光画像を見ながら選んだほうが簡単に選ぶことができるからである。

図１０のステップＳ２１において上述したように、被写体動き方向を選択する場合、図１３のＡに示されるように、タッチパネル操作が可能なディスプレイであれば、ユーザが被写体が動いている方向に指をスライドさせるといった操作で選択するようにしてもよい。

また、図１３のＢに示されるように、いくつかの方向候補を表示（提示）させて、ユーザに所望のものを選択させるようにしてもよい。図１３のＢの例においては、４つの方向が提示されている。

さらに、図１３のＣに示されるように、枠を設定し、ユーザが操作することに応じて、枠内に撮りたい流れ(被写体)の画が入るように枠または画像を移動させた後、CPU３３が、枠内の画素の勾配方向から判別するなど、検波値やシーン解析などを用いてもよい。

以上のようにすることで、本技術においては、次のような効果があげられる。

（画像の一例）
図１４は、本技術により得られる画像の一例について説明する図である。

ここでは、２枚の画像（長時間露光画像５１および短時間露光画像５２）を用いて説明する。なお、撮像装置１１において、被写体の動き方向は、垂直方向に、前景抽出回数は２回に設定されている。

長時間露光画像５１において、滝はスローシャッタの狙い通り水の流れが表現されている。が、手ぶれの影響により全体的にぼけた印象を与える画像になっている。一方、連続撮影した短時間露光画像５２は、左端に人物も明確に写っているが、滝の流れも止まって写っている。

画像勾配抽出部７１は、長時間露光画像５１から、被写体動き方向の画像勾配成分を抽出し、長時間露光画像５１に対する勾配抽出結果６２を得る。勾配抽出結果６２においては、例えば、勾配の方向と大きさが矢印により示されている。

勾配抽出結果６２から垂直方向の勾配に対して、初期ラベルマップ生成部７２により閾値判定が行われることで、初期のラベルマップ６３が得られる。この初期のラベルマップ６３に対して、前景が抽出されることで、合成用マスク５３が得られる。

さらにこの合成用マスク５３と長時間露光画像５１とを用いてラベルマップ６３が更新されて、ラベルマップ６３´が生成される。それに対して、さらに、前景が抽出されることで、合成用マスク５３´が得られる。

以上のような本技術により生成された合成用マスク５３´を用いて、長時間露光画像５１と短時間露光画像５２とを合成することで、スローシャッタ撮影の出力画像５４を得ることができる。

出力画像５４においては、長時間露光画像５１から生成された合成用マスク５３´を用いることで、背景領域は静止し、滝だけ流れている画像を得ることができる。さらに、長時間露光画像５１においては露光中に人物が動いてしまい、ぶれた印象があったが、本技術によれば、流れの被写体以外の画像を、短時間露光画像５２に置き換えることで、流して撮影したい被写体だけを流し、それ以外の動体は静止させることが可能である。これにより、たとえば、流れや動きのある被写体と記念撮影するなど、困難であった構図での撮影が可能になる。

その他、例えば、車や遊園地のメリーゴーランドなど、特定方向に動く物体をスローシャッタで撮影する際に本技術を適用することができる。

なお、上記説明においては、撮像装置１１による撮影処理の例を説明したが、本技術の処理は、長時間露光画像と短時間露光画像とが連続露光されて記録されているものを再生する際にも行うことが可能である。

（再生処理の例）
次に、図１５のフローチャートを参照して、撮像装置１１による再生処理について説明する。例えば、撮像装置１１においては、長時間露光画像と短時間露光画像とが連続露光されてリムーバブル記録媒体４１などに記録されているものとする。

例えば、ユーザの操作に基づき、ステップＳ９１において、撮像装置１１のCPU３３は、ドライブ３６を制御し、リムーバブル記録媒体４１に記録されている画像（長時間露光画像５１および短時間露光画像５２）を読み込ませる。ドライブ３６は、リムーバブル記録媒体４１からの符号化データを読み出し、コーデック部２７に供給する。コーデック部２７は、また、ドライブ３６から読み出された符号化データをデコードし、デコードした結果の画像データを位置合わせ部２８に供給する。

ステップＳ９２において、位置合わせ部２８は、コーデック部２７からの複数の画像間の位置合わせを行い、位置合わせ後の画像データを、マスク生成部２９および画像合成処理部３０に供給する。

例えば、ユーザの操作に基づき、ステップＳ９３において、CPU３３は、露光中の被写体動き方向を設定する。例えば、画面上から下に向かって流れる滝を撮影する場合、垂直方向が被写体動き方向として設定される。

ステップＳ９４において、マスク生成部２９は、位置合わせ後の長時間露光画像を用いて、マスク生成処理を行う。このマスク生成処理の詳細は、図１１を参照して上述された処理と同様であるので、その説明は省略される。このマスク生成処理により、合成用マスク５３が生成され、画像合成処理部３０に供給される。

画像合成処理部３０は、ステップＳ９５において、合成用マスク５３と、長時間露光画像および短時間露光画像を用いて、画像合成処理を行い、スローシャッタ画像を生成する。生成したスローシャッタ画像は、解像度変換部２６に供給される。

ステップＳ９６において、解像度変換部２６、コーデック部２７、およびドライブ３６は、メディア記録を行う。すなわち、スローシャッタ画像は、解像度変換部２６により解像度変換され、コーデック部２７により符号化されて、符号化データがドライブ３６に供給される。ドライブ３６は、その符号化データをリムーバブル記録媒体４１に記録する。

以上のように、予め連続撮影された長時間露光画像と短時間露光画像とが記録されている場合、本技術による処理を再生時に行うことも可能である。

（撮像装置の他の機能構成例）
図１６は、撮像装置の機能構成例を示している。

図１６の撮像装置１１は、位置合わせ部２８、マスク生成部２９および画像合成処理部３０を含むように構成されている点は、図２の撮像装置１１と共通している。図１６の撮像装置１１は、マスク生成部２９の前段に、画像縮小処理部１１１が追加された点が、図２の撮像装置１１と異なっている。

位置合わせ部２８は、位置合わせ後の長時間露光画像５１と短時間露光画像５２とを、画像合成処理部３０に供給する。また、位置合わせ部２８は、位置合わせ後の長時間露光画像５１を画像縮小処理部１１１に供給する。

画像縮小処理部１１１は、位置合わせ後の長時間露光画像５１を縮小し、縮小した長時間露光画像５１をマスク生成部２９に供給する。

マスク生成部２９は、位置合わせ後に縮小された長時間露光画像５１を用いて、合成用マスク５３を生成する。

（撮影処理の例）
次に、図１７のフローチャートを参照して、撮像装置１１のスローシャッタモードの場合の撮影処理を説明する。なお、図１７のステップＳ１１１乃至Ｓ１１５、およびＳ１１７乃至Ｓ１１９は、図１０のステップＳ２１乃至Ｓ２８と基本的に同様な処理を行うので、その説明は繰り返しになるので省略する。

ステップＳ１１５の後、位置合わせ部２８は、位置合わせ後の長時間露光画像５１を画像縮小処理部１１１に供給する。

ステップＳ１１６において、画像縮小処理部１１１は、位置合わせ後の長時間露光画像５１を縮小し、縮小した長時間露光画像５１をマスク生成部２９に供給する。

ステップＳ１１７において、マスク生成部２９は、位置合わせ後縮小された長時間露光画像５１を用いて、マスク生成処理を行う。

以上のように、マスク生成には、縮小画像を用いるように構成することで、処理の高速化を図ることができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

＜２．第２の実施の形態＞
（コンピュータの構成例）
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示している。すなわち、図１８の例においては、撮像系と処理系とが独立している場合の構成例が示されている。

コンピュータ２０１において、入力部２１１、出力部２１２、CPU（Central Processing Unit）２１３、GPU(Graphics Processing Unit)８０２、通信部２１５、RAM（Random Access Memory）２１６、は、バス２１７により相互に接続されている。

バス２１７には、さらに、記憶部２１８およびドライブ２１９が接続されている。

入力部２１１は、キーボード、マウス、マイクロホンなどよりなる。出力部２１２は、ディスプレイ、スピーカなどよりなる。GPU２１３は、3Dグラフィックスの表示に必要な計算処理を行う。通信部２１５は、ネットワークインタフェースなどよりなる。記憶部２１８は、ハードディスクや不揮発性のメモリなどよりなる。ドライブ２１９は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体２２０を駆動する。

以上のように構成されるコンピュータでは、CPU２１３が、例えば、記憶部２１８に記憶されているプログラムを、バス２１７を介して、RAM２１６にロードして実行することにより、上述した一連の処理が行われる。

例えば、記憶部２１８には、位置合わせプログラム２２１、マスク生成プログラム２２２、画像生成プログラム２２３、UI(User Interface)プログラム２２４、カメラ通信プログラム２２５が記憶されている。

位置合わせプログラム２２１は、図１の位置合わせ部２８と基本的に同様の処理を行う。マスク生成プログラム２２２は、図１のマスク生成部２９と基本的に同様の処理を行う。画像生成プログラム２２３は、図１の画像合成処理部３０と基本的に同様の処理を行う。UIプログラム２２４は、UIに関する表示の制御を行う。カメラ通信プログラム２２５は、図示せぬ撮像系の装置と通信を行う。

コンピュータ（CPU２１３）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体２２０に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体２２０をドライブ２１９に装着することにより、バス２１７を介して、記憶部２１８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２１５で受信し、記憶部２１８にインストールすることができる。その他、プログラムは、図示せぬROMや記憶部２１８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

以上のように、本技術は、画像処理装置のみに限らず、撮像装置、サーバなどにも適用される。

なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するであれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） 連続撮影された露光時間の異なる複数の画像のうちの長時間露光画像に関する特定方向の情報に基づいて、合成用マスクを生成するマスク生成部と、
前記マスク生成部により生成された合成用マスクを用いて、前記複数の画像を合成する画像合成部と
を備える画像処理装置。
（２） 前記長時間露光画像に関する特定方向の情報は前記長時間露光画像における被写体動き方向に基づいて設定される
前記（１）に記載の画像処理装置。
（３） 前記マスク生成部は、前記長時間露光画像の特定方向の勾配強度に基づいて、前記合成用マスクの初期ラベルマップを生成するラベルマップ生成部と、
前記ラベルマップ生成により生成された初期ラベルマップに基づいて、前景を抽出して、前記合成用マスクを生成する前景抽出部と
を有する
前記（１）または（２）に記載の画像処理装置。
（４） 前記マスク生成部は、
前記合成用マスクの前景における代表色および更新領域のうちの少なくとも１つに基づいて、前記初期ラベルマップを更新するラベルマップ更新部を
さらに有し、
前記前景抽出部は、前記ラベルマップ更新部により更新されたラベルマップに基づいて、前景を抽出して、前記合成用マスクを生成する
前記（３）に記載の画像処理装置。
（５） 前記長時間露光画像の特定方向を設定するためのUI(User Interface)の表示を制御する表示制御部を
さらに備える前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）前記表示の画面には、前記複数の画像のうちの１つの画像が表示される
前記（５）に記載の画像処理装置。
（７）前記１つの画像は、長時間露光画像である
前記（６）に記載の画像処理装置。
（８） 前記表示制御部は、ユーザによる前記複数の画像における被写体動き方向の指示により、前記長時間露光画像の特定方向を設定するためのUIの表示を制御する
前記（５）に記載の画像処理装置。
（９） 前記表示制御部は、ユーザによる前記複数の画像における被写体動き方向候補の中からの選択により、前記長時間露光画像の特定方向を設定するためのUIの表示を制御する
前記（５）に記載の画像処理装置。
（１０） 前記表示制御部は、前記複数の画像における被写体動き方向を検出するための領域を表示させることで、前記長時間露光画像の特定方向を設定するためのUIの表示を制御する
前記（５）に記載の画像処理装置。
（１１） 前記複数の画像を位置合わせする位置合わせ部を
さらに備え、
前記マスク生成部は、前記位置合わせ部により位置合わせされた長時間露光画像の勾配情報に基づいて、合成用マスクを生成し、
前記画像合成部は、前記マスク生成部により生成された合成用マスクを用いて、前記位置合わせ部により位置合わせされた複数の画像を合成する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 画像処理装置が、
連続撮影された露光時間の異なる複数の画像のうちの長時間露光画像に関する特定方向の情報に基づいて、合成用マスクを生成し、
生成された合成用マスクを用いて、前記複数の画像を合成する
画像処理方法。
（１３） 連続撮影された露光時間の異なる複数の画像のうちの長時間露光画像に関する特定方向の情報に基づいて、合成用マスクを生成するマスク生成部と、
前記マスク生成部により生成された合成用マスクを用いて、前記複数の画像を合成する画像合成部と
して、コンピュータを機能させるためのプログラム。

１１ 撮像装置， ２１ 光学系， ２２ 駆動部， ２３ 撮像素子， ２４ AFE部， ２５ 現像処理部， ２６ 解像度変換部， ２７ コーデック部， ２８ 位置合わせ部， ２９ マスク生成部， ３０ 画像合成処理部， ３１ バス， ３２ RAM， ３３ CPU， ３４ GPU， ３５ 各種センサ， ３６ ドライブ， ３７ ディスプレイ， ４１ リムーバブル記録媒体， ５１ 長時間露光画像， ５２ 短時間露光画像， ５３ 合成用マスク， ５４ 出力画像， ６１ 長時間露光画像， ６２ 勾配抽出結果， ６３ ラベルマップ， ７１ 画像勾配抽出部， ７２ 初期ラベルマップ生成部， ７３ 前景抽出部， ７４ ラベルマップ更新部， ８１ ラベル判定処理部， ９１ 前景内代表色決定部， ９２ 更新領域設定処理部， ９３ ラベル判定処理部， １１１ 画像縮小処理部， ２０１ コンピュータ， ２２１ 位置合わせプログラム， ２２２ マスク生成プログラム， ２２３ 画像生成プログラム， ２２４ UIプログラム， ２２５ カメラ通信プログラム

Claims (13)

1. 連続撮影された露光時間の異なる長時間露光画像と短時間露光画像とからなる複数の画像のうちの前記長時間露光画像における被写体動き方向の勾配強度に基づいて、初期ラベルマップを生成するラベルマップ生成部と、
   前記ラベルマップ生成部により生成された前記初期ラベルマップに基づいて、前景を抽出して、動きのある被写体の領域を示す合成用マスクを生成するマスク生成部と、
   前記合成用マスクが示す前記被写体の領域には、前記長時間露光画像を用い、前記被写体の領域以外の背景領域には、前記短時間露光画像を用いて、前記複数の画像を合成する画像合成部と
   を備える画像処理装置。
2. 前記ラベルマップ生成部は、前記被写体動き方向と同じ方向の勾配を有する画素または局所領域についての前記勾配強度と閾値との比較結果に基づいて、前記初期ラベルマップを生成する
   請求項１に記載の画像処理装置。
3. 前記画像合成部は、αブレンディングにより、前記複数の画像を合成する
   請求項１または２に記載の画像処理装置。
4. 前記合成用マスクの前記前景における代表色および更新領域のうちの少なくとも１つに基づいて、前記初期ラベルマップを更新して、ラベルマップを生成するラベルマップ更新部をさらに備え、
   前記マスク生成部は、前記ラベルマップに基づいて、前記前景を抽出して、前記合成用マスクを生成する
   請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記長時間露光画像の前記被写体動き方向を設定するためのUI(User Interface)の表示を制御する表示制御部を
   さらに備える請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記表示の画面には、前記複数の画像のうちの１つの画像が表示される
   請求項５に記載の画像処理装置。
7. 前記１つの画像は、前記長時間露光画像である
   請求項６に記載の画像処理装置。
8. 前記表示制御部は、ユーザによる前記複数の画像における前記被写体動き方向の指示により、前記長時間露光画像の前記被写体動き方向を設定するためのUIの表示を制御する
   請求項５に記載の画像処理装置。
9. 前記表示制御部は、ユーザによる前記複数の画像における前記被写体動き方向の候補の中からの選択により、前記長時間露光画像の前記被写体動き方向を設定するためのUIの表示を制御する
   請求項５に記載の画像処理装置。
10. 前記表示制御部は、前記複数の画像における前記被写体動き方向を検出するための領域を表示させることで、前記長時間露光画像の前記被写体動き方向を設定するためのUIの表示を制御する
    請求項５に記載の画像処理装置。
11. 前記複数の画像を位置合わせする位置合わせ部を
    さらに備え、
    前記ラベルマップ生成部は、前記位置合わせ部により位置合わせされた前記長時間露光画像における前記被写体動き方向の前記勾配強度に基づいて、前記初期ラベルマップを生成し、
    前記画像合成部は、前記合成用マスクが示す前記被写体の領域には、前記位置合わせ部により位置合わせされた前記長時間露光画像を用い、前記背景領域には、前記位置合わせ部により位置合わせされた前記短時間露光画像を用いて、前記位置合わせ部により位置合わせされた前記複数の画像を合成する
    請求項１乃至１０のいずれかに記載の画像処理装置。
12. 画像処理装置が、
    連続撮影された露光時間の異なる長時間露光画像と短時間露光画像とからなる複数の画像のうちの前記長時間露光画像における被写体動き方向の勾配強度に基づいて、初期ラベルマップを生成し、
    前記初期ラベルマップに基づいて、前景を抽出して、動きのある被写体の領域を示す合成用マスクを生成し、
    前記合成用マスクが示す前記被写体の領域には、前記長時間露光画像を用い、前記被写体の領域以外の背景領域には、前記短時間露光画像を用いて、前記複数の画像を合成する
    画像処理方法。
13. 連続撮影された露光時間の異なる長時間露光画像と短時間露光画像とからなる複数の画像のうちの前記長時間露光画像における被写体動き方向の勾配強度に基づいて、初期ラベルマップを生成するラベルマップ生成部と、
    前記ラベルマップ生成部により生成された前記初期ラベルマップに基づいて、前景を抽出して、動きのある被写体の領域を示す合成用マスクを生成するマスク生成部と、
    前記合成用マスクが示す前記被写体の領域には、前記長時間露光画像を用い、前記被写体の領域以外の背景領域には、前記短時間露光画像を用いて、前記複数の画像を合成する画像合成部と
    して、コンピュータを機能させるためのプログラム。

Images