JP6808446B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は複数枚の短秒露光画像を合成することで長秒露光画像を擬似的に生成する技術に関する。

長秒露光で撮影したような画像（長秒露光画像）を複数枚の短秒露光画像を合成して実現する場合、短秒撮影の撮影間の露光がされてない区間（非露光区間）が発生するため、短秒撮像画像をそのまま合成すると非露光区間が残る。従って、たとえば車のテールランプを撮影した場合には、非露光区間に対応してテールランプの光の軌跡が部分的に途切れた粗のある画像が生成される。

特許文献１は、所定の時間間隔で撮像された複数枚の画像を合成する際に、非露光区間の時間幅から非露光区間を補間するための補間画像の枚数を決定し、撮像画像と補間画像を合成している。

国際公開第２００９／０９８７４９号

非露光区間を補間する画像を生成して合成する場合、撮影する移動体の移動量が多くなるにつれて、非露光区間を補間する画像の枚数が増加し処理に時間がかかるという課題がある。 特許文献１は、非露光区間の時間幅に応じて補間画像の枚数を決定しているため、露光されている区間（露光区間）が短くなるにつれて非露光区間が長くなるため、生成する画像の枚数が増加して処理負荷が増加する。

本発明に係る画像処理装置は、第１露光時間の撮影を連続的に行って得られた複数の画像を合成することによって、第１露光時間よりも長い第２露光時間の撮影で得られる画像に相当する合成画像を生成する画像処理装置であって、
前記複数の画像を合成する合成手段と、
前記複数の画像間を補間する補間画像を生成するとともに、前記複数の画像と前記補間画像に対して被写体の動き方向にフィルタ処理を行うことで、前記合成手段による合成において撮影間の非露光区間に対応する画像情報を補間する補間手段と、
前記被写体の特性に応じて、前記補間手段による前記補間画像の生成と前記フィルタ処理のいずれを優先するかを制御する制御手段と、を備えることを特徴とする。

本発明は、被写体の特性に応じて非露光区間に対応する画像情報を補間する補間処理を行うので、補間処理の負荷が増加するのを抑制することができる。

本発明の実施形態の概念を示す図である。 第１の実施形態の構成を示す図である。 第１の実施形態における処理を示すフローチャートである。 第１の実施形態における移動体検出の処理を説明する図である。 第１の実施形態における補間処理を説明する図である。 第１の実施形態における補間処理で使用する調節パラメータを算出する処理を説明する図である。 第１の実施形態における補間画像の生成処理とフィルタ処理を説明する図である。

（第１の実施形態）
以下、本発明の実施形態について図面を用いて説明する。なお。デジタルカメラを用いて説明を行うが、これに限らず、画像データを処理できる画像処理装置であればよい。すなわち、画像処理装置としては、パーソナルコンピュータ等の情報処理装置であってもよいし、携帯型の情報端末、プリンタ等の画像形成装置などでもよい。

本実施形態は、連続的に撮影して得られた複数枚の画像に対して位置合わせを行い、位置合わせ後の画像から移動体を検出して取得した移動体情報から、補間処理で使用するパラメータを算出して非露光区間部分を生成する。非露光区間部分に相当する画像情報と撮像画像とを合成することで長秒露光画像（合成画像）を生成する。

まず、ここで使用する非露光区間について図１を用いて説明する。図１は撮影時の撮影時間と撮影間隔を示した図であり、Ｓ０は撮影開始位置、Ｓ１〜Ｓ７は短秒で複数枚連写した際の撮影間隔、１０１は長秒撮影時の露光時間、１０２は短秒撮影時の露光区間、１０３は短秒撮影時の露光されていない区間を示している。

長秒露光した際の露光区間では、撮像時間の間はシャッターを開いたままにしておくので、１０１のように露光が途切れることなく撮影が行われる。一方、本件で想定しいている処理では、実際に長秒露光して撮影する露光時間よりも短秒となる１０２のような露光時間で２枚以上の複数枚画像の撮影を行う。そのため、シャッターが開放されていない時間が発生し、その期間は露光が行われていない区間１０３が発生するため、撮像された複数枚画像の合成を行うと、露光されていない区間（非露光区間）ができ、長秒露光で撮影した際とは異なる結果となる。そこで、本実施形態では非露光区間を撮像画像と移動体検出結果を用いて補間処理で生成することで、実際の長秒露光に近い画像の生成を行う。

図２は、本実施形態の画像処理装置のシステム図である。

図２において、２０１は撮像画像取得部であり、本画像処理において使用する２枚以上の撮像画像を取得する。

２０２は移動体検出部であり、撮像した２枚以上の画像情報を使用して、画像の中から移動体の検出を行う。

２０３は調節パラメータ算出部であり、移動体検出部２０２から入力された移動体情報を基に、補間処理部で使用するパラメータの算出を行う。つまり、調節パラメータ算出部は、補間処理部による補間処理の処理内容を制御する制御部としての機能を有する。

２０４は補間処理部であり、調節パラメータ算出部２０４から入力されたパラメータ情報を用いて、撮像画像取得部２０１で撮影した２枚以上の画像から非露光区間部分を生成する補間処理を行う。

２０５は合成部であり、補間処理部２０４で生成した非露光区間部分と撮像画像取得部２０１から取得した２枚以上の撮像画像を合成することで、長秒露光画像を生成する。

以上の動作を処理の流れに従ったものが図３のフローチャートであり、処理の詳細を図４〜図６を用いて説明する。

Ｓ３０１では、長秒露光をしたいシーンに対して、本画像処理装置で使用する２枚以上の撮像画像を撮像画像取得部２０１で取得し、移動体検出部１０２に入力する。

Ｓ３０２では、撮像画像取得部２０１から入力された２枚以上の撮像画像に対して、手持ちで撮影した際の手振れを吸収するために位置合わせを行う。まず、撮像した画像の中から基準となる画像を１枚選択し、基準画像とその他の画像との位置を合わせるため変換係数を算出する。具体的には、画像間で対応する４点以上の特徴点の組み合わせを用いて、射影変換式を算出する。そして、算出した射影変換式を用いて画像を変形し、基準画像と位置合わせを行った画像を移動体検出部２０２に出力する。

Ｓ３０３では、２枚以上の位置合わせを行った画像を使用して、撮像画像の中から移動体の検出を行う。移動体検出処理について図４を用いて説明する。図４は撮像画像取得部２０１で撮像した２枚以上の画像のＮフレーム目の撮像画像４０１、Ｎ＋１フレーム目の撮像画像４１１、Ｎフレーム目をブロック分割した４２１、移動体検出結果４３１を示している。

まず、撮像画像４０１と撮像画像４１１に対して任意のサイズ（Ｍ×Ｎ）のブロックに分割（４２１）し、各領域間の差分として相関値を算出する。画像間の相関値を算出するために、着目画素を中心とする任意の範囲の評価枠に対してＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が算出され、評価枠内のデータ値の差分絶対値が積算される。具体的には、評価枠内における一対のデータ値をｆ（ｉ，ｊ）、ｇ（ｉ，ｊ）（ｉ、ｊは座標）と表した場合に、下記式（１）を用いてデータ値の差分の積算を評価値Ｒ_ＳＡＤとして算出する。

ｆ（ｉ，ｊ）：画像４０１の評価枠内の画素値
ｇ（ｉ，ｊ）：画像４０２の評価枠内の画素値
Ｒ_ＳＡＤ：相関値

本実施形態では、画素の差分絶対値であるＳＡＤを用いた評価値の算出方法の例を説明したが、これに限定されるものではなく、他の方式を使用してもよい。

そして、この算出した差分の評価値が小さくなる部分が類似している被写体となるので、その領域を探索し、そのブロックの位置関係から移動体の動きベクトルを算出する（４０４）。また、この移動体検出部２０２では、動きベクトル情報に加えて移動体の大きさ情報、コントラスト情報の取得も行う。

まずは移動体の大きさ情報として、画素値が類似する領域の画素数を算出し、移動体の候補となる領域の大きさとする。ここで、移動体の候補となる領域を算出するために、クラスタリング処理を用いる。つまり、輝度や色情報の分布解析を行い、隣接するブロックの類似性を判定して、類似していると判定された場合は同一ブロックであると判定を行う方法である。

この方法を用いて、同一のクラスタを移動体の候補となる１領域と判定する。なお、これらの手法は一例であり、本実施例ではこの手法に限ったものではない。そして、この移動体領域に含まれるブロックの動きベクトルの平均値を、移動体の動きベクトルｖ（４３１）として紐づけておく。

次に、移動体のコントラスト情報として、被写体内のエッジ強度特性を取得する。これは、画像に対してバンドパスフィルターをかけることでエッジ信号を検出し、任意のブロックサイズのエッジ信号の積分値を算出する。この算出した評価値は、エッジ信号の積分値が大きい場合、すなわち、テクスチャが多い場合に評価値が大きくなる。この評価値は下記式（２）を用いて算出する。

ｆｒ（ｉ，ｊ）：任意のブロックサイズ内の各座標におけるエッジ強度値
Ｆｒ：任意のブロックサイズにおけるエッジ強度の積分値

Ｓ３０４では、移動体検出部２０２で検出された移動体の情報と画像の撮影に用いたカメラ情報を基に、補間処理部２０４で使用するパラメータの算出を行う。

本実施形態では、２枚以上の撮像画像の間にある非露光区間を補間するために補間画像の生成と、移動体の動き方向に方向性をもったフィルタをかける処理を補間処理として行う。

図５は補間処理を示しており、ＮフレームとＮ＋１フレームを用いて、非露光区間にあたる部分の補間画像を生成する。そして、撮像画像と補間画像に対して方向性を持ったフィルタ処理を行う。具体的には、Ｎフレーム５０１と補間画像５０２、補間画像５０２と５０３、補間画像５０３と５０４、補間画像５０４とＮ＋１フレーム５０５に対して方向性をもったフィルタをかける。この処理で使用する補間画像の枚数とフィルタのタップ数を調節パラメータとして算出する。

調整パラメータ算出処理について図６を用いて説明する。図６は移動体の情報に応じて使用するフィルタのタップ数を示したグラフ６０１、６０２であり、グラフの横軸は各情報、縦軸はフィルタのタップ数、各情報の優先度重みを６０３で表している。ここで使用する優先度重みは０〜１の範囲で表される値であり、各情報でのタップ数の結果に対して優先度の値が割り振られている。

移動体検出部２０２から移動体の情報として、移動体の動きベクトル、移動体の大きさ、コントラスト情報などの移動体の特性が取得される。まず、動きベクトルとして撮像画像ＮフレームからＮ＋１フレームまでの移動量ｖを使用する。非露光区間を補うための補間画像は、移動体の移動量ｖに応じて決定される。

次に、フィルタ処理のタップ数を算出する。フィルタのタップ数は、カメラのメモリ量を考慮し、処理できるタップ数を上限として算出を行う。補間画像の生成枚数は、フィルタのタップ数を考慮して調整してもよい。

次に、取得した移動体の大きさ、コントラスト情報に応じたフィルタのタップ数を決定する処理について図６を用いて説明する。

まず、コントラスト情報を取得した場合について説明する。

Ｓ３０３で検出されたコントラストの評価値を使用し、グラフ６０１を用いてフィルタのタップ数を決定する。ここでは、テクスチャが多い被写体、すなわちコントラストの評価値が所定値よりも高い場合、その被写体に対してテクスチャを残すような補間処理を行いたいため、フィルタ処理よりも補間画像を生成する処理の優先度を上げる。

そこで、補間画像の枚数を多くするようにパラメータになるように、フィルタのタップ数が小さくなる値で設定される。一方で、テクスチャが少ない被写体、すなわちコントラストの評価値が所定値よりも低い場合、その被写体に対しては補間画像を生成するよりもフィルタ処理の優先度を上げるようにするため、補間画像の枚数が少なくなるような、フィルタのタップ数が大きくなる値で設定される。

次に、移動体の大きさ情報が得られた場合について説明する。Ｓ３０３で検出された領域の大きさの値を使用し、グラフ６０２を用いてフィルタのタップ数を決定する。移動体の領域が所定値よりも大きい場合、その移動体は目立つ領域となるため、被写体のテクスチャ情報を残す補間画像を生成する処理の優先度を上げる。そこで、補間画像の枚数を多くするようにパラメータになるように、フィルタのタップ数が小さくなる値で設定される。

一方で、移動体の領域が所定値よりも小さい場合、その移動体は目立ちにくい領域となり、その被写体に対してはフィルタ処理の優先度を上げるようにするため、補間画像の枚数が少なくなるような、フィルタのタップ数が大きくなる値で設定される。

取得された被写体特性に関する情報毎にフィルタのタップ数の算出について説明したが、情報毎のタップ数と、情報毎の優先度を考慮して、最終的に使用するフィルタのタップ数を決定する。算出方法としては、下記式（３）を用いて各情報に対応するタップ数Ｔを算出する。

ここでのα_ｎは情報毎の優先度に設定された重み、ｎは取得された情報の数を表している。α_ｎとしては、表６０３のように被写体のコントラスト情報である被写体のテクスチャの有無がフィルタのタップ数を決定するために重要となるため、重みを大きくする。また、これらの重みをユーザーが指定して決めてもよい。

ａ_ｎ：情報毎に決定した優先度

次に補間処理で使用する補間画像の枚数を算出する。算出方法としては下記式（４）を用いて、移動体の移動量を基に、算出したフィルタのタップ数を考慮して補間画像の枚数Ｍを決定する。
Ｍ＝ｖ÷Ｔ・・・（４）
ｖ：検出した動きベクトル

Ｓ３０５では、算出したパラメータを使用して、撮像画像における非露光区間部分を生成するための補間処理を行う。補間処理について図７を用いて説明する。図７は補間画像を生成する際に使用する補間枚数と動きベクトルの関係を示した７０１、補間画像に使用するゲインをかけた後の動きベクトルを説明する７１１、動きベクトルを用いたフィルタ処理７２１を示している。

補間処理では、２枚以上の撮像画像の間にある非露光区間を補間するために補間画像の生成と、方向性をもったフィルタをかける処理を行う。まずは撮像画像のＮフレームとＮ＋１フレームにおける補間画像の生成を行う。この補間画像の生成では、移動体検出部２０２と調整パラメータ算出部２０３から取得された情報を用いる。

調節パラメータ算出部２０３から調節パラメータとして生成する補間画像の枚数Ｍが取得される。そして、７０１のように生成するＮフレームとＮ＋１フレームの間の補間画像となるＭ枚の画像が時間的に等間隔になるように補間画像の生成を行う。７０１においてｎは生成する補間画像の位置を示しており、１〜Ｍ枚目まで生成を行う。まず、移動体情報として取得した移動体の動きベクトルに対して下記式（５）を用いて生成する補間画像の位置に対応するゲインをかける。

Ｖｍ：生成する補間画像位置に対応する動きベクトル
ｖ：検出した動きベクトル
ｍ：補間画像を生成する位置（１≦ｍ≦Ｍ）

たとえば、ｎ＝１の位置に補間画像を生成する場合は、動きベクトルに対して１／（Ｍ＋１）のゲインをかけることになる。そして、このゲインをかけた動きベクトルを使用し、Ｎフレームの移動体が算出された動きベクトルの示す位置に来るように補間画像を生成する。７１２の移動体に対して、動きベクトルｖ／（Ｍ＋１）だけ移動させたものを補間画像とする。そして、最終的にＭ枚目まで処理を行い、必要な枚数の補間画像を生成する。

次に、撮像したＮフレーム、Ｎ＋１フレームの画像と、生成したＭ枚の補間画像に対しいて、方向性をもったフィルタ処理として、動きベクトルの移動方向に対応したフィルタを撮像画像と補間画像に対してかける。たとえば、７２１で示している撮像画像Ｎフレームと補間画像（ｎ＝１）の２枚の画像に対してフィルタ処理を行う場合、補間画像（ｎ＝１）を生成した際に使用したゲインをかけた後の動きベクトルｖ／（Ｍ＋１）を用いてフィルタを生成する。

このフィルタ処理では、被写体の動きベクトルを基に２フレーム間に対してフィルタ処理を行う。ここでは、動きベクトルを基に補間画像（ｎ＝１）目の画像に対して動きベクトルと逆方向に下記式（６）を用いて必要なタップ数Ｔの画素値に対して処理を行う。

Ｉｎ：ｎフレーム目の画像データ
α：重み係数

式（６）を用いることで、動きベクトルに基づく方向に対して、ベクトルに応じた度合いのフィルタ処理を行う。なお、このフィルタ処理は一例であり、この手法に限ったものではない。

Ｓ３０６では、撮像画像取得部１０１で取得した撮像画像と、上記の処理により生成された非露光区間部分を補間する画像情報を使用して長秒露光画像を生成する。合成方法としては、同じ画素位置にある画素値の加重合成を行う。加重合成では、画像の輝度値に応じて重みを変更する。たとえば、同じ位置にある各画素に対して最終的に合成を行う枚数Ｒを用いて、各画素に対して１／Ｒの重みを持たせて合成処理を行うことで長秒露光画像を生成する。

本実施形態では、Ｓ３０４においてＮフレームからＮ＋１フレームへの動きベクトルを用いて補間画像の枚数を決定していたが、これに限定されるものではなく、使用機器のメモリ容量を基に補間画像の最大枚数を決定しても良い。具体的には、生成する補間画像の容量から保存できる枚数が決定するので、その最大枚数を記録し、本実施例でＳ３０４において算出したフィルタのタップ数を使用して、最終的に生成する補間画像の枚数を決定する。

本実施形態では、Ｓ３０４においてＮフレームからＮ＋１フレームへの動きベクトルを用いて補間画像の枚数を決定していたが、これに限定されるものではなく、撮影間隔とシャッタースピードを基に枚数を決定しても良い。具体的には、撮影間隔の時間（Ｔｖ_ｆｐｓ）のうち、撮影しているシャッタースピード（露光区間：Ｔｖ）の割合を算出する。

その中で、非露光区間の割合は１−Ｐから算出することができる。そして、各割合を用いて、補間画像を生成する枚数を算出する。

次に、本実施例でＳ３０４において算出したフィルタのタップ数を算出し、Ｓ３０４で算出した補間画像の枚数とフィルタのタップ数を補間処理部１０４に出力する。

本実施形態では、Ｓ３０６の合成処理において、加重合成する方法を用いたが、対象画像に対して比較明合成を行って長秒露光画像を生成する方法を行っても良い。具体的には、撮像画像と生成した非露光区間部分の中から、着目画素位置に対して最も明るい画素値を選択し、その画素位置に格納することで、長秒露光画像を生成する。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像画像取得部
１０２ 移動体検出部
１０３ 調節パラメータ算出部
１０４ 補間処理部
１０５ 合成処理部

Claims (6)

1. 第１露光時間の撮影を連続的に行って得られた複数の画像を合成することによって、第１露光時間よりも長い第２露光時間の撮影で得られる画像に相当する合成画像を生成する画像処理装置であって、
   前記複数の画像を合成する合成手段と、
   前記複数の画像間を補間する補間画像を生成するとともに、前記複数の画像と前記補間画像に対して被写体の動き方向にフィルタ処理を行うことで、前記合成手段による合成において撮影間の非露光区間に対応する画像情報を補間する補間手段と、
   前記被写体の特性に応じて、前記補間手段による前記補間画像の生成と前記フィルタ処理のいずれを優先するかを制御する制御手段と、を備えることを特徴とする画像処理装置。
2. 前記制御手段は、前記補間画像の生成枚数と前記フィルタ処理に用いるタップ数を制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記被写体の大きさが所定値よりも大きい場合は、前記補間画像の生成が優先されるように制御することを特徴とする請求項１に記載の画像処理装置。
4. 前記制御手段は、前記被写体のコントラストの評価値が所定値よりも大きい場合は、前記補間画像の生成が優先されるように制御することを特徴とする請求項１または２に記載の画像処理装置。
5. 第１露光時間の撮影を連続的に行って得られた複数の画像を合成することによって、第１露光時間よりも長い第２露光時間の撮影で得られる画像に相当する合成画像を生成する画像処理方法であって、
   前記複数の画像を合成する合成ステップと、
   前記複数の画像間を補間する補間画像を生成するとともに、前記複数の画像と前記補間画像に対して被写体の動き方向にフィルタ処理を行うことで、前記合成ステップにおいて撮影間の非露光区間に対応する画像情報を補間する補間ステップと、
   前記被写体の特性に応じて、前記補間ステップにおける前記補間画像の生成と前記フィルタ処理のいずれを優先するかを制御する制御ステップと、を備えることを特徴とする画像処理方法。
6. コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるコンピュータが実行可能なプログラム。

Images