JP6041113B2 - 画像処理装置、監視カメラ及び画像処理方法 - Google Patents

Description

本開示は、画像の揺らぎを補正する画像処理装置、監視カメラ及び画像処理方法に関する。

従来、監視カメラなどのカメラ装置を用いて所定の空間を撮影し、当該空間を監視する監視システムが知られている。このとき、撮影した画像に揺らぎが生じることがある。揺らぎは、光の伝達媒体の特性変更によって生じる現象である。具体的には、揺らぎは、被写体からの光を伝達する媒体（空気又は水など）の屈折率が変化することで、発生する現象（シュリーレン現象）である。

揺らぎは、例えば、暑い屋外での撮影時に、大気中の温度差により空気の密度に粗密が生じることにより発生する、いわゆる陽炎である。あるいは、揺らぎは、水中での撮影時にも発生する。

監視システムにおいて、撮影された動画像にて異常などを検知する場合、画像の揺らぎが生じると誤った異常を検知してしまう場合があり、好ましくない。そこで、特許文献１及び２などには、画像の揺らぎを補正することができる画像処理装置が開示されている。

特開２０１１−２２９０３０号公報 特開２０１３−２３６２４９号公報

本開示は、揺らぎの強さが変化した場合であっても揺らぎを適切に補正することができる画像処理装置、監視カメラ及び画像処理方法を提供する。

上記課題を解決するため、本開示に係る画像処理装置は、動画像に含まれる第１入力画像の揺らぎを補正する画像処理装置であって、揺らぎの強さを示す揺らぎ強度を決定する決定部と、決定部によって決定された揺らぎ強度に応じて第１入力画像の揺らぎを補正する補正部とを備え、決定部は、第１入力画像又は当該第１入力画像より時間的に前のフレームに含まれるエッジの画素数に対する、第１入力画像と前のフレームとの画素値の差分が所定の閾値以上である画素数の比が大きい程、大きい値になる揺らぎ強度を決定する。

本開示によれば、揺らぎの強さが変化した場合であっても揺らぎを適切に補正することができる。

図１Ａは、実施の形態１に係る画像処理装置の構成を示すブロック図である。 図１Ｂは、実施の形態１に係る画像処理装置の別の構成を示すブロック図である。 図１Ｃは、実施の形態１に係る画像処理装置の補正部の別の構成を示すブロック図である。 図２は、実施の形態１に係る画像処理装置において、異なる強度の揺らぎが発生した場合の差分画像を示す図である。 図３は、実施の形態１に係る画像処理装置において、入力画像内に複数の物体がある場合と単一の物体がある場合との差分画像を示す図である。 図４Ａは、実施の形態１に係る画像処理装置の動作の一例を示すフローチャートである。 図４Ｂは、実施の形態１に係る揺らぎ強度を決定する処理の一例を示すフローチャートである。 図５Ａは、実施の形態１に係る画像処理装置の動作の別の一例を示すフローチャートである。 図５Ｂは、実施の形態１に係る揺らぎ強度を決定する処理の別の一例を示すフローチャートである。 図６Ａは、実施の形態２に係る画像処理装置の構成を示すブロック図である。 図６Ｂは、実施の形態２に係る画像処理装置の別の構成を示すブロック図である。 図７Ａは、実施の形態２に係る入力画像の直前の画像（第２入力画像）の一例を示す図である。 図７Ｂは、実施の形態２に係る入力画像（第１入力画像）の一例を示す図である。 図７Ｃは、実施の形態２に係る差分画像の一例を示す図である。 図７Ｄは、実施の形態２に係るオープニング処理を行った差分画像の一例を示す図である。 図７Ｅは、実施の形態２に係るオープニング処理を行った差分画像の一例を示す図である。 図７Ｆは、実施の形態２に係るオープニング処理を行った差分画像の一例を示す図である。 図８Ａは、実施の形態２に係る画像処理装置の動作の一例を示すフローチャートである。 図８Ｂは、実施の形態２に係る移動体領域を特定する処理の一例を示すフローチャートである。 図８Ｃは、実施の形態２に係る揺らぎ強度を決定する処理の一例を示すフローチャートである。 図９Ａは、実施の形態２に係る画像処理装置の動作の別の一例を示すフローチャートである。 図９Ｂは、実施の形態２に係る移動体領域を特定する処理の別の一例を示すフローチャートである。 図９Ｃは、実施の形態２に係る揺らぎ強度を決定する処理の別の一例を示すフローチャートである。 図１０Ａは、実施の形態３に係る画像処理装置の構成を示すブロック図である。 図１０Ｂは、実施の形態３に係る画像処理装置の別の構成を示すブロック図である。 図１１Ａは、実施の形態３に係る背景画像の一例を示す図である。 図１１Ｂは、実施の形態３に係る差分画像の一例を示す図である。 図１１Ｃは、実施の形態３に係るオープニング処理を行った差分画像の一例を示す図である。 図１２Ａは、実施の形態３に係る画像処理装置の動作の一例を示すフローチャートである。 図１２Ｂは、実施の形態３に係る移動体領域を特定する処理の一例を示すフローチャートである。 図１３は、実施の形態３に係る画像処理装置の動作の別の一例を示すフローチャートである。 図１４は、実施の形態に係る画像処理装置を備える監視カメラの製品例を示す図である。

本発明者は、「背景技術」の欄において記載した従来の画像処理装置に関し、以下の問題が生じることを見出した。

例えば、特許文献１及び２に記載の画像処理装置では、画像に揺らぎが発生しているか否かを検出している。そして、揺らぎが発生している場合には、予め定められた強さの補正処理を行っている。

しかしながら、揺らぎ補正の程度が同じであるため、揺らぎが変化した場合には、適切に揺らぎを補正することができなくなるという問題がある。

そこで、このような問題を解決するために、本開示では、揺らぎの強さが変化した場合であっても、揺らぎを適切に補正することができる画像処理装置、監視カメラ及び画像処理方法を提供する。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、及び、実質的に同一の構成に対する重複説明などを省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態１）
以下、図１Ａ〜図５Ｂを用いて、実施の形態１について説明する。

［１．画像処理装置の概要］
まず、本実施の形態に係る画像処理装置の構成について、図１Ａ及び図１Ｂを用いて説明する。図１Ａ及び図１Ｂは、本実施の形態に係る画像処理装置の構成例を示すブロック図である。

なお、本実施の形態に係る画像処理装置は、複数のフレームの画像を用いて入力画像の揺らぎを補正する装置である。このとき、複数のフレームの画像の１つとして、補正後画像を用いない場合と、補正後画像を用いる場合とでは、画像処理装置における処理が異なる。

以下では、補正後画像を用いない場合の画像処理装置１００の構成について、図１Ａを用いて説明する。また、補正後画像を用いる場合の画像処理装置１００ａの構成について、図１Ｂを用いて説明する。

［２．画像処理装置の詳細な構成］
本実施の形態に係る画像処理装置１００及び１００ａは、動画像に含まれる入力画像の揺らぎを補正することで、補正後画像を生成して出力する。図１Ａに示すように、画像処理装置１００は、決定部１１０と、補正部１２０とを備える。また、図１Ｂに示すように、画像処理装置１００ａは、決定部１１０ａと、補正部１２０ａとを備える。

［２−１．決定部］
図１Ａに示す決定部１１０は、入力画像の揺らぎの強さを示す揺らぎ強度を決定する。決定部１１０は、少なくとも２枚の入力画像を用いて、入力画像の揺らぎの強度を示す揺らぎ強度を決定して出力する。

例えば、決定部１１０は、第１入力画像と、当該第１入力画像より時間的に前のフレームとを取得する。第１入力画像より時間的に前のフレームは、第１入力画像の前に入力された第２入力画像である。ここで、第１入力画像は、揺らぎを補正する対象となる画像であり、例えば、最新の入力画像である。第２入力画像は、例えば、第１入力画像に隣接するフレーム、すなわち、第１入力画像の直前のフレームの入力画像である。あるいは、第２入力画像は、第１入力画像より２フレーム以上前のフレームの入力画像でもよい。

「揺らぎ」とは、上述したように、光の伝達媒体の特性変更によって生じる現象である。例えば、「揺らぎ」は、陽炎などの現象であり、被写体からの光を伝達する媒体（空気又は水など）の屈折率が変化することで発生する現象（シュリーレン現象）である。簡単に言い換えると、「揺らぎ」は、固定されて動かない被写体が動いて見える現象である。このため、「揺らぎ」は、カメラの手ブレなどとは異なり、固定したカメラが撮影した画像においても発生する。特に望遠で撮影した動画像において、揺らぎの影響は顕著に現れる。

「入力画像の揺らぎ」とは、被写体の形状が入力画像内で歪む現象である。例えば、簡単な例では、入力画像内に「揺らぎ」がない場合には真っ直ぐになるエッジが、「揺らぎ」がある場合には、曲線になる。

なお、カメラの手ブレの場合もエッジは本来の位置からずれた位置に現れるが、そのずれる方向及び量は、略一定となる。つまり、カメラの手ブレの場合、画像全体が共通の方向に略同じ量だけずれる。これに対して、「揺らぎ」によって生じるエッジが歪む方向及び量は、画素毎に不規則である。

また、「揺らぎを補正する」は、「揺らぎ」によって入力画像に生じた画素のずれを小さく、又は、０にすることである。

「揺らぎ強度」は、入力画像内における被写体の歪みの大きさを示している。つまり、被写体の歪みが大きい程、揺らぎ強度も大きくなる。言い換えると、揺らぎ強度は、エッジの正しい位置（揺らぎがない場合に表示される位置）からのずれ量に相当する。

本実施の形態に係る決定部１１０は、（式１）を用いて揺らぎ強度を決定する。

（式１）において、エッジ量は、第１入力画像に含まれるエッジの画素数である。また、隣接画像間の差分量は、第１入力画像と第２入力画像との画素値の差分が所定の閾値以上である画素数である。

つまり、決定部１１０は、第１入力画像に含まれるエッジの画素数に対する、第１入力画像と第２入力画像との画素値の差分が所定の閾値以上である画素数の比を、揺らぎ強度として決定する。言い換えると、決定部１１０は、隣接画像間の差分量をエッジ量で正規化することで、揺らぎ強度を算出する。

また、図１Ｂに示す決定部１１０ａは、決定部１１０と比べて、第２入力画像の代わりに、第２入力画像の揺らぎを補正することで生成された補正後画像を用いる点が異なっている。つまり、第１入力画像より時間的に前のフレームは、補正部１２０ａが第２入力画像の揺らぎを補正することで生成した補正後画像である。また、決定部１１０ａは、第１入力画像の代わりに補正後画像を用いて、エッジ量を算出する点が異なっている。

具体的には、決定部１１０ａは、第１入力画像と補正後画像とを取得する。そして、決定部１１０は、補正後画像に含まれるエッジの画素数に対する、第１入力画像と補正後画像との画素値の差分が所定の閾値以上である画素数の比を、揺らぎ強度として決定する。

この場合、（式１）において、エッジ量は、補正後画像に含まれるエッジの画素数である。また、隣接画像間の差分量は、第１入力画像と補正後画像との画素値の差分が所定の閾値以上である画素数である。

隣接画像間の差分量及びエッジ量の算出方法については、後で図２及び図３を用いて説明する。

［２−２．補正部］
補正部１２０及び１２０ａは、決定部１１０及び１１０ａによって決定された揺らぎ強度に応じて第１入力画像の揺らぎを補正する。具体的には、補正部１２０及び１２０ａは、第１入力画像を含む複数のフレームを合成することで、第１入力画像の揺らぎを補正する。

例えば、図１Ａに示す補正部１２０は、複数のフレームを平均化することで、第１入力画像の揺らぎを補正する。また、図１Ｂに示す補正部１２０ａは、複数のフレームを重み付け加算することで、第１入力画像の揺らぎを補正する。

［２−２−１．平均化］
まず、複数のフレームの合成の一例である平均化を行う補正部１２０の構成について、図１Ａを用いて説明する。図１Ａに示すように、補正部１２０は、揺らぎ補正部１２１と、パラメータ決定部１２２とを備える。

［２−２−２．揺らぎ補正部］
揺らぎ補正部１２１は、第１入力画像を含む複数のフレームの合成を行うことで、第１入力画像の揺らぎを補正する。例えば、揺らぎ補正部１２１は、複数のフレームの平均化を行う。

具体的には、揺らぎ補正部１２１は、ｎ枚のフレームの入力画像を画素毎に平均化することで、補正後画像を生成する。ここで、ｎは、２以上の整数であり、パラメータ決定部１２２によって決定されるパラメータの一例である。

例えば、揺らぎ補正部１２１は、第１入力画像を含み、時間的に連続するｎ枚の入力画像を平均化する。具体的には、揺らぎ補正部１２１は、（式２）に示すように、第１入力画像から、時間的にｎ番前に入力された第ｎ入力画像までのｎ枚の入力画像を平均化することで、補正後画像を生成する。

（式２）において、ｏｕｔｐｕｔ［ｔ］は、時刻ｔにおける入力画像に対応する補正後画像である。ｉｎｐｕｔ［ｔ］は、時刻ｔにおける入力画像（すなわち、第１入力画像）である。なお、平均化の対象となるｎ枚の入力画像は、時間的に連続するｎ枚でなくてもよい。

また、揺らぎ補正部１２１は、ｎ枚の入力画像の平均化でなく、ｎ枚の入力画像を重み付け加算してもよい。例えば、重み付け加算に用いる重みは、対応する入力画像が時刻ｔに近い程、大きくしてもよい。また、時刻ｔにおける入力画像のみを大きな重みを採用し、残りの画像の重みを均一にして平均化してもよい。

なお、揺らぎ補正部１２１において平均化を行うと、画像の揺らぎによるボケに加えて、画像がさらにボケる場合がある。平均化の画像の枚数が多い程、平均化後の画像、すなわち、揺らぎ補正後の画像はボケてしまう。

そこで、例えば、図１Ｃに示す補正部１２０ｂのように、画像の先鋭化を行う画像先鋭化部１２３を備えてもよい。なお、図１Ｃは、本実施の形態の補正部１２０ｂの構成を示すブロック図である。本実施の形態に係る画像処理装置１００は、図１Ａに示す補正部１２０の代わりに、図１Ｃに示す補正部１２０ｂを備えてもよい。

補正部１２０ｂは、揺らぎ補正部１２１と、パラメータ決定部１２２ｂと、画像先鋭化部１２３とを備える。パラメータ決定部１２２ｂについては、後で説明する。

画像先鋭化部１２３は、揺らぎ補正部１２１によって揺らぎが補正された入力画像の先鋭化を行う。本実施の形態では、パラメータ決定部１２２ｂによって決定されたフィルタサイズを用いて、揺らぎ補正後の画像の先鋭化を行う。例えば、画像先鋭化部１２３は、アンシャープマスクなどの画像先鋭化のためのフィルタ処理を、揺らぎ補正後の画像に行う。これにより、画像の揺らぎによるボケ、及び、画像の平均化によって生じるボケを低減することができる。

［２−２−３．パラメータ決定部］
パラメータ決定部１２２は、決定部１１０によって決定された揺らぎ強度に応じて、複数のフレームの合成に用いるパラメータを決定する。例えば、パラメータ決定部１２２は、決定部１１０によって決定された揺らぎ強度に応じて、平均化に用いるフレーム数をパラメータとして決定する。具体的には、パラメータ決定部１２２は、（式２）におけるｎの値をパラメータとして決定する。

入力画像の揺らぎは、揺らぎのない位置を中心として、一定の振幅で揺らいでいると考えられる。このため、複数枚の画像を平均することで、揺らぎの程度が低減された画像が生成される。

このとき、平均する入力画像の枚数が多い程、揺らぎ除去の効果が大きくなる。逆に、平均する入力画像の枚数が少ない程、揺らぎ除去の効果が小さくなる。

このため、パラメータ決定部１２２は、揺らぎ強度に応じて、平均化に用いるフレームの枚数を決定する。具体的には、パラメータ決定部１２２は、揺らぎ強度が大きい場合には、ｎの値を大きくし、揺らぎ強度が小さい場合には、ｎの値を小さくする。

なお、図１Ｃに示すパラメータ決定部１２２ｂでは、決定部１１０によって決定された揺らぎ強度に応じて、先鋭化のためのフィルタサイズを、パラメータとして決定する。具体的には、パラメータ決定部１２２ｂは、揺らぎ強度が大きい程、画像先鋭化部１２３による画像の先鋭化度合いが大きくなるように、フィルタサイズを決定する。例えば、画像先鋭化部１２３でアンシャープマスクを適用する場合、パラメータ決定部１２２ｂは、揺らぎ強度が大きい程、アンシャープマスクのフィルタサイズを大きくする。これにより、揺らぎ強度が大きい程、画像の先鋭化度合いを大きくすることができ、画像の揺らぎによるボケ、及び、画像の平均化によって生じるボケを低減することができる。

［２−２−４．重み付け加算］
次に、複数のフレームの合成の一例である重み付け加算を行う補正部１２０ａの構成について、図１Ｂを用いて説明する。図１Ｂに示すように、補正部１２０ａは、揺らぎ補正部１２１ａと、パラメータ決定部１２２ａとを備える。

［２−２−５．揺らぎ補正部］
揺らぎ補正部１２１ａは、第１入力画像と補正後画像との重み付け加算を行う。言い換えると、揺らぎ補正部１２１ａは、第１入力画像と補正後画像とを一定の合成比率αで合成する。合成比率αは、重み付け加算の重みであり、パラメータ決定部１２２ａによって決定されるパラメータの一例である。

例えば、揺らぎ補正部１２１ａは、第１入力画像と、当該第１入力画像の直前の入力画像を補正することで生成された補正後画像との画素値の重み付け加算を行う。具体的には、揺らぎ補正部１２１ａは、（式３）に示すように、重みαと、入力画像ｉｎｐｕｔ［ｔ］と、直前の補正後画像ｏｕｔｐｕｔ［ｔ−１］とを用いて、補正後画像ｏｕｔｐｕｔ［ｔ］を生成する。

重みα（０≦α≦１）は、入力画像ｉｎｐｕｔ［ｔ］の合成比率である。つまり、重みαが１に近付く程、補正後画像における入力画像の割合が大きくなり、重みαが０に近付く程、補正後画像における前回の補正後画像の割合が大きくなる。

［２−２−６．パラメータ決定部］
パラメータ決定部１２２ａは、決定部１１０ａによって決定された揺らぎ強度に応じて、重み付け加算の重みをパラメータとして決定する。具体的には、パラメータ決定部１２２ａは、（式３）における重みαを決定する。

例えば、パラメータ決定部１２２ａは、揺らぎ強度が大きい程、重みαを小さい値に、具体的には、０に近い値に決定する。また、パラメータ決定部１２２ａは、揺らぎ強度が小さい程、重みαを大きい値に、具体的には、１に近い値に決定する。

例えば、（式３）において、入力画像ｉｎｐｕｔ［ｔ］を合成する割合（重みα）を小さくする程、前回の補正後画像ｏｕｔｐｕｔ［ｔ−１］、すなわち、揺らぎが少ない画像が多く合成される。したがって、揺らぎが大きい程、前回の補正後画像の割合が大きくなるように合成することで、生成される補正後画像の揺らぎを少なくすることができる。

なお、本実施の形態では、２枚のフレームを合成する例について示したが、揺らぎ補正部１２１ａは、３枚以上のフレームを合成してもよい。このとき、パラメータ決定部１２２ａは、３枚以上のフレームのそれぞれの合成比率の和が１になるように、各フレームに対応する重みを決定すればよい。

また、平均化及び重み付け加算を合成の例として説明したが、揺らぎを補正する方法は、これらに限らない。

［３．揺らぎ強度の算出］
続いて、揺らぎ強度の算出に用いるエッジ量と隣接画像間の差分量とを算出する方法について説明する。

［３−１．エッジ量］
エッジは、画像内では輝度値の差として現れる。すなわち、コントラストが大きい部分にエッジが現れる。例えば、エッジの画素は、周囲の画素との輝度値の差が所定の閾値以上である画素である。

決定部１１０は、第１入力画像に含まれる画素毎に、当該画素がエッジの画素であるか否かを判定する。例えば、決定部１１０は、縦方向及び横方向のソベルフィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）を用いて、画素毎にエッジの有無を検出する。そして、決定部１１０は、エッジの画素と判定された画素数をカウントする。

具体的には、決定部１１０は、注目画素にソベルフィルタを適用することで算出される値が、所定の閾値以上であるか否かを判定する。そして、決定部１１０は、閾値以上であると判定した場合、当該注目画素がエッジの画素であると判定し、カウンタ値をインクリメントする。第１入力画像に含まれる全ての画素に対して、エッジの判定を行った後のカウンタ値が、第１入力画像内のエッジの画素数である。

なお、決定部１１０は、エッジ検出の対象画像に第１入力画像を用いているが、これに限らない。例えば、図１Ｂに示す決定部１１０ａは、エッジ検出の対象画像に補正後画像を用いる。

例えば、決定部１１０ａは、エッジ検出の対象画像として、前の補正後画像を用いる。具体的には、決定部１１０ａは、第１入力画像の直前の入力画像の揺らぎを補正することで生成された補正後画像を用いて、エッジ検出を行う。

例えば、揺らぎの大きい画像を用いてエッジの検出を行った場合、エッジは、揺らぎによってその形状が変化するので、結果として検出されるエッジの画素数が変わってしまう。このため、正確なエッジ量を算出することができなくなる。

これに対して、決定部１１０ａが用いる補正後画像では揺らぎが抑制されているので、エッジの検出をより精度良く行うことができる。

なお、決定部１１０及び１１０ａは、ソベルフィルタの代わりに、プリューウィットフィルタ（Ｐｒｅｗｉｔｔ Ｆｉｌｔｅｒ）又はラプラシアンフィルタ（Ｌａｐｌａｃｉａｎ Ｆｉｌｔｅｒ）などを用いてもよい。その他、エッジの検出処理は上記説明に限らない。

［３−２．隣接画像間の差分量］
決定部１１０は、第１入力画像に含まれる画素毎に、当該画素が前のフレームとの差分が大きい画素（以下、「差分画素」と記載する場合がある）であるか否かを判定する。なお、差分画素は、例えば、第１入力画像と、当該第１入力画像より時間的に前のフレームとの画素値の差分が所定の閾値以上である画素である。

具体的には、決定部１１０は、画素毎に、第１入力画像の画素値と第２入力画像の画素値との差分を算出し、算出した差分が所定の閾値以上であるか否かを判定する。そして、決定部１１０は、閾値以上であると判定した場合、当該注目画素は差分画素であると判定し、カウンタ値をインクリメントする。第１入力画像に含まれる全ての画素に対して、差分の判定を行った後のカウンタ値が、第１入力画像内の差分画素の画素数である。

例えば、２枚の画像が撮影された時間間隔が十分に短い場合、固定カメラで撮影された２枚のフレーム間で異なる画素値の画素は、動く被写体である移動体、又は、揺らぎのいずれかである。つまり、差分画素は、移動体又は揺らぎのいずれかである。

２枚のフレーム間で移動体が存在しない場合、あるいは、移動体の占める画素が十分に少ないことが想定できる場合には、差分画素は、移動体ではなく、揺らぎであるとみなすことができる。したがって、差分画素の画素数は、揺らぎの画素数であるとみなすことができる。

なお、移動体の占める画素が多い場合、すなわち、移動体が大きい物体である場合については、実施の形態２で説明する。

また、決定部１１０は、差分の算出に第１入力画像と第２入力画像とを用いているが、これに限らない。例えば、図１Ｂに示す決定部１１０ａは、差分の算出に第１入力画像と補正後画像とを用いる。

例えば、決定部１１０ａは、第１入力画像と、第２入力画像の揺らぎを補正することで生成された補正後画像との差分を算出することで、差分画素の画素数を算出する。言い換えると、決定部１１０ａは、揺らぎの多い画像（第１入力画像）と、揺らぎの少ない画像（補正後画像）との差分を算出する。

例えば、差分算出に用いる２枚の画像に揺らぎがある場合、正確な差分量（揺らぎ量）を算出することができない場合がある。これに対して、決定部１１０ａは、第１入力画像と補正後画像との差分を算出するので、第１入力画像の正確な揺らぎ量に近い差分量を算出することができる。

なお、揺らぎ強度の値は、ノイズや閾値などの影響でフレーム毎にばらつくことがある。フレーム毎にばらついた揺らぎ強度の値を用いて揺らぎ除去を行うと、揺らぎ除去効果も安定しない。これを避けるために、揺らぎ強度は、特定フレームのみを用いて生成しても構わない。あるいは、揺らぎ強度として、複数フレームで生成した複数の揺らぎ強度の平均値を用いても構わない。

［４．揺らぎ強度とエッジ量及び差分量との関係］
続いて、本実施の形態に係る揺らぎ強度と、エッジ量及び差分量との関係について、図２及び図３を用いて説明する。図２は、本実施の形態に係る画像処理装置において、異なる強度の揺らぎが発生した場合の差分画像を示す図である。図３は、本実施の形態に係る画像処理装置において、入力画像内に複数の物体がある場合と単一の物体がある場合との差分画像を示す図である。

図２に示す例では、入力画像は、矩形の物体２００を含んでいる。図２の（ａ）に示すように、揺らぎがない場合は、物体２００のエッジ（輪郭）２１０は、直線である。なお、説明を分かりやすくするため、物体２００の輝度値は全て同一であり、背景２０１の輝度値も全て同一であり、物体２００の輝度値と背景２０１の輝度値とが異なっている例について示す。

これに対して、図２の（ｂ）〜（ｄ）に示すように、揺らぎ強度が大きくなる程、物体２００の変形の度合いが大きくなる。具体的には、物体２００のエッジ（輪郭）２１０が曲線になる。揺らぎ強度が大きくなる程、エッジ２１０は、本来の位置から大きくずれている。

なお、上述したように揺らぎは、手ブレなどと異なり、決まった方向へのずれではないので、エッジ２１０のずれ量は、図２に示すように、エッジ２１０の画素位置によってランダムに異なっている。

図２に示す差分画像は、揺らぎがない画像と揺らぎを含む画像との差分を示す画像である。例えば、揺らぎ強度が「弱」の差分画像は、揺らぎ強度が「弱」の入力画像と、揺らぎなしの画像との差分を示している。揺らぎ強度が「中」及び「強」の場合も同様である。

図２に示すように、入力画像に揺らぎが発生する場合、差分画像には、差分領域２２０が現れる。差分領域２２０は、揺らぎがない画像と揺らぎを含む画像との画素値の差分が所定の閾値以上である画素（差分画素）から構成される。すなわち、差分領域２２０を構成する差分画素の画素数が、例えば、（式１）における隣接画像間の差分量に相当する。

図２の（ｂ）〜（ｄ）に示すように、揺らぎ強度が大きくなる程、物体２００の変形の度合いが大きくなり、差分領域２２０も大きくなる。差分領域２２０は、物体２００のエッジ２１０の近辺に相当する領域に現れる。

以上のことから、差分領域２２０が大きい程、すなわち、隣接画像間の差分量が大きい程、揺らぎ強度が強いことが分かる。

しかしながら、これは、入力画像が単一の物体２００を含む場合に限られる。あるいは、物体２００に比べて他の物体が十分に小さい場合にも、隣接画像間の差分量が大きい程、揺らぎ強度が強いということができる。

これに対して、図３に示すように、入力画像が複数の物体２３０を含む場合、エッジの量が多くなる。差分領域は、エッジに相当する領域に現れるので、エッジが多くなる程、差分領域も大きくなる。

したがって、揺らぎ強度が異なっている場合でも、入力画像に含まれる物体の数、すなわち、エッジ量によって、差分領域が略同じになる場合がある。例えば、図３に示すように、揺らぎ強度が「中」である場合に入力画像が複数の物体２３０を含むときの差分領域２４０は、揺らぎ強度が「強」である場合に入力画像が単一の物体２００を含むときの差分領域２２０と略同じになる。

このため、差分領域の大きさだけでは、揺らぎ強度を判定することができない。つまり、差分領域の大きさは、エッジ量と揺らぎ強度との両方に依存する。

そこで、本実施の形態に係る決定部１１０及び１１０ａは、（式１）に示すように、差分領域の大きさ、すなわち、隣接画像間の差分量をエッジ量で正規化することで、揺らぎ強度を決定する。これにより、入力画像が含むエッジ量によらず、適切な揺らぎ強度を決定することができる。

［５．動作］
［５−１．補正後画像を用いない場合］
続いて、本実施の形態に係る画像処理装置１００及び１００ａの動作について、図４Ａ〜図５Ｂを用いて説明する。まず、本実施の形態に係る画像処理装置１００の動作、具体的には、補正後画像を用いずに入力画像の揺らぎを補正する処理について、図４Ａ及び図４Ｂを用いて説明する、図４Ａは、本実施の形態に係る画像処理装置１００の動作を示すフローチャートである。図４Ｂは、本実施の形態に係る揺らぎ強度を決定する処理を示すフローチャートである。

図４Ａに示すように、まず、決定部１１０は、複数の入力画像を取得する（Ｓ１００）。具体的には、決定部１１０は、揺らぎの補正対象となる第１入力画像と、当該第１入力画像の前に入力された第２入力画像とを取得する。

次に、決定部１１０は、揺らぎ強度を決定する（Ｓ１２０）。揺らぎ強度の決定方法の詳細については、図４Ｂを用いて後で説明する。

次に、パラメータ決定部１２２は、決定部１１０によって決定された揺らぎ強度に応じて、パラメータを決定する（Ｓ１４０）。具体的には、パラメータ決定部１２２は、揺らぎ強度が大きい程、大きな値となるフレームの枚数ｎを、パラメータとして決定する。

最後に、揺らぎ補正部１２１は、パラメータ決定部１２２によって決定されたパラメータを用いて、第１入力画像の揺らぎを補正する（Ｓ１６０）。具体的には、揺らぎ補正部１２１は、パラメータ決定部１２２によって決定されたｎ枚の入力画像を平均化することで、第１入力画像の揺らぎを補正し、補正後画像を出力する。

ここで、決定部１１０が行う揺らぎ強度の決定方法について、図４Ｂを用いて説明する。

図４Ｂに示すように、決定部１１０は、第１入力画像を用いてエッジの画素数を算出する（Ｓ１２１）。例えば、決定部１１０は、画素毎に、注目画素がエッジの画素であるか否かを判定し、エッジの画素であると判定した画素をカウントすることで、第１入力画像内のエッジの画素数を算出する。

次に、決定部１１０は、第１入力画像と第２入力画像との差分量を算出する（Ｓ１２２）。差分量は、上述したように、隣接画像間の差分値が所定の閾値以上の画素（差分画素）の画素数である。例えば、決定部１１０は、画素毎に、注目画素が差分画素であるか否かを判定し、差分画素であると判定した画素をカウントすることで、差分量を算出する。

最後に、決定部１１０は、（式１）に基づいて揺らぎ強度を算出する（Ｓ１２３）。

「５−２．補正後画像を用いる場合」
次に、本実施の形態に係る画像処理装置１００ａの動作、具体的には、補正後画像を用いて入力画像の揺らぎを補正する処理について、図５Ａ及び図５Ｂを用いて説明する。図５Ａは、本実施の形態に係る画像処理装置１００ａの動作を示すフローチャートである。図５Ｂは、本実施の形態に係る揺らぎ強度を決定する処理を示すフローチャートである。

図５Ａに示すように、まず、決定部１１０ａは、第１入力画像と前の補正後画像とを取得する（Ｓ１００ａ）。具体的には、決定部１１０ａは、揺らぎの補正対象となる第１入力画像と、当該第１入力画像の前に入力された第２入力画像の揺らぎを補正することで生成された補正後画像とを取得する。

次に、決定部１１０ａは、揺らぎ強度を決定する（Ｓ１２０ａ）。揺らぎ強度の決定方法の詳細については、図５Ｂを用いて後で説明する。

次に、パラメータ決定部１２２ａは、決定部１１０ａによって決定された揺らぎ強度に応じて、パラメータを決定する（Ｓ１４０ａ）。具体的には、パラメータ決定部１２２ａは、揺らぎ強度が大きい程、第１入力画像に対応する重みαを小さな値に決定し、補正後画像に対応する重み１−αを大きな値に決定する。

最後に、揺らぎ補正部１２１ａは、パラメータ決定部１２２ａによって決定されたパラメータを用いて、第１入力画像の揺らぎを補正する（Ｓ１６０ａ）。具体的には、揺らぎ補正部１２１ａは、パラメータ決定部１２２ａによって決定された重みαを用いて第１入力画像と補正後画像との重み付け加算を行うことで、第１入力画像の揺らぎを補正する。

ここで、決定部１１０ａが行う揺らぎ強度の決定方法について、図５Ｂを用いて説明する。

図５Ｂに示すように、決定部１１０ａは、前の補正後画像を用いてエッジの画素数を算出する（Ｓ１２１ａ）。例えば、決定部１１０ａは、画素毎に、注目画素がエッジの画素であるか否かを判定し、エッジの画素であると判定した画素をカウントすることで、前の補正後画像内のエッジの画素数を算出する。

次に、決定部１１０ａは、第１入力画像と補正後画像との差分量を算出する（Ｓ１２２ａ）。例えば、決定部１１０ａは、画素毎に、注目画素が差分画素であるか否かを判定し、差分画素であると判定した画素をカウントすることで、差分量を算出する。

最後に、決定部１１０ａは、（式１）に基づいて揺らぎ強度を算出する（Ｓ１２３）。

［６．まとめ］
以上のように、本実施の形態に係る画像処理装置１００は、動画像に含まれる第１入力画像の揺らぎを補正する画像処理装置１００であって、揺らぎの強さを示す揺らぎ強度を決定する決定部１１０と、決定部１１０によって決定された揺らぎ強度に応じて第１入力画像の揺らぎを補正する補正部１２０とを備え、決定部１１０は、第１入力画像又は当該第１入力画像より時間的に前のフレームに含まれるエッジの画素数に対する、第１入力画像と前のフレームとの画素値の差分が所定の閾値以上である画素数の比が大きい程、大きい値になる揺らぎ強度を決定する。

これにより、決定した揺らぎ強度に応じて第１入力画像の揺らぎを補正するので、揺らぎの強さが変化した場合であっても揺らぎを適切に補正することができる。このとき、差分が閾値以上である画素数（差分量）は、揺らぎの強さとエッジの画素数とに依存するので、エッジの画素数で差分量を正規化することで、適切な揺らぎ強度を決定することができる。したがって、例えば、入力画像内に複数の画像があり、エッジが多い場合でも、揺らぎの強さを適切に判定することができる。

また、例えば、本実施の形態では、前のフレームは、第１入力画像の前に入力された第２入力画像、又は、補正部１２０ａが当該第２入力画像の揺らぎを補正することで生成した補正後画像である。

これにより、例えば、直前の補正後画像、すなわち、揺らぎが補正された画像を利用することができるので、揺らぎ強度の決定及び揺らぎの補正をより適切に行うことができる。

また、例えば、本実施の形態では、補正部１２０は、第１入力画像を含む複数のフレームの合成を行うことで、第１入力画像の揺らぎを補正する揺らぎ補正部１２１と、決定部１１０によって決定された揺らぎ強度に応じて、合成に用いるパラメータを決定するパラメータ決定部１２２とを含む。

これにより、揺らぎ強度に応じて決定されたパラメータを用いて複数のフレームを合成するので、例えば、合成の割合などを揺らぎ強度に応じて変更することができる。したがって、第１入力画像の揺らぎの強さに応じて、適切に第１入力画像の揺らぎを補正することができる。

また、例えば、本実施の形態では、揺らぎ補正部１２１は、複数のフレームの平均化を、合成として行い、パラメータ決定部１２２は、決定部１１０によって決定された揺らぎ強度に応じて、平均化に用いるフレーム数を、パラメータとして決定する。

揺らぎは、揺らぎのない位置を中心として一定の振幅で揺らいでいると考えられるので、複数のフレームの画像を平均することで、揺らぎの程度が低減された画像を生成することができる。このとき、平均するフレームの枚数を揺らぎ強度に応じて決定するので、揺らぎの強さに応じて適切に揺らぎを補正することができる。例えば、揺らぎ強度が大きい場合に、フレームの枚数を多くすることで、大きい揺らぎを適切に補正することができる。

また、例えば、本実施の形態では、揺らぎ補正部１２１ａは、第１入力画像と補正後画像との重み付け加算を、合成として行い、パラメータ決定部１２２ａは、決定部１１０ａによって決定された揺らぎ強度に応じて、重み付け加算の重みを、パラメータとして決定してもよい。

これにより、入力画像と揺らぎの少ない補正後画像との重み付け加算を行うので、入力画像の揺らぎを補正することができる。このとき、揺らぎ強度に応じて重みを決定するので、揺らぎを適切に補正することができる。例えば、揺らぎ強度が大きい程、補正後画像の重みが大きくなるようにすることで、重み付け加算後の画像に、揺らぎの少ない補正後画像の割合を大きくすることができ、揺らぎを適切に補正することができる。

（実施の形態２）
以下、図６Ａ〜図９Ｃを用いて、実施の形態２について説明する。

［１．画像処理装置の概要］
まず、本実施の形態に係る画像処理装置の構成について、図６Ａ及び図６Ｂを用いて説明する。図６Ａ及び図６Ｂは、本実施の形態に係る画像処理装置の構成例を示すブロック図である。

本実施の形態に係る画像処理装置３００及び３００ａは、入力画像に動く被写体である移動体が含まれる場合に、適切に揺らぎを補正することができる装置である。

実施の形態１に係る画像処理装置１００及び１００ａでは、２枚のフレーム間で移動体が存在しない場合、及び、移動体の占める画素が十分に少ないことが想定できる場合に有効である。これは、移動体の影響が小さいので、移動体を考慮に入れずに揺らぎ強度を算出することができるためである。

しかしながら、入力画像に移動体の占める画素が少なくない場合、揺らぎ強度への移動体の影響が大きくなる。すなわち、（式１）における隣接画像間の差分量に、移動体の動きによる差分が含まれてしまうためである。つまり、隣接画像間の差分量は、揺らぎの大きさ及びエッジの量だけでなく、移動体の動き量も含んでいる。

そこで、本実施の形態に係る画像処理装置３００及び３００ａでは、揺らぎ強度を算出する際に、移動体を含む移動体領域を特定し、分離することにより、適切な揺らぎ強度を算出することができる。

なお、実施の形態１と同様に、本実施の形態に係る画像処理装置においても、複数のフレームの画像の１つとして、補正後画像を用いない場合と、補正後画像を用いる場合とでは、処理が異なる。

以下では、補正後画像を用いない場合の画像処理装置３００の構成について、図６Ａを用いて説明する。また、補正後画像を用いる場合の画像処理装置３００ａの構成について、図６Ｂを用いて説明する。

［２．画像処理装置の詳細な構成］
図６Ａに示すように、画像処理装置３００は、図１Ａに示す画像処理装置１００と比較して、決定部１１０の代わりに決定部３１０を備える点と、新たに特定部３３０を備える点とが異なっている。また、図６Ｂに示すように、画像処理装置３００ａは、図１Ｂに示す画像処理装置１００ａと比較して、決定部１１０ａの代わりに決定部３１０ａを備える点と、新たに特定部３３０ａを備える点とが異なっている。以下では、異なる点を中心に説明し、同じ点は説明を省略する場合がある。

［２−１．特定部］
図６Ａに示す特定部３３０は、入力画像と前のフレームとの間で動く移動体を含む移動体領域を特定する。例えば、特定部３３０は、複数のフレームの入力画像と、前回の揺らぎ強度とを取得し、移動体領域を特定して出力する。

具体的には、特定部３３０は、第１入力画像と第２入力画像との間で差分値が閾値以上である画素から構成される差分領域のうち、所定の面積以上の閉じた領域を移動体領域として特定する。簡単に言い換えると、特定部３３０は、多くの差分画素が集まっている領域を移動体領域として特定する。このとき、特定部３３０は、決定部３１０によって決定された揺らぎ強度に応じて、上記所定の面積に対応するパラメータを設定する。

また、図６Ｂに示す特定部３３０ａは、特定部３３０と比べて、第２入力画像の代わりに、第２入力画像の揺らぎを補正することで生成された補正後画像を用いる点が異なっている。例えば、特定部３３０ａは、第１入力画像と補正後画像との間で差分値が閾値以上である画素から構成される差分領域のうち、所定の面積以上の閉じた領域を移動体領域として特定する。

移動体領域の特定の詳細については、図７Ａ〜図７Ｆを用いて後で説明する。

［２−２．決定部］
図６Ａに示す決定部３１０は、特定部３３０によって特定された移動体領域以外の領域を用いて揺らぎ強度を決定する。例えば、決定部３１０は、エッジ量の算出及び差分量の算出に用いる領域として、移動体領域以外の領域を利用する。つまり、決定部３１０は、入力画像全体の画素を対象とするのではなく、限定された領域内の画素を対象として、エッジ量の算出及び差分量の算出を行う。なお、算出の領域が限定されていることを除いて、決定部３１０の具体的な動作は、図１Ａに示す決定部１１０の動作と同じである。

また、図６Ｂに示す決定部３１０ａは、決定部３１０と比べて、第２入力画像の代わりに補正後画像を用いる点が異なっている。具体的には、決定部３１０は、第１入力画像と補正後画像との差分を、移動体領域以外の領域で算出することで、差分量を算出する。

また、決定部３１０ａは、実施の形態１に係る決定部１１０ａと同様に、第１入力画像の代わりに補正後画像を用いて、エッジ量を算出する。具体的には、決定部３１０ａは、補正後画像の移動体領域以外の領域を利用して、エッジ量を算出する。

［３．移動体領域の特定］
続いて、移動体領域を特定する処理の詳細について、図７Ａ〜図７Ｆを用いて説明する。

図７Ａは、本実施の形態に係る入力画像の直前の画像（第２入力画像）の一例を示す図である。図７Ｂは、本実施の形態に係る入力画像（第１入力画像）の一例を示す図である。図７Ｃは、本実施の形態に係る差分画像の一例を示す図である。図７Ｄ〜図７Ｅは、本実施の形態に係るオープニング処理を行った差分画像の一例を示す図である。

図７Ａ及び図７Ｂに示すように、第１入力画像及び第２入力画像は、動きのない物体４００（例えば、建物）と、移動体４０１（例えば、車）とを含んでいる。

図７Ｃに示すように、第１入力画像と第２入力画像との差分である差分画像は、差分領域４２０及び４２１を含んでいる。なお、説明を簡単にするため、差分がない画素を黒（“０”）、差分がある画素を白（“２５５”）の２値で表している。

差分領域４２０は、物体４００のエッジ近辺に相当する領域であり、揺らぎの影響で現れる領域である。差分領域４２１は、主に移動体４０１の動きによって現れる領域である。

つまり、差分画像から適切に揺らぎ強度を判定するためには、差分領域４２０のみを用いることが好ましく、差分領域４２１を除外することが好ましい。

例えば、図７Ａ〜図７Ｃに示すように、物体４００のエッジは、揺らぎの影響でそれぞれ不規則な方向に不規則な量だけ移動するのに対して、移動体４０１は、一定の画素面積が一体となって同一の方向に同一の量だけ動く。このため、一般には、揺らぎの振幅（すなわち、揺らぎによるエッジのずれ量）は、移動体４０１による動き量に比べて小さいことが多いので、差分領域４２１は、差分領域４２０より大きくなる。

そこで、特定部３３０は、差分領域４２０と差分領域４２１との画素面積の差分を利用して、差分領域４２１を特定する。例えば、特定部３３０は、画素面積の差分を利用して領域を特定する方法の一例として、モルフォロジー処理の一種であるオープニング処理を行う。

オープニング処理は、所定の画像に対して、所定の回数（以下、「規定回数」と記載する場合がある）だけ収縮処理を行った後に、同じ回数だけ膨張処理を行う処理である。収縮処理は、対象となる白い画素の周辺（例えば、対象画素に隣接する８画素）に１画素でも黒い画素がある場合に、当該白い画素を黒い画素に置き換えることで、白い画素の領域を収縮させる処理である。膨張処理は、対象となる白い画素の周辺の画素（例えば、対象画素に隣接する８画素）を白い画素に置き換えることで、白い画素の領域を広げる処理である。

これにより、例えば、白い画素から構成される領域に対して、複数回の収縮処理を行うことで、いずれは当該領域の画素が全て黒い画素に置き換えられてしまう。したがって、この後に膨張処理を行ったとしても、白い画素は現れない。

このことから、オープニング処理における規定回数を適切に設定することで、画素面積が小さい領域を削除し、画素面積が大きい領域のみを残すことができる。したがって、図７Ｃに示す差分画像に対して、適切な規定回数でオープニング処理を行うことで、図７Ｄに示すように、差分領域４２０を削除し、差分領域４２１を特定することができる。

なお、例えば、規定回数が適切な回数より少なすぎる場合、図７Ｅに示すように、差分領域４２０が削除しきれずに残ってしまう。逆に、規定回数が適切な回数より多すぎる場合、図７Ｆに示すように、差分領域４２０を削除することはできるものの、差分領域４２１が本来の形状から異なってしまう。いずれの場合も、特定部３３０は、移動体領域を適切に特定することができなくなる。

適切な規定回数は、揺らぎ強度に依存する。例えば、適切な規定回数は、差分領域４２０がちょうど消える回数である。つまり、適切な規定回数がｍ回であるとき、ｍ−１回目の収縮処理では差分領域４２０が残っているが、ｍ回目の収縮処理では差分領域４２０がなくなる。差分領域４２０を削除する回数は、差分領域４２０の大きさ、すなわち、揺らぎによるエッジのずれ量に依存する。

したがって、特定部３３０は、揺らぎ強度に応じて、規定回数を適切な回数に設定する。

例えば、特定部３３０は、揺らぎ強度が大きい程、規定回数を大きい値に設定する。これにより、特定部３３０は、大きな揺らぎに応じた大きい差分領域４２０を削除し、残った領域（差分領域４２１）を移動体領域として決定する。

また、特定部３３０は、揺らぎ強度が小さい程、規定回数を小さい値に設定する。これにより、特定部３３０は、小さな揺らぎに応じた小さい差分領域４２０を削除し、残った領域（差分領域４２１）を移動体領域として決定する。

簡単に言い換えると、特定部３３０は、差分領域のうち、所定の面積以上の閉じた領域を移動体領域として決定する。このとき、移動体領域であるか否かを判定する基準となる所定の面積に相当するパラメータの一例が、規定回数である。つまり、特定部３３０は、揺らぎ強度が大きい程、規定回数を大きい値に設定することで、第１の面積より大きい面積の閉じた差分領域を移動体領域として決定する。また、揺らぎ強度が小さい程、規定回数を小さい値に設定することで、第２の面積（＜第１の面積）より大きい面積の閉じた差分領域を移動体領域として決定する。

また、図６Ｂに示す特定部３３０ａは、第１入力画像と補正後画像とを利用する点を除いて、上述した特定部３３０の処理と同様の処理を行う。例えば、特定部３３０ａは、第１入力画像と補正後画像との差分を算出する。

なお、適切な規定回数は、差分領域４２０がちょうど消える回数でなくてもよい。例えば、上記例において、適切な規定回数は、ｍ−１回でもよく、ｍ＋１回でもよい。つまり、揺らぎの影響を受けた差分領域４２０を小さくしつつ、移動体の影響を受けた差分領域４２１の多くが残るように、特定部３３０が適宜設定すればよい。

［４．動作］
［４−１．補正後画像を用いない場合］
続いて、本実施の形態に係る画像処理装置３００及び３００ａの動作について、図８Ａ〜図９Ｂを用いて説明する。まず、本実施の形態に係る画像処理装置３００の動作、具体的には、補正後画像を用いずに入力画像の揺らぎを補正する処理について、図８Ａ〜図８Ｃを用いて説明する。

図８Ａは、本実施の形態に係る画像処理装置３００の動作を示すフローチャートである。図８Ｂは、本実施の形態に係る移動体領域を特定する処理を示すフローチャートである。図８Ｃは、本実施の形態に係る揺らぎ強度を決定する処理を示すフローチャートである。なお、以下では、図４Ａ及び図４Ｂに示す動作と異なる点を中心に説明し、同じ点は説明を省略する場合がある。

図８Ａに示すように、まず、決定部１１０及び特定部３３０は、複数の入力画像を取得する（Ｓ１００）。そして、特定部３３０は、移動体領域を特定する（Ｓ２１０）。移動体領域の特定方法の詳細については、図８Ｂを用いて後で説明する。

次に、決定部３１０は、揺らぎ強度を決定する（Ｓ２２０）。このとき、決定部３１０は、特定部３３０によって特定された移動体領域以外の領域を用いて揺らぎ強度を決定する。揺らぎ強度の決定方法の詳細については、図８Ｃを用いて後で説明する。

以降は、実施の形態１と同様に、パラメータ決定部１２２がパラメータを決定し（Ｓ１４０）、揺らぎ補正部１２１は、決定されたパラメータを用いて第１入力画像の揺らぎを補正する（Ｓ１６０）。

ここで、特定部３３０が行う移動体領域の特定方法について、図８Ｂを用いて説明する。

図８Ｂに示すように、特定部３３０は、複数のフレームの入力画像間の差分を算出する（Ｓ２１１）。具体的には、特定部３３０は、第１入力画像と第２入力画像との差分である差分画像を生成する。

次に、特定部３３０は、差分画像の２値化処理を行う（Ｓ２１２）。具体的には、特定部３３０は、各画素の差分の絶対値が所定の閾値以下の画素を０に、差分の絶対値が所定の閾値より大きい画素を２５５に変更することで、差分画像の２値化処理を行う。これにより、例えば、図７Ｃに示すような２値化された差分画像が生成される。

次に、特定部３３０は、直前に用いた揺らぎ強度に基づいてパラメータを設定する（Ｓ２１３）。具体的には、特定部３３０は、揺らぎ強度が大きい程、規定回数を大きな値に設定し、揺らぎ強度が小さい程、規定回数を小さな値に設定する。

最後に、特定部３３０は、２値化された差分画像にオープニング処理を行う（Ｓ２１４）。これにより、図７Ｄに示すように、移動体領域を適切に特定することができる。

続いて、決定部３１０が行う揺らぎ強度の決定方法について、図８Ｃを用いて説明する。

図８Ｃに示すように、決定部３１０は、第１入力画像に含まれる１つの画素である注目画素が移動体領域に含まれるか否かを判定する（Ｓ２２１）。注目画素が移動体領域に含まれる場合（Ｓ２２１でＹｅｓ）、別の画素を注目画素として領域の判定を行う。

注目画素が移動体領域に含まれない場合（Ｓ２２１でＮｏ）、決定部３１０は、第１入力画像の注目画素がエッジの画素であるか否かを判定する（Ｓ２２２）。注目画素がエッジの画素である場合は、エッジの画素数を示すカウンタ値をインクリメントし、注目画素がエッジの画素ではない場合は、カウンタ値はそのままである。

次に、決定部３１０は、第１入力画像の注目画素が差分画素であるか否かを判定する（Ｓ２２３）。具体的には、決定部３１０は、第１入力画像の注目画素と第２入力画像の注目画素との差分を算出し、算出した差分が所定の閾値以上であるか否かを判定する。差分が所定の閾値以上である場合は、隣接画像間の差分量を示すカウンタ値をインクリメントし、差分が所定の閾値より小さい場合は、カウンタ値はそのままである。

次に、別の画素を注目画素として、第１入力画像の全画素に対して処理が完了するまで、領域の判定（Ｓ２２１）、エッジ判定（Ｓ２２２）及び差分判定（Ｓ２２３）を繰り返す。

最後に、決定部３１０は、（式１）に基づいて揺らぎ強度を算出する（Ｓ２２４）。

このように、移動体領域に含まれる画素を揺らぎ強度の算出対象として除外することで、移動体４０１の影響を少なくすることができる。したがって、より適切な揺らぎ強度を算出することができる。

［４−２．補正後画像を用いる場合］
次に、本実施の形態に係る画像処理装置３００ａの動作、具体的には、補正後画像を用いて入力画像の揺らぎを補正する処理について、図９Ａ〜図９Ｃを用いて説明する。

図９Ａは、本実施の形態に係る画像処理装置３００ａの動作を示すフローチャートである。図９Ｂは、本実施の形態に係る移動体領域を特定する処理を示すフローチャートである。図９Ｃは、本実施の形態に係る揺らぎ強度を決定する処理を示すフローチャートである。

図９Ａに示すように、まず、決定部３１０ａ及び特定部３３０ａは、第１入力画像と前の補正後画像とを取得する（Ｓ１００ａ）。次に、特定部３３０ａは、移動体領域を特定する（Ｓ２１０ａ）。移動体領域の特定方法の詳細については、図９Ｂに示す通りである。

具体的には、図９Ｂに示すように、まず、特定部３３０ａは、第１入力画像と前の補正後画像との差分を算出する（Ｓ２１１ａ）。以降の処理は、図８Ｂに示す特定部３３０の処理と同じである。

次に、決定部３１０ａは、揺らぎ強度を決定する（Ｓ２２０ａ）。揺らぎ強度の決定方法の詳細については、図９Ｃを用いて後で説明する。

以降は、実施の形態１に係る画像処理装置１００ａと同様に、パラメータ決定部１２２ａがパラメータを決定し（Ｓ１４０ａ）、揺らぎ補正部１２１ａは、決定されたパラメータを用いて第１入力画像の揺らぎを補正する（Ｓ１６０ａ）。

ここで、決定部３１０ａが行う揺らぎ強度の決定方法について、図９Ｃを用いて説明する。

図９Ｃに示すように、決定部３１０ａは、第１入力画像に含まれる１つの画素である注目画素が移動体領域に含まれるか否かを判定する（Ｓ２２１）。注目画素が移動体領域に含まれる場合（Ｓ２２１でＹｅｓ）、別の画素を注目画素として領域の判定を行う。

注目画素が移動体領域に含まれない場合（Ｓ２２１でＮｏ）、決定部３１０ａは、補正後画像の注目画素がエッジの画素であるか否かを判定する（Ｓ２２２ａ）。注目画素がエッジの画素である場合は、エッジの画素数を示すカウンタ値をインクリメントし、注目画素がエッジの画素ではない場合は、カウンタ値はそのままである。

次に、決定部３１０ａは、第１入力画像の注目画素が差分画素であるか否かを判定する（Ｓ２２３ａ）。具体的には、決定部３１０ａは、第１入力画像の注目画素と補正後画像の注目画素との差分を算出し、算出した差分が所定の閾値以上であるか否かを判定する。差分が所定の閾値以上である場合は、隣接画像間の差分量を示すカウンタ値をインクリメントし、差分が所定の閾値より小さい場合は、カウンタ値はそのままである。

次に、別の画素を注目画素として、第１入力画像の全画素に対して処理が完了するまで、領域の判定（Ｓ２２１）、エッジ判定（Ｓ２２２ａ）及び差分判定（Ｓ２２３ａ）を繰り返す。

最後に、決定部３１０は、（式１）に基づいて揺らぎ強度を算出する（Ｓ２２４）。

このように、移動体領域に含まれる画素を揺らぎ強度の算出対象として除外することで、移動体４０１の影響を少なくすることができる。したがって、より適切な揺らぎ強度を算出することができる。

［５．まとめ］
以上のように、本実施の形態に係る画像処理装置３００は、さらに、入力画像と前のフレームとの間で動く移動体を含む移動体領域を特定する特定部３３０を備え、決定部３１０は、移動体領域以外の領域を用いて揺らぎ強度を決定する。

これにより、移動体領域以外の領域を用いて揺らぎ強度を決定するので、入力画像に動きのある移動体が含まれる場合であっても適切に揺らぎ強度を決定し、揺らぎを適切に補正することができる。

また、例えば、特定部３３０は、第１入力画像と前のフレームとの間で差分値が閾値以上である画素から構成される差分領域のうち、所定の面積以上の閉じた領域を移動体領域として特定する。

一般には、揺らぎの振幅（すなわち、揺らぎによるエッジのずれ量）は、移動体による動き量に比べて小さいことが多いので、差分領域のうち、所定の面積以上の閉じた領域が移動体領域とみなすことができる。このため、移動体領域を適切に特定することができる。

また、例えば、特定部３３０は、決定部３１０によって決定された揺らぎ強度に応じて、所定の面積に対応するパラメータを設定する。

これにより、差分領域から移動体領域を特定するための閾値となるパラメータを、揺らぎ強度に応じて決定するので、適切に移動体領域を特定することができる。これにより、揺らぎ強度を高精度で決定することができ、揺らぎをより適切に補正することができる。

（実施の形態３）
以下、図１０Ａ〜図１３を用いて、実施の形態３について説明する。

［１．画像処理装置の概要］
まず、本実施の形態に係る画像処理装置の構成について、図１０Ａ及び図１０Ｂを用いて説明する。図１０Ａ及び図１０Ｂは、本実施の形態に係る画像処理装置の構成例を示すブロック図である。

本実施の形態に係る画像処理装置５００及び５００ａは、入力画像に移動体が含まれる場合に、より適切に揺らぎを補正することができる装置である。

実施の形態２に係る画像処理装置３００及び３００ａでは、例えば、図７Ｃに示すように、差分領域４２１は、十分に移動体４０１の動きを表せていない。したがって、より高精度に移動体領域を特定することが求められる。

なお、実施の形態１及び２と同様に、本実施の形態に係る画像処理装置においても、複数のフレームの画像の１つとして、補正後画像を用いない場合と、補正後画像を用いる場合とでは、処理が異なる。

以下では、補正後画像を用いない場合の画像処理装置５００の構成について、図１０Ａを用いて説明する。また、補正後画像を用いる場合の画像処理装置５００ａの構成について、図１０Ｂを用いて説明する。

［２．画像処理装置の詳細な構成］
図１０Ａに示すように、画像処理装置５００は、図６Ａに示す画像処理装置３００と比較して、特定部３３０の代わりに特定部５３０を備える点と、新たに生成部５４０を備える点とが異なっている。また、図１０Ｂに示すように、画像処理装置５００ａは、図６Ｂに示す画像処理装置３００ａと比較して、特定部３３０ａの代わりに特定部５３０を備える点と、新たに生成部５４０を備える点とが異なっている。以下では、異なる点を中心に説明し、同じ点は説明を省略する場合がある。

［２−１．生成部］
図１０Ａ及び図１０Ｂに示す生成部５４０は、入力画像を用いて背景画像を生成する。背景画像は、移動体を含まない画像である。具体的には、背景画像は、固定カメラで空間を撮影した場合に、移動体が写っていない画像である。背景画像には、揺らぎが十分に抑制されている、あるいは、発生していないことが好ましい。

生成部５４０は、例えば、固定カメラで撮影した動画像から移動体を削除することで、背景画像を生成してもよい。具体的には、数百フレームなどの十分に多いフレーム数の画像を平均化することで、移動体を削除し、背景画像を生成することができる。この場合、撮影期間に揺らぎが発生していたとしても、平均化により揺らぎも除去することができるので、生成された背景画像は、揺らぎが十分に抑制されている。生成部５４０は、その他、いかなる手法を用いて背景画像を生成してもよい。

［２−２．特定部］
図１０Ａ及び図１０Ｂに示す特定部５３０は、入力画像と背景画像とを用いて移動体領域を特定する。具体的には、特定部５３０は、実施の形態２に係る特定部３３０と比較して、第２入力画像の代わりに背景画像を用いる点を除いて、詳細な動作などは同じである。

［３．移動体領域の特定］
続いて、移動体領域を特定する処理の詳細について、図１１Ａ〜図１１Ｃを用いて説明する。

図１１Ａは、本実施の形態に係る背景画像の一例を示す図である。図１１Ａに示すように、背景画像は、移動体を含まずに、動きのない物体４００（建物）を含んでいる。

図１１Ｂは、本実施の形態に係る差分画像の一例を示す図である。具体的には、図１１Ｂは、図１１Ａに示す背景画像と図７Ｂに示す第１入力画像との差分である差分画像を示している。

差分画像には、背景画像にはない物が差分領域として現れる。具体的には、差分画像には、揺らぎによるエッジのずれ量による差分領域６２０と、移動体４０１による差分領域６２１とが現れる。つまり、背景画像には移動体４０１は含まれないので、移動体４０１そのものが差分領域６２１として現れる。

図１１Ｃは、本実施の形態に係るオープニング処理を行った差分画像の一例を示す図である。図１１Ｃと図７Ｄとを比較して分かるように、オープニング処理を行うことで、より正確に移動体領域（差分領域６２１）を特定することができている。このように、背景画像を用いることで、移動体領域の高精度な特定が可能になる。

［４．動作］
［４−１．補正後画像を用いない場合］
続いて、本実施の形態に係る画像処理装置５００及び５００ａの動作について、図１２Ａ〜図１３を用いて説明する。まず、本実施の形態に係る画像処理装置５００の動作、具体的には、補正後画像を用いずに入力画像の揺らぎを補正する処理について、図１２Ａ及び図１２Ｂを用いて説明する。

図１２Ａは、本実施の形態に係る画像処理装置５００の動作を示すフローチャートである。図１２Ｂは、本実施の形態に係る移動体領域を特定する処理を示すフローチャートである。

図１２Ａに示すように、まず、決定部３１０及び特定部５３０は、複数の入力画像を取得する（Ｓ１００）。次に、生成部５４０は、背景画像を生成する（Ｓ３０５）。なお、背景画像が予め生成されてメモリなどに格納されている場合は、生成部５４０は、背景画像をメモリなどから読み出して取得すればよい。

次に、特定部５３０は、移動体領域を特定する（Ｓ３１０）。移動体領域の特定方法の詳細については、図１２Ｂを用いて後で説明する。

以降の処理は、図８Ａに示す画像処理装置３００の動作と同様であるので、説明を省略する。

ここで、特定部５３０が行う移動体領域の特定方法について、図１２Ｂを用いて説明する。

図１２Ｂに示すように、特定部５３０は、第１入力画像と背景画像との差分を算出する（Ｓ３１１）。なお、以降の処理は、図８Ｂに示す特定部３３０の処理と同じである。

このように、移動体を含まない背景画像との差分を算出することで、移動体領域の高精度な特定が可能となる。

［４−２．補正後画像を用いる場合］
続いて、本実施の形態に係る画像処理装置５００ａの動作、具体的には、補正後画像を用いて入力画像の揺らぎを補正する処理について、図１３を用いて説明する。

図１３に示すように、まず、決定部３１０ａ及び特定部５３０は、第１入力画像と前の補正後画像とを取得する（Ｓ１００ａ）。以降の処理は、図９Ａ及び図１２Ａと同様であるので、説明を省略する。

［５．まとめ］
以上のように、本実施の形態に係る画像処理装置５００では、特定部５３０は、第１入力画像と移動体を含まない背景画像とを用いて移動体領域を特定する。

これにより、第１入力画像と背景画像との差分を算出することで、背景画像には移動体が含まれないので、移動体領域を精度良く特定することができる。したがって、揺らぎ強度を適切に決定することができ、第１入力画像の揺らぎをより適切に補正することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下では、他の実施の形態を例示する。

例えば、上記の各実施の形態では、（式１）の算出結果が揺らぎ強度である例について示しているが、これに限らない。揺らぎ強度は、第１入力画像又は前のフレームに含まれるエッジの画素数に対する、第１入力画像と前のフレームとの画素値の差分が所定の閾値以上である画素数の比が大きい程、大きい値になればよい。

また、上記の各実施の形態では、揺らぎ強度は、（式１）の算出結果であるので、連続的に変化する値となるが、これに限らない。例えば、揺らぎ強度は、図２に示すように「弱」、「中」、「強」などの離散的な値でもよい。例えば、決定部は、（式１）の算出結果が第１の範囲に含まれる値である場合に、揺らぎ強度を「弱」に決定し、（式１）の算出結果が第２の範囲（＞第１の範囲）に含まれる値である場合に、揺らぎ強度を「中」に決定してもよい。

また、上記の各実施の形態では、エッジの画素数及び差分画素の画素数を用いて揺らぎ強度を決定する例について説明したがこれに限らない。エッジの画素数とは、エッジの量を示す値を意味し、例えば、エッジの長さなどでもよい。同様に、差分画素の画素数は、例えば、差分絶対値和などでもよい。

また、上記の各実施の形態では、画像処理装置について説明したが、これに限らない。例えば、本開示は、上述した画像処理装置を備える監視カメラとして実現することもできる。例えば、図１４は、実施の形態の変形例に係る監視カメラの製品例を示す図である。本開示に係る監視カメラは、例えば、屋外を撮影するために設置されたカメラであり、一例として、交通量のモニタリングなどに利用することができる。

あるいは、本開示に係る監視カメラは、水中を撮影する水中カメラとして実現することもできる。例えば、当該水中カメラは、水生生物の監視、又は、工場などで水中に浸されている物品などの検査に利用することができる。

また、本開示は、画像処理方法として実現することもできる。例えば、本開示に係る画像処理方法は、動画像に含まれる入力画像の揺らぎを補正する画像処理方法であって、揺らぎの強さを示す揺らぎ強度を決定し、決定された揺らぎ強度に応じて入力画像の揺らぎを補正し、揺らぎ強度の決定では、入力画像又は当該入力画像より時間的に前のフレームに含まれるエッジの画素数に対する、入力画像と前のフレームとの画素値の差分が所定の閾値以上である画素数の比が大きい程、大きい値になる揺らぎ強度を決定する。

なお、本開示に係る画像処理装置１００などを構成する各構成要素（決定部１１０、１１０ａ、３１０及び３１０ａ、補正部１２０及び１２０ａ、揺らぎ補正部１２１及び１２１ａ、パラメータ決定部１２２及び１２２ａ、特定部３３０、３３０ａ及び５３０、並びに、生成部５４０）は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）通信インターフェース、Ｉ／Ｏポート、ハードディスク、ディスプレイなどを備えるコンピュータ上で実行されるプログラムなどのソフトウェアで実現されてもよく、電子回路などのハードウェアで実現されてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。

したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示に係る画像処理装置、監視カメラ及び画像処理方法は、例えば、ビデオレコーダー、テレビ及びカメラなどに利用することができる。

１００、１００ａ、３００、３００ａ、５００、５００ａ 画像処理装置
１１０、１１０ａ、３１０、３１０ａ 決定部
１２０、１２０ａ、１２０ｂ 補正部
１２１、１２１ａ 揺らぎ補正部
１２２、１２２ａ、１２２ｂ パラメータ決定部
１２３ 画像先鋭化部
２００、２３０、４００ 物体
２０１ 背景
２１０ エッジ
２２０、２４０、４２０、４２１、６２０、６２１ 差分領域
３３０、３３０ａ、５３０ 特定部
４０１ 移動体
５４０ 生成部

Claims (12)

1. 動画像に含まれる第１入力画像の揺らぎを補正する画像処理装置であって、
   前記揺らぎの強さを示す揺らぎ強度を決定する決定部と、
   前記決定部によって決定された揺らぎ強度に応じて前記第１入力画像の揺らぎを補正する補正部とを備え、
   前記決定部は、前記第１入力画像又は当該第１入力画像より時間的に前のフレームに含まれるエッジの画素数に対する、前記第１入力画像と前記前のフレームとの画素値の差分が所定の閾値以上である画素数の比が大きい程、大きい値になる前記揺らぎ強度を決定する
   画像処理装置。
2. 前記前のフレームは、前記第１入力画像の前に入力された第２入力画像、又は、前記補正部が当該第２入力画像の揺らぎを補正することで生成した補正後画像である
   請求項１に記載の画像処理装置。
3. 前記補正部は、
   前記第１入力画像を含む複数のフレームの合成を行うことで、前記第１入力画像の揺らぎを補正する揺らぎ補正部と、
   前記決定部によって決定された揺らぎ強度に応じて、前記合成に用いるパラメータを決定するパラメータ決定部とを含む
   請求項２に記載の画像処理装置。
4. 前記揺らぎ補正部は、前記複数のフレームの平均化を、前記合成として行い、
   前記パラメータ決定部は、前記決定部によって決定された揺らぎ強度に応じて、前記平均化に用いるフレーム数を、前記パラメータとして決定する
   請求項３に記載の画像処理装置。
5. 前記揺らぎ補正部は、前記第１入力画像と前記補正後画像との重み付け加算を、前記合成として行い、
   前記パラメータ決定部は、前記決定部によって決定された揺らぎ強度に応じて、前記重み付け加算の重みを、前記パラメータとして決定する
   請求項３に記載の画像処理装置。
6. 前記補正部は、さらに、画像の先鋭化を行う画像先鋭化部を有し、
   前記パラメータ決定部は、前記決定部によって決定された揺らぎ強度に応じて、前記先鋭化のためのフィルタサイズを、前記パラメータとして決定し、
   前記画像先鋭化部は、前記パラメータ決定部によって決定されたフィルタサイズを用いて、揺らぎが補正された第１入力画像の先鋭化を行う
   請求項３に記載の画像処理装置。
7. 前記画像処理装置は、さらに、前記入力画像と前記前のフレームとの間で動く移動体を含む移動体領域を特定する特定部を備え、
   前記決定部は、前記移動体領域以外の領域を用いて前記揺らぎ強度を決定する
   請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記特定部は、前記第１入力画像と前記前のフレームとの間で差分値が閾値以上である画素から構成される差分領域のうち、所定の面積以上の閉じた領域を前記移動体領域として特定する
   請求項７に記載の画像処理装置。
9. 前記特定部は、前記決定部によって決定された揺らぎ強度に応じて、前記所定の面積に対応するパラメータを設定する
   請求項８に記載の画像処理装置。
10. 前記特定部は、前記第１入力画像と前記移動体を含まない背景画像とを用いて前記移動体領域を特定する
    請求項７〜９のいずれか１項に記載の画像処理装置。
11. 請求項１〜１０のいずれか１項に記載の画像処理装置を備える監視カメラ。
12. 動画像に含まれる入力画像の揺らぎを補正する画像処理方法であって、
    前記揺らぎの強さを示す揺らぎ強度を決定し、
    決定された揺らぎ強度に応じて前記入力画像の揺らぎを補正し、
    前記揺らぎ強度の決定では、前記入力画像又は当該入力画像より時間的に前のフレームに含まれるエッジの画素数に対する、前記入力画像と前記前のフレームとの画素値の差分が所定の閾値以上である画素数の比が大きい程、大きい値になる前記揺らぎ強度を決定する
    画像処理方法。

Images