JP6127282B2 - 画像処理装置、画像処理方法及びそれを実行させるためのプログラム - Google Patents

Description

本開示は、画像の揺らぎを補正する画像処理装置及び画像処理方法に関する。

従来、監視カメラなどのカメラ装置を用いて所定の空間を撮影し、当該空間を監視する監視システムが知られている。この監視カメラには、予め定められた場所のみを監視する固定の監視カメラや、いわゆるパンニング機能を有し、予め定められた広範囲の場所をパンニングしながら監視する監視カメラなどが含まれる。

このような監視カメラなどのカメラ装置により撮影された画像には、揺らぎが生じていることがある。揺らぎは、光の伝達媒体の特性変化によって生じる現象である。具体的には、揺らぎは、被写体からの光を伝達する媒体（空気又は水など）の屈折率が変化することで、発生する現象（シュリーレン現象）である。

揺らぎは、例えば、暑い屋外での撮影時に、大気中の温度差により空気の密度に粗密が生じることにより発生する、いわゆる陽炎である。あるいは、揺らぎは、水中での撮影時にも発生する。

撮影された動画像から異常などを検知する監視システムにおいて、撮影された動画像を構成する各フレームに揺らぎが生じてしまうと、誤った異常を検知してしまう場合があり、好ましくない。そこで、特許文献１及び２などには、画像の揺らぎを補正することができる画像処理装置が開示されている。

特開２０１１−２２９０３０号公報 特開２０１３−２３６２４９号公報

本開示は、揺らぎの強さが変化した場合であっても揺らぎを適切に補正することができる画像処理装置及び画像処理方法を提供する。

上記課題を解決するため、本開示に係る画像処理装置は補正部と判定部とを備える。補正部は、複数の入力画像のそれぞれに、補正パラメータを用いて、画像の揺らぎを抑制するための補正を行い、補正の結果を複数の補正画像として出力する。判定部は、（ｉ）複数の入力画像のうちの所定の入力画像におけるエッジ角度の度数分布を示す第一分布と、所定の入力画像が補正部により補正されることにより出力された所定の補正画像におけるエッジ角度の度数分布を示す第二分布とを算出する。また、判定部は、（ｉｉ）算出した第一分布及び第二分布を用いて、所定の入力画像の揺らぎの有無を判定する第一判定を行い、（ｉｉｉ）第一判定の結果を用いて補正パラメータの更新を行う。さらに、判定部は、第一判定において、第二分布の形状が第一分布の形状よりも急峻な形状である場合、所定の入力画像に揺らぎが有ると判定し、第二分布の形状が第一分布の形状よりも急峻な形状でない場合、所定の入力画像に揺らぎが無いと判定し、所定の入力画像に揺らぎが有ると判定した場合、更新を行い、所定の入力画像に揺らぎが無いと判定した場合、更新を行わない。

本開示によれば、揺らぎの強さが変化した場合であっても揺らぎを適切に補正することができる。

実施の形態１に係る画像処理装置の構成を示すブロック図である。 実施の形態１に係る揺らぎの無い状態の画像を示す図である。 実施の形態１に係る、連続する複数のフレームから平均画像を生成する補正について説明するための図である。 実施の形態１に係る画像処理装置の動作（更新処理）の一例を示すフローチャートである。 実施の形態１に係るエッジ角度の取得について説明するための図である。 実施の形態１に係るピーク角度の取得処理の一例を示すフローチャートである。 実施の形態１に係る揺らぎの無い状態の画像におけるエッジ角度と、当該画像における角度ヒストグラムとを示す図である。 実施の形態１に係る揺らぎが発生した状態の画像におけるエッジ角度と、当該画像における角度ヒストグラムとを示す図である。 実施の形態１に係る補正後の画像におけるエッジ角度と、当該画像における角度ヒストグラムとを示す図である。 実施の形態１に係る補正パラメータの設定処理の一例を示すフローチャートである。 実施の形態１に係る補正パラメータの異なる値で補正した複数の補正画像のそれぞれにおける角度ヒストグラムを示す図である。 実施の形態２に係る画像処理装置の構成を示すブロック図である。 実施の形態２に係る、動き補償による位置合わせを行わずに平均画像を作成した場合の画像を示した図である。 実施の形態２に係る、動き補償による位置合わせを行った画像から平均画像を作成した場合の画像を示した図である。 実施の形態に係る画像処理装置を備える監視カメラの製品例を示す図である。

本発明者は、「背景技術」の欄において記載した従来の画像処理装置に関し、以下の問題が生じることを見出した。

例えば、特許文献１及び２に記載の画像処理装置では、画像に揺らぎが発生しているか否かを検出している。そして、揺らぎが発生している場合には、予め定められた強さの補正処理を行っている。

しかしながら、補正処理の程度が同じであるため、揺らぎが変化した場合には、適切に揺らぎを補正することができなくなるという問題がある。

そこで、このような問題を解決するために、本開示では、揺らぎの強さが変化した場合であっても、揺らぎを適切に補正することができる画像処理装置及び画像処理方法を提供する。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、及び、実質的に同一の構成に対する重複説明などを省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態１）
以下、図１〜図５を用いて、実施の形態１について説明する。

［１−１．画像処理装置の概要］
まず、本実施の形態に係る画像処理装置の構成について、図１を用いて説明する。図１はパンニングを行わない固定カメラ、つまり特定の同じシーンを映し続けるカメラにおける、本実施の形態に係る画像処理装置の構成例を示すブロック図である。なお、本実施の形態に係る画像処理装置は、複数のフレームの画像を用いて入力画像の揺らぎを補正する装置である。

ここで「揺らぎ」とは、上述したように、光の伝達媒体の特性変化によって生じる現象である。例えば、「揺らぎ」は、陽炎などの現象であり、被写体からの光を伝達する媒体（空気又は水など）の屈折率が変化することで発生する現象（シュリーレン現象）である。簡単に言い換えると、「揺らぎ」は、固定されて動かない被写体が動いて見える現象である。このため、「揺らぎ」は、カメラの手ブレなどとは異なり、固定したカメラが撮影した画像であっても発生する。特に望遠で撮影した動画像では、物体からカメラまでの、光の通る経路が長くなるため、揺らぎの影響は顕著に現れる。

「入力画像の揺らぎ」とは、被写体の形状が入力画像内で歪む現象である。簡単な例では、入力画像内に「揺らぎ」が無い場合には真っ直ぐになるエッジが、「揺らぎ」が有る場合には曲線になる。なお、カメラの手ブレの場合もエッジは本来の位置からずれた位置に現れるが、そのずれる方向及び量は、略一定となる。つまり、カメラの手ブレの場合、画像全体が共通の方向に略同じ量だけずれる。これに対して、「揺らぎ」によって生じるエッジが歪む方向及び量は、画素毎に不規則である。また、「揺らぎを補正する」は、「揺らぎ」によって入力画像に生じた画素のずれを小さく、又は、ゼロにすることである。

［１−２．画像処理装置の詳細な構成］
本実施の形態に係る画像処理装置１００は、異なる複数のタイミングで撮影された動画像を複数の入力画像として切り出し、切り出した複数の入力画像の揺らぎを補正し、補正後の画像を生成して出力する。図１に示すように、画像処理装置１００は、補正部１０１と、判定部１０２とを備える。

［１−２−１．補正部］
補正部１０１は、複数の入力画像のそれぞれに、補正パラメータを用いた補正を行い、補正の結果を複数の補正画像として出力する。つまり、補正部１０１は、補正パラメータを参照して、複数の入力画像の揺らぎを補正する。具体的には、補正部１０１は、複数の入力画像のうち所定の入力画像を含む所定の枚数の入力画像を平均化した平均画像を所定の補正画像として出力することにより、補正を行う。ここで、補正パラメータは、平均画像を生成するための入力画像の枚数である。つまり、補正部１０１は、複数の入力画像のうち所定の入力画像を含む枚数の入力画像を平均した平均画像を生成することにより、所定の入力画像を補正する。

例えば固定カメラで陽炎が生じているシーンを撮影した場合、撮影された映像は揺らぐ。この揺らいだ画像上の物体は、揺らぎの無い場合の元の位置を中心としてフレームごとに写る位置がずれる。このことを利用して補正部１０１は複数のフレームを平均した平均画像を生成する。複数のフレームの平均画像上の物体位置は、平均することで揺らぎの無い場合の元の位置が支配的となり、揺らぎの無い場合の位置に近づくため、入力画像の揺らぎを補正できる。

図２Ａは、実施の形態１に係る揺らぎの無い状態の画像を示す図である。図２Ｂは、実施の形態１に係る、連続する複数のフレームから平均画像を生成する補正について説明するための図である。具体的には、図２Ｂの（ａ）は、図２Ａで示した画像に揺らぎが生じた場合の連続する５フレームの画像を示す図である。図２Ｂの（ｂ）は、図２Ｂの（ａ）に示される５フレームの画像を用いて生成した平均画像を示す図である。

図２Ａに示すように、揺らぎの無い状態で撮影された画像１０は、画像１０の垂直方向の中心に水平方向に延びる線分を有する。このような画像１０に対して揺らぎが生じると、図２Ｂの（ａ）に示すように、水平方向に延びる線分を基準として上下に波打ったような曲線や折れ線の組み合わせの線を有する複数の入力画像１１ａ〜１１ｅ（複数のフレーム）となる。揺らぎの程度や揺らぎが生じる空間的な位置は、異なるタイミングにおいて変化するため、図２Ｂの（ａ）に示すような、異なるタイミングで撮影された複数の入力画像１１ａ〜１１ｅのそれぞれは、異なる形状の線を有する。

ここで、補正部１０１は、これらの複数の入力画像１１ａ〜１１ｅを平均化する補正を行うことで、複数の入力画像１１ａ〜１１ｅのそれぞれと比べ、揺らぎが軽減された補正画像１２を得ることができる。つまり、補正画像１２は、上記の補正を行うことで、複数の入力画像１１ａ〜１１ｅのそれぞれが有する水平方向に延びる線を、揺らぎの無い状態に近づけることができる。

より具体的には、補正部１０１は、ｍ枚（ｍは自然数）の入力画像（フレーム）を画素毎に平均化することで、１枚の補正画像を生成する。ここで、ｍは、補正を行う場合、２以上の自然数であり、判定部１０２によって決定される補正パラメータの一例である。

また、補正部１０１は、ｍ枚の入力画像を平均化することにより補正を行うことに限らず、ｍ枚の入力画像を重み付け加算した画像を平均化することにより補正を行ってもよい。重み付け加算した画像を平均化することによる補正を行う場合、例えば、重み付け加算に用いる重みは、所定の入力画像が撮影されたタイミングである時刻ｔに近いフレームにおける入力画像程、大きくしてもよい。また、補正において平均化する対象となる複数の入力画像のうち、当該時刻ｔにおける所定の入力画像に対してのみ大きな重みとし、残りの複数の入力画像に対する重みを所定の入力画像よりも小さくかつ残りの複数の入力画像に共通する重みとして、重み付け加算した画像を平均化してもよい。

［１−２−２．判定部］
判定部１０２は、所定の入力画像と、所定の入力画像が補正部１０１により補正された補正画像とを入力とし、所定の入力画像に揺らぎが生じているかどうかの判定を行う。そして、判定部１０２は、その判定結果に応じて、補正部１０１で参照している、図示しないメモリに記憶されている補正パラメータの値の書き換えを行う。

具体的には、判定部１０２は、複数の入力画像のうちの所定の入力画像におけるエッジ角度の度数分布を示す第一分布と、所定の入力画像が補正部により補正されることにより出力された所定の補正画像におけるエッジ角度の度数分布を示す第二分布とを算出する。そして、判定部１０２は、算出した第一分布及び第二分布を用いて、所定の入力画像の揺らぎの有無を判定する第一判定を行う。さらに、判定部１０２は、第一判定の結果を用いて補正パラメータの値の更新を行う。

また、判定部１０２は、第一判定において、第二分布の形状が第一分布の形状よりも急峻な形状である場合、所定の入力画像に揺らぎが有ると判定し、第二分布の形状が第一分布の形状よりも急峻な形状でない場合、所定の入力画像に揺らぎが無いと判定する。そして、判定部１０２は、所定の入力画像に揺らぎが有ると判定した場合、補正パラメータの値の更新を行い、所定の入力画像に揺らぎが無いと判定した場合、補正パラメータの値の更新を行わない。

また、判定部１０２は、第一分布及び第二分布において、それぞれ、度数がピークとなるエッジ角度（以下、「ピーク角度」という）における第一度数及び第二度数を求め、各角度ヒストグラムに共通するピーク角度（以下、「共通ピーク角度」という。）を特定する。そして、判定部１０２は、第一判定において、第二分布の共通ピーク角度における第二度数が、第一分布の共通ピーク角度における第一度数を超える場合には、第二分布の形状が第一分布の形状よりも急峻な形状であると判定し、第二度数が、第一度数以下である場合には、第二分布の形状が第一分布の形状よりも急峻な形状でないと判定する。

また、判定部１０２は、所定の入力画像に揺らぎが有ると判定した場合、補正パラメータとしての、平均化の対象となる複数の入力画像の枚数を更新することで、補正パラメータの値の更新を行う。

また、判定部１０２は、第一分布のピーク角度における第一度数を基準とした目標値を、第二分布のピーク角度における第二度数が超えているか否かを判定する第二判定をさらに行ってもよい。そして、判定部１０２は、第二判定において、第二度数が目標値を超えていると判定した場合、第二度数が目標値未満になるまで、補正の強度が小さくなるように補正パラメータの値を変更し、第二度数が目標値未満になる直前に変更された補正パラメータの値を、新たな補正パラメータの値として決定することで、補正パラメータの値の更新を行う。また、判定部１０２は、第二判定において、第二度数が目標値を超えていないと判定した場合、第二度数が目標値以上になるまで、補正の強度が大きくなるように補正パラメータの値を変更し、第二度数が目標値以上になったときにおける補正パラメータの値を、新たな補正パラメータの値として決定することで、補正パラメータの値の更新を行う。

［１−３．画像処理装置の動作］
以上のように構成された画像処理装置１００について、その動作を以下に説明する。

画像処理装置１００では、入力画像の揺らぎの有無を判定する第一判定の結果を用いて補正パラメータの値を更新する更新処理を行う。なお、本実施の形態の画像処理装置１００では、第一判定の一例として、所定の入力画像と、複数の入力画像を補正することにより得られた補正画像とのそれぞれに含まれるエッジ角度の情報を用いた判定を行う。以下、図３を用いて画像処理装置１００の動作（更新処理）の詳細について説明する。

［１−３−１．更新処理］
図３は、実施の形態１に係る画像処理装置の動作（更新処理）の一例を示すフローチャートである。なお、前提として、更新処理以前に、複数の入力画像のうちの所定の入力画像に対して、複数の入力画像を平均化することによる補正が行われ、補正の結果である所定の補正画像が得られているとする。

判定部１０２は、まず、所定の入力画像と、所定の補正画像とを読み込む（Ｓ２０１）。つまり、判定部１０２には、所定の入力画像と、所定の補正画像とが入力される。

次に、判定部１０２は、所定の入力画像におけるエッジ強度と、所定の補正画像におけるエッジ強度とを検出する（Ｓ２０２）。判定部１０２は、例えば、所定の入力画像及び所定の補正画像のそれぞれにおいて、各画像の画素ごとに縦方向及び横方向それぞれのエッジ強度をＳｏｂｅｌ Ｆｉｌｔｅｒを用いて算出する。

続いて、判定部１０２は、検出した各画像の画素ごとにおける縦方向及び横方向それぞれのエッジ強度から、各画素におけるエッジ角度を算出する（Ｓ２０３）。図４は、実施の形態１に係るエッジ角度の取得について説明するための図である。具体的には、図４は、ある画素において算出されたエッジ角度θを示す図である。各画像における各画素は、縦方向及び横方向のそれぞれにエッジ強度を有するため、各画素について、当該画素における縦方向のエッジ強度と、横方向のエッジ強度とを合成することにより、エッジ角度θを算出できる。このようにして、判定部１０２は、各画像における全ての画素について、エッジ角度θを算出する。なお、縦方向及び横方向の一方のエッジ強度が０であってもよく、縦方向のエッジ強度が０である場合には、エッジ角度θは９０°または２７０°となり、横方向のエッジ強度が０である場合には、エッジ角度θは０°（３６０°）または１８０°となる。

なお、必ずしも全ての画素においてエッジ角度θを算出する必要はなく、予め設定した所定の閾値よりも大きなエッジ強度を有する画素のみにおいてエッジ角度θを算出してもよい。これは下記の理由による。陽炎などで生じる揺らぎは、主にコントラスト差が顕著であるエッジ（線分）上で、その揺らぎが知覚され易い。その一方で、画像のうちで、空や模様のない背景などのエッジ強度が所定の閾値よりも弱い領域でもエッジ角度を取得可能であるが、このような領域における画素は、線分上の画素ではないため、それらの領域で生じる揺らぎの影響は知覚されにくい。つまり、空や模様のない背景などのエッジ強度が所定の閾値よりも弱い領域で取得されたエッジ角度は、特に有用な情報ではないというのがその理由である。

次に、判定部１０２は、所定の入力画像及び所定の補正画像のそれぞれについて、各画像の画素ごとに算出したエッジ角度の度数分布である角度ヒストグラムを生成する（Ｓ２０４）。具体的には、判定部１０２は、所定の入力画像についての第一角度ヒストグラム（第一分布）を生成し、所定の補正画像についての第二角度ヒストグラム（第二分布）を生成する。なお、角度ヒストグラムは、例えば、後述する図６〜図８のそれぞれの（ｂ）のように生成される。

次に、判定部１０２は、生成した第一角度ヒストグラム及び第二角度ヒストグラムを用いて、各角度ヒストグラムに共通するピーク角度（共通ピーク角度）を特定する（Ｓ２０５）。なお、ステップＳ２０５におけるピーク角度の特定処理の詳細は、図５を用いて後述する。

次に、判定部１０２は、特定した共通ピーク角度を用い、第一角度ヒストグラムの共通ピーク角度における第一度数と第二角度ヒストグラムの共通ピーク角度における第二度数との比較を行う。そして、判定部１０２は、第二度数が第一度数を超えるか否かを判定する（Ｓ２０６）。これにより、判定部１０２は、所定の入力画像の揺らぎの有無を判定する第一判定を行う。

判定部１０２は、第二度数が第一度数を超えると判定した場合（Ｓ２０６でＹｅｓ）、第二分布の形状が第一分布の形状よりも急峻であると判定する。これにより、判定部１０２は、所定の入力画像に揺らぎが有ると判定し、補正パラメータの設定処理を行う（Ｓ２０７）。

判定部１０２は、第二度数が第一度数以下であると判定した場合（Ｓ２０６でＮｏ）、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻でないと判定する。これにより、判定部１０２は、所定の入力画像に揺らぎが無いと判定する（Ｓ２０８）。

［１−３−２．ピーク角度の特定処理］
次に、所定の入力画像及び所定の補正画像のそれぞれから生成された第一角度ヒストグラム及び第二角度ヒストグラムに基づいて行われるピーク角度の特定処理（Ｓ２０５）の詳細について図５を用いて説明する。

図５は、実施の形態１に係るピーク角度の特定処理の一例を示すフローチャートである。

ピーク角度の特定処理では、更新処理におけるステップＳ２０４（図３）において生成された、所定の入力画像の第一角度ヒストグラムと所定の補正画像の第二角度ヒストグラムとを入力とし、入力された第一角度ヒストグラム及び第二角度ヒストグラムのそれぞれのピーク角度に基づいて共通ピーク角度が特定される。

共通ピーク角度の特定処理では、まず、判定部１０２は、ステップＳ２０４で生成した、所定の入力画像の第一角度ヒストグラムと所定の補正画像の第二角度ヒストグラムとを取得する（Ｓ３０１）。

判定部１０２は、取得した第一角度ヒストグラム及び第二角度ヒストグラムのそれぞれからピーク角度を求める（Ｓ３０２）。ここで、ピーク角度は、例えば、角度ヒストグラムにおける０°〜１８０°の角度の範囲のうちで、最大の度数を持つ角度とする。なお、ピーク角度は、１つの角度ヒストグラムから１つのみを取得する必要はなく、例えば０°〜９０°の角度の範囲のうちで最大の度数を持つ角度、及び、９０°〜１８０°の角度の範囲のうちで最大の度数を持つ角度とするように、１つの角度ヒストグラムを複数の角度の範囲に分割することで、分割した複数の角度の範囲のそれぞれから１つのピーク角度を特定してもよい。つまり、１つの角度ヒストグラムから、複数のピーク角度を取得しても構わない。

次に、判定部１０２は、第一角度ヒストグラム及び第二角度ヒストグラムのそれぞれで特定したピーク角度が、共通の（同じ）角度になっているか否かを判定する（Ｓ３０３）。判定部１０２は、更新処理のステップＳ２０６（図３）において、第一角度ヒストグラム及び第二角度ヒストグラムのそれぞれについて、共通ピーク角度における度数の比較を行う。このため、所定の入力画像の第一角度ヒストグラムから特定したピーク角度Ｎと、所定の補正画像の角度ヒストグラムから特定したピーク角度Ｃとが一致している必要がある。つまり、ステップＳ３０３では、判定部１０２は、ピーク角度Ｎ及びピーク角度Ｃが等しいか否かを判定する。

次に、判定部１０２は、第一角度ヒストグラム及び第二角度ヒストグラムのそれぞれで特定したピーク角度が、共通の（同じ）角度になっていると判定した場合（Ｓ３０３でＹｅｓ）、当該ピーク角度を共通ピーク角度として特定する（Ｓ３０４）。具体的には、判定部１０２は、ピーク角度Ｎ及びピーク角度Ｃが等しい場合、ピーク角度Ｎ（ピーク角度Ｃ）を共通ピーク角度として出力する。

一方で、判定部１０２は、第一角度ヒストグラム及び第二角度ヒストグラムのそれぞれで特定したピーク角度が、共通の（同じ）角度になっていないと判定した場合（Ｓ３０３でＮｏ）、第二角度ヒストグラムで特定したピーク角度を共通ピーク角度として特定する。つまり、判定部１０２は、ピーク角度Ｎ及びピーク角度Ｃが等しくない場合、ピーク角度Ｃを共通ピーク角度として出力する（Ｓ３０５）。これは、後述の説明でも述べるが、所定の補正画像の角度ヒストグラムの角度の方が揺らぎの存在しない画像から求めた角度に近くなると考えられるためである。

［１−３−３．揺らぎ判定方法の考え方］
次に、揺らぎ判定方法の考え方について図６〜図８を用いて説明する。

図６は、実施の形態１に係る揺らぎの無い状態の画像におけるエッジ角度と、当該画像における角度ヒストグラムとを示す図である。図７は、実施の形態１に係る揺らぎが発生した状態の画像におけるエッジ角度と、当該画像における角度ヒストグラムとを示す図である。図８は、実施の形態１に係る補正後の画像におけるエッジ角度と、当該画像における角度ヒストグラムとを示す図である。

図６の（ａ）に示すように、揺らぎの無い状態で撮影された画像１０は、画像１０の垂直方向の中心に水平方向に延びる線分を有する。この画像１０の場合のエッジ角度は、矢印で示すように、垂直方向上向きの矢印となる。そして、これらのエッジ角度を集計することにより、図６の（ｂ）に示す角度ヒストグラムが得られる。図６の（ｂ）の角度ヒストグラムでは、エッジ角度は０°のみとなるため、ピーク角度θａは０°となる。つまり、図６の（ｂ）で示される角度ヒストグラムは、ピーク角度θａのみで度数が存在することになる。なお、角度ヒストグラムのｂｉｎ（ビン）幅は１°単位でもよいし、ノイズなどの影響を低減するために５°単位のように大きめのｂｉｎ幅が設定されても構わない。

画像１０に揺らぎが発生した入力画像１１ａは、図７の（ａ）に示すように、線分の形状が垂直方向にずれることにより、曲線や折れ線を有した、線分が変形した形状となる。この入力画像１１ａの場合のエッジ角度は、矢印で示すように、垂直方向上向きの矢印よりも左右に角度がずれた矢印となる。そして、これらのエッジ角度を集計することにより、図７の（ｂ）に示す第一角度ヒストグラム（第一分布）が得られる。図７の（ｂ）の第一角度ヒストグラムでは、揺らぎにより線分の形状が変化したことでエッジ角度の向きがバラバラに分散されたため、ピーク角度θａの周辺の角度に広がった分布となっている。

補正が行われることにより得られた補正画像１２は、図８の（ａ）に示すように、中央の直線の形状が揺らぎの無い時の画像１０の線分に近くなるように復元されている。この補正画像１２の場合のエッジ角度は、矢印で示すように、図７の（ａ）の矢印よりも垂直方向上向きに沿って揃った矢印となる。そして、これらのエッジ角度を集計することにより、図８の（ｂ）に示す第二角度ヒストグラム（第二分布）が得られる。図８の（ｂ）の第二角度ヒストグラムでは、補正画像１２は、揺らぎの有る入力画像１１ａの形状から揺らぎの無い画像１０の形状に近づいているため、補正画像１２におけるエッジ角度は、画像１０のエッジ角度に近くなる。

これは、角度ヒストグラムの形状でも同様で、図８の（ｂ）の第二角度ヒストグラムの形状は、図６の（ｂ）の第一角度ヒストグラムの形状へと近づく。中でも特徴的なのは、ピーク角度θａの度数である。ピーク角度θａの度数に着目すると、揺らぎの有る入力画像１１ａのピーク角度θａにおける第一度数は（図７の（ｂ）参照）、補正画像１２のピーク角度θａにおける第二度数よりも小さくなる（図８の（ｂ）参照）。これは、図８の（ａ）の補正画像１２は、補正が行われることにより、線分の形状が揺らぎの無い状態の画像１０の状態に近づいていることと対応している。

一方で、揺らぎの無い画像に対して補正を行った場合の、入力画像及び補正画像のそれぞれのピーク角度における度数の大小関係は前述のものと異なる。この理由は、画像に揺らぎが無い場合、揺らぎによる形状の変化は生じないためであり、複数のフレームの平均画像を補正画像として生成しても、補正後の画像は図６の（ａ）と同一となるからである。このため、揺らぎの無い画像に対して補正を行った場合、補正画像の第二角度ヒストグラムも第一角度ヒストグラムと同じ形状となり、入力画像及び補正画像のそれぞれのピーク角度における第一度数と第二度数とには大差がない。

つまり、画像に揺らぎが生じている場合は下記の式１の関係が成り立ち、画像に揺らぎが生じていない場合には、下記の式２の関係が成り立つと言える。実際に撮影された画像では被写体がフレーム間で動いたり、明るさの変化などが生じたりすることにより、ピーク角度における度数が完全一致しないものの、入力画像のピーク角度における第一度数と補正画像のピーク角度における第二度数とはおおよそ一致する。

第一度数 ＜ 第二度数（画像に揺らぎが生じている場合） （式１）
第一度数 ≒ 第二度数（画像に揺らぎが生じていない場合） （式２）
よって、式１及び式２の関係を用いることで、入力画像に揺らぎが生じているかどうかの判定が可能となる。これにより、上記の関係式の比較の結果が、式１となっている場合は、画像に揺らぎが生じていると判定し、式２となっている場合は、画像の揺らぎが存在しないと判定する。式１及び式２のどちらでもない場合は、新たな被写体のフレームインやフレームアウトや、フレーム間の明るさの変化などの影響が考えられるため、画像の揺らぎが存在しないと判定してもよい。

［１−３−４．補正パラメータの設定処理］
補正部１０１では複数のフレームの平均画像を作成することで、画像の揺らぎの補正を行っていた。この補正方法の場合、平均する画像の枚数が補正パラメータとなる。平均枚数が多いほど揺らぎを抑える効果が高く、平均枚数が少ないほど揺らぎを抑える効果が低くなる。一方で平均枚数が多いほど、（ｉ）平均画像がボケてしまう、（ｉｉ）処理量が増加する、（ｉｉｉ）新たな被写体のフレームインやフレームアウトした場合の画質が劣化する、などのデメリットも考えられる。このため、適切な平均枚数を設定する必要がある。

以下では、揺らぎが有ると判定された場合に行われる補正パラメータの設定処理（図３のＳ２０７）について、図９及び図１０を用いて説明する。

図９は、実施の形態１に係る補正パラメータの設定処理の一例を示すフローチャートである。図１０は、実施の形態１に係る補正パラメータの異なる値で補正した複数の補正画像のそれぞれにおける角度ヒストグラムを示す図である。具体的には、図１０の（ａ）は、平均枚数が４枚の場合の補正画像における角度ヒストグラムを示す図である。図１０の（ｂ）は、平均枚数が５枚の場合の補正画像における角度ヒストグラムを示す図である。図１０の（ｃ）は、平均枚数が６枚の場合の補正画像における角度ヒストグラムを示す図である。

判定部１０２は、まず、第二度数が目標値を超えているか否かを判定する第二判定を行う（Ｓ４０１）。ここで目標値は、例えば第一角度ヒストグラムのピーク角度における第一度数の２倍の値や、第一度数に所定の値を加算した値などであり、第一度数を基準として定められる値である。

判定部１０２は、第二度数が目標値を超えていると判定した場合（Ｓ４０１でＹｅｓ）、補正の強度が弱まるように補正パラメータを一段階変更する（Ｓ４０２）。具体的には、この場合、判定部１０２は、補正パラメータである平均画像を生成するための入力画像の枚数（以下、「平均枚数」という。）を１枚少なくすることで、補正パラメータの値を一段階変更する。

判定部１０２は、例えば図１０の（ｃ）に示すように変更前の平均枚数が６枚である場合には、第二度数が目標値を超えているため、平均枚数を一段階（１枚）減らした５枚に変更する。なお、補正パラメータの変更は、一段階ずつ行っているが、二段階ずつ、三段階ずつなど複数段階ずつ行ってもよい。

次に、判定部１０２は、変更後における第二度数が目標値未満であるか否かを判定する（Ｓ４０３）。つまり、判定部１０２は、所定の入力画像を変更後における補正パラメータの値を用いた補正を行い、補正後の補正画像の角度ヒストグラムのピーク角度における度数（変更後における第二度数）を算出し、算出した第二度数が目標値未満であるか否かを判定する。判定部１０２は、例えば図１０の（ｂ）に示すように、変更後の平均枚数である５枚で平均化された補正画像の角度ヒストグラムのピーク角度における度数（変更後における第二度数）を算出し、算出した第二度数が目標値未満であるか否かを判定する。

そして、判定部１０２は、変更後における第二度数が目標値以上であると判定した場合（Ｓ４０３でＮｏ）、ステップＳ４０２に戻り、さらに、補正の強度が弱まるように補正パラメータの値を一段階変更する。すなわち、判定部１０２は、例えば図１０の（ｂ）に示すように、平均枚数５枚で平均化された補正画像の第二度数が目標値以上であると判定された場合、さらに一段階（１枚）減らした平均枚数４枚に補正パラメータの値を変更する。

一方で、判定部１０２は、変更後における第二度数が目標値未満であると判定した場合（Ｓ４０３でＹｅｓ）、直前の補正パラメータの値を補正パラメータに決定する（Ｓ４０４）。判定部１０２は、例えば図１０に示す例では、平均枚数が４枚で補正された補正画像における第二度数が目標値未満であると判定されるため、直前の補正パラメータの値である５枚を新たな補正パラメータの値に決定し、補正パラメータの設定処理を終了する。

要するに、判定部１０２は、第二度数が目標値を超えていると判定した場合、第二度数が目標値未満になるまで、補正の強度が小さくなるように補正パラメータの値を変更し、第二度数が目標値未満になる直前に変更された補正パラメータの値を、新たな補正パラメータの値として決定する。

一方で、判定部１０２は、第二度数が目標値を超えていないと判定した場合（Ｓ４０１でＮｏ）、補正の強度が強まるように補正パラメータを一段階変更する（Ｓ４０５）。具体的には、この場合、判定部１０２は、平均枚数を１枚多くすることで、補正パラメータの値を一段階変更する。

判定部１０２は、例えば図１０の（ａ）に示すように変更前の平均枚数が４枚である場合には、第二度数が目標値を超えていないため、平均枚数を一段階（１枚）増やした５枚に変更する。なお、補正パラメータの変更は、一段階ずつ行っているが、二段階ずつ、三段階ずつなど複数段階ずつ行ってもよい。

次に、判定部１０２は、変更後における第二度数が目標値以上であるか否かを判定する（Ｓ４０６）。つまり、判定部１０２は、所定の入力画像を変更後における補正パラメータを用いた補正を行い、補正後の補正画像の角度ヒストグラムのピーク角度における度数（変更後における第二度数）を算出し、算出した第二度数が目標値以上であるか否かを判定する。判定部１０２は、例えば、図１０の（ｂ）に示すように、変更後の平均枚数である５枚で平均化された補正画像の角度ヒストグラムのピーク角度における度数（変更後における第二度数）を算出し、算出した第二度数が目標値以上であるか否かを判定する。

そして、判定部１０２は、変更後における第二度数が目標値以上であると判定した場合（Ｓ４０６でＹｅｓ）、変更後の補正パラメータの値を新たな補正パラメータの値に決定する（Ｓ４０７）。すなわち、判定部１０２は、例えば図１０の（ｂ）に示すように、平均枚数が５枚とされた補正画像における第二度数が目標値以上であると判定された場合には、変更後の補正パラメータの値である５枚を新たな補正パラメータの値に決定し、補正パラメータの設定処理を終了する。

一方で、判定部１０２は、変更後における第二度数が目標値未満であると判定した場合（Ｓ４０６でＮｏ）、ステップＳ４０５に戻り、さらに、補正の強度が強まるように補正パラメータの値を一段階変更する。すなわち、判定部１０２は、例えば、平均枚数５枚で平均化された補正画像の第二度数が目標値未満であると判定された場合であれば、さらに一段階（１枚）増やした平均枚数６枚に補正パラメータの値を変更する。

要するに、判定部１０２は、第二度数が目標値を超えていないと判定した場合、第二度数が目標値以上になるまで、補正の強度が大きくなるように補正パラメータの値を変更し、第二度数が目標値以上になったときにおける補正パラメータの値を、新たな補正パラメータの値として決定する。

以上のことから、判定部１０２は、異なる複数の補正パラメータの値で補正されることにより得られた複数の補正画像のそれぞれについて第二度数を算出し、目標値以上である第二度数のうちで最小の値の第二度数に対応する補正パラメータの値を、新たな補正パラメータの値として決定していることになる。

［１−４．効果等］
以上のように、画像処理装置１００は、補正部１０１と、判定部１０２とを備える。補正部１０１は、複数の入力画像のそれぞれに、補正パラメータを用いて、画像の揺らぎを抑制するための補正を行い、補正の結果を複数の補正画像として出力する。判定部１０２は、複数の入力画像のうちの所定の入力画像におけるエッジ角度の度数分布を示す第一角度ヒストグラム（第一分布）と、所定の入力画像が補正部により補正されることにより出力された所定の補正画像におけるエッジ角度の度数分布を示す第二角度ヒストグラム（第二分布）とを算出する。そして、判定部１０２は、算出した第一角度ヒストグラム及び第二角度ヒストグラムを用いて、所定の入力画像の揺らぎの有無を判定する第一判定を行う。さらに、判定部１０２は、第一判定の結果を用いて補正パラメータの更新を行う。

これによれば、所定の入力画像の揺らぎの有無を判定し、判定した結果を用いて補正パラメータの更新を行うため、揺らぎの強さが変化した場合であっても、揺らぎを適切に補正することができる。

また、判定部１０２は、第一判定において、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状である場合、所定の入力画像に揺らぎが有ると判定し、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状でない場合、所定の入力画像に揺らぎが無いと判定する。そして、判定部１０２は、所定の入力画像に揺らぎが有ると判定した場合、補正パラメータの更新を行い、所定の入力画像に揺らぎが無いと判定した場合、補正パラメータの更新を行わない。

これによれば、所定の補正画像における第二角度ヒストグラムの形状が所定の入力画像の第一ヒストグラムの形状よりも急峻な形状である場合に、揺らぎが有ると判定して、補正パラメータの更新を行い、そうでない場合に揺らぎが無いと判定し、補正パラメータの更新を行わない。このため、補正パラメータの更新に係る処理負荷を軽減しつつ、補正を行う場合には補正パラメータを適切な値に更新できる。

また、判定部１０２は、第一判定において、第二角度ヒストグラムのピーク角度における第二度数が、第一角度ヒストグラムのピーク角度における第一度数を超える場合には、第二分布の形状が第一分布の形状よりも急峻な形状であると判定し、第二度数が、第一度数以下である場合には、第二分布の形状が第一分布の形状よりも急峻な形状でないと判定する。

これによれば、所定の補正画像の第二角度ヒストグラムのピーク角度における第二度数が、所定の入力画像の第一角度ヒストグラムの当該ピーク角度における第一度数を超える場合に、揺らぎが有ると判定できるため、揺らぎの有無の判定を容易にできる。

また、補正部１０１は、複数の入力画像のうち所定の入力画像を含む所定の枚数の入力画像を平均化した平均画像を所定の補正画像として出力することにより、補正を行う。そして、判定部１０２は、所定の入力画像に揺らぎが有ると判定した場合、補正パラメータとしての所定の枚数を更新することで、更新を行う。

このため、揺らぎの程度が大きい場合には、補正パラメータとしての平均画像を生成するための入力画像の枚数を増やすことで補正の強度を強めた補正を行うことができ、揺らぎの程度が小さい場合には、補正パラメータとしての平均画像を生成するための入力画像の枚数を減らすことで補正画像のボケ、処理負荷、画質の劣化などを軽減しつつ十分な補正を行うことができる。つまり、補正パラメータを適切な値に更新できるため、揺らぎの強さが変化した場合であっても、揺らぎを適切に補正することができる。

また、判定部１０２は、第一角度ヒストグラムのピーク角度における第一度数を基準とした目標値を、第二角度ヒストグラムのピーク角度における第二度数が超えているか否かを判定する第二判定をさらに行う。そして、判定部１０２は、第二度数が目標値を超えていると判定した場合、第二度数が目標値未満になるまで、補正の強度が小さくなるように補正パラメータの値を変更し、第二度数が目標値未満になる直前に変更された補正パラメータの値を、補正パラメータとして決定することで、補正パラメータの更新を行う。また、判定部１０２は、第二度数が目標値を超えていないと判定した場合、第二度数が目標値以上になるまで、補正の強度が大きくなるように補正パラメータの値を変更し、第二度数が目標値以上になったときにおける補正パラメータの値を、補正パラメータとして決定することで、補正パラメータの更新を行う。

これによれば、第一度数を基準とした目標値と、第二度数とを比較することにより、補正パラメータを決定しているため、補正パラメータを適切な値に更新することができる。

（実施の形態２）
次に、図１１〜図１４を用いて、実施の形態２を説明する。

［２−１．画像処理装置の詳細な構成］
図１１は、実施の形態２に係る画像処理装置２００の構成を示すブロック図である。なお、以下では、実施の形態１と同様の構成には同様の符号を使用し、説明を省略する。

画像処理装置２００は、補正部１０１と、判定部１０２と、生成部１０３とを備える。つまり、画像処理装置２００は、実施の形態１に係る画像処理装置１００の構成に加えて、生成部１０３を備える。なお、実施の形態１では、パンニングを行わない固定カメラで撮影された画像が画像処理装置１００の画像処理の対象であったが、実施の形態２では、パンニングを行う固定カメラで撮影された画像や、固定カメラでないカメラで撮影された画像を画像処理装置２００の画像処理の対象としても構わない。つまり、実施の形態２に係る画像処理装置２００は、カメラが動いた場合でも対応可能な画像処理装置である。

［２−１−１．生成部］
生成部１０３は、所定の入力画像と所定の入力画像より時間的に後のフレームとの間で動く移動体を含む移動体領域を、所定の入力画像及び後のフレームとのそれぞれにおいて特定する。そして、生成部１０３は、当該後のフレームにおける移動体領域の位置を所定の入力画像における移動体領域の位置に移動させる位置合わせを行うことで位置合わせ画像を生成する。つまり、生成部１０３は、２枚の入力画像を入力として、基準となる入力画像に、もう一方の入力画像において移動した移動体の位置を基準となる入力画像での移動体の位置に合わせた画像を作成する。

また、補正部１０１は、所定の入力画像と、生成部１０３により生成された位置合わせ画像とを用いて補正を行う。

次に、生成部１０３において行われる位置合わせについて、図１２及び図１３を用いて詳細に説明する。

図１２は、実施の形態２に係る、動き補償による位置合わせを行わずに平均画像を作成した場合の画像を示した図である。図１３は、実施の形態２に係る、動き補償による位置合わせを行った画像から平均画像を作成した場合の画像を示した図である。

図１２の（ａ）は、固定カメラで撮影された、時間的に連続する２枚のフレームを示す図である。当該２枚のフレームの間で、動く移動体が撮影されている。生成部１０３がない場合、または、生成部１０３の位置合わせ処理を行わない場合、補正部１０１で平均画像を作成すれば、図１２の（ｂ）に示す画像となる。つまり、位置合わせ処理を行わずに平均画像を作成した場合、移動体の領域で被写体ブレが生じた不適切な画像が生成されることになる。そして、図１２の（ｂ）のような画像を、判定部１０２へ入力した場合、実際の画像では存在していなかった被写体ブレなどの影響で、角度ヒストグラムにおいて適切なピーク角度の度数が得られなくなってしまう。

そこで、被写体ブレ、もしくはカメラの動きによる補正画像への悪影響を抑制するために、生成部１０３により位置合わせ処理が行われる。具体的には、生成部１０３は、図１２の（ａ）のフレームｔにおける移動体の位置に、フレームｔ−１における移動体の位置を合わせる位置合わせ処理を行うことにより、図１３の（ａ）のフレームｔ−１に示す動き補償画像を生成する。図１３の（ａ）に示すように、フレームｔ−１の被写体の位置は、フレームｔの被写体の位置に合っているため、フレームｔ−１とフレームｔとを用いて平均画像を作成すると、図１３の（ｂ）のような移動体の位置が適切な画像が得られる。

なお、図１２及び図１３は、平均枚数が２枚の場合を示しているが、平均枚数が３枚以上に増えた場合でも同様である。例えば、平均枚数が５枚の場合は、フレームｔの位置を基準として、残りのフレームｔ−１〜フレームｔ−４の画像をフレームｔの位置に合わせた画像を作成し、その画像を用いて平均画像を作成することで、図１３の（ｂ）と同様に、被写体の位置が考慮された画像と同じ効果が得られる。

また、図１２及び図１３は、固定カメラで撮影した映像に被写体の動きが発生した場合の図であるが、カメラが動いていた場合でも基準画像へ位置合わせした画像を作成できるため、固定カメラでなくとも構わない。

また、生成部１０３で用いる位置合わせの手法はどんな手法でもよく、カメラが動く場合はフレーム間の画像全体の動きを推定する特徴点マッチングのような手法を適用してもよいし、被写体の動きが生じている場合は領域ごとの動き量を求めるオプティカルフローなどの手法を適用してもよい。

［２−２．効果等］
以上のように、画像処理装置２００は、補正部１０１と、判定部１０２との他に、さらに、生成部１０３を備える。生成部１０３は、所定の入力画像と所定の入力画像より時間的に後のフレームとの間で動く移動体を含む移動体領域を、所定の入力画像及び後のフレームとのそれぞれにおいて特定する。生成部１０３は、後のフレームにおける移動体領域の位置を所定の入力画像における移動体領域の位置に移動させる位置合わせを行うことで位置合わせ画像を生成する。補正部１０１は、所定の入力画像と、生成部により生成された位置合わせ画像とを用いて補正を行う。

これによれば、所定の入力画像と位置合わせ画像とを用いて補正を行うため、移動体が補正に及ぼす影響を低減でき、適切に補正することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下では、他の実施の形態を例示する。

例えば、上記の各実施の形態では、ピーク角度における度数を用いて、第二角度ヒストグラムが第一角度ヒストグラムよりも急峻な形状であるか否かを判定しているが、ピーク角度における度数以外の指標として、所定の入力画像及び所定の補正画像のそれぞれの角度ヒストグラムでピーク角度周辺の度数の分散を計算し、その分散値を比較することで揺らぎの有無の判定を行ってもよい。すなわち、判定部１０２は、第二角度ヒストグラムのピーク角度周辺の第二分散値が、第一角度ヒストグラムのピーク角度周辺の第一分散値未満である場合には、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状であると判定し、第二分散値が、第一分散値以上である場合には、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状でないと判定してもよい。揺らぎが生じていれば、形状が変化することにより、もともとピーク角度に存在していた度数がピーク角度の周辺に分散して分布する。このため、入力画像に揺らぎが有る場合のピーク角度周辺の分散値は大きくなる。なお、ピーク角度周辺の分散値を用いる場合、式１に相当するのは式３、式２に相当するのは式４である。

第一分散値 ＞ 第二分散値（画像に揺らぎが生じている場合） （式３）
第一分散値 ≒ 第二分散値（画像に揺らぎが生じていない場合） （式４）
よって、式３及び式４の関係を用いることで、所定の入力画像に揺らぎが生じているかどうかの判定が可能となる。これにより、上記の関係式の比較の結果が、式３となっている場合は、画像に揺らぎが生じていると判定し、式４となっている場合は、画像の揺らぎが存在しないと判定する。式３及び式４のどちらでもない場合は、新たな被写体のフレームインやフレームアウトや、フレーム間の明るさの変化などの影響が考えられるため、画像の揺らぎが存在しないと判定してもよい。

これによれば、補正画像の第二角度ヒストグラムのピーク角度周辺の第二分散値が、入力画像の第一角度ヒストグラムの当該ピーク角度周辺の第一分散値未満である場合に、揺らぎが有ると判定できるため、揺らぎの有無の判定を容易にできる。

また、所定の入力画像及び所定の補正画像のそれぞれの角度ヒストグラムでピーク角度における微分値を計算し、その微分値を比較することで揺らぎの有無の判定を行ってもよい。すなわち、判定部１０２は、第二角度ヒストグラムのピーク角度における微分値の第二絶対値が、第一分布のピーク角度における微分値の第一絶対値を超える場合には、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状であると判定し、第二絶対値が、第一絶対値以下である場合には、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状でないと判定してもよい。

これによれば、所定の補正画像の第二角度ヒストグラムのピーク角度における微分値の第二絶対値が、所定の入力画像の第一角度ヒストグラムのピーク角度における微分値の第一絶対値を超える場合に、揺らぎが有ると判定できるため、揺らぎの有無の判定を容易にできる。

また、判定部１０２は、第一角度ヒストグラムの形状そのものと、第二角度ヒストグラムの形状そのものとを比較することにより、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状であるか否かを判定してもよい。

また、上記の各実施の形態では、補正部１０１は、複数の入力画像のうち所定の入力画像を含む所定の枚数の入力画像を平均化した平均画像を所定の補正画像として出力することにより、補正を行っているが、これに限らない。例えば、平均枚数を固定値として、規定枚数の平均画像を一度作成し、補正画像におけるピーク角度の度数が目標値に達しない場合は、規定枚数で一度作成済の平均画像を、更に規定枚数用意してから平均画像をもう一度作成する多段階の平均化を行う補正を行ってもよい。この場合、平均画像を作る回数が補正パラメータとなる。

すなわち、補正部１０１が、複数の入力画像のそれぞれに対して１回目の平均化を行うことで複数の１段階平均画像が得られ、複数の１段階平均画像のそれぞれに対して２回目の平均化を行うことで複数の２段階平均画像が得られるとした場合において、ｎ回目（ｎは自然数）の平均化を行う場合を考える。この場合において、補正部１０１は、ｎ回目の平均化を行うことでｎ段階平均画像を生成することにより、所定の入力画像を補正し、ｎ段階平均画像を所定の補正画像として出力してもよい。そして、判定部１０２は、所定の入力画像に揺らぎが有ると判定した場合、補正パラメータとしての平均化の回数を更新することで、補正パラメータの更新を行ってもよい。このように、平均画像を作る回数以外でも、規定枚数で平均画像作成後に、揺らぎを抑える処理をさらに行うかどうかを補正パラメータとしてもよい。

これによれば、揺らぎの程度が大きい場合には、補正パラメータとしての平均化の回数を増やすことで効果的な補正を行うことができ、揺らぎの程度が小さい場合には、補正パラメータとしての平均化の回数を減らすことで補正画像のボケ、処理負荷、画質の劣化などを軽減しつつ十分な補正を行うことができる。つまり、補正パラメータを適切な値に更新できるため、揺らぎの強さが変化した場合であっても、揺らぎを適切に補正することができる。

また、上記の実施の形態１に係る画像処理装置１００では、パンニング機能のない、固定された位置及び姿勢で設置された固定カメラにより撮影された画像が入力画像として入力される。この場合、揺らぎの無い状態で固定カメラにより撮影された画像である背景画像のデータが利用可能である。要するに、予め背景画像から生成される第三角度ヒストグラム（第三分布）のピーク角度における第三度数を記録しておき、第二判定において用いる目標値を、第三度数を基準とした値（例えば、第三度数の７０％）と設定するなどのように、第三度数を用いた目標値を設定してもよい。このように、第三度数を基準とした目標値と、第二度数とを比較することにより、補正パラメータを決定しているため、補正パラメータを適切な値に更新することができる。

また、上記の各実施の形態では、判定部１０２は、図３のステップＳ２０６でＮｏと判定した場合、所定の入力画像に揺らぎが無いと判定し、補正部１０１で参照される補正パラメータの値の変更は行わないが、これに限らずに、揺らぎが無いと判定した場合、平均枚数を１枚として補正パラメータの値を設定してもよい。また、判定部１０２は、ステップＳ２０６で１度だけＹｅｓと判定した場合、補正パラメータの設定処理（Ｓ２０７）を行うが、これに限らずに、ステップＳ２０６で一定回数連続してＹｅｓと判定した場合に初めて補正パラメータの設定処理を行うようにしてもよい。

また、上記の各実施の形態では、補正部１０１において複数の入力画像に対して平均化を行うことにより補正を行っている。しかしながら、平均化のみで補正を行っていると、画像の揺らぎによるボケに加えて、画像がさらにボケる場合がある。要するに、平均化の画像の枚数が多い程、平均化後の画像、すなわち、補正画像はボケてしまう。そこで、ボケを復元するために、例えば、平均画像の作成後に、平均画像（補正画像）の先鋭化処理を適用してもよい。

この場合の先鋭化処理の一例としては、アンシャープマスクなどの画像先鋭化のためのフィルタ処理がある。アンシャープマスクの場合は、そのフィルタサイズを平均枚数が多いほど広げ、平均枚数が少ないほど狭めるなどのように、平均枚数に応じて変えてもよい。これにより、画像の揺らぎによるボケ、及び、画像の平均化によって生じるボケを低減することができる。同様に揺らぎによって劣化したコントラストを復元するために、平均画像の作成後にコントラスト補正をさらに行っても構わない。

また、上記の各実施の形態では、画像処理装置について説明したが、これに限らない。例えば、本開示は、上述した画像処理装置を備える監視カメラとして実現することもできる。例えば、図１４は、実施の形態の変形例に係る監視カメラの製品例を示す図である。本開示に係る監視カメラは、例えば、屋外を撮影するために設置されたカメラであり、一例として、交通量のモニタリング、各種インフラ設備の監視などに利用することができる。

あるいは、本開示に係る監視カメラは、水中を撮影する水中カメラとして実現することもできる。例えば、当該水中カメラは、水生生物の監視、又は、工場などで水中に浸されている物品などの検査に利用することができる。

また、本開示は、画像処理方法として実現することもできる。

なお、本開示に係る画像処理装置１００を構成する各構成要素（補正部１０１及び判定部１０２）、又は、画像処理装置２００を構成する各構成要素（補正部１０１、判定部１０２、及び生成部１０３）は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）通信インターフェース、Ｉ／Ｏポート、ハードディスク、ディスプレイなどを備えるコンピュータ上で実行されるプログラムなどのソフトウェアで実現されてもよく、電子回路などのハードウェアで実現されてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。

したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示に係る画像処理装置、監視カメラ及び画像処理方法は、例えば、ビデオレコーダー、テレビ及びカメラなどに利用することができる。

１００，２００ 画像処理装置
１０１ 補正部
１０２ 判定部
１０３ 生成部

Claims (13)

1. 複数の入力画像のそれぞれに、補正パラメータを用いて、画像の揺らぎを抑制するための補正を行い、前記補正の結果を複数の補正画像として出力する補正部と、
   （ｉ）前記複数の入力画像のうちの所定の入力画像におけるエッジ角度の度数分布を示す第一分布と、前記所定の入力画像が前記補正部により補正されることにより出力された所定の補正画像におけるエッジ角度の度数分布を示す第二分布とを算出し、（ｉｉ）算出した前記第一分布及び前記第二分布を用いて、前記所定の入力画像の揺らぎの有無を判定する第一判定を行い、（ｉｉｉ）前記第一判定の結果を用いて前記補正パラメータの更新を行う判定部と、を備え、
   前記判定部は、
   前記第一判定において、前記第二分布の形状が前記第一分布の形状よりも急峻な形状である場合、前記所定の入力画像に揺らぎが有ると判定し、前記第二分布の形状が前記第一分布の形状よりも急峻な形状でない場合、前記所定の入力画像に揺らぎが無いと判定し、
   前記所定の入力画像に揺らぎが有ると判定した場合、前記更新を行い、前記所定の入力画像に揺らぎが無いと判定した場合、前記更新を行わない、
   画像処理装置。
2. 前記判定部は、前記第一判定において、
   前記第二分布のピーク角度における第二度数が、前記第一分布の前記ピーク角度における第一度数を超える場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状であると判定し、
   前記第二度数が、前記第一度数以下である場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状でないと判定する、
   請求項１に記載の画像処理装置。
3. 前記判定部は、
   前記第二分布のピーク角度周辺の第二分散値が、前記第一分布の前記ピーク角度周辺の第一分散値未満である場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状であると判定し、
   前記第二分散値が、前記第一分散値以上である場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状でないと判定する、
   請求項１に記載の画像処理装置。
4. 前記判定部は、
   前記第二分布のピーク角度における微分値の第二絶対値が、前記第一分布の前記ピーク角度における微分値の第一絶対値を超える場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状であると判定し、
   前記第二絶対値が、前記第一絶対値以下である場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状でないと判定する、
   請求項１に記載の画像処理装置。
5. 前記補正部は、前記複数の入力画像のうち前記所定の入力画像を含む所定の枚数の前記入力画像を平均化した平均画像を前記所定の補正画像として出力することにより、前記補正を行い、
   前記判定部は、前記所定の入力画像に揺らぎが有ると判定した場合、前記補正パラメータとしての前記所定の枚数を更新することで、前記更新を行う、
   請求項１に記載の画像処理装置。
6. 前記補正部は、
   前記複数の入力画像のそれぞれに対して１回目の平均化を行うことで複数の１段階平均画像が得られ、前記複数の１段階平均画像のそれぞれに対して２回目の平均化を行うことで複数の２段階平均画像が得られるとした場合においてｎ回目（ｎは自然数）の平均化を行う場合、
   前記ｎ回目の平均化を行うことでｎ段階平均画像を生成することにより、前記所定の入力画像を補正し、前記ｎ段階平均画像を前記所定の補正画像として出力し、
   前記判定部は、前記所定の入力画像に揺らぎが有ると判定した場合、前記補正のパラメータとしての前記平均化の回数を更新することで、前記更新を行う、
   請求項１に記載の画像処理装置。
7. 前記判定部は、
   （ｉ）前記第一分布のピーク角度における第一度数を基準とした目標値を、前記第二分布のピーク角度における第二度数が超えているか否かを判定する第二判定をさらに行い、
   （ｉｉ）前記第二度数が前記目標値を超えていると判定した場合、前記第二度数が前記目標値未満になるまで、前記補正の強度が小さくなるように前記補正パラメータの値を変更し、前記第二度数が前記目標値未満になる直前に変更された補正パラメータの値を、前記補正パラメータとして決定し、
   前記第二度数が前記目標値を超えていないと判定した場合、前記第二度数が前記目標値以上になるまで、前記補正の強度が大きくなるように前記補正パラメータの値を変更し、前記第二度数が前記目標値以上になったときにおける補正パラメータの値を、前記補正パラメータとして決定することで、前記更新を行う、
   請求項１に記載の画像処理装置。
8. 前記画像処理装置は、固定された位置及び姿勢で設置されたカメラにより撮影された画像が前記入力画像として入力され、
   前記判定部は、
   （ｉ）揺らぎの無い状態で前記カメラにより撮影された背景画像におけるエッジ角度の度数分布を示す第三分布を算出し、
   （ｉｉ）前記第三分布のピーク角度における第三度数を基準とした目標値を、前記第二分布のピーク角度における第二度数が超えているか否かを判定する第二判定をさらに行い、
   （ｉｉｉ）前記第二度数が前記目標値を超えていると判定した場合、前記第二度数が前記目標値未満になるまで、前記補正の強度が小さくなるように前記補正パラメータの値を変更し、前記第二度数が前記目標値未満になる直前に変更された補正パラメータの値を、前記補正パラメータとして決定し、
   前記第二度数が前記目標値を超えていないと判定した場合、前記第二度数が前記目標値以上になるまで、前記補正の強度が大きくなるように前記補正パラメータの値を変更し、前記第二度数が前記目標値以上になったときにおける補正パラメータの値を、前記補正パラメータとして決定することで、前記更新を行う、
   請求項１に記載の画像処理装置。
9. 前記複数の入力画像は、異なる複数のタイミングで撮影された動画像であり、
   さらに、
   前記所定の入力画像と前記所定の入力画像より時間的に後のフレームとの間で動く移動体を含む移動体領域を、前記所定の入力画像及び前記後のフレームとのそれぞれにおいて特定し、前記後のフレームにおける前記移動体領域の位置を前記所定の入力画像における前記移動体領域の位置に移動させる位置合わせを行うことで位置合わせ画像を生成する生成部を備え、
   前記補正部は、前記所定の入力画像と、前記生成部により生成された前記位置合わせ画像とを用いて前記補正を行う、
   請求項１に記載の画像処理装置。
10. 複数の入力画像のそれぞれに、補正パラメータを用いて、画像の揺らぎを抑制するための補正を行い、前記補正の結果を複数の補正画像として出力し、
    前記複数の入力画像のうちの所定の入力画像におけるエッジ角度の度数分布を示す第一分布と、前記所定の入力画像が補正されることにより出力された所定の補正画像におけるエッジ角度の度数分布を示す第二分布とを算出し、
    算出された前記第一分布及び前記第二分布を用いて、前記入力画像の揺らぎの有無を判定する第一判定を行い、
    前記第一判定では、前記第二分布の形状が前記第一分布の形状よりも急峻な形状である場合、前記所定の入力画像に揺らぎが有ると判定し、前記第二分布の形状が前記第一分布の形状よりも急峻な形状でない場合、前記所定の入力画像に揺らぎが無いと判定し、
    前記所定の入力画像に揺らぎが有ると判定された場合、前記補正パラメータの更新を行い、前記所定の入力画像に揺らぎが無いと判定された場合、前記補正パラメータの更新を行わない、
    画像処理方法。
11. 前記第一判定では、前記第二分布のピーク角度における度数が、前記第一分布の前記ピーク角度における度数を超える場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状であると判定し、前記第二分布のピーク角度における度数が、前記第一分布の前記ピーク角度における度数以下である場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状でないと判定する、
    請求項１０に記載の画像処理方法。
12. さらに、
    前記第一分布のピーク角度における第一度数を基準とした目標値を、前記第二分布のピーク角度における第二度数が超えているか否かを判定する第二判定を行い、
    前記更新では、
    前記第二度数が前記目標値を超えていると判定した場合、前記第二度数が前記目標値未満になるまで、前記補正の強度が小さくなるように前記補正パラメータの値を変更し、前記第二度数が前記目標値未満になる直前に変更された補正パラメータの値を、前記補正パラメータとして決定し、
    前記第二度数が前記目標値を超えていない場合、前記第二度数が前記目標値以上になるまで、前記補正の強度が大きくなるように前記補正パラメータの値を変更し、前記第二度数が前記目標値以上になったときにおける補正パラメータの値を、前記補正パラメータとして決定する、
    請求項１０に記載の画像処理方法。
13. 請求項１０に記載の画像処理方法をコンピュータに実行させるためのプログラム。