JP6104680B2 - 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法 - Google Patents

Description

本発明は、陽炎等による画質劣化を低減するための画像処理技術に関する。

近年、安心・安全社会を構築するために、人の目に代わって地域社会を見守る監視カメラの需要が高まっている。監視カメラにおいて、映像の視認性を改善することは重要であり、これまでに、揺れ補正、階調補正、外乱（雨、霧、スモッグ、黄砂など）補正などの画像補正技術が開発されてきた。

監視カメラ映像の視認性を低下させる現象の１つとして、陽炎が挙げられる。陽炎は、局所的に密度の異なる大気が混ざり合うことにより光が屈折して起こる自然現象である。気温が高い日に、望遠レンズで道路のアスファルト上や自動車の屋根部分を撮影したときに陽炎が観察されやすい。陽炎が発生すると、被写体が変形して観測されるため、撮影した陽炎映像を再生すると、画像内の特定領域が大きく揺らいで見える。そのため、被写体の視認性が大きく低下する。

下記特許文献１においては、空気ゆらぎに起因する歪みが発生するか否かを判定し、空気ゆらぎに起因する歪みが発生すると判定した場合に、連続撮影により複数の画像を生成し、複数枚の画像を加算（平均化）して、１枚の歪みが補正された画像を生成している。

特開２０１２−１８２６２５号公報

しかしながら、連続撮影した過去の複数の画像を加算（平均化）すると、画像内に移動物体が含まれる場合に、移動物体が２重像等になって画像が大きく劣化してしまう可能性がある。また、静止領域と移動物体がともに含まれる画像全体の陽炎による画像歪みを補正する技術は未だ開発されておらず、かかる画像歪みを補正する技術を確立することは画像補正分野において重要な技術課題とされていた。

本発明は、上記課題に鑑みてなされたものであり、静止領域と移動物体をともに含む画像全体の陽炎を低減することができる画像処理技術を提供することを目的とする。

本発明に係る画像処理装置は、補正対象フレームと補正用フレームそれぞれの階調分布を求め、その類似度に応じて補正対象フレームと補正用フレームを用いる割合を変えた上で、補正用フレームを用いて補正対象フレームを補正する。

本発明に係る画像処理装置によれば、静止領域と移動物体をともに含む画像全体の陽炎を低減した良質の画像を提供することができる。

実施形態１に係る画像処理装置１の機能ブロック図である。 画像平滑化部１１の動作例を説明する図である。 階調分布算出部１２が対象画素の周辺領域の画素を用いて階調分布を算出する様子を示す図である。 過去、現在、未来の画像に含まれる移動物体の状況により、ヒストグラムＨ２が変化することを説明する図である。 画像補正部１４の動作を説明する図である。 高解像度化部１５が使用する鮮鋭化フィルタの例である。 画像処理装置１の動作を示すフローチャートである。 実施形態２に係る画像処理装置１の機能ブロック図である。 階調分布算出部１２の動作を説明する図である。 画像処理装置１の動作を示すフローチャートである。 実施形態３に係る画像処理装置１の機能ブロック図である。 除去画像生成部１１１１の処理例を説明する図である。 類似度算出部１３と画像補正部１４の処理を説明する図である。 画像処理装置１の動作を示すフローチャートである。 実施形態４に係る撮像装置１５００の機能ブロック図である。 実施形態５に係る監視システム１６００の機能ブロック図である。 実施形態６に係る符号復号システム１７００の機能ブロック図である。

以下、本発明の各実施形態を、図面を参照して説明する。各図面において共通の構成要素には同一の符号を付与した。
＜実施の形態１＞
図１は、本発明の実施形態１に係る画像処理装置１の機能ブロック図である。画像処理装置１の構成は、入力部１０、画像平滑化部１１、階調分布算出部１２、類似度算出部１３、画像補正部１４、高解像度化部１５、記録部１６、制御部９１を備える。

入力部１０は、図示しない撮像手段が撮影した動画像データを受信する。例えば入力部１０は、画像入力端子、ネットワーク接続端子などを備え、あるいはＴＶ放送用のチューナーであってもよい。また入力部１０は、監視カメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＥＧ、ＪＰＥＧ２０００、ＰＮＧ、ＢＭＰ形式等の静止画像データを連続的に取得して、過去、現在、未来の複数の画像を入力画像としてメモリ９０に記憶してもよい。また入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔毎に静止画像データを抜き出して、過去、現在、未来の複数の画像を入力画像としてメモリ９０に記憶してもよい。また入力部１０は、過去、現在、未来の複数の入力画像を、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）等を用いてメモリ９０から取得することができる。また入力部１０は、撮像手段がバスやネットワーク等を介して、過去、現在、未来の複数の入力画像を、メモリ９０に記憶することにより構成してもよい。また入力部１０は、後述するように、脱着可能な記録媒体に既に記憶された、過去、現在、未来の複数の入力画像を、メモリ９０に記憶してもよい。

入力部１０は、過去、現在（時刻ｔ）、未来の複数の入力画像を取得する際に、必要に応じて遅延処理を実施する。入力部１０は、現在画像とその前後の画像を画像平滑化部１１へ出力する。

画像平滑化部１１は、過去、現在、未来の複数の入力画像を用いて画像を時系列に沿って合成し、時刻ｔに対応する平滑化画像を作成する。平滑化画像を作成する例については後述の図２で改めて説明する。

階調分布算出部１２は、時刻ｔの入力画像と平滑化画像それぞれについて、各画像の画素を中心とする画像領域毎に、階調分布を算出する。この処理は、時刻ｔの入力画像と平滑化画像それぞれの画素毎に実施される。階調分布の例については後述の図３で改めて説明する。

類似度算出部１３は、階調分布算出部１２が算出した、時刻ｔの入力画像の階調分布と平滑化画像の階調分布との間の類似度を算出する。階調分布間の類似度の例については後述の図４で改めて説明する。

画像補正部１４は、時刻ｔの入力画像と平滑化画像を合成することにより、時刻ｔの入力画像を補正する。両者を合成する割合は、類似度算出部１３が算出した類似度に応じて変更する。上記補正により、陽炎を低減した時刻ｔの補正後画像を作成する。補正処理の例については後述の図４〜図５を用いて改めて説明する。

高解像度化部１５は、時刻ｔの補正後画像から時刻ｔの高解像度化画像を作成する。高解像度化の例については後述の図６を用いて改めて説明する。

記録部１６は、陽炎を低減した時刻ｔの高解像度化画像を保存する場合は、時刻ｔの高解像度化画像をメモリに保存する。時刻ｔの高解像度化画像を保存しない場合は、入力画像を保存する。

記憶部１６は、モードに応じてメモリに保存する画像を切替えることができる。例えばモードが１の場合、高解像度化部１５が求めた高解像度化画像Ｓをメモリ９０に保存し、または高解像度化画像Ｓを画像処理装置１の外部に出力する。モードが０の場合、高解像度化画像Ｓをメモリ９０に保存せず、入力画像を画像処理装置１の外部に出力する。

制御部９１は、画像処理装置１内の各要素に接続される。画像処理装置１の各要素は自律的に動作し、または制御部９１の指示により動作する。

図２は、画像平滑化部１１の動作例を説明する図である。図２においては１例として、画像Ｎを基点として、過去および未来の画像（画像Ｎ−２、画像Ｎ−１、画像Ｎ＋１、画像Ｎ＋２）と画像Ｎを用いて、平滑化画像を作成することとした。

座標（ｉ，ｊ）における画像Ｎ−２の画素値をｑ１（ｉ，ｊ）、画像Ｎ−１の画素値をｑ２（ｉ，ｊ）、画像Ｎの画素値をｑ３（ｉ，ｊ）、画像Ｎ＋１の画素値をｑ４（ｉ，ｊ）、画像Ｎ＋２の画素値をｑ５（ｉ，ｊ）とし、座標（ｉ，ｊ）における平滑化画像Ｍの画素値をｍ（ｉ，ｊ）とし、ｐ１〜ｐ５を重み係数とする。画像平滑化部１１は、下記式１を用いて各画像を合成することにより、各画像を時系列に沿って平滑化した平滑化画像Ｍを作成する。

画像合成に用いる過去、現在、未来の画像の枚数が５枚の場合、式１のＤは５となる。式１における画素値はどのような形式でもよいが、例えば、各画素におけるＲＧＢ色相空間における３原色Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の成分値や、ＨＳＶ色空間（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）の各成分値でもよい。

陽炎の影響で被写体が変形する際の変位量は、統計的にはガウス分布に従うという性質を有していると考えられるため、過去および未来の複数の画像を用いて画素を平滑化することにより、被写体本来の形状に近い画像を取得することができる。また、限られた範囲の過去および未来の画像（図２ではＤ＝５）を用いて基点となる画像を再構成しているので、長期間複数の過去画像を繰り返し合成して平滑化した場合と異なり、過去画像の影響を強く受けることを抑制することができる。さらに、入力画像内に移動物体が存在していても、移動物体の陽炎を低減することができる情報を含む平滑化画像Ｍを作成することができる。

図３は、階調分布算出部１２が対象画素の周辺領域の画素を用いて階調分布を算出する様子を示す図である。階調分布算出部１２は、時刻ｔに対応する入力画像Ｎの対象画素３１０を含む画像領域Ｅ１（例えば、３２画素ｘ３２画素）の階調分布を表すヒストグラムＨ１を求める。階調分布算出部１２は同様に、平滑化画像Ｍのうち画像領域Ｅ１に対応する画像領域Ｅ２の階調分布を表すヒストグラムＨ２を求める。ヒストグラムＨ１とＨ２の横軸は階調値、縦軸はその階調値の度数（出現数）を示す。以下に説明するその他のヒストグラムについても同様である。

階調分布算出部１２は、ヒストグラムＨ１とＨ２を計算する際に、複数の階調値を同一の階級（横軸）に含めることにより、階調値を丸める。階調値を丸めたヒストグラムは、その階級幅の範囲内に収まる画像揺らぎが同一の階級内に含まれるので、陽炎などの物体変形に強いという特徴をもつ。このことを利用して、陽炎により変形した画像領域と移動物体により変形した画像領域を区別することができる。以下に具体例とともに説明する。

図４は、過去、現在、未来の画像に含まれる移動物体の状況により、ヒストグラムＨ２が変化することを説明する図である。画像Ｎの対象画素４１０を含む領域Ｅ３のヒストグラムをＨ１とする。平滑化画像Ｍの対象画素４１１の領域Ｅ４のヒストグラムＨ２は、過去、現在、未来の画像に含まれる移動物体の速さに応じて形状が異なる。

移動物体の動きが静止から低速の場合、図４（１）に示すように、ヒストグラムＨ２はヒストグラムＨ１に類似した形状となる。移動物体の動きが低速から中速の場合、移動物体とは異なる絵柄の情報が少し含まれるため、図４（２）に示すように、ヒストグラムＨ２はヒストグラムＨ１とは少し形状が異なる。移動物体の動きが中速から高速の場合、移動物体とは大きく異なる絵柄が多く含まれるため、図４（３）に示すように、ヒストグラムＨ２はヒストグラムＨ１とは大きく異なる形状となる。したがって、画像ＮのヒストグラムＨ１と平滑化画像Ｍのヒストグラムを比較することにより、画像内の移動物体の動きを簡易的に調べることができる。

階調分布ヒストグラムの上記特性を利用して、ヒストグラムＨ１とＨ２の間の類似度に基づき、陽炎による静止領域の画像揺らぎと移動物体の動きを切り分けることができる。また、過去、現在、未来の画像を用いて作成した平滑化画像Ｍの各画素のヒストグラムＨ２を用いることにより、移動物体の有無や速さを簡易的に調べることができる。

類似度算出部１３は、階調分布算出部１２が求めた階調分布、例えば図３〜図４で説明した各ヒストグラム間の類似度を算出する。例えば下記式２を用いて、ＲＧＢ成分毎にＢｈａｔｔａｃｈａｒｙｙａ距離を利用してヒストグラム間の距離Ｂ３２（ｃ）を求め、ｒ成分に関するＢ３２（ｒ）とｇ成分に関するＢ３２（ｇ）とｂ成分に関するＢ３２（ｂ）を用いて類似度Ｒを算出する。類似度Ｒはヒストグラム間の距離に相当するので、Ｒの値が小さいほど類似度が高いことになる。式２におけるｃは、ｒｇｂのどれかを表す。

図５は、画像補正部１４の動作を説明する図である。画像補正部１４は、入力画像Ｎと平滑化画像Ｍを用いて、補正後画像の画素値を決定する。具体的には、類似度算出部１３が求めた類似度Ｒと２つの閾値Ｔ１、Ｔ２（Ｔ１＜Ｔ２）を用いて、画素毎に補正値を決定し、その補正値を用いて入力画像Ｎを補正する。

類似度Ｒ≦Ｔ１（ヒストグラム間の類似度が高い）である場合、例えば図５の領域６００や領域６０１がこれに該当し、これは画像内の物体の動きが静止から低速である場合に相当する。この場合は、平滑化画像Ｍを用いて補正を強くかけたいため、平滑化画像Ｍの画素値を補正値とする。

Ｔ２＜類似度Ｒの場合、例えば図５の領域６２０や領域６２１がこれに該当し、これは画像内の移動物体の動きが中速から高速である場合に相当する。この場合は、平滑化画像Ｍを用いて補正を実施すると、移動物体の動きが平滑化されたぼやけた画像となるため、平滑化画像Ｍは用いずに入力画像Ｎの画素値を補正値とする。

Ｔ１＜類似度Ｒ≦Ｔ２の場合、例えば図５の領域６１０の枠線の境界がこれに該当し、これは画像内の移動物体の動きが低速から中速である場合に相当する。これは上記の中間的な場合であるため、下記式３を用いて、入力画像Ｎと平滑化画像Ｍの各画素値をブレンドした値を補正値とする。式３において、座標（ｉ，ｊ）における画像Ｎの画素値をｎ（ｉ，ｊ）、座標（ｉ，ｊ）における平滑化画像Ｍの画素値をｍ（ｉ，ｊ）、各画素値をブレンドした値をｄ（ｉ，ｊ）とすると、ｅ（ｉ，ｊ）＝ｍ（ｉ，ｊ）、ｆ（ｉ，ｊ）＝ｎ（ｉ，ｊ）とする。

図６は、高解像度化部１５が使用する鮮鋭化フィルタの例である。高解像度化部１５は例えば図６に例示するようなフィルタを用いて各補正値を鮮鋭化し、解像度を向上した高解像度化画像Ｓを作成する。

平滑化画像Ｍは解像度が低下する場合があるので、図５の領域６００や領域６０１のように変形が小さい領域については、例えば図６（１）や図６（２）のＫ＝１．０とし、鮮鋭化の度合いを強くする。画像Ｎと平滑化画像Ｍの画素値をブレンドした値を用いる図５の領域６１０の枠線の境界については、例えば中間的なＫ＝０．７５とする。画像Ｎの画素値を用いる図６の領域６２０や領域６２１については、ノイズを強調しないように、例えばＫ＝０．５とする。上述の処理を全ての画素について実施することにより、静止領域と移動物体を含む画像全体の陽炎を低減しつつ解像度を向上させた高解像度化画像Ｓを作成することができる。

図７は、画像処理装置１の動作を示すフローチャートである。以下、図７の各ステップについて説明する。
（図７：ステップＳ７０１）
入力部１０は、過去、現在、未来の画像フレームを取得して画像平滑化部１１に出力する。画像平滑化部１１は平滑化画像Ｍを算出する。過去、現在、未来の画像の合計枚数が５の場合、ステップ７０１の添字ｕは２となる。

（図７：ステップＳ７０２〜Ｓ７０３）
階調分布算出部１２は、画像Ｎと平滑化画像Ｍの画素毎に、ヒストグラムＨ１とＨ２を算出する（Ｓ７０２）。類似度算出部１３は、ヒストグラムＨ１とＨ２の間の類似度Ｒを算出する（Ｓ７０３）。
（図７：ステップＳ７０４）
画像補正部１４は、類似度Ｒと各閾値とを比較する。Ｒ≦閾値Ｔ１の場合はステップ７０５に進む。それ以外であればステップＳ７０６に進む。
（図７：ステップＳ７０５）
画像補正部１４は、補正値として平滑化画像Ｍの画素値を設定する。
（図７：ステップＳ７０６〜Ｓ７０８）
画像補正部１４は、類似度Ｒが、閾値Ｔ１＜Ｒ≦Ｔ２を満たすか否かを判定する。上記条件を満たす場合はステップ７０７に進み、それ以外であればステップＳ７０８に進む。
（図７：ステップＳ７０７〜Ｓ７０８）
画像補正部１４は、ステップＳ７０６において条件を満たした場合は、画像Ｎと平滑化画像Ｍの画素値を式３に基づきブレンドした値を補正値として設定する（Ｓ７０７）。条件を満たさなかった場合は、画像Ｎの画素値を補正値に設定する（Ｓ７０８）。
（図７：ステップＳ７０９〜Ｓ７１０）
高解像度化部１５は、画像補正部１４が求めた補正後画像の解像度を向上した高解像度化画像Ｓを作成する（Ｓ７０９）。画像補正部１４と高解像度化部１５は、対象画像内の全ての画素について、補正値および高解像度化した画素値を求めるまで、上記ステップＳ７０２からＳ７０９を繰り返す（Ｓ７１０）。

＜実施の形態１：まとめ＞
以上のように、本実施形態１に係る画像処理装置１は、過去、現在（画像Ｎ）、未来の画像を用いて平滑化画像Ｍを作成し、画像Ｎと平滑化画像Ｍの画素毎にヒストグラムＨ１とＨ２を作成した後、ヒストグラムＨ１とＨ２の間の類似度Ｒに応じて画素毎に画素の補正量を変えている。これにより、画像内の陽炎を低減した補正後画像を生成することができる。

また、本実施形態１に係る画像処理装置１は、階調値を丸めたヒストグラムＨ１とＨ２の間の類似度に応じて画素毎に画素の補正量を変える。これにより、陽炎による静止領域の画像揺らぎと移動物体の動きを切り分けることができる。また、画像内の移動物体の動きを簡易的に調べることができる。これにより、静止領域と移動物体をともに含む画像全体の陽炎を低減することができる。

＜実施の形態２＞
実施形態１においては、平滑化画像Ｍと入力画像Ｎそれぞれの階調分布ヒストグラムを比較することにより、静止領域と移動物体を区別することを説明した。平滑化画像Ｍを用いることにより、メモリ９０の記憶容量を節約するとともに、比較回数を低減して演算負荷を抑えることができる。他方、これらリソースについてのハードウェア制約があまりない場合には、平滑化画像Ｍを作成せず個々の画像フレームと入力画像Ｎを比較することもできる。本発明の実施形態２では、入力画像Ｎとその前後の画像フレームそれぞれの階調分布ヒストグラムを個別比較する構成例を説明する。

図８は、本実施形態２に係る画像処理装置１の機能ブロック図である。本実施形態２における画像処理装置１は、実施形態１における構成とは異なり、画像平滑化部１１を備えていない。その他の構成は実施形態１と同様であるため、以下では主に各部の動作の違いについて説明する。

図９は、階調分布算出部１２の動作を説明する図である。階調分布算出部１２は、過去、現在、未来の各画像について、対象画素の周辺領域の画素を用いて、階調分布を算出する。図９に示す例においては、画像Ｎ−２の対象画素９１０を含む領域Ｅ５（例えば、３２画素ｘ３２画素）の部分画像を用いて、ヒストグラムＨ１を求める。同様に、画像Ｎ−１の対象画素９１１を含む領域Ｅ６の部分画像を用いてヒストグラムＨ２を求め、画像Ｎの対象画素９１２を含む領域Ｅ７の部分画像を用いてヒストグラムＨ３を求め、画像Ｎ＋１の対象画素９１３を含む領域Ｅ８の部分画像を用いてヒストグラムＨ４を求め、画像Ｎ＋２の対象画素９１４を含む領域Ｅ９の部分画像を用いてヒストグラムＨ５を求める。各ヒストグラムは、実施形態１と同様に階調値を丸めたものである。

類似度算出部１３は、階調分布算出部１２が求めた階調分布、例えば上記各ヒストグラム間の類似度を算出する。例えば、図９に示すヒストグラムＨ３を基準にして、上述した式２を用いて、ＲＧＢ毎に、ヒストグラムＨ１とＨ３間の距離Ｂ３２（ｃ）と類似度Ｒ１を算出する。同様に、ヒストグラムＨ２とＨ３間の距離Ｂ３２（ｃ）と類似度Ｒ２を算出し、ヒストグラムＨ４とＨ３間の距離Ｂ３２（ｃ）と類似度Ｒ３を算出し、ヒストグラムＨ５とＨ３間の距離Ｂ３２（ｃ）と類似度Ｒ４を算出する。

画像補正部１４は、入力画像Ｎとその前後の画像Ｎ−２、Ｎ−１、Ｎ＋１、Ｎ＋２を用いて、補正後画像の画素値を決定する。具体的には、類似度算出部１３が求めた類似度Ｒ１〜Ｒ４と２つの閾値Ｔ１、Ｔ２（Ｔ１＜Ｔ２）を用いて、画素毎に補正値を決定し、その補正値を用いて入力画像Ｎを補正する。

画像補正部１４は、まず画像Ｎ−２と画像Ｎそれぞれのヒストグラム間の類似度Ｒ１と上記各閾値を比較し、画像Ｎ−２を用いて画像Ｎを補正すると仮定した場合における補正値Ｃ１を求める。類似度Ｒ１≦Ｔ１（ヒストグラム間の類似度が高い）の場合、画像Ｎ−２の画素値を補正値Ｃ１とする。Ｔ１＜類似度Ｒ１≦Ｔ２の場合、画像Ｎと画像Ｎ−２の各画素値を式３に基づきブレンドして求めた値を補正値Ｃ１とする。Ｔ２＜類似度Ｒ１の場合、画像Ｎの画素値を補正値Ｃ１とする。

画像補正部１４は以下同様に、その他の画像と画像Ｎそれぞれのヒストグラム間の類似度Ｒ２〜Ｒ４について補正値Ｃ２〜Ｃ４を決定する。画像補正部１４は、補正値Ｃ１〜Ｃ４と画像Ｎの画素値ｎを用いて、下記式４に基づき、最終的に使用する補正値を求める。式４において、補正に使用する過去、現在、未来の画像の合計枚数が５枚の場合は、Ａ＝４であり、ｐ６＝１＋Ａ＝５となる。

上記式４に代えて、閾値判定を実施せず、類似度Ｒｉ（ｉ＝１〜４）と各画像の画素値を用いて下記式５に基づき最終的な補正値を求めてもよい。式５において、ａｉは各画像の画素値である。ａ１は画像Ｎ−２、ａ２は画像Ｎ−１、ａ３は画像Ｎ＋１、ａ４は画像Ｎ＋２の画素値をそれぞれ表す。

上記手順によれば、図９の領域９２０や９３０は全ての画像（画像Ｎ−２、画像Ｎ−１、画像Ｎ、画像Ｎ＋１、画像Ｎ＋２）を使用して陽炎を補正し、図９の領域９４０や枠線９５０の境界は、類似度Ｒｉ≦閾値Ｔ１を満たす数枚の画像を用いて陽炎を補正し、図９の領域９６０や９６１は画像Ｎの画素値が設定される。そのため、静止領域と移動物体をともに含む画像全体の陽炎を補正することができる。

高解像度化部１５は、複数の画像の各画素値を合成して各補正値を求めた場合、画像の解像度が低下する場合があるので、図９の領域９２０や領域９３０に対しては、図６におけるＫ＝１．０とする。図９の領域９４０や枠線９５０の境界に対しては、例えばＫ＝０．７５とする。図９の領域９６０や領域９６１に対しては、Ｋ＝０．５とする。

図１０は、画像処理装置１の動作を示すフローチャートである。以下、図１０の各ステップについて説明する。
（図１０：ステップＳ１００１）
階調分布算出部１２は、入力部１０より出力された、過去、現在、未来の画像（画像Ｎ−２〜Ｎ＋２）の画素毎に、ヒストグラムＨ１〜Ｈ５を算出する。過去、現在、未来の画像の合計枚数が５の場合、ステップＳ１００１のｕは２となる。
（図１０：ステップＳ１００２）
類似度算出部１３は、ヒストグラムＨ３と各ヒストグラム（Ｈ１、Ｈ２、Ｈ４、Ｈ５）との間の類似度Ｒ１〜Ｒ４を算出する。画像補正部１４は、補正値Ｃ１〜Ｃ４を求める際に使用する添字ｉを初期化しておく（ｉ＝１）。ｉ＝１は画像Ｎ−２に対応し、ｉ＝２は画像Ｎ−１に対応し、ｉ＝３は画像Ｎ＋１に対応し、ｉ＝４は画像Ｎ＋２に対応する。

（図１０：ステップＳ１００３）
画像補正部１４は、類似度Ｒｉ≦閾値Ｔ１を満たすか否かを判定する。満たす場合はステップＳ１００４に進み、それ以外であればステップＳ１００５へ進む。
（図１０：ステップＳ１００４）
画像補正部１４は、他画像（画像Ｎではない方の画像）の画素値を補正値Ｃｉとする。
（図１０：ステップＳ１００５）
画像補正部１４は、閾値Ｔ１＜Ｒｉ≦Ｔ２を満たすか否かを判定する。満たす場合はステップＳ１００６に進み、それ以外であればステップＳ１００７に進む。
（図１０：ステップＳ１００６）
画像補正部１４は、画像Ｎの画素値と他画像（画像Ｎではない方の画像）の画素値をブレンドした値を補正値Ｃｉとする。すなわち、座標（ｉ，ｊ）における画像Ｎの画素値をｎ（ｉ，ｊ）、座標（ｉ，ｊ）における他画像の画素値をｎ２（ｉ，ｊ）とすると、式３において、ｅ（ｉ，ｊ）＝ｎ２（ｉ，ｊ）、ｆ（ｉ，ｊ）＝ｎ（ｉ，ｊ）とする。

（図１０：ステップＳ１００７）
画像補正部１４は、画像Ｎの画素値を補正値Ｃｉとする。
（図１０：ステップＳ１００８）
画像補正部１４は、全ての補正値Ｃｉ（ｉ＝１〜４）を算出し終えた場合はステップＳ１００９に進み、算出していない補正値Ｃｉが残っている場合はｉをインクリメントしてステップＳ１００３に戻る。
（図１０：ステップＳ１００９〜Ｓ１０１１）
画像補正部１４は、式４または式５を用いて、最終的に用いる補正値を算出する（Ｓ１００９）。高解像度化部１５は、補正値を高解像度化した値を算出する（Ｓ１０１０）。画像補正部１４と高解像度化部１５は、対象画像内の全ての画素について、補正値および解像度を向上した値を求めるまで、上記ステップＳ１００１からＳ１０１０を繰り返す（Ｓ１０１１）。

＜実施の形態２：まとめ＞
以上のように、本実施形態２に係る画像処理装置１は、過去、現在（画像Ｎ）、未来の各画像（画像Ｎ−２〜Ｎ＋２）について、画素毎にヒストグラムＨ１〜Ｈ５を作成し、ヒストグラムＨ３と各ヒストグラム（Ｈ１、Ｈ２、Ｈ４、Ｈ５）を比較して類似度Ｒ１〜Ｒ４を求め、その類似度Ｒ１〜Ｒ４に応じて画素毎に画素の補正量を変えている。これにより、実施形態１と比較して、ヒストグラム間の差分をより鮮明に算出することができる。すなわち、実施形態１においては複数の画像を平滑化した平滑化画像Ｍと画像Ｎの間でヒストグラムを比較しているので、ヒストグラム間の差分は本実施形態２と比較して大きくなる傾向があると考えられる。本実施形態２によれば、ヒストグラム間の差分を鮮明に算出してより適切な補正値を選択することができる。

また、本実施形態２に係る画像処理装置１は、式４または式５いずれかを用いて、最終的な補正値を決定する。これにより、陽炎補正のために使用する画像枚数を画素毎に動的に変更することができる。例えば式４を用いる場合は画像Ｎ−２〜Ｎ＋２から求めた補正値Ｃｉと画像Ｎの画素値を均等に用い、式５を用いる場合は類似度Ｒｉに応じて画像Ｎ−２〜Ｎ＋２の画素値を重み付け加算して用いることになる。したがって、画素毎に適切な枚数の画像を用いて、移動物体を含む画像の陽炎を補正することができる。さらには、その他適当な基準にしたがって、画像Ｎ−２〜Ｎ＋２のなかから任意に選択した画像のみを用いてもよい。

＜実施の形態３＞
実施形態１〜２においては、階調値を丸めたヒストグラムを用いて、陽炎による画像揺らぎと移動物体とを区別し、適切な枚数の画像を用いて画像の陽炎を補正することとした。本発明の実施形態３においては、移動物体をあらかじめ入力画像Ｎから除去した移動物体除去画像Ｔを生成し、これと入力画像Ｎを比較することにより、移動物体が存在しない静止領域の陽炎をより好適に低減する構成例を説明する。

図１１は、本実施形態３に係る画像処理装置１の機能ブロック図である。本実施形態３における画像処理装置１は、実施形態１または２で説明した構成に加えて除去画像生成部１１１１を備える。その他の構成は実施形態１〜２と同様であるため、以下では差異点を中心に説明する。以下では便宜上、実施形態１の構成を前提とする。

除去画像生成部１１１１は、下記式６を用いて、入力画像Ｎから移動物体を除去した移動物体除去画像Ｔを作成する。式６において、パラメータＵは０＜Ｕ＜１の値とする。

図１２は、除去画像生成部１１１１の処理例を説明する図である。除去画像生成部１１１１は、画像Ｎ−３の座標（ｉ，ｊ）における対象画素１２１０（ｎ３（ｉ，ｊ））を含む領域Ｅ１０の部分画像と画像Ｎ−２の座標（ｉ，ｊ）における対象画素１２１１（ｎ２（ｉ，ｊ））を含む領域Ｅ１１の部分画像に対して、実施形態１で説明したヒストグラムおよび類似度Ｒを求める。Ｒ≦閾値Ｔ１の場合、式６のｖ（ｉ，ｊ）＝ｎ３（ｉ，ｊ）、ｗ（ｉ，ｊ）＝ｎ２（ｉ，ｊ）として、式６を用いて座標（ｉ，ｊ）における補正値ｈ（ｉ，ｊ）を求める。Ｒ＞閾値Ｔ１の場合は、過去画像、すなわち画像Ｎ−３の画素値を補正値とする。除去画像生成部１１１１は、全ての画素について上記判定を実施し、移動物体除去画像Ｔ−２を作成する。

除去画像生成部１１１１は次に、移動物体除去画像Ｔ−２の座標（ｉ，ｊ）における対象画素１２１４（ｔ２（ｉ，ｊ））を含む領域Ｅ１４の部分画像と画像Ｎ−１の座標（ｉ，ｊ）における対象画素１２１２（ｎ１（ｉ，ｊ））を含む領域Ｅ１２の部分画像に対して、上記と同様の処理を実施して移動物体除去画像Ｔ−１を作成する。

除去画像生成部１１１１は次に、移動物体除去画像Ｔ−１の座標（ｉ，ｊ）における対象画素１２１５（ｔ１（ｉ，ｊ））を含む領域Ｅ１５の部分画像と画像Ｎの座標（ｉ，ｊ）における対象画素１２１３（ｎ（ｉ，ｊ））を含む領域Ｅ１３の部分画像に対して、上記と同様の処理を実施して、現在（時刻ｔ）の画像Ｎに対応する移動物体除去画像Ｔを作成する。

以上の処理によれば、画像内の静止領域のみが繰り返し平滑化されるため、移動物体除去画像Ｔ内の静止領域における陽炎は大幅に低減される。なお、図１２においては移動物体が存在しない画像Ｎ−３から処理を開始しているが、仮に画像Ｎ−２から処理を開始したとしても、同様の処理を画像Ｎ以降においても繰り返すことにより、静止領域のみを残した画像を作成することができる。したがって、いずれの画像から上記処理を開始するかはあまり重要ではない。

階調分布算出部１２は、移動物体除去画像生成部１１１１が作成した移動物体除去画像ＴのヒストグラムＨ６、画像ＮのヒストグラムＨ７、画像平滑化部１１が作成した平滑化画像ＭのヒストグラムＨ８をそれぞれ画素毎に求める。

図１３は、類似度算出部１３と画像補正部１４の処理を説明する図である。類似度算出部１３は、式２を用いて、ＲＧＢ毎に、階調分布算出部１２が求めたヒストグラムＨ７とＨ８間の距離Ｂ３２（ｃ）と類似度Ｒを算出する。また、ＲＧＢ毎に、階調分布算出部１２が求めたヒストグラムＨ７とＨ６間の距離Ｂ３２（ｃ）と類似度ＲＴを算出する。

画像補正部１４は、入力画像Ｎ、移動物体除去画像Ｔ、平滑化画像Ｍを用いて、補正後画像の画素値を決定する。具体的には、類似度算出部１３が求めた類似度Ｒ、ＲＴと２つの閾値Ｔ１、Ｔ２（Ｔ１＜Ｔ２）を用いて、画素毎に補正値を決定し、その補正値を用いて入力画像Ｎを補正する。

画像補正部１４は、類似度算出部１３が求めた類似度Ｒと上記各閾値を比較し、平滑化画像Ｍを用いて画像Ｎを補正すると仮定した場合における補正値Ｃを求める。類似度Ｒ≦Ｔ１（ヒストグラム間の類似度が高い）の場合、平滑化画像Ｍの画素値を補正値Ｃとする。Ｔ１＜類似度Ｒ≦Ｔ２の場合、画像Ｎと平滑化画像Ｍの各画素値を式３に基づきブレンドして求めた値を補正値Ｃとする。類似度Ｒ＞Ｔ２の場合、画像Ｎの画素値を補正値Ｃとする。

画像補正部１４は次に、類似度算出部１３が求めた類似度ＲＴと上記各閾値を比較し、移動物体除去画像Ｔを用いて画像Ｎを補正すると仮定した場合における補正値ＣＴを求める。類似度ＲＴ≦Ｔ１の場合、例えば図１３の領域１３００や領域１３２０がこれに該当し、移動物体除去画像Ｔの画素値を補正値ＣＴとする。Ｔ１＜類似度ＲＴ≦Ｔ２の場合、例えば図１３の領域１３１０や枠線１３３０の境界がこれに該当し、移動物体除去画像Ｔの画素値と補正値Ｃを式３に基づきブレンドして求めた値を補正値ＣＴとする。類似度ＲＴ＞Ｔ２の場合、例えば図１３の領域１３４０や領域１３４１がこれに該当し、補正値ＣＴとして補正値Ｃを用いる。画像補正部１４は、求めた補正値ＣＴを最終的な補正値とする。

高解像度化部１５は、移動物体除去画像Ｔや平滑化画像Ｍは解像度が低下する場合があるので、図１３の領域１３００や領域１３２０に対しては、例えば図６におけるＫ＝１．０とする。図１３の領域１３１０や枠線１３３０の境界に対しては、例えばＫ＝０．７５とする。図１３の領域１３４０や領域１３４１に対しては、ノイズを強調しないように、例えばＫ＝０．５とする。

図１４は、画像処理装置１の動作を示すフローチャートである。以下、図１４の各ステップについて説明する。
（図１４：ステップＳ１４０１）
除去画像生成部１１１１は、図１２で説明した手順にしたがって入力画像Ｎから移動物体を除去し、移動物体除去画像Ｔを作成する。移動物体除去画像Ｔ内においては、静止領域の陽炎による画像揺らぎが低減されている。
（図１４：ステップＳ１４０２）
画像平滑化部１１は、平滑化画像Ｍを作成する。平滑化画像Ｍ内においては、移動物体や移動物体と静止領域の境界における陽炎が低減されている。

（図１４：ステップＳ１４０３〜Ｓ１４０４）
階調分布算出部１２は、時刻ｔの画像ＮのヒストグラムＨ７、平滑化画像ＭのヒストグラムＨ８、移動物体除去画像ＴのヒストグラムＨ６をそれぞれ算出する（Ｓ１４０３）。類似度算出部１３は、ヒストグラムＨ７とヒストグラムＨ８の間の類似度Ｒ、ヒストグラムＨ７とヒストグラムＨ６の間の類似度ＲＴをそれぞれ算出する（Ｓ１４０４）。
（図１４：ステップＳ１４０５）
画像補正部１４は、Ｒ≦閾値Ｔ１である場合はステップＳ１４０６に進み、それ以外であればステップＳ１４０７に進む。
（図１４：ステップＳ１４０６）
画像補正部１４は、平滑化画像Ｍの画素値を補正値Ｃとする。

（図１４：ステップＳ１４０７）
画像補正部１４は、類似度Ｒが、閾値Ｔ１＜Ｒ≦Ｔ２を満たすか否かを判定する。満たす場合はステップＳ１４０８に進み、それ以外であればステップＳ１４０９に進む。
（図１４：ステップＳ１４０８）
画像補正部１４は、平滑化画像Ｍの画素値と画像Ｎの画素値をブレンドした値を補正値Ｃとする。すなわち、座標（ｉ，ｊ）における平滑化画像Ｍの画素値をｍ（ｉ，ｊ）、座標（ｉ，ｊ）における画像Ｎの画素値をｎ（ｉ，ｊ）とすると、式３において、ｅ（ｉ，ｊ）＝ｍ（ｉ，ｊ）、ｆ（ｉ，ｊ）＝ｎ（ｉ，ｊ）とし、ブレンドした値を求める。
（図１４：ステップＳ１４０９）
画像補正部１４は、画像Ｎの画素値を補正値Ｃとする。

（図１４：ステップＳ１４１０）
画像補正部１４は、類似度ＲＴが、ＲＴ≦閾値Ｔ１を満たすか否かを判定する。満たす場合はステップＳ１４１１に進み、それ以外であればステップＳ１４１２に進む。
（図１４：ステップＳ１４１１）
画像補正部１４は、移動物体除去画像Ｔの画素値を補正値ＣＴとする。
（図１４：ステップＳ１４１２）
画像補正部１４は、類似度ＲＴが、閾値Ｔ１＜ＲＴ≦Ｔ２を満たすか否かを判定する。満たす場合はステップＳ１４１３に進み、それ以外であればステップＳ１４１４に進む。

（図１４：ステップＳ１４１３）
画像補正部１４は、移動物体除去画像Ｔの画素値と補正値Ｃをブレンドした値を補正値ＣＴとする。すなわち、座標（ｉ，ｊ）における移動物体除去画像Ｔの画素値をｔ０（ｉ，ｊ）とすると、式３において、ｅ（ｉ，ｊ）＝ｔ０（ｉ，ｊ）、ｆ（ｉ，ｊ）＝補正値Ｃとなる。
（図１４：ステップＳ１４１４）
画像補正部１４は、座標（ｉ，ｊ）における補正値Ｃを補正値ＣＴとする。画像補正部１４は、以上のステップにより求めた補正値ＣＴを最終的な補正値として採用する。
（図１４：ステップＳ１４１５〜Ｓ１４１６）
高解像度化部１５は、補正値を高解像度化した値を算出する（Ｓ１４１５）。画像補正部１４と高解像度化部１５は、対象画像内の全ての画素について、補正値および解像度を向上した値を求めるまで、上記ステップＳ１４０３からＳ１４１５を繰り返す（Ｓ１４１６）。

＜実施の形態３：まとめ＞
以上のように、本実施形態３に係る画像処理装置１は、平滑化画像Ｍに加えて移動物体除去画像Ｔを作成し、入力画像Ｎと平滑化画像Ｍとの間の（ヒストグラムの）類似度Ｒ、および入力画像Ｎと移動物体除去画像Ｔとの間の（ヒストグラムの）類似度ＲＴに応じて画素毎に画素の補正量を変えている。移動物体除去画像Ｔの画素値を補正値ＣＴとして導入することにより、入力画像Ｎ内の静止領域の陽炎をより好適に低減することができる。

また、本実施形態３に係る画像処理装置１は、移動物体除去画像Ｔの画素値、時刻ｔの画像Ｎの画素値、平滑化画像Ｍの画素値のうち、上述の類似度に応じて最も適切なものを最終的な補正値ＣＴとして用いる。これにより、画像内の静止領域の陽炎をさらに効果的に抑制しつつ、静止領域と移動物体をともに含む画像全体の陽炎を低減した補正後画像を求めることができる。

＜実施の形態４＞
図１５は、本発明の実施形態４に係る撮像装置１５００の機能ブロック図である。撮像装置１５００は、撮像部１５０１、画像処理装置１、画像表示部１５０２を備える。撮像部１５０１は、被写体から発する光を受光し、受光した光学像を画像データに変換する撮像デバイスである。画像処理装置１は、実施形態１〜３いずれかに係る画像処理装置１であり、撮像部１５０１が撮影した画像データを受け取って陽炎を補正する。画像表示部１５０２は、画像処理装置１が出力する補正後画像を表示するディスプレイなどのデバイスである。

画像表示部１５０２は、動作モードに応じて表示する画像を切り替える。例えば、モードが１の場合、陽炎を低減した補正後画像を表示し、モードが０の場合、入力画像を表示する。

本実施形態４に係る撮像装置１５００によれば、静止領域と移動物体をともに含む画像全体の陽炎を低減した補正後画像を撮影者に対して表示する撮像装置を提供することができる。

＜実施の形態５＞
図１６は、本発明の実施形態５に係る監視システム１６００の機能ブロック図である。監視システム１６００は、撮像装置１６０１、画像処理装置１、サーバ１６０２、表示装置１６０３を備える。撮像装置１６０１は、画像データを撮影する１以上の監視カメラなどの撮像装置である。画像処理装置１は、実施形態１〜３いずれかに係る画像処理装置１であり、撮像装置１６０１が撮影した画像データを受け取って陽炎を補正する。サーバ１６０２は、画像処理装置１を搭載したコンピュータである。表示装置１６０４は、画像処理装置１が出力する補正後画像を表示するディスプレイなどのデバイスである。

撮像装置１６０１とサーバ１６０２の間、およびサーバ１６０２と表示装置１６０３の間は、被監視場所と監視オペレータとの間の物理的配置などに応じて、例えばインターネットなどのネットワークを介して接続することができる。

本実施形態５に係る監視システム１６００によれば、静止領域と移動物体をともに含む画像全体の陽炎を低減した補正後画像を監視オペレータに対して表示する監視システムを提供することができる。

＜実施の形態６＞
図１７は、本発明の実施形態６に係る符号復号システム１７００の機能ブロック図である。符号復号システム１７００は、符号化装置１７１０、復号器１７２１、表示装置１７２２を備える。符号化装置１７１０は、撮像装置１７１１、画像処理装置１、符号器１７１２を備える。

撮像装置１７１１は、画像データを撮影する監視カメラなどの撮像装置である。画像処理装置１は、実施形態１〜３いずれかに係る画像処理装置１であり、撮像装置１７１１が撮影した画像データを受け取って陽炎を補正する。符号器１７１２は、画像処理装置１が出力する補正後画像データを符号化し、ネットワークを介して復号器１７２１へ伝送する。復号器１７２１は、伝送されてきた補正後画像データを復号化する。表示装置１７２２は、復号器１７２１が復号化した画像を表示する。

本実施形態６に係る符号復号システム１７００によれば、静止領域と移動物体をともに含む画像全体の陽炎を低減した復号後画像を表示する符号復号システムを提供することができる。さらに、画像内の陽炎が低減することにより、符号器１７１２が伝送すべき画像間の差分が小さくなり、符号化効率が向上する。

＜実施の形態７＞
本発明の実施形態７では、以上説明した実施形態１〜６における各構成要素の変形例について説明する。

画像平滑化部１１は、過去、現在、未来の５枚の画像を用いて平滑化画像Ｍを作成することを説明したが、平滑化画像Ｍを作成するために使用する画像は５枚に限られるものではない。実施形態２において画像Ｎと比較する画像枚数についても同様である。また画像平滑化部１１は、一定期間内における過去画像と現在画像、または、一定期間内における未来画像と現在画像を用いて平滑化画像Ｍを作成してもよい。この場合の効果も同様である。

類似度算出部１３は、Ｂｈａｔｔａｃｈａｒｙｙａ距離を利用してヒストグラム間の類似度を算出することを説明したが、ヒストグラム間の度数の差分の総和等、ヒストグラム間の距離を求める従来の他の比較手法を用いて類似度を算出してもよい。この場合の効果も同様である。

高解像度化部１５は、鮮鋭化フィルタとして図６を用いることを説明したが、他の鮮鋭化フィルタや従来技術である超解像技術を用いて、陽炎を低減した画像を高解像度化してもよい。この場合の効果も同様である。

実施形態３において、画像補正部１４は、補正値ＣＴを求める上で移動物体除去画像Ｔを用いることを説明したが、図１２における移動物体除去画像Ｔ−１を用いてもよい。移動物体除去画像Ｔ−１を使用する場合は、図１４のステップＳ１４１１において、移動物体除去画像Ｔ−１の画素値を補正値ＣＴとし、図１４のステップＳ１４１３において、移動物体除去画像Ｔ−１の画素値と補正値Ｃをブレンドした値を補正値ＣＴとする。

本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。

上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

１：画像処理装置、１０：入力部、１１：画像平滑化部、１２：階調分布算出部、１３：類似度算出部、１４：画像補正部、１５：高解像度化部、１６：記録部、９１：制御部、１１１１：除去画像生成部、１５００：撮像装置、１６００：監視システム、１７００：符号復号システム。

Claims (15)

1. 時系列に沿って撮影された複数の画像フレームを受け取る入力部と、
   前記画像フレームのうち補正対象とする対象フレーム内における第１画像領域の第１階調分布を算出するとともに、前記画像フレームのうち前記対象フレームを補正するために用いる補正用フレーム内における前記第１画像領域に対応する第２画像領域の第２階調分布を算出する、階調算出部と、
   前記第１階調分布と前記第２階調分布との間の第１類似度を算出する類似度算出部と、
   前記補正用フレームを用いて前記対象フレームを補正する画像補正部と、
   前記画像補正部が補正した前記対象フレームを出力する出力部と、
   を備え、
   前記画像補正部は、前記第１類似度に応じて前記対象フレームと前記補正用フレームを使用する割合を変更した上で、前記補正用フレームを用いて前記対象フレームを補正する
   ことを特徴とする画像処理装置。
2. 前記階調算出部は、前記補正用フレームとして、前記画像フレームのうち前記対象フレームよりも前に撮影された画像フレームと前記対象フレームよりも後に撮影された画像フレームを用いる
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記画像補正部は、
   前記類似度が第１閾値以下である場合は前記対象フレームを補正するために用いる第１補正値として前記補正用フレームの画素値を採用し、
   前記類似度が第２閾値を超える場合は前記第１補正値として前記対象フレームの画素値を採用し、
   前記類似度が前記第１閾値を超え前記第２閾値以下である場合は前記第１補正値として前記補正用フレームの画素値と前記対象フレームの画素値を前記類似度に応じて重み付け加算した画素値を採用する
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記画像処理装置は、前記画像フレーム内に含まれる移動物体の画像を除去した移動物体除去画像を生成する除去画像生成部を備え、
   前記階調算出部は、前記移動物体除去画像内における前記第１画像領域に対応する第３画像領域の第３階調分布を算出し、
   前記類似度算出部は、前記第１階調分布と前記第３階調分布との間の第２類似度を算出し、
   前記画像補正部は、前記第１類似度と前記第２類似度に応じて前記対象フレームと前記補正用フレームと前記移動物体除去画像を使用する割合を変更した上で、前記補正用フレームと前記移動物体除去画像を用いて前記対象フレームを補正する
   ことを特徴とする請求項３記載の画像処理装置。
5. 前記除去画像生成部は、
   前記第２類似度の高低に基づき前記画像フレームのうち前記移動物体が含まれる画像領域と含まれない画像領域を判定し、
   前記移動物体が含まれない画像領域については撮影時刻が異なる複数の画像フレームを平滑化し、前記移動物体が含まれる画像領域については前記撮影時刻が異なる複数の画像フレームのうち撮影時刻が古い方を残し新しい方は破棄することを繰り返すことにより、前記移動物体除去画像を生成する
   ことを特徴とする請求項４記載の画像処理装置。
6. 前記画像補正部は、
   前記第２類似度に応じて前記第１補正値を上書きした第２補正値を用いて前記対象フレームを補正し、
   前記第２類似度が第３閾値以下である場合は前記第２補正値として前記移動物体除去画像の画素値を採用し、
   前記第２類似度が第４閾値を超える場合は前記第２補正値として前記第１補正値を採用し、
   前記第２類似度が前記第３閾値を超え前記第４閾値以下である場合は前記第２補正値として前記第１補正値と前記移動物体除去画像の画素値を前記第２類似度に応じて重み付け加算した画素値を採用する
   ことを特徴とする請求項５記載の画像処理装置。
7. 前記階調算出部は、
   各前記階調分布として、前記画像フレームの階調値を階級値とするヒストグラムを算出し、
   １つの前記階級値内に複数の前記階調値を含めることにより、階調値を丸めた前記ヒストグラムを作成する
   ことを特徴とする請求項２記載の画像処理装置。
8. 前記画像処理装置は、前記画像補正部が補正した前記対象フレームを鮮鋭化する高解像度化部を備える
   ことを特徴とする請求項２記載の画像処理装置。
9. 前記画像処理装置は、前記入力部が受け取った複数の前記画像フレームを時系列に沿って合成した平滑化画像を生成する画像平滑化部を備え、
   前記階調算出部と前記画像補正部は、前記補正用フレームとして前記平滑化画像を用いる
   ことを特徴とする請求項２記載の画像処理装置。
10. 前記類似度算出部は、
    前記補正用フレームとして前記対象フレームの前後に撮影された複数の前記画像フレームを採用し、複数の前記補正用フレーム毎に前記第１類似度を算出し、
    前記画像補正部は、
    複数の前記補正用フレームについてそれぞれ前記第１補正値を求め、各前記第１補正値のうち少なくともいずれかを用いて、前記対象フレームを補正する
    ことを特徴とする請求項３記載の画像処理装置。
11. 前記画像補正部は、各前記第１補正値を平均した画素値、または各前記第１補正値を前記第１類似度に応じて重み付け加算した画素値を用いて、前記対象フレームを補正する
    ことを特徴とする請求項１０記載の画像処理装置。
12. 請求項１記載の画像処理装置と、
    画像データを撮影してその画像フレームを前記画像処理装置に出力する撮像部と、
    を備えることを特徴とする撮像装置。
13. 請求項１記載の画像処理装置と、
    画像データを撮影してその画像フレームをネットワーク経由で前記画像処理装置に出力する撮像部と、
    を備えることを特徴とする監視システム。
14. 請求項１記載の画像処理装置と、
    画像データを撮影してその画像フレームを前記画像処理装置に出力する撮像部と、
    前記画像処理装置が出力する前記補正後の対象フレームを符号化する符号器と、
    を備えることを特徴とする符号化装置。
15. 時系列に沿って撮影された複数の画像フレームを受け取る入力ステップ、
    前記画像フレームのうち補正対象とする対象フレーム内における第１画像領域の第１階調分布を算出するとともに、前記画像フレームのうち前記対象フレームを補正するために用いる補正用フレーム内における前記第１画像領域に対応する第２画像領域の第２階調分布を算出する、階調算出ステップ、
    前記第１階調分布と前記第２階調分布との間の第１類似度を算出する類似度算出ステップ、
    前記補正用フレームを用いて前記対象フレームを補正する画像補正ステップ、
    前記画像補正ステップにおいて補正した前記対象フレームを出力する出力ステップ、
    を有し、
    前記画像補正ステップにおいては、前記第１類似度に応じて前記対象フレームと前記補正用フレームを使用する割合を変更した上で、前記補正用フレームを用いて前記対象フレームを補正する
    ことを特徴とする画像処理方法。

Images