WO2015005196A1

WO2015005196A1 - 画像処理装置及び画像処理方法

Info

Publication number: WO2015005196A1
Application number: PCT/JP2014/067688
Authority: WO
Inventors: 佑一郎小宮; 山口　宗明; 晴洋古藤
Original assignee: 株式会社日立国際電気
Priority date: 2013-07-09
Filing date: 2014-07-02
Publication date: 2015-01-15
Also published as: JP5908174B2; US9547890B2; US20160171664A1; EP3021575B1; JPWO2015005196A1; EP3021575A1; EP3021575A4

Abstract

静止領域と移動物体をともに含む画像から、陽炎による揺らぎを低減する画像処理装置を提供する。装置は、補正対象画像と補正用フレームそれぞれの階調分布のヒストグラムを求め、それらの類似度に応じて補正対象画像と補正用フレームを混合する割合を変えながら、補正用フレームを用いて補正対象画像を補正する。ヒストグラムが算出される画像ブロックのサイズを適応的に制御するため、装置は、補正対象画像と補正画像のそれぞれの画像ブロックから、被写体の変形に対する頑健性の異なる２つの指標を算出し、これらの指標の関係性に基づいて、画素ブロックサイズの妥当性を判断する。２つの指標の一方にはヒストグラム差分、他方には画素値の絶対値差分の総和（ＳＡＤ）が利用できる。

Description

画像処理装置及び画像処理方法

　本発明は、画像処理装置及び画像処理方法に係り、特に陽炎等による画質劣化を軽減するための画像処理装置及び画像処理方法に関する。

　近年、防犯や現場管理等を目的として監視カメラの需要が高まっており、半導体技術やネットワーク技術の発展と共にその機能も多様化している。
　監視カメラは、大気や照明変化の影響を受け易く、これらの影響による画像の視認性を改善することは、監視カメラにとって重要な課題の１つである。中でも、揺れ補正（スタビライザ）、階調補正、外乱（霧、雨、吹雪、黄砂、スモッグ等）補正などに代表される画像補正技術は重要であり、これまでにもさまざまな製品に搭載されてきた。

　さて、監視カメラの画像の視認性を低下させる自然現象の１つとして、陽炎を挙げることができる。陽炎は、空気の温度差等によって局所的に密度の異なる大気が混ざり合うことによって光が屈折して発生する現象である。陽炎が発生すると、被写体が変形して観察されるため、撮影した画像を再生すると、画像内の特定領域が大きく揺らいで見える。このように、陽炎等によって空気が揺らいで見える現象（空気揺らぎ）に起因する歪みが画像内に発生する。このため、被写体の視認性が低下する。

　特許文献１においては、空気揺らぎに起因する画像内の歪み（本明細書では、以降、単に“歪み”と称する）が発生するか否かを判定し、歪みが発生すると判定した場合に、連続撮影により複数の画像を生成し、複数枚の画像を加算（平均化）して、１枚の歪みが補正された画像を生成している。
　また、特許文献２は、１フレーム前の画像に着目して陽炎等の画像補正を行っている。

特開２０１２－１８２６２５号公報特開２０１１－２２９０３０号公報

　上述した特許文献１や特許文献２のように、連続撮影した過去の複数の画像を加算（平均化）すると、画像内に移動物体（移動する被写体）が含まれる場合に、移動物体が２重、３重になって映し出され、画像が大きく劣化してしまう可能性がある。
　本発明の目的は、上記課題に鑑みて為されたものであり、静止領域と移動物体を共に含む画像の場合に発生する歪みを低減することができる画像処理技術を提供することにある。

　本発明に係る画像処理装置は、補正対象フレーム（補正対象画像）と補正用フレーム（補正用画像）それぞれの階調分布（ヒストグラム）を求め、その類似度に応じて補正対象フレームと補正用フレームを用いる割合を変えた上で、補正用フレームを用いて補正対象フレームを補正する。
　また、補正対象画像と補正画像のそれぞれのヒストグラムは、補正対象画像と補正用画像の比較対象画素ブロックから、被写体の変形に対する頑健性の異なる複数の指標を算出し、頑健性の異なる２つの指標の関係性により、比較対象画素ブロック内の被写体の状態と比較対象画素ブロックサイズとの関係を判断し、適切な比較対象画素ブロックサイズを決定し、決定した比較対象画素ブロックサイズで求める。

　本発明に係る画像処理装置によれば、静止領域と移動物体を共に含む画像において、空気揺らぎに起因する画像内の歪みを低減した良質の画像を提供することができる。特に、陽炎の発生による空気揺らぎに対して、歪みを低減した良質の画像を提供することができる。

時間平滑化処理が画像に与える効果を説明する図。画像内の歪みとヒストグラムの関係を示した図。比較対象画素ブロックのブロックサイズが大きいと移動物体（移動する被写体）を検出できなくなることを説明する図。実施例１の画像処理装置４のブロック図。実施例１のパラメータ制御装置２が算出する異なる２つの指標の分布の分類の仕方の模式図。実施例１のパラメータ制御装置２が比較対象画素ブロックサイズを最適化する手順のフローチャート。実施例２の画像処理装置７の構成を示すブロック図。実施例１又は２の揺らぎ補正装置１の機能ブロック図。画像平滑化部１１の動作例を説明する図。階調分布算出部１２が対象画素の周辺領域の画素を用いて階調分布を算出する様子を示す図。過去、現在、未来の画像に含まれる移動物体の状況により、ヒストグラムＨ２が変化することを説明する図。画像補正部１４の動作を説明する図。高解像度化部１５が使用する鮮鋭化フィルタのカーネル。揺らぎ補正装置１の処理動作を示すフローチャート。実施例３に係る撮像装置１５００の機能ブロック図。実施例４に係る監視システム１６００の機能ブロック図。実施例５に係る符号復号システム１７００の機能ブロック図。

　以下、本発明の実施例を、図面を参照して説明する。各図面において共通の構成要素には同一の符号を付与した。
　なお、本発明は、以下に説明する実施例に限定されるものではなく、様々な変形例が含まれる。下記の実施例は本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加、削除、若しくは置換することもできる。

　本特許出願人は、移動する被写体の画質劣化の問題を回避した揺らぎ補正技術を特願２０１２－１０７４７０号（先願１と称する）と特願２０１３－０５７７７４号（先願２と称する）として出願した。これらの出願で開示しようとする技術は、時系列に沿って撮影した複数の画像において、画像内を移動する被写体が存在する領域の検出を行い、その尤度に応じて時間平滑化の効果を調整することを特徴としている。移動体が存在しない背景領域は時間平滑化によって補正し、移動体が存在する領域は時間平滑化の効果を弱くし空間的な処理によって補正を行うものである。

　揺らぎ影響下において、移動する被写体を検出するには、揺らぎによる画素の変位と、被写体の移動による画素の変位を分離して検出する必要がある。先願１と先願２では、移動物体による動きを検出するためにヒストグラムを用いている。注目画素を中心とする画素ブロックのヒストグラムは物体の変形に強い特性を持っているため、時間的に異なる２つの画像のヒストグラムを比較すれば、揺らぎの影響下においても移動する被写体を検出することが可能となる。

　揺らぎ影響下の画像（歪みを有する画像）において、移動する被写体を検出するには、歪みによる画素の変位と、被写体の移動による画素の変位を分離して検出する必要がある。これら先願では、時間的に異なる２つの画像のヒストグラムの比較によって、揺らぎの影響下の画像においても移動する被写体を検出することを可能にしている。この結果、先願の技術は、移動する被写体が写り込んでいても、入力される画像から陽炎等によって生じた空気揺らぎの影響を除去し、高品質な画像を提供する。

　具体的には、先願２に係る画像処理装置（揺らぎ補正装置１）（後述の実施例３で説明する）は、時系列に沿って撮影された複数の画像（例えば、過去、現在（画像Ｎ）、未来の画像、等）を用いて時間平滑化画像Ｍを作成し、画像Ｎと時間平滑化画像Ｍの画素毎にヒストグラムＨ１とＨ２をそれぞれ作成した後、ヒストグラムＨ１とＨ２の間の類似度Ｒに応じて画素毎に画素の補正量を変えている。これにより、陽炎の発生等による静止領域の空気揺らぎに起因する画像内の歪みと、移動物体の動きを切り分けることができる。この結果、先願２によれば、画像内の歪みが低減され、かつ解像度が向上した画像を生成することができる。

　即ち、先願２に基づく画像処理装置及び画像処理方法では、画像間で基本的に固定サイズの画素ブロックのヒストグラムより移動物体の検出を行っている。適切な比較対象画素ブロックサイズは、処理対象の映像の揺らぎの大きさによって決められる。しかし、比較対象画素ブロックサイズが空気揺らぎの大きさに対して小さいと、ヒストグラムの被写体の形状変化に頑健な特性が失われてしまう恐れがあった。

　図１は、画素値の時間平滑化が映像に与える効果を説明する図である。図１の上側には、所定の時間間隔で撮影され複数の入力画像１０１～１０３が、左から右に流れる時刻の順で示されている。入力画像１０１～１０３は、画像処理装置に順次入力され、補正対象画像となる。
　平滑化画像１０４は、複数の入力画像（本例では入力画像１０１～１０３）が時間領域で平均化されたものである。平滑化画像１０４は、補正対象画像の被写体が静止している領域８００では、時間平滑化により空気揺らぎの影響による歪みが補正される。これが、空気揺らぎの除去の基本原理である。しかし、被写体が移動している領域８０１に時間領域で平滑化を施すと、歪みによる画素の変位だけでなく、被写体の移動による画素の変位を平滑化してしまい、移動する被写体の周囲に滲みが生じてしまう。つまり、画素値の時間平滑化は移動する被写体が映像内に存在する場合は、映像の劣化の原因となる。このように、実際の被写体が静止しているか移動しているかを正確に推定することが重要であることが理解できる。

　一方で、上述したように、画像内の歪みの大きさに対して、比較する画素ブロックのサイズ（比較対象画素ブロックサイズ）が小さいと、被写体の形状変化に頑健なヒストグラムの特性が失われる。従って、比較対象画素ブロックサイズは、画像内の歪みの大きさと比べて大きくなければならない。比較対象画素ブロックサイズが歪みの大きさに対して大き過ぎると、ヒストグラムに基づいて歪みと被写体の移動を分離して検出することが困難になる。

　ここで、動く被写体の検出に、比較対象画素ブロックサイズが与える影響を、図２及び図３を参照して詳細に説明する。
　図２は、画像内の歪みとヒストグラムの関係を示した図である。図２の上側に示された入力画像９０１は、入力画像（補正対象画像）の一部を拡大して示した図である。また、図２の上側の平滑化画像９０２は、入力画像９０１の領域を平滑化した画像（補正の用に供される画像）である。現実の平滑化画像９０２の輪郭は、ぼやけている。
　入力画像９０１内の２つの領域Ａと領域Ｂは、比較対象画素ブロックであり、破線枠の大きさは、それぞれ比較対象画素ブロックサイズを示す。領域Ａと領域Ｂは、中心位置が同一に設定される。同様に、図２の上側の平滑化画像９０２内にも、同じ画素位置（同一画角位置）における２つの領域Ａと領域Ｂを示す。図２を見ると分かるように、領域Ａと領域Ｂのブロックサイズは異なり、領域Ａのブロックサイズは、領域Ｂのブロックサイズより大きい。
　図２の入力画像９０１の画素領域の一部は空気揺らぎの影響を受けた（即ち、画像のエッジに歪みが現れた）被写体像９６となっている。この被写体像９６は、平滑化されることによって、平滑化画像９０２内では歪みが軽減された被写体像９７となる。

　図２の下側の比較されるヒストグラム９０３は、領域Ａを比較対象画素ブロックとしており、比較されるヒストグラム９０４は領域Ｂを比較対象画素ブロックとしている。ヒストグラム９０６～９０９は、横軸が画素の値（輝度）、縦軸が各ビンに属する画素数である。ヒストグラム９０６は、入力画像９０１について、画像補正部１４が領域Ａのブロックサイズを比較対象画素ブロックサイズとした場合の補正対象画像の一部のヒストグラムである。また、ヒストグラム９０８は、入力画像９０１について、画像補正部１４が領域Ｂのブロックサイズを比較対象画素ブロックサイズとした場合の補正対象画像の一部のヒストグラムである。同様に、ヒストグラム９０７は、平滑化画像９０２について、画像補正部１４が領域Ａのブロックサイズを比較対象画素ブロックサイズとした場合の補正用画像の一部のヒストグラムである。また、ヒストグラム９０９は、平滑化画像９０２について、画像補正部１４が領域Ｂのブロックサイズを比較対象画素ブロックサイズとした場合の補正用画像の一部のヒストグラムである。
　比較されるヒストグラム９０３を見ると分かるように、比較対象画素ブロックサイズが大きい（領域Ａ）と、歪みの有無による形状変化があっても、補正対象画像のヒストグラム９０６に対して補正用画像のヒストグラム９０７の変化が小さくなる。
　また、ヒストグラム図９０４を見ると分かるように、比較対象画素ブロックサイズが小さい（領域Ｂ）と、歪みの有無による形状変化があると、補正対象画像のヒストグラム９０８に対して補正用画像のヒストグラム９０８の変化が大きくなる。つまり、ブロックサイズが小さいと、ヒストグラムの、被写体の形状変化に頑健な特性が失われてしまう。

　しかし、比較対象画素ブロックサイズは、必ずしも大きければ良いというわけではない。
　図３は、比較対象画素ブロックサイズが大きいと移動する被写体を検出できなくなることを説明する図である。図３は、比較対象画素ブロック内の画像が異なる以外は、図２と対応している。上側の入力画像１００１は、入力画像の一部を拡大して示した図である。また、上側の平滑化画像１００２は、入力画像１００１の領域を平滑化した画像である。入力画像１００１内の２つの領域Ａと領域Ｂは、比較対象画素ブロックであり、平滑化画像１００２の対応する場所にも、同じ２つの領域Ａと領域Ｂが設定される。

　図３の下側のヒストグラム図１００３は領域Ａを比較対象画素ブロックとしており、ヒストグラム図１００４は領域Ｂを比較対象画素ブロックとしている。ヒストグラム１００６は、入力画像１００１の領域Ａを比較対象画素ブロックとした場合に画像補正部１４が算出するヒストグラムである。ヒストグラム１００７は、平滑化画像１００２の領域Ａを比較対象画素ブロックとした場合のヒストグラムである。また、ヒストグラム１００８は、入力画像１００１の領域Ｂを比較対象画素ブロックとした場合のヒストグラムである。ヒストグラム１００９は、平滑化画像１００２の領域Ｂを比較対象画素ブロックサイズとした場合のヒストグラムである。
　ヒストグラム図１００３を見ると分かるように、比較対象画素ブロックサイズが大きい（領域Ａ）と、歪みの有無による形状変化は、補正対象画像のヒストグラム１００６に対して補正用画像のヒストグラム１００７の相違が小さい。
　また、ヒストグラム図１００４を見ると分かるように、比較対象画素ブロックサイズが小さい（領域Ｂ）と、歪みの有無による形状変化は、補正対象画像のヒストグラム１００８に対して補正用画像のヒストグラム１００８の相違が大きい。
　２つのヒストグラム間の相違または類似度を計算する方法はいくつか知られるが、例えば正規化されたヒストグラム・インターセクションやBhattacharyya係数が利用できる。
　上記図３のヒストグラムは、移動する被写体についてのヒストグラムの特性であるが、ブロックサイズを大きくすると、図２の移動しない被写体のヒストグラムとほぼ同様に、ヒストグラムの相違が小さくなり、移動する被写体が検出できない。

　しかし、図３の入力画像１００１内に移動する被写体１０６８が確かに写っている。この被写体１０６８は、平滑化されることによって、被写体１０７９に示されるように、歪みの一種であるぼやけ（主に多重露出の影響）が現れた画像として写ってくる。
　移動する被写体１０６８は、１枚ずつのフレーム（画像）では、１箇所に存在するだけであるが、複数フレームを平滑化すると平滑化画像１００２の被写体１０７９のようにぼやけた画像となって現れる。即ち、被写体１０６８に対して比較対象画素ブロックサイズが相対的に大きくなればなるほど、被写体の移動による画素値の変化がヒストグラムの形状に与える影響も小さくなり、空気揺らぎの影響と区別し難くなる。このため、ヒストグラムの単純な比較に基づいて移動体を判定し時間平滑化の強度を調整すると、移動する被写体の輪郭に滲みが生じ易くなる。更に小さな被写体は、被写体と判定されることなく時間平滑画像に埋もれてしまう。

　移動する被写体の誤検出と見逃しは、比較対象画素ブロックサイズとトレードオフの関係にある。解析するための比較対象画素ブロックサイズの大きさは揺らぎの変位量（歪みの大きさ）より大きくなければならないが、それ以上であれば移動体による滲みを抑えるためになるべく小さい方が良い。

　上述の通り、ヒストグラムを用いた空気揺らぎ環境下における移動体検出では、解析するための比較対象画素ブロックのブロックサイズが、歪み補正の効果に影響する重要なパラメータであることが理解された。この場合、適切なパラメータは、画像内の歪みの大きさにより決定される。本実施例１では、画像内に生じる空気揺らぎに起因する歪みの大きさを自動検出することにより、補正強度を自動調整し、かつ歪み補正による映像劣化の影響を最小限にする。

　図４は、本実施例１の画像処理装置４の概略構成を示すブロック図である。画像処理装置４は、図８（後述の実施例３）で説明する揺らぎ補正装置１に、パラメータ制御装置２及び画像メモリ３を加えたものである。パラメータ制御装置２は、入力画像に適したパラメータを自動的に設定する。このパラメータは、上述の比較対象画素ブロックサイズを含む。

　図４において、時系列に沿って撮影された複数の入力画像は、入力部４ｉに入力される。入力部４ｉは、入力された複数の入力画像を、パラメータ制御装置２、画像メモリ３、及び揺らぎ補正装置１に逐次出力する。
　画像メモリ３は、入力された画像を蓄積し、蓄積された画像のうちの所定のフレーム数の画像をパラメータ制御装置２に提供する。所定のフレーム数は、例えば、パラメータ制御装置２及び揺らぎ補正装置１が補正用画像を作成するための時間平滑化処理に使用する数である。

　パラメータ制御装置２は、画像メモリに蓄積された過去の入力画像から、時間平滑化画像を生成する。その後、入力画像（揺らぎ補正装置１による補正対象となる画像である）と生成された時間平滑化画像とからパラメータを求め、揺らぎ補正装置１に出力する。このパラメータは、例えば、揺らぎ補正装置１においてヒストグラム等の比較対象となる画素ブロックのサイズである。
　揺らぎ補正装置１は、パラメータ制御装置２から入力されたパラメータに基づいて、入力画像に歪み補正処理を施し、高解像度化画像を作成し、記憶すると共に、出力部４ｏを介して外部に出力する。
　なお、画像メモリ３は、揺らぎ補正装置１が内蔵するメモリ（９０）を用いても良い。パラメータ制御装置２が、揺らぎ補正装置１内で生成される時間平滑化画像を流用するのであれば、画像メモリ３は不要である。

　パラメータ制御装置２は、補正対象画像と補正用画像の比較対象画素ブロックから、空気揺らぎに起因する被写体の変形に対する頑健性の異なる複数の指標を算出する。なお、どの指標も被写体の移動による画素値の変化の影響は受けるものとする。
　被写体の変形に頑健な特性をもつ指標は、例えば、複数の画素をビンに集計して比較するような種類のもので、その１つに上述のヒストグラムの類似度がある。画素ブロック内の画素値を直接集計する場合、補正対象画像と補正用画像を縮小してから画素値を比較することにより、被写体の形状変化に強い特性が得られる。或いは画素値の勾配（エッジ）の方向やパターンを集計したヒストグラムを用いてもよい。
　また、被写体の形状に頑健でない指標は、例えば、個々の画素値を直接比較するような種類のもので、その１つにＳＡＤ（Sum of Absolute Difference）がある。

　図５に、異なる２つの指標の分布の分類の仕方を示す。パラメータ制御装置２は、図５に示される異なる２つの指標の関係性より、比較対象画素ブロック内の被写体の状態と比較対象画素ブロックサイズの関係を推定する。
　図５において、横軸は指標Ｉ１、縦軸は指標Ｉ２である。ここで、指標Ｉ１は、被写体の移動による画素値の変化を示し、指標Ｉ２は、ヒストグラムベースの、被写体の変形に頑健な指標とする。
　指標Ｉ１は、閾値Th１によって状態Ｐ１とそれ以外の状態と分けられる。さらに、指標Ｉ２は、閾値Th２によって状態Ｐ２と状態Ｐ３とに分けられる。例えば、
　Ｉ１＜Th１の場合には、状態Ｐ１とする。
　Ｉ１≧Th１、かつ、Ｉ２＜Th２の場合には、状態Ｐ２とする。
　Ｉ１≧Th１、かつ、Ｉ２≧Th２の場合には、状態Ｐ３とする。
　適切な閾値の下では、状態Ｐ１は、背景であると考えられる領域であり、状態Ｐ２は空気揺らぎが生じている、或いは細かな移動体が映っていると考えられる領域であり、状態Ｐ３は、移動体と考えられる領域である。
　本例のパラメータ制御装置２は、この関係性をもとに、適切な比較対象画素ブロックサイズを探索する。ただし、閾値Th１及び閾値Th２は、そこから指標を得た比較対象画素ブロックサイズに依存するので、比較対象画素ブロックサイズごとに適切に決定することが望ましい。

　図６は、比較対象画素ブロックサイズを最適化する処理のフローチャートである。パラメータ制御装置２は、この処理手順を実行することによって、与えられた最大幅以下の揺らぎの補正を達成しつつ、移動する被写体の見逃しを最低限にすること可能とする。なお、図６の処理を実行する前には、初期設定として、図５で説明したように、分類される複数の状態と、分類するため各指標の閾値を予め定義しておく。

　最初に、領域分割ステップＳ１２０１では、空気揺らぎの最大幅を揺らぎによる画素の変位量等から概算的に算出し、その算出した最大幅より大きい所定幅（ブロックサイズ）でもって画像を格子状に分割し、画像ブロック化する。
　即ち、領域分割ステップＳ１２０１では、まず揺らぎの幅以上の粗い粒度で領域を仮想的（論理的）に分割する。仮想的な分割とは、画像ブロック単位で画像に容易にアクセスできるようにすることを意味し、そのように論理的に扱うことができれば十分である。なお、移動する被写体と背景をこの時点で分類しても良い。その際、揺らぎの幅以上に画像を縮小することにより、揺らぎの影響を緩和しながら大まかな移動体の検出が可能となる。

　次に、比較対象画素領域決定ステップＳ１２０２では、領域分割ステップＳ１２０１で分割された複数の画像ブロックの中から、後述の状態評価において比較対象とする一部の画像ブロックを決定する。対象とする画像ブロックは、画像全体の中から均一に抽出してもよく、それらの境界付近の被写体及び背景から多く抽出してもよい。このように、対象とする領域を限定することにより、比較対象画素ブロックサイズ決定の精度の向上と演算量の削減が見込むことができる。

　次に状態評価ステップＳ１２０３では、与えられた画素ブロック（初期的には、Ｓ１２０２で選定された画像ブロック）を比較対象領域とし、各比較対象領域について、図５で説明したように、予め設定されていた指標と閾値によってどの状態であるかを評価する。
　このとき基本的には、与えられた画素ブロック内の画素全体を比較対象画素ブロックに設定するが、画素は間引かれても良い。
　また、比較対象画素ブロックサイズは、最大幅の揺らぎを補正できるものから始め、ループ（ステップＳ１２０３からステップＳ１２０５及びステップＳ１２０７を経てステップＳ１２０３に戻る）毎に縮小して評価を行う。即ち、２度目以降のループでは、ステップＳ１２０７で縮小された比較対象画素ブロックサイズが適用される。

　次に、状態情報統合ステップＳ１２０４では、各画素ブロックの情報を統合して、ブロックサイズが適切であるかどうか判断するための値（統合情報）を算出する。本例では、図５の状態Ｐ２となる領域が画像内に占める割合（Ｐ２割合）の変動率を統合情報として算出する。比較対象画素ブロックサイズが初期の最大値の場合には、空気揺らぎがある領域と細かい動きのある領域は状態Ｐ２と判断されるので、Ｐ２割合は高い。
　次に統合情報判定ステップＳ１２０５では、状態情報統合ステップＳ１２０４で算出された統合情報（例えば、変動率）が前回の統合情報に比べて所定の割合以上変化した場合には、ブロックサイズ決定ステップＳ１２０６の処理に分岐する。また、前回の統合情報に比べて所定の割合未満しか変化していない場合には、ブロックサイズ縮小ステップＳ１２０７の処理に分岐する。また、前回の統合情報が無い（ステップＳ１２０４が初めて統合情報を算出した直後のステップＳ１２０５である）場合には、ブロックサイズ縮小ステップＳ１２０７の処理に分岐する。

　ブロックサイズ縮小ステップＳ１２０７では、比較対象画素ブロックサイズを前回のブロックサイズよりも所定の比率で小さく縮小して、新しい比較対象画素ブロックサイズとして状態評価ステップＳ１２０３の処理に移行する。
　このように、ステップＳ１２０３、Ｓ１２０４、及びＳ１２０６では、比較対象画素ブロックサイズを小さくしていき、状態Ｐ２の領域の割合が急激に変化した場合には、比較対象画素ブロックサイズが揺らぎの幅以下になったと判定し、処理ループから抜け、ブロックサイズ決定ステップＳ１２０６に移行する。このタイミングでは、これまで安定的に状態Ｐ２に属していた領域（揺らいでいるが移動体ではない）の一部が、状態Ｐ３に属するようになって、Ｐ２割合の急激な減少が起こっていると考えられる。

　ブロックサイズ決定ステップＳ１２０６では、この時点の比較対象画素ブロックサイズを最終的な比較対象画素ブロックサイズとして採用する。このときのブロックサイズは、揺らぎの幅より若干小さく、移動体及び空気揺らぎの一部が状態Ｐ３に分類されるようになる。

　上記処理は、画像処理装置の起動時に、一度だけ行うだけでも良いし、所定時間間隔で実行し、所定時間間隔で比較対象画素ブロックサイズを更新しても良い。また、比較対象画素ブロックサイズは、画面全体に対して１つ決定しても良いし、画面を分割して分割された領域毎に決定するようにしても良く、背景か移動体かの分類毎に決定しても良いし、ユーザが指定した領域（特に映像を鮮明にしたい領域）に対して特別なサイズを決定しても良い。
　さらに、撮影しているカメラのズーム倍率が変化したなどの、外部からのきっかけでブロックサイズを更新しても良い。

　即ち、実施例１の画像処理装置は、時系列に沿って撮影された入力画像を入力する入力部、前記入力画像を蓄積する画像メモリ、揺らぎ補正装置、及びパラメータ制御装置を備えた画像処理装置であって、前記画像メモリは、蓄積した前記入力画像のうちの所定のフレーム数の画像を前記パラメータ装置に出力し、前記パラメータ装置は、前記入力画像と前記画像メモリから入力された画像から比較対象画素ブロックサイズを求め、求めた比較対象画素ブロックサイズを前記揺らぎ補正装置に出力し、前記揺らぎ補正装置は、前記時系列に沿って撮影された入力画像を用いて時間平滑化画像を作成し、前記入力画像のうちの補正対象画像と前記時間平滑化画像の画素毎に前記比較対象画素ブロックサイズのヒストグラムをそれぞれ作成し、それぞれのヒストグラムの類似度に応じて画素ごとに画素の補正量を変えて前記補正対象画像を補正することによって、陽炎の発生等による静止領域の空気揺らぎに起因する画像内の歪みと、移動物体の動きを切り分け、画像内の歪みを補正する。

　実施例１によれば、適切な比較対象画素ブロックサイズを自動的に決定できるため、先願２よりさらに画像内の歪みが低減され、かつ解像度が向上した画像を生成することができる。

　図７によって、本発明の実施例２を説明する。図７は、実施例２の画像処理装置７の構成を示すブロック図である。画像処理装置７は、実施例１と同じ揺らぎ補正装置１に、パラメータ制御装置５を結合したものである。このパラメータ制御装置５は、実施例１同様に２種類の指標を用いて図６のフローチャートに従いパラメータの自動設定を行う。

　図７において、時系列に沿って撮影された複数の入力画像は、入力部４ｉに入力される。入力部４ｉは、入力された複数の入力画像を、パラメータ制御装置５及び揺らぎ補正装置１に導く。パラメータ制御装置５は、画像を入出力するタイミングを合わせるために、必要に応じて遅延処理を施す。

　揺らぎ補正装置１は、パラメータ制御装置５から入力されたパラメータ情報に基づいて、入力画像に歪み補正処理を施し、高解像度化された補正画像を作成し、出力部４ｏ及びパラメータ制御装置５に出力する。揺らぎ補正装置１は、この歪み補正処理を実行した時の補正情報６をパラメータ制御装置５にフィードバックする。補正情報６は、過去の入力画像或いはそれらを平滑化して生成した補正用画像を含んでもよい。
　パラメータ制御装置５は、補正対象画像である入力画像と揺らぎ補正装置１から出力されたの補正画像から、パラメータ（比較対象画素ブロックサイズ）を求め、揺らぎ補正装置１に出力する。パラメータ制御装置５は、平均化画像の代替として補正画像を用い、また揺らぎ補正装置１が移動体を検出した領域を補正情報６として受け取り、パラメータの制御に利用する。例えば、図６のＳ１２０２の比較対象画素領域の決定に際し、移動体を検出した領域以外から、一定数の領域をサンプルするようにすれば、画像中に移動体が占める割合の変化に対してロバストになる。

　ここから、図８～図１４を参照して、本実施例２の揺らぎ補正装置１の詳細について説明する。この揺らぎ補正装置１は、先願２に記載されたもので、本発明の他の実施例にも適用できる。なお画像処理装置（揺らぎ補正装置１）本体は、先願１や先願２で開示されるものだけではなく、空気揺らぎによる画素の変位と被写体の移動による画素の変位を分離してから、揺らぎを補正するものであればよく、先願１または先願２に限定されない。

　図８は、本発明の実施例３に係る画像処理装置の機能ブロック図である。画像処理装置（揺らぎ補正装置１）は、入力部１０、画像平滑化部１１、階調分布算出部１２、相違度算出部１３、画像補正部１４、高解像度化部１５、記録部１６、制御部９１を備える。

　図８において、入力部１０は、図示しない撮像手段が時系列に沿って撮影した動画像データを受信する。例えば入力部１０は、画像入力端子、ネットワーク接続端子などを備え、あるいはＴＶ放送用のチューナーであっても良い。また入力部１０は、監視カメラ等の撮像手段が、所定時間間隔で時系列に沿って撮影した、ＪＰＥＧ形式等の静止画像データを連続的に取得して、過去、現在、未来の複数の画像を入力画像としてメモリ９０に記憶しても良い。また入力部１０は、ＭＰＥＧ、Ｈ．２６４、ＨＤ－ＳＤＩ形式等の圧縮又は非圧縮の動画像データから、所定間隔毎に静止画像データを抜き出して、過去、現在、未来の複数の画像を入力画像としてメモリ９０に記憶しても良い。また入力部１０は、過去、現在、未来の複数の入力画像を、ＤＭＡ（ Direct Memory Access）等を用いてメモリ９０から取得することができる。また入力部１０は、後述するように、脱着可能な記録媒体に既に記憶された、過去、現在、未来の複数の入力画像を、メモリ９０に記憶しても良い。

　入力部１０は、補正対象画像となる時刻ｔの画像を現在のものとし、それより古いものを過去、新しいものを未来の画像とするため、必要に応じて遅延処理を実施する。つまり時刻ｔの画像は、実際には現在より古く、「未来の画像」が現在の（最新の）画像を含む。入力部１０は、同一画素位置における、現在画像とその前後の画像を画像平滑化部１１へ出力する。

　画像平滑化部１１は、過去、現在（時刻ｔ）、未来の複数の入力画像のうちの同一画素位置の画像を時系列に沿って合成し、時刻ｔの画像に対応する平滑化画像を作成する。平滑化画像を作成する例については後述の図９で改めて説明する。

　階調分布算出部１２は、時刻ｔの入力画像と平滑化画像それぞれについて、各画像の画素を中心とする画像領域毎に、階調分布を算出する。この処理は、同一画素位置において、時刻ｔの入力画像と平滑化画像それぞれの画素毎に実施される。階調分布の例については後述の図１０で改めて説明する。

　相違度算出部１３は、階調分布算出部１２が算出した、時刻ｔの入力画像の階調分布と平滑化画像の階調分布との間の類似度或いは相違度を算出する。階調分布間の相違度の例については後述の図１１で改めて説明する。

　画像補正部１４は、時刻ｔの入力画像と平滑化画像を合成することにより、時刻ｔの入力画像を補正する。両者を合成する割合は、相違度算出部１３が算出した相違度に応じて変更する。上記補正により、歪みを低減した時刻ｔの補正後画像を作成する。補正処理の例については後述の図１１～図１２を用いて改めて説明する。

　高解像度化部１５は、時刻ｔの補正後画像から時刻ｔの高解像度化画像を作成する。高解像度化の例については後述の図４を用いて改めて説明する。

　記録部１６は、陽炎を低減した時刻ｔの高解像度化画像を保存する場合は、時刻ｔの高解像度化画像をメモリ９０に保存する。時刻ｔの高解像度化画像を保存しない場合は、入力画像を保存する。

　記憶部１６は、モードに応じてメモリ９０に保存する画像を切替えることができる。例えばモードが１の場合、高解像度化部１５が求めた高解像度化画像Ｓをメモリ９０に保存し、または高解像度化画像Ｓを揺らぎ補正装置１の外部に出力する。モードが０の場合、高解像度化画像Ｓをメモリ９０に保存せず、入力画像を揺らぎ補正装置１の外部に出力する。

　制御部９１は、揺らぎ補正装置１内の各要素に接続される。揺らぎ補正装置１の各要素は、自律的または制御部９１の指示により、動作する。

　図９は、画像平滑化部１１の動作例を説明する図である。図９においては一例として、画像Ｎを基点として、過去および未来の入力画像（画像Ｎ－２、画像Ｎ－１、画像Ｎ＋１、画像Ｎ＋２）と現在（時刻ｔ）の入力画像Ｎを用いて、平滑化画像を作成する（Ｎは自然数）。図９において、画像Ｎ－２、画像Ｎ－１、画像Ｎ＋１、画像Ｎ＋２は時系列に沿って並べて表示され、紙面左から右に時間が過去から未来に流れる。例えば、画像Ｎを現在（時刻ｔ）の画像とすると、その左側の画像Ｎ－１は、過去の画像であり、画像Ｎ－２はさらに過去の画像である。同様に、画像Ｎを現在の画像とすると、その右側の画像Ｎ＋１は、未来の画像であり、画像Ｎ＋２はさらに未来の画像である。

　座標（ｉ，ｊ）における画像Ｎ－２の画素値をｑ１（ｉ，ｊ）、画像Ｎ－１の画素値をｑ２（ｉ，ｊ）、画像Ｎの画素値をｑ３（ｉ，ｊ）、画像Ｎ＋１の画素値をｑ４（ｉ，ｊ）、画像Ｎ＋２の画素値をｑ５（ｉ，ｊ）とし、座標（ｉ，ｊ）における平滑化画像Ｍの画素値をｍ（ｉ，ｊ）とし、ｐ１～ｐ５を重み係数とする。画像平滑化部１１は、下記式１を用いて各画像を合成することにより、各画像を時系列に沿って平滑化した平滑化画像Ｍを作成する。
　なお、座標（ｉ，ｊ）のうち、ｉは画像上の水平方向の画素位置を示し、ｊは画像上の垂直方向の画素位置を示す。

　Ｄは画像合成に用いる枚数であり、過去、現在、未来の画像の枚数が５枚の場合、式１のＤは５となる。式１における画素値はどのような形式でも良く、例えば、任意の色空間における各チャンネルの値、すなわちＲＧＢ色空間におけるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）や、ＹＣｂＣｒ色空間におけるＹ（輝度）、Ｃｂ，Ｃｒ（色差）や、ＨＳＶ色空間の各成分値でも良い。

　陽炎の影響で被写体が変形する際の変位量は、統計的にはガウス分布に従うという性質を有していると考えられる。このため、過去および未来の複数の画像を用いて画素を平滑化することにより、被写体本来の形状に近い画像を取得することができる。また、限られた範囲の過去および未来の画像を用いて基点となる画像を再構成しているので、長期間複数の過去画像を繰り返し合成して平滑化した場合と異なり、過去画像の影響を強く受けることを抑制することができる。さらに、入力画像内に移動物体が存在していても、移動物体の画像の歪みを低減することができる情報を含む平滑化画像Ｍを作成することができる。

　図１０は、階調分布算出部１２が対象画素の周辺領域の画素を用いて階調分布を算出する様子を示す図である。階調分布算出部１２は、時刻ｔに対応する入力画像Ｎの対象画素３１０を含む画像領域Ｅ１（例えば、３２画素×３２画素）の階調分布を表すヒストグラムＨ１を求める。階調分布算出部１２は同様に、平滑化画像Ｍのうち画像領域Ｅ１に対応する画像領域Ｅ２の階調分布を表すヒストグラムＨ２を求める。ここで、画像領域Ｅ２は、対象画素３１０に対応した平滑化画像Ｍの画素３２０を含む。
　ヒストグラムＨ１とＨ２の横軸は階調値、縦軸はその階調値の度数（出現数）を示す。なお、以下に説明するその他のヒストグラムの横軸及び縦軸についても、図１０のヒストグラムと同様である。

　図１１は、入力画像に含まれる移動物体の移動により、ヒストグラムＨ２が変化することを説明する図である。画像Ｎの対象画素４１０を含む画像領域Ｅ３のヒストグラムをＨ１とする。平滑化画像Ｍの対象画素４１１の画像領域Ｅ４のヒストグラムＨ２は、過去、現在、未来の画像に含まれる移動物体の速さに応じて形状が異なる。

　移動物体の動きが静止から低速の場合、図１１（１）に示すように、ヒストグラムＨ２はヒストグラムＨ１に類似した形状となる。移動物体の動きが低速から中速の場合、移動物体とは異なる絵柄の情報が少し含まれるため、図１１（２）に示すように、ヒストグラムＨ２はヒストグラムＨ１とは少し形状が異なる。移動物体の動きが中速から高速の場合、移動物体とは大きく異なる絵柄が多く含まれるため、図１１（３）に示すように、ヒストグラムＨ２はヒストグラムＨ１とは大きく異なる形状となる。したがって、画像ＮのヒストグラムＨ１と平滑化画像Ｍのヒストグラムを比較することにより、画像内の移動物体の動きを簡易的に調べることができる。

　相違度算出部１３は、階調分布算出部１２が求めた階調分布、例えば図１０～図１１で説明した各ヒストグラム間の相違度を算出する。例えば下記式２を用いて、ＲＧＢ成分毎にBhattacharyya距離を利用してヒストグラム間の距離Ｂ３２（ｃ）を求め、それらの自乗和の平方根を相違度Ｌとする。相違度Ｌはヒストグラム間の距離に相当するので、Ｌの値が小さいほど相違度が高いことになる。なお式２におけるｃは、ＲＧＢ成分のどれかを表す。

ここで、HA(I)は、ヒストグラムＡにおける階調値Ｉの度数を表し、階調数（ヒストグラムのビンの数）は３２である。

　階調分布算出部１２は、階調数の異なる複数のバージョンのヒストグラムを作成し、それらの間の相違度を合計することで、より信頼性の高い相違度を得ることができる。つまり、最初のバージョン（階調数が３２）のヒストグラムＨ１とＨ２を計算する際に、隣り合う複数の階調を統合することにより、階調数を減らしたバージョンのヒストグラムを生成する。この様な処理を階調数が２になるまで再帰的に行って、逐次、相違度を累算していく。その階級幅の範囲内に収まる歪みが同一の階級内に含まれるので、様々な揺れ幅の陽炎に対して、相違度が低く保たれ、陽炎により変形した画像領域と移動物体により変形した画像領域をより正確に区別することができる。以下に具体例と共に説明する。

　階調分布算出部１２が全画素についてヒストグラムを計算し、階調分布算出部１２が全画素について相違度を計算することが望ましいが、計算量を減らす必要があれば、対象画素を間引くことができ、画像領域Ｅ１の画素数に対し対象画素を１つにしてもよい。

　図１２は、画像補正部１４の動作を説明する図である。画像補正部１４は、入力画像Ｎと平滑化画像Ｍを用いて、補正後画像の画素値を決定する。具体的には、相違度算出部１３が求めた相違度Ｌと２つの閾値Ｔ１、Ｔ２（Ｔ１＜Ｔ２）を用いて、画素毎に入力画像Ｎと平滑化画像Ｍの比率を変えてブレンドすることにより、補正後画像を得る。

　相違度Ｌと閾値Ｔ１、Ｔ２の関係において、Ｌ≦Ｔ１である（ヒストグラム間の相違度が高い）場合は、画像内の物体の動きが静止から低速である場合に相当する。例えば、図１２の領域６００や領域６０１がこれに該当する。領域６０１は実際には高速で動いているかもしれないが、テクスチャの少ない車のボディは、画像に変化をもたらさないので静止しているものと扱われる。この場合には、平滑化画像Ｍを用いた補正を強くかけてよいため、平滑化画像Ｍの画素値をそのまま補正値とする。

　Ｔ２＜Ｌの場合は、移動物体の動きが中速から高速である場合に相当する。例えば、図１２の領域６２０や領域６２１では、過去には移動物体が存在したが、現在あるい未来では、物体は通り過ぎて存在しない。このように、移動物体の動きが中速から高速である場合には、平滑化画像Ｍを用いて補正を実施すると、移動物体の動きが平滑化されたぼやけた画像になってしまう。従って、平滑化画像Ｍを用いずに入力画像Ｎの画素値を補正値とする。

　Ｔ１＜Ｌ≦Ｔ２の場合は、画像内の移動物体の動きが低速から中速である場合に相当する。例えば、図１２の領域６１０の枠線の境界がこれに該当し、上記の２つの場合に対して中間的な場合であるため、下記式３を用いて、入力画像Ｎと平滑化画像Ｍの各画素値をブレンドした値を補正値とする。座標（ｉ，ｊ）における画像Ｎの画素値をｎ（ｉ，ｊ）、座標（ｉ，ｊ）における平滑化画像Ｍの画素値をｍ（ｉ，ｊ）、、ｅ（ｉ，ｊ）＝ｍ（ｉ，ｊ）、ｆ（ｉ，ｊ）＝ｎ（ｉ，ｊ）とすると、各画素値をブレンドした値ｄ（ｉ，ｊ）は、

　なお、Ｌ≦Ｔ１の場合はブレンド比Ｒ＝０、Ｔ２＜Ｌの場合はＲ＝１であるとみなせる。相違度Ｌが画素毎に得られていない場合、各画素のブレンド比Ｒは、バイリニア補間や、離散的なＲとsinc関数との畳み込みによるローパスフィルタにより、計算する。

　図１３は、高解像度化部１５が使用する鮮鋭化フィルタのカーネルである。中心のますが対象画素に対応し、各ますの中の値は、対応する位置の画素に乗算される係数を表す。高解像度化部１５は、このフィルタカーネルを用いて補正後画像の各画素を鮮鋭化し、解像度を向上した高解像度化画像Ｓを作成する。

　平滑化画像Ｍは解像度が低下する場合があるので、図１２の領域６００や領域６０１のように変形が小さい領域については、例えば図１３（１）や図１３（２）のＫ＝１．０とし、鮮鋭化の度合いを強くする。画像Ｎと平滑化画像Ｍの画素値をブレンドした値を用いる図１２の領域６１０の枠線の境界については、例えば中間的なＫ＝０．７５とする。画像Ｎの画素値を用いる図１２の領域６２０や領域６２１については、ノイズを強調しないように、例えばＫ＝０．５とする。上述の処理を全ての画素について実施することにより、静止領域と移動物体を含む画像全体の歪みを低減しつつ解像度を向上させた高解像度化画像Ｓを作成することができる。

　図１４は、揺らぎ補正装置１の動作を示すフローチャートである。以下、図１４の各ステップについて説明する。

　（ステップＳ７０１）　入力部１０は、過去、現在、未来の画像フレームを取得して画像平滑化部１１に出力する。画像平滑化部１１は平滑化画像Ｍを算出する。過去、現在、未来の画像の合計枚数が５の場合、ステップ７０１の添字ｕは２となる。

　（ステップＳ７０２）　階調分布算出部１２は、画像Ｎと平滑化画像Ｍの画素毎に、ヒストグラムＨ１とＨ２を算出する。
　（ステップＳ７０２）　相違度算出部１３は、ヒストグラムＨ１とＨ２の間の相違度Ｌを算出する。

　（ステップＳ７０４）　画像補正部１４は、相違度Ｌと各閾値（Ｔ１、Ｔ２）とを比較する。Ｌ≦Ｔ１の場合にはステップ７０５に進む。Ｔ１＜Ｌの場合にはステップＳ７０６に進む。
　（ステップＳ７０５）　画像補正部１４は、補正値として平滑化画像Ｍの画素値を設定する。
　（ステップＳ７０６～Ｓ７０８）画像補正部１４は、相違度Ｌが、閾値Ｔ１、Ｔ２に対して、Ｔ１＜Ｌ≦Ｔ２を満たすか否かを判定する。上記条件を満足した場合にはステップ７０７に進み、満足しない（Ｌ≦Ｔ１、またはＴ２＜Ｌ）場合にはステップＳ７０８に進む。
　なお、ステップＳ７０４及びステップＳ７０６の処理は、相違度Ｌと閾値Ｔ１、Ｔ２の関係がＴ１＜Ｌ≦Ｔ２であるか否かを判定するだけであるので、必ずしもこの手順でなくても良い。例えば、ステップＳ７０４及びステップＳ７０６を合わせた処理ステップでは、Ｌ≦Ｔ１の場合にはステップＳ７０５に進み、Ｔ１＜Ｌ≦Ｔ２の場合にはステップ７０７に進み、Ｔ２＜Ｌの場合にはステップ７０８に進む。

　（ステップＳ７０７）　画像補正部１４は、ステップＳ７０６において条件を満たした場合は、画像Ｎと平滑化画像Ｍの画素値を式３に基づきブレンドした値を補正値として設定する。
　（ステップＳ７０８）　条件を満たさなかった場合は、画像Ｎの画素値を補正値に設定する。

　（ステップＳ７０９）　高解像度化部１５は、画像補正部１４が求めた補正後画像Ｎ’の解像度を向上した高解像度化画像Ｓを作成する。
　（ステップＳ７１０）　画像補正部１４と高解像度化部１５は、対象画像内の全ての画素について、補正値および高解像度化した画素値を求めるまで、上記ステップＳ７０２～Ｓ７０９の処理を繰り返す。

　本例の相違度算出部１３は、ヒストグラムベースの相違度Ｌのみを用いて移動物体の速度を推定し画素を分類したが、パラメータ制御装置５同様に、２種類の指標を用いて画素の分類を行ってもよい。

　図１５は、本発明の実施例３に係る撮像装置１５００の機能ブロック図である。撮像装置１５００は、撮像部１５０１、画像処理装置１５０３、画像表示部１５０２を備える。撮像部１５０１は、被写体から発する光を受光し、受光した光学像を画像データに変換する撮像デバイスである。画像処理装置１５０３は、実施例１または２の画像処理装置４または７であり、撮像部１５０１が撮影した画像データを受け取って陽炎の発生による空気揺らぎに起因する歪みを補正する。画像表示部１５０２は、画像処理装置１５０３が出力する補正後画像を表示するディスプレイなどのデバイスである。

　画像表示部１５０２は、動作モードに応じて表示する画像を切り替える。例えば、モードが１の場合、陽炎の発生による空気揺らぎに起因する歪みを低減した補正後画像を表示し、モードが０の場合、入力画像をそのまま表示する。

　本実施例３に係る撮像装置１５００によれば、静止領域と移動物体を共に含む画像全体の陽炎の発生による空気揺らぎに起因する歪みを低減した補正後画像を撮影者に対して表示する撮像装置を提供することができる。

　図１６は、本発明の実施例４に係る監視システム１６００の機能ブロック図である。監視システム１６００は、撮像装置１６０１、画像処理装置１６０４、サーバ１６０２、表示装置１６０３を備える。撮像装置１６０１は、画像データを撮影する１以上の監視カメラなどの撮像装置である。画像処理装置１６０４は、実施例１または２の画像処理装置４または７であり、撮像装置１６０１が撮影した画像データを受け取って陽炎を補正する。サーバ１６０２は、画像処理装置１６０４を搭載したコンピュータである。表示装置１６０３は、画像処理装置１６０４が出力する補正後画像を表示するディスプレイなどのデバイスである。

　撮像装置１６０１とサーバ１６０２の間、およびサーバ１６０２と表示装置１６０３の間は、被監視場所と監視オペレータとの間の物理的配置などに応じて、例えばインターネットなどのネットワークを介して接続することができる。

　本実施例４に係る監視システム１６００によれば、静止領域と移動物体を共に含む画像全体の陽炎の発生による空気揺らぎに起因する歪みを低減した補正後画像を監視オペレータに対して表示する監視システムを提供することができる。

　図１７は、本発明の実施例５に係る符号復号システム１７００の機能ブロック図である。符号復号システム１７００は、符号化装置１７１０、復号器１７２１、表示装置１７２２を備える。符号化装置１７１０は、撮像装置１７１１、画像処理装置１７０４、および符号器１７１２を備える。

　撮像装置１７１１は、画像データを撮影する監視カメラなどの撮像装置である。画像処理装置１７０４は、実施例１又は２の画像処理装置４または７であり、撮像装置１７１１が撮影した画像データを受け取って陽炎を補正する。符号器１７１２は、画像処理装置１７０４が出力する補正後画像データを符号化し、ネットワークを介して復号器１７２１へ伝送する。復号器１７２１は、伝送されてきた補正後画像データを復号化する。表示装置１７２２は、復号器１７２１が復号化した画像を表示する。

　本実施例５に係る符号復号システム１７００によれば、静止領域と移動物体を共に含む画像全体の陽炎の発生による空気揺らぎに起因する歪みを低減した復号後画像を表示する符号復号システムを提供することができる。さらに、画像内の陽炎の発生による空気揺らぎに起因する歪みを低減することにより、符号器１７１２が伝送すべき画像間の差分が小さくなり、符号化効率が向上する。

　なお、本実施例の画像補正方法は、陽炎の他に、例えば水面の揺らぎ、木々の揺れ、大気中のもや、水中撮影時の画像の歪み等に対して幅広く補正を行うことが可能であり、不規則に揺れている被写体を止めて視認性を高める用途に広く利用することができる。
　また、本実施例の領域分割による移動物体分離方法を、画像補正以外の用途で利用することもできる。例えば、陽炎等による歪みが含まれる監視映像内から侵入者を自動検知したり、進入車両のナンバーを自動識別するシステム等にて、移動物体として識別された領域を解析することで、処理量を低減することができる。

　実施例１～５において、各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の非一過性の記録媒体に格納することができる。

　１：揺らぎ補正装置、　４、７：画像処理装置、　２、５：パラメータ制御装置、　３：画像メモリ、　４ｉ：入力部、　４ｏ：出力部、　６：補正情報、
　１０：入力部、　１１：画像平滑化部、　１２：階調分布算出部、　１３：相違度算出部、　１４：画像補正部、　１５：高解像度化部、　１６：記録部、　９１：制御部、
　１１１１：除去画像生成部、　１５００：撮像装置、　１６００：監視システム、　１７００：符号復号システム。

Claims

　時系列に沿って撮影された入力画像を入力する入力部、前記入力画像を蓄積する画像メモリ、揺らぎ補正装置、及びパラメータ制御装置を備えた画像処理装置であって、
　前記画像メモリは、蓄積した前記入力画像のうちの所定のフレーム数の画像を前記パラメータ装置に出力し、
　前記パラメータ装置は、前記入力画像と前記画像メモリから入力された画像から比較対象画素ブロックサイズを求め、求めた比較対象画素ブロックサイズを前記揺らぎ補正装置に出力し、
　前記揺らぎ補正装置は、前記時系列に沿って撮影された入力画像を用いて時間平滑化画像を作成し、前記入力画像のうちの補正対象画像と前記時間平滑化画像の画素毎に前記比較対象画素ブロックサイズのヒストグラムをそれぞれ作成し、それぞれのヒストグラムの類似度に応じて画素ごとに画素の補正量を変えて前記補正対象画像を補正することを特徴とする画像処理装置。
　時系列に沿って撮影された複数の画像フレームを受け取る入力部と、
　前記画像フレームのうち補正対象とする対象フレーム内における第１画像領域の第１階調分布を算出するとともに、前記画像フレームのうち前記対象フレームを補正するために用いる補正用フレーム内における前記第１画像領域に対応する第２画像領域の第２階調分布を算出する階調算出部（12）と、
　対象フレーム及び補正用フレームから、被写体の変形に対する頑健性の異なる２つの指標のセットを算出し、該２つの指標の関係に基づいて前記第１画像領域及び第２画像領域のサイズを制御するパラメータ制御部（5）と、
　前記第１階調分布と前記第２階調分布との間の第１類似度を算出する類似度算出部（13）と、
　前記補正用フレームを用いて前記対象フレームを補正する画像補正部（14）と、
　前記画像補正部が補正した前記対象フレームを出力する出力部と、を備え、
　前記画像補正部は、前記第１類似度に応じて前記対象フレームと前記補正用フレームを使用する割合を変更した上で、前記補正用フレームを用いて前記対象フレームを補正することを特徴とする画像処理装置。
　前記セットの一方の指標は、前記第１画像領域及び第２画像領域における複数の画素の間の相違に基づく第１指標であり、前記セットの他方の指標は、前記第１画像領域及び第２画像領域における個々の画素間の相違に基づく第２指標であることを特徴とする請求項２記載の画像処理装置。
　前記セットの一方の指標は、前記第１画像領域及び第２画像領域における画素値のヒストグラムの相違に基づく第１指標であり、前記セットの他方の指標は、前記第１画像領域及び第２画像領域における画素値の絶対差分総和に基づく第２指標であることを特徴とする請求項２記載の画像処理装置。
　前記パラメータ制御部は、前記第１指標及び第２指標に対応させて第１閾値及び第２閾値を設定し、画像フレーム内の複数の位置に設けた前記第１画像領域及び第２画像領域から複数の前記セットをそれぞれ算出し、前記第１指標が前記第１閾値以上で且つ前記第２指標が前記第２閾値未満となる該セットの数に基づいて、前記サイズを制御することを特徴とする請求項３又は４記載の画像処理装置。
　比較対象画像を比較対象画素ブロックと定義して、被写体の変形に頑健でない第１の指標と、該第１の指標を使って第１の状態とそれ以外の状態に分ける第１の閾値と、被写体の変形に頑健な第２の指標と、該第２の指標を使って前記それ以外の状態を第２の状態と第３の状態に分ける第２の閾値とを設ける初期設定ステップと、
　時系列に沿って撮影された複数の画像を取得する入力ステップと、
　空気揺らぎの最大幅を揺らぎによる画素の変位量から算出し、算出した最大幅より所定幅大きいブロックサイズの領域に画像を分割する領域分割ステップ（S1201）と、
　比較対象画素ブロックサイズを決定するために、補正対象画像と補正用画像の中で比較対象画像を決定する比較対象画素領域決定ステップ（S1202）と、
　前記比較対象画像内の画素全体を比較対象画素ブロックとして定義し、定義された比較対象画素ブロックについて、前記第１の指標、前記第２の指標、前記第１の閾値、及び前記第２の閾値によってどの状態であるかを評価する状態評価ステップ（S1203）と、
　各画素ブロックの情報を統合して、ブロックサイズが適切であるかどうか判断するための統合情報を算出する状態情報統合ステップ（S1204）と、
　前記統合情報が前回の統合情報に比べて所定の割合以上変化したか否かを判定する統合情報判定ステップ（S1205）と、
　前記統合情報が前回の統合情報に比べて所定の割合以上変化した場合には、前記比較対象画素ブロックサイズを前回のブロックサイズよりも所定の比率で小さく縮小して、前記状態評価ステップ、前記状態情報統合ステップ、及び前記統合情報判定ステップを実行し、前記統合情報が前回の統合情報に比べて所定の割合未満しか変化していない場合には、この時点の比較対象画素ブロックサイズを最終的な比較対象画素ブロックサイズとして決定するステップ（S1206）と、
　前記決定された比較対象画素ブロックサイズをパラメータとして揺らぎ補正処理を実行するステップと、を有する画像処理方法。