JPWO2014069103A1 - 画像処理装置 - Google Patents

Abstract

時間平滑化ベースでありながら、動く被写体に対しても熱乱流による揺らぎを補正する方法が開示される。入力画像２１の中の補正対象画像の補正対象ブロック２０５に対し、時間的に近い補正用画像２０６を用いて移動物体の動き情報を求めて動き補償し、補正用ブロック２０８とコスト値２０９を出力する動き補償手段２０２と、補正対象ブロック２０５と補正用ブロック２０８をコスト値２０９に応じた時間平均化処理を行い、移動物体の揺らぎが補正された補正済ブロック２１１と補正情報２１０を出力する揺らぎ補正部２０３とを備えた。動き補償手段２０２は２段階の動き検出により、熱乱流の影響を受けずに移動物体の動きを抽出し、補償する。【選択図】図２

Description

本発明は、画像処理装置に係り、特に陽炎などの画像の揺らぎによる画像劣化を軽減することができる画像処理装置に関する。

監視カメラシステムなどに用いられる画像補正技術のひとつに揺らぎ補正がある。ここで言う揺らぎは、熱乱流（thermal turbulence）等による光路中の屈折率の変動が原因で、像が局所的に揺らぐものをいい、現象としては陽炎とも称され、視認性が低下する原因となる。揺らぎ補正を施すことにより視認性を向上させることができる。
画像内の揺らぎを補正する技術は幾つか提案されている。その一つに、揺らぎによる像の変形を動きベクトルで求め、補正する技術がある。しかし、この技術は、画素単位で局所揺らぎを求める必要があり、演算量が膨大となる問題がある。
また、時系列の画像（映像）を時間方向に平滑化することにより、揺らぎの影響を緩和する技術もある（例えば特許文献１及び非特許文献１参照）。揺らぎは、時間によって不規則に画素の位置を変位させるが、その変位は正規分布的であり中心点を持っているため、時間の異なる複数の画素を単に重ね合わせ、平滑化することによりその影響が緩和され、被写体本来の形状を取得できる。
時間平滑化による揺らぎの補正は、静止している被写体に対しては高い効果が得られるが、画像内に移動する物体が存在した場合、移動物体が通過した領域には残像が生じ、輪郭も滲んでしまう。

図５に、時間平滑化を用いた従来の揺らぎ補正技術の概要を示す。時系列の入力画像１１、１２、１３内の１７１、１７２、１７３は、揺らぎの影響を受けた被写体（木）１７の画像を示す。また、入力画像１１、１２、１３内の１８１、１８２、１８３は、揺らぎの影響を受けた被写体（柱）１８の画像を示す。また、入力画像１１、１２、１３内の１９１、１９２、１９３は、揺らぎの影響を受けた被写体（車両）１９の画像を示す。このように、入力画像１１、１２、１３が揺らぎの影響を受けている場合、画像における被写体の視認性が低下する。
この影響を緩和するため、時間的に近い複数のフレームの画素値を時間平滑化する試みが行われてきた。画像５４は時間平均化されて補正された画像を示す。画像５４内の５５４は、補正された被写体（木）１７の画像を示す。また、画像５４内の５６４は、補正された被写体（柱）１８の画像を示す。この場合、時間平均化されて補正された画像５４内の静止した被写体１７、１８に対しては補正の効果が得られるものの、移動物体１９が存在した領域５８においては、モーションブラーによる滲みが生じ、画質が劣化してしまう。なお以後、時間平滑化を、複数の画素からなる領域内で一様な方法で時間方向のフィルタリングをすることと定義する。ここで「一様」とは、揺らぎを画素レベルでは考慮しないという意味で、移動体の変形に応じて領域内に一様に施すアフィン変換（後述）を伴う平滑化も「一様」に該当する。

これに対して本特許出願人は、補正対象の画像と時間平滑化した類似性を計算し、移動物体の領域を正確に認識して時間平滑化を施さずに出力することにより画像の滲みを抑える技術を、特願２０１２−１０７４７０号（先願と呼ぶ）として出願している。
また本発明に更に関連のある技術を、特願２０１３−５７７７４号（関連発明と呼ぶ）として出願した。

特開２００７−４９２６９号公報 特開２０１２−１０４０１８号公報

Leonid P. Yaroslavsky et al., "Processing and Fusion of Thermal and Video Sequences for Terrestrial Long Range Observation Systems", 2004, インターネット＜URL：http://www.fusion2004.foi.se/papers/IF04-0848.pdf＞

上述したように、従来の技術では、移動物体の画像に対して、時間方向の平滑化により揺らぎ補正の効果を得ることは困難だった。まず、移動物体の画像に対し動き補償をするにしても、揺らぎのある画像から移動物体を抽出することがそもそも難しい。また被写体の移動による動きと、揺らぎによる動きとを分離し、揺らぎによる動きのみを補正することが難しい。これらが正確に行えないと、アーティファクトが生じるため、非特許文献１では、画面全体を揺らぎ補正した後、元画像との誤差が大きい部分（基本的に移動物体の全てが該当する）は、補正に失敗したとして元画像に戻すようにしている。
これらを踏まえ、

本発明の目的は、上記問題点に鑑み、移動する被写体に対しても揺らぎ補正効果を得られる画像処理装置を提供することにある。

本発明の画像処理装置は、入力画像に対し揺らぎを補正する画像処理装置において、前記入力画像の中の補正対象画像に対し時間的に近い補正用画像を用いて移動物体の動き情報を求めて動き補償し動き補償後の補正用画像を出力する動き補償出段と、前記補正対象画像と前記動き補償後の補正用画像を用いて時間平均化処理を行い移動物体の揺らぎが補正された補正画像を出力する揺らぎ補正手段と、を備えたことを特徴とする。
また、前記動き補償手段は、前記補正対象画像と前記補正用画像とを縮小してから位置合わせを行い大まかな動き情報を求める大まかな動き補償手段と、前記大まかな動き情報を初期値として前記補正対象画像と前記補正用画像を用いて画素精度の動き補償を行う画素精度動き補償手段を備えるようにしてもよい。
また、本発明の画像処理装置は、前記揺らぎ補正手段から出力された前記補正画像を記憶する記憶手段を備え、前記動き補償手段は、前記記憶手段から出力された前記補正画像を前記補正用画像として用いて移動物体の動き情報を求め前記動き補償後の補正用画像を出力するようにしてもよい。

本発明によれば、移動する被写体に対しても時間平滑化による揺らぎ抑圧効果を得ることができる。

移動物体に対する時間平均化による揺らぎ補正を示す概要図。 本発明の実施例１の画像処理装置のブロック図。 実施例１の画像処理装置の動き補償部２０の内部ブロック図。 本発明の実施例２の画像処理装置のブロック図。 従来技術の、時間平滑化を用いた揺らぎ補正の概要図。 本発明の実施例３の画像処理装置における類似度計算の概念図。 実施例３の画像処理装置のブロック図。 本発明の実施例４の画像処理装置のブロック図。

（本発明による揺らぎ補正の概要） まず、本発明による揺らぎ補正の概要を、図面を参照して説明する。
図１は、移動物体に対する時間平均化による揺らぎ補正の概要を説明する図である。
入力画像１１、１２、１３は、監視カメラなどの撮像装置から入力された時系列の入力画像である。入力画像１１、１２、１３内の１７１、１７２、１７３は、揺らぎの影響を受けた被写体（木）１７の画像を示す。また、入力画像１１、１２、１３内の１８１、１８２、１８３は、揺らぎの影響を受けた被写体（柱）１８の画像を示す。また、入力画像１１、１２、１３内の１９１、１９２、１９３は、揺らぎの影響を受けた被写体（走っている車両）１９の画像を示す。本例では、入力画像１１〜１３の時間間隔は、揺らぎ補正を行う上で、移動物体の変化や陽炎による揺らぎの変化が検出可能な程度に短い時間間隔であるとする。
入力画像１１、１２、１３の中から例えば入力画像１２を選んで、補正対象画像１２とする。走っている車両のような移動物体に対して揺らぎ補正を行うには、補正対象画像１２と時間的に近い画像に存在する移動物体の画素値を用いる必要がある。そのためには、補正対象画像１２と、例えばその直前に連続する入力画像１１とから、動き検出により移動物体の動き情報を求め、動き補償を行う。画像１４は、動き補償を分かりやすく示すために、動き情報を用いて入力画像１１全体を移動させた（つまり動き補償した）様子を示している。同様に、補正対象画像１２と、例えばその直後に連続する入力画像１３とから、動き検出により移動物体の動き情報を求める。画像１５は入力画像１３に動き補償を施した例である。画像１４，１５内の１９４、１９５は、動き補償された被写体１９の画像であり、この画像１９４、１９５を用いて時間平滑化を行い、移動物体１９に対する補正画像１６を得る。
このようにすれば、移動物体１９に対して揺らぎ補正が可能となり、移動物体１９に対する補正画像１６を得ることができる。
以後、「時間平滑化」を、複数の画素からなる領域内で一様な方法で時間方向のフィルタリングをすることと定義する。ここで「一様」とは、揺らぎを画素レベルでは考慮しないという意味で、移動体の変形に応じて領域内に一様に施すアフィン変換（後述）を伴う平滑化も「一様」に該当する。

図２に、本実施例１の画像処理装置２０を示す。本実施例では、画像を一定サイズで格子状に分割したブロックを単位として揺らぎ補正処理を行う。本例の画像処理装置２０は、画像メモリ２０１と、動き補償部２０２と、揺らぎ補正部２０３と、高画質化部２０４とを備えている。画像処理装置２０は、図示していないが、マイクロコンピュータを備え、メモリに記憶されたプログラムを実行して各種演算を行い、以下説明する各機能を実現する。

画像メモリ２０１は、入力された入力画像２１を少なくとも（Ｎ＋１）枚保持し（Ｎは自然数）、その中の一枚を補正対象画像とし、補正対象画像内のある１つのブロック（１９２の一部に相当する）を補正対象ブロック２０５として出力する。また補正対象ブロック２０５に時間的に近いＮ枚を補正用画像２０６（２０６−１〜２０６−Ｎ）として出力する。ブロックサイズは、例えば１６×１６、３２×３２画素などを用い、揺らぎの幅より大きく設定する。補正対象ブロック２０５は、補正対象画像から順次ラスタースキャンにより取り出される。
動き補償部２０２は、補正対象ブロック２０５及び補正用画像２０６（１〜Ｎ）を入力とし、補正用画像２０６（１〜Ｎ）の中で被写体が移動したとされるブロック（被写体の画像１９１．１９２に相当する）である補正用ブロック２０８（１〜Ｎ）と、それら補正用ブロック２０８（１〜Ｎ）毎に補正対象ブロック２０５との類似度を表すコスト値２０９（１〜Ｎ）を出力する。
揺らぎ補正部２０３は、補正対象ブロック２０５と、補正用ブロック２０８（１〜Ｎ）と、コスト値２０９（１〜Ｎ）を入力し、補正済ブロック２１１と補正の強さを表す補正情報２１０を出力する。
高画質化部２０４は、補正された画像２１１と補正情報２１０を入力とし、出力画像２２を出力する。

以下、各ブロックにおける処理を詳細に説明する。
画像メモリ２０１は、動き補償部２０２で補正対象ブロック２０５の処理を行うまでに、以下で述べるパラメータの探索に必要な範囲分の補正用画像２０６（１〜Ｎ）のデータを動き補償部２０２に受け渡す。
動き補償部２０２は、補正対象ブロック２０５と補正用画像２０６（１〜Ｎ）を入力とし、それぞれの補正用画像２０６（１〜Ｎ）の中から、補正対象ブロック２０５に類似する部分を探索し、その類似部分を切り出して補正用ブロック２０８（１〜Ｎ）として出力する。このとき、動き補償部２０２は、揺らぎによる移動と被写体の移動を区別し、被写体の移動による動きを検出した場合のみ、補正用ブロック２０８を出力する。これを実現するために、本実施例の動き補償部２０２は図３のような構成をとればよい。

図３の例では、動き補償部２０２は、Ｎ個の大まかな動き補償部２０２ａとＮ個の画素精度動き補償部２０２ｂで構成されている。
大まかな動き補償部２０２ａは、揺らぎの幅以上の大まかな精度での動き情報を求める。大まかな動き補償部２０２ａは、補正対象ブロック２０５と補正用画像２０６（１〜Ｎ）をローパスフィルタ等で縮小してから位置合わせにより動き情報を求める。画像を縮小してから位置合わせを行うことにより、揺らぎの影響を減らすことができるのに加えて、探索に係る演算量を削減できる。
位置合わせは、例えば（数式１）のような評価関数で表されるコスト値を定義し、その値を極小化するパラメータ(Δx’,Δy’) を勾配法などにより探索すればよい。

ここでb_{obj_red}(i,j)は縮小された補正対象ブロック２０５の座標(i,j)における画素値を、M’は縮小されたブロックサイズを表す。p_{_n_red} (x’,y’)は縮小された補正用画像２０６（１〜Ｎ）のｎ番目の補正用画像２０６−ｎの座標(x’,y’)における画素値を表す（ここでｎは、１〜Ｎ）。座標(x’_obj,y’_obj)は補正対象画像を縮小した場合の補正対象ブロックの座標である。大まかな動き情報検出部２０２ａは、コスト値の極小点に相当する(Δx’,Δy’) を、大まかな動き情報（動きベクトル）２０７−ｎとして出力する。この探索は、直前までの探索の計算の一部を再利用したり、条件分岐を減らしたりして、精度よりも処理量の少なさを優先する。また、画素精度動き補償部２０２ｂに渡す前に、大まかな動き情報２０７−１〜２０７ーＮにカルマンフィルタ等を適用し、動きをなめからにしてもよい。

それぞれの画素精度動き補償部２０２ｂは、補正対象ブロック２０５と、対応する補正用画像２０６（ｎ）と、対応する大まかな動きベクトル２０７（ｎ）を入力とし、補正用ブロック２０８（ｎ）を出力する。
本例の画素精度動き補償部２０２ｂは、物体の形状の変化に対する影響が少ないヒストグラムを用いて動き補償を行う。補正対象ブロック２０５のヒストグラムと最も形状の近いヒストグラムを持つ補正用画像２０６（ｎ）内の部分画像（ブロックと同サイズ）を補正用ブロック２０８（ｎ）とする。これにより、動き補償部２０２は、揺らぎによる移動と被写体の移動を区別し、被写体の移動のみを補正した補正用ブロック２０８（ｎ）を出力することができる。
以下に本実施例のパラメータの探索方法を示す。本実施例では例えば（数式２）のようなコスト関数を定義する。

ここでh_obj(k)は補正対象ブロック２０５のヒストグラムであり、kはヒストグラムのビンのインデックスである。h_n(k,Δx,Δy)は、補正用画像２０６（ｎ）の座標(Δx,Δy)のブロックのヒストグラムのｋ番目のビンの値である。（数式２）のコスト値を評価関数とし、勾配法などによるパラメータの探索を行う。このとき、(Δx,Δy)の初期値は大まかな動き補償部２０２ａの出力から求めた動きベクトルを用いる。
画素精度動き補償部２０２ｂはコスト関数の値が最小となったときのブロックを補正用ブロック２０８（ｎ）とし、そのときのコスト関数の値であるコスト値Ｃ_fine２０９と共に出力する。

図２に戻って更に説明を続ける。
揺らぎ補正部２０３は、コスト値２０９（１〜Ｎ）に応じ、補正対象ブロック２０５に対して補正用ブロック２０８（１〜Ｎ）と平滑化処理を行うことにより揺らぎ補正処理を行う。時間平滑化の際にコスト値２０９を考慮するのは、補正用画像内に補正対象ブロックの被写体に相当する被写体がそもそも存在しない場合や、動き補償がうまく収束しなかった場合に補正後の画像の画質劣化を抑えるためである。平滑化処理は一例として、（数式３）のように行うことができる。

ここで、b_cor(i,j)は補正済ブロック２１１の座標(i,j)における画素値、b_obj(i,j)は補正対象ブロック２０５の座標(i,j)における画素値、b_n(i,j)は補正用ブロック２０８（ｎ）の座標(i,j)における画素値である。alpha_nは、コスト値Ｃ_nから決定された時間平滑化のための係数（重み）であり、Ｃ_nを補正用ブロックの信頼性が高いほど大きくなるような値だとすると、例えば二つの閾値T₁、T₂（T₁＜T₂）を用いて（数式４）のように決定できる。

Ｃ_nは、例えば−Ｃ_fineである。
揺らぎ補正部２０３は、（数式３）によって求められた補正済ブロック２１１と、補正の強さを表す補正情報２１０を出力する。補正情報には、例えば（数式４）で求められるalpha₁〜alpha_Nの合計値や、非ゼロのをalpha_nの個数を用いることができる。

高画質化部２０４は、補正済ブロック２１１と補正情報２１０を入力とし、補正済ブロック２１１を張り合わせることで入力画像２１と同じ視野の画像を再構築し、更にブロック毎の補正情報２１０に応じた高画質化処理を施して出力画像２２を出力する。高画質化処理には、例えばエッジ強調フィルタなどが挙げられる。エッジ強調フィルタによって、平滑化によって失われた解像感が再び得られるようになる。しかしながら、平滑化処理が十分でない画像に対してエッジ強調を行うと、不自然な画像になってしまう。この問題は、適当な閾値を設定し、補正情報が閾値以上ならばエッジ強調フィルタを施し、閾値未満ならばエッジ強調をしない、もしくは処理（例えばエッジ強調の度合い）を切り替えることにより避けることができる。複数の補正済ブロックに亘って同じフィルタを適用するときは、連続的に処理する（つまりある補正済ブロックの境界付近の画素値を得るために隣接する補正済ブロックの画素値を参照する）ことが望ましい。

本例では、動き補償部２０２でのヒストグラム算出に用いる部分画像のサイズをブロックと同じとしたが、ブロックと独立したサイズを用いることは容易である。この部分画像サイズは揺らぎ補正の性能に非常に影響する。ヒストグラムの結果が揺らぎよりほとんど影響されず、かつ、空間分解能の低下を最小にするためには、部分画像サイズは標準的な揺らぎの幅（スカラー化した変位量の分散の２倍）より大きく、かつ、できるだけ小さくすべきである。そのため部分画像サイズは、実際のシーンでの揺らぎの幅に基づいて、適応的に制御されることが望ましい。一方ブロックのサイズは、動き補償を行う都合、移動物体と同程度か、それより小さい必要がある。なおヒストグラム算出用の部分画像の形状、ブロックの形状は、どちらも正方形で良い。
適応制御は、揺らぎの幅を直接計測する代わりに、今の部分画像サイズが、揺らぎの幅に対して大きすぎる或いは小さすぎるかを推定することによっても実現できる。例えば、ある共通の部分画像（ブロック）に対して、大まかな動き補償部２０２ａが算出したコスト値Ｃ_coarse（以後SAD：Sum of Absolute Differenceと呼ぶ）と、素精度動き補償部２０２ｂが算出したコスト値Ｃ_fine(以後DHIST：Dissimilarity of HISTogramsと呼ぶ） との比較により、下記のルール１〜４を順次適用して判断する。ただし容易に比較できるよう、両者のスケールは調整されているものとする。
１．SADが閾値未満、且つ、DHISTが閾値未満ならば、揺らぎは生じていない。よって、補正停止。
２．SADが閾値超、且つ、DHISTが閾値超ならば、揺らぎに対して部分画像が小さすぎる（或いは動き補償に失敗した）。よって部分画像を大きくして判断をやり直す。
３．SAD < DHISTならば、揺らぎが存在し、部分画像が小さすぎる。よって部分画像を大きくする。
４．SAD > DHISTならば、揺らぎが存在し、部分画像サイズは適切或いは大きすぎる。
ルール４だけでは部分画像サイズが適切か大きすぎるか判断できないので、ルール４の時に試みに部分画像サイズを小さくし、次にルール３に該当した場合に、直近にルール４に該当したときの部分画像サイズが最適だったと判断する。なお、SADは動き補償付のＣ_coarseに限らず、動き補償無しのＣ_coarse(0,0)でもよい。
このように部分画像サイズを評価する手段を設けことで、揺らぎの生じていない部分領域に対して補正のための処理を全て省略することもできる。

実施例１では、時間平滑化のために入力画像を保持したが、この場合、揺らぎ補正の効果を高めようとした場合、多くの画像を保持しなくてはならないためストレージコストが高いといった問題がある。また、複数の補正用画像の動き補償を行わねばならないため、一つの画像に対する処理は単純である必要があった。本実施例では、補正済画像を次の画像に対する補正用画像として用いることにより、ストレージコストを削減する例を示す。

図４に本実施例の画像処理装置４０を示す。本実施例では、補正対象画像４１に物体認識を適用した後に複数の領域に分割し、領域ごとに動き補償を行った後に揺らぎ補正を施す。本実施例の画像処理装置４０は、画像メモリ４０１と動き補償部４０２と揺らぎ補正部４０３と高画質化部４０４からなる。

画像メモリ４０１は、１枚の補正済画像４０７を保存し次の画像の補正用画像４０５として出力する。動き補償部４０２は、補正対象画像４１と補正用画像４０５を入力とし、動き補償後の補正用画像４０６を出力する。揺らぎ補正部４０３は、補正対象画像４１と動き補償後の補正用画像４０６を入力とし、補正済画像４０７を出力する。高画質化部４０４は、補正済画像４０７を入力とし、出力画像４２を出力する。
以下に、各領域における処理の詳細について説明する。

画像メモリ４０１は補正済画像４０７を保存する。そして、次の補正対象画像４１に対する補正処理の際に、動き補償部４０２へ補正用画像４０５として出力する。

動き補償部４０２は、最新の入力画像である補正対象画像４１に対して物体認識技術等を施して、画像を複数の領域に分割する。最も簡単なのは背景差分やフレーム差分法により、背景と移動物体を分離する方法であり、基準背景として補正用画像４０５をそのまま用いてもよい。そして、それらの領域に対して代表的な動きモデルを求め補正する。この時、過去の分割結果を記憶している必要はない。平行移動だけでなくアフィン変換などに代表される線形変換のパラメータで動きモデルを表してもよい。パラメータの探索方法は、周知のテンプレートマッチングと同様であり、例えば平行移動パラメータ、アフィン変換パラメータの順で求め、さらに反復演算してもよい。また実施例１と同じく、（数式１）の画素値の差分絶対値の和と、（数式２）のヒストグラムの差分を評価関数にした２段階探索とする。ただし、領域の大きさが縮小、拡大などによって変わった場合は、ヒストグラムの度数の合計を正規化してから比較する。動き補償部４０２は、分割した各領域に対して求めた代表的な動きモデルを用いて補正用画像４０５に動き補償処理を施し、動き補償後の補正用画像４０６を揺らぎ補正部４０３へ出力する。なお動かない背景であることが確かな分割領域に対しては、動き補償は不要である。

揺らぎ補正部４０３は、補正対象画像４１と、各分割領域の動き補償後の補正用画像４０６を入力とする。そして、揺らぎ補正部４０３は、補正対象画像４１と動き補償後の補正用画像４０６に対して画素単位で類似度（信頼性）を算出し、その類似度に応じて二つの画像を混合して得た補正済画像４０７を、高画質化部４０４と画像メモリ４０１に出力する。

２つの画像間で、画素単位の類似度を算出する方法には、例えば上述の先願で用いられている手法がある。先願では、ある注目画素の類似度は、その画素を中心に持つ画素ブロックのヒストグラムと、他方の画像で同じ位置にある画素ブロックのヒストグラムとの類似度により定義される。或いは、両画像の任意の位置の画素ブロックに対してヒストグラムを求めておき、ある注目画素の類似度を、その画素を含むすべての画素ブロックを、両画像の同じ位置同士で比較したヒストグラム類似度の和により定義する。なお（数式２）のようなヒストグラム差分はここで言う類似度の逆数に相当する。
上記の方法で画素単位の類似度を算出した後に、例えば（数式５）のように画素値を混合して出力する。

p_{_cor} (x,y)は補正済画像４０７の座標(x,y)における画素値、p_{_obj} (x,y)は補正対象画像４１の座標(x,y)における画素値、p_{_com} (x,y)は、動き補償後の補正用画像４０６の座標(x,y)における画素値を表す。Beta(x,y)は、座標(x,y)における混合の割合を表す０〜１の間の係数であり、動き補償後の補正用画像４０６が信頼できないほど１に近づく。Beta(x,y)は、例えば二つの閾値T₁、T₂（T₁＜T₂）を用いて（数式６）のように求められる。

ここでc(x,y)は、座標(x,y)における類似度の逆数（つまりヒストグラム差分）であり、Sは、補正済画像の更新レートの下限を規定する混合パラメータ（1<S）である。つまり補正済画像には、常に1/S以上の割合で補正対象画像が反映され、S=1のとき補正済画像４０７の画素は完全にリフレッシュされる。Sは、移動体の動きの速さや画像全体に一様の生じうる動き（カメラのブレ）の速さ等に応じ経験的に決定する。

先の実施例１や２は、動き補償された補正用画像の画素単位の類似度に基づく適応的な重み（０を含む）により時間平滑化するものであった。
また上述の先願では、補正対象画像を単純に時間平滑化して時間平滑化画像を作成し、補正対象画像と時間平滑化画像の画素ごとの類似度を算出し、類似度に応じて補正対象画像と時間平滑化画像を統合することにより揺らぎ補正する。
また上述の関連発明（特願２０１３−５７７７４号）でも、補正対象画像と複数の補正用画像との間で画素単位で類似度を求め、時間平滑化の対象とするか否かや平滑化の強度を画素毎に判断する。

実施例２や先願は、ストレージコストが少なくすむが、高い補正効果を得ようとした際に補正画像の画質が乱れやすい傾向がある。高い補正効果を得るためには、なるべく多くのフレームを用いて時間平滑化を行う必要があるが、移動に連れて見え方が変化する移動物体の動き補償には限界があり、補償の誤差等に起因する滲みの影響をより多く受ける。また、移動する被写体が常時多数存在するような映像に対しては、平滑化時間を長くしても補正の効果を得ることができない。

関連発明は、できるだけ多くの類似画像を合成する思想により、複数の従来技術１より良好な画質を得ることができる。しかし、補正対象画像が１コマ進むたびに、補正用画像の分だけ類似度算出処理が必要となり、演算量が膨大となる問題がある。
本実施例では、上記関連発明の構成に近い効果を、演算コストを抑えたまま実現する方法を提案する。

図６に本実施例３に係る画像処理装置での類似度計算の概念図を示す。本例では、ある１つの入力画像と、その画像と時間的に一つ前の画像間の類似度のみが算出され、画像とともにメモリに保持される。類似度の算出方法は先の実施例１や２と同様でよい。そして、メモリに保存された類似度を用いて、補正対象画像から連続して類似度が高いとされる範囲の画素のみを用いて時間平滑化を行う。これは、「ある画像Ａと画像Ｂが互いに類似し、画像Ｂと画像Ｃが互いに類似するならば、画像Ａと画像Ｃも互いに類似する」という演繹を補正対象画像から繰り返し、互いに類似する画像群を見つけることである。
このとき、類似度が高いか低いかの判断は算出した類似度に対して適切な閾値を設定することにより行う。類似度は、閾値が固定であれば高い／低いの１ビットで表現できるが、類似度を算出した画像と補正対象画像の時間的関係より閾値を変えて判断できるよう、値のまま保持してもよい。

図７に、本実施例３の画像処理装置のブロック図を示す。本例の画像処理装置は、画像メモリ３１と、類似度算出部３２と、補正情報算出部３３と、揺らぎ補正部３４と、高画質化部３５と、を備え、時系列の画像が入力画像として入力される。
画像メモリ３１は入力画像を１＋Ｎ枚以上保持し、直前の入力画像を類似度算出部３２に出力するとともに、揺らぎ補正の対象となる補正対象画像と、補正対象画像と時間的に近い補正用画像（１..Ｎ）を揺らぎ補正部３４に出力する。
類似度算出部３２は入力画像と、その直前のフレームの２つの画像を入力とし、２つの画像の画素ごとの類似度を出力する。ここで算出される類似度は揺らぎによる画素の移動に対しては影響されづらく、移動する被写体による画素の移動には反応できるものでなくてはならない。実施例１や２同様、ブロック単位のヒストグラムの比較による類似度算出方法が利用できる。

補正情報算出部３３は類似度算出部３２からの類似度を入力とし、Ｎフレーム分保持するとともに、補正対象画像用に補正情報を出力する。保持する類似度は、必要な精度に応じて閾値処理、量子化を施したほうがストレージコストを下げることができる。例えば、類似度を０からＭの整数で表すものとする。例えば、算出した値に対して二つの閾値Ｔ_A、Ｔ_B（Ｔ_A＜Ｔ_B）を定め、算出した値がＴ_A以下なら類似度は０、Ｔ_Bより大きければＭ、それらの間は１からＭ−１の値で表せるように量子化する。保存する際は、その類似度を得るときに比較した２画像のうち新しい方の画像の画素に対応して配置した、類似度マップとして保存する。補正情報算出部３３は、内部に保持された類似度マップ（１..Ｎ）をもとに補正情報を算出する。補正情報は補正対象画像内の補正対象画素と、補正用画像（１..Ｎ）内で補正対象画素と同じ座標上に存在する補正用画素（１..Ｎ）を、どのような比率で平滑化するかを示す。

揺らぎ補正部３４は、入力した補正情報をもとに補正対象画像及び補正用画像を時間平滑化し、補正済画像として出力する。
補正情報算出部３３が出力する補正情報は、補正対象画像と補正用画像１〜Nを平滑化して補正済画像を作成する際に、混合する比率を表す係数とする。（数式７）に時間ｔの補正対象画像の座標（x,y）の位置における、補正情報の算出方法を示す。

ここで、ａ(t,n,x,y)は、時刻tのフレームを補正対象画像としたときに、時間t+nのフレームの座標（x,y）の画素を混合する比率（重み）を表す。ｃ(t,x,y)は時間tに入力した画像と時間t-1に入力した画像の、座標（x,y）での類似度を表す。Ｍは類似度の最大値となる。
揺らぎ補正部３４はこの補正情報にもとづき、（数式８）で表される時間平滑化を行う。

ここでp_c(t,x,y)は、時刻t（ｔは整数とする）の入力画像である補正対象画像に対応する補正済画像の座標（x,y）での画素値であり、p(t,x,y)は、時刻tの入力画像の座標（x,y）での画素値を示す。

高画質化部３５は、補正情報をと補正済画像を入力とし、補正済画像に空間領域での高画質化処理を施して出力する。空間領域での高画質化処理は、１枚の画像で実行できるものであり、例えばエッジ強調フィルタなどが挙げられる。実施例１同様、平滑化処理が十分でない画像に対してエッジ強調を行うと、揺らぎの影響を強調してしまう恐れがあるため、本例でも、補正情報に応じて局所的にフィルタの強度を切り替えることにより解決できる。例えば、ａ(t,n+3,x,y)とａ(t,n-2,x,y)がどちらとも一定値以下なら強いフィルタにし、それ以下ならば弱いフィルタにするなどである。どのフレームの比率ａを参照するかや閾値は適切に調整する。

実施例３では補正に用いる全ての補正用画像を装置内に保持し、また読み出しを行わなければならずストレージコストは依然高いままだった。本例では、ストレージコストを削減した例を示す。
図８に本実施例４の画像処理装置のブロック図を示す。本例の画像処理装置は、類似度算出部３２と、画像メモリ６１と、補正画像メモリ６２と、類似度メモリ６３と、揺らぎ補正部６４と、高画質化部３５を備えている。類似度算出部３２や高画質化部３５は、実施例３と同じである。本例では、最新の入力画像が補正対象画像となるため、入出力間でのフレーム遅延が非常に小さいという利点があり、また、複数の補正用画像に替えて、生成された補正済画像１枚をメモリに保存し、次の補正済画像を生成するのに用いることなどを特徴としている。

画像メモリ６１は入力画像を１フレーム保持し、直前の入力画像として出力する。
補正情報算出部６３は、実施例３の類似度マップと同様のマップを有し、現在から遡って何フレーム連続して揺らぎ補正が実行されたかを示す連続補正数と、過去Ｎフレーム分の類似度（或いは補正情報）と、のうち少なくとも一方を保持し、これらに基づいて補正情報を算出する。連続補正数は、類似度算出部３２から閾値処理された0か１の信号を受け取り、１を受け取った時に保持している数をインクリメントし、０が来た時に０に戻すことで容易に得られる。
最も単純な補正情報は、連続補正数そのものである。この補正情報は、今回の補正対象画像が何枚の過去のフレームを参照して補正するかを示しているとも言える。

揺らぎ補正部６４は、補正情報算出部６３からの補正情報にもとづき、（数式９）の様に補正対象画像と直前の補正画像を混合して出力する。

この式は、連続補正数が大きくなればなるほど、補正済画像の比率が大きくする。比率が一定の場合、指数移動平均となり古い入力画像の影響が薄れてしまうが、本例の補正情報によれば、入力画像の古さに依らず重みが一定の累積移動平均と同じになり、実施例３と同様の補正効果が得られる。
なお実施例３では類似度により比重を適応的に変化させていた。本例でも（数式１０）のように類似度を反映した補正情報を用いれば、同様のことができる。

Beta(t,x,y)は時間tのフレームの座標（x,y）の位置を補正する際に、直前のフレームの補正画像とどのような割合で混合するかを示す。補正情報は補正対象画像内の補正対象画素と、補正用画像１〜N内で補正対象画素と同じ座標上に存在する補正用画素１〜Nをどのような比率で平滑化するかを示す。

高画質化部３５は、補正済画像に、補正情報に応じた高画質化処理を施す。例えば、Beta(t,x,y)の値によって、その画素に対する処理を切り替える。

本実施例によれば、入力画像と補正画像の２枚のみを保持することにより、補正対象画像の座標（x,y）の画素値を、移動する被写体の存在しない分だけの過去フレームの座標（x, y）の画素値を用いて時間平滑化することができる。

本発明は、陽炎の他に、例えば水面の揺らぎ、木々の揺れ、大気中のもや、水中撮影時の画像の、時間的に変動する歪みに対して広く適用でき、光学像に限らず、電磁波や粒子線の強度分布等がイメージ化された画像系列を扱う装置や方法全般に利用できる。

１１，１３ 入力画像、１２ 入力画像（補正対象画像）、 １４，１５ 画像、 １６ 補正画像、 １７ 被写体（木）、 １７１〜１７３ 揺らぎの影響を受けた被写体１７の画像、 １８ 被写体（柱）、 １８１〜１８３ 揺らぎの影響を受けた被写体１８の画像、 １９ 被写体（走行車両）、 １９１〜１９３ 揺らぎの影響を受けた被写体１９の画像、 １９４，１９５ 動き補償された被写体１９の画像、
２０ 画像処理装置、 ２１ 入力画像、 ２２ 出力画像、 ２０１ 画像メモリ、 ２０２ 動き補償部、 ２０３ 揺らぎ補正部、 ２０４ 高画質化部、 ２０５ 補正対象ブロック、 ２０６ 補正用画像、 ２０７ 大まかな動きベクトル（大まかな動き情報）、 ２０８ 補正用ブロック、 ２０９ コスト値、 ２１０ 補正情報、 ２１１ 補正ブロック、 ２０２ａ 大まかな動き補償部、 ２０２ｂ 画素精度動き補償部、
４０ 画像処理装置、 ４１ 補正対象画像、 ４２ 出力画像、 ４０１ 画像メモリ、 ４０２ 動き補償部、 ４０３ 揺らぎ補正部、 ４０４ 高画質化部、 ４０５ 補正用画像、 ４０６ 動き補償後の補正用画像、 ４０７ 補正画像、 ５４ 画像、 ５５４ 補正された被写体１７の画像、 ５６４ 補正された被写体１８の画像、 ５８ 移動物体５７が存在した領域。

Claims (7)

1. 入力画像に対し局所的な揺らぎを補正する画像処理装置において、前記入力画像の中の補正対象画像に対し時間的に近い補正用画像を用いて移動物体の動き情報を求め、該動き情報を用いた動き補償後の補正用画像を出力する動き補償出段と、前記補正対象画像と前記動き補償後の補正用画像を用いて時間平滑化処理を行い移動物体の揺らぎが補正された補正済画像を出力する揺らぎ補正手段と、を備え 前記動き補償手段は、前記補正対象画像と前記補正用画像とを縮小してから位置合わせを行い大まかな動き情報を求める大まかな動き補償手段と、前記大まかな動き情報を初期値として前記補正対象画像と前記補正用画像を用いて少なくとも画素精度の動き補償を行う画素精度動き補償手段とを有しすることを特徴とする画像処理装置。
2. 前記揺らぎ補正手段から出力された前記補正済画像を記憶する記憶手段を備え、前記動き補償手段は、前記記憶手段から出力された前記補正済画像を前記補正用画像として用いて移動物体の動き情報を求め前記動き補償後の補正用画像を出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記大まかな動き補償手段は、前記補正対象画像と前記補正用画像とをローパスフィルタ後に縮小してから前記位置合わせを行い、
   前記画素精度動き補償手段は、前記補正対象画像と前記補正用画像とにそれぞれ設けた部分領域で画素値に関するヒストグラムを求め、該ヒストグラム間の類似度が高くなる該部分領域の位置を探索することにより、前記移動物体の動き情報を少なくとも画素精度で求めることを特徴とする請求項１に記載の画像処理装置。
4. 前記揺らぎ補正手段は、前記画素精度動き補償手段が動き補償に用いた前記動き情報を得た時の類似度に応じて、対応する前記動き補償後の補正用画像に与える重みを変化させることを特徴とする請求項３に記載の画像処理装置。
5. 前記動き補償出段と前記揺らぎ補正手段は、前記補正対象画像を所定の大きさに分割したブロック単位に処理を行うことを特徴とする請求項３叉は４に記載の画像処理装置。
6. 前記動き補償手段は、補正対象画像に対して物体認識技術を施して画像を複数の領域に分割し、該領域に対し拡大および縮小を表現可能な動きモデルを求めてアフィン変換を適用することを特徴とする請求項２に記載の画像処理装置。
7. 入力画像に対し揺らぎを補正する画像処理装置において、入力画像とその直前の入力画像の類似度を算出する類似度算出部と、算出した類似度を保持し補正情報を算出する補正情報算出部と、補正対象画像となった入力画像と、該補正対象画像と時間方向に連続する類似度が高い１つ以上の入力画像との時間平滑化により、補正対象画像に対応する補正済画像を得る揺らぎ補正部と、補正情報をもとに補正済画像に高画質化処理を施す高画質部を備えたことを特徴とする画像処理装置。

Images