WO2013168618A1

WO2013168618A1 - 画像処理装置及び画像処理方法

Info

Publication number: WO2013168618A1
Application number: PCT/JP2013/062445
Authority: WO
Inventors: 昌史高橋; 信博知原; 山口　宗明
Original assignee: 株式会社日立国際電気
Priority date: 2012-05-09
Filing date: 2013-04-26
Publication date: 2013-11-14
Also published as: US20150161773A1; JP5362878B2; US10521885B2; JP2013236249A

Abstract

【課題】陽炎等による画質劣化を軽減するための画総処理装置を提供する。【解決手段】入力画像メモリ１１０は、入力画像群２００及び入力画像２１０を記憶する。時系列平滑化画像メモリ１１２は、時系列平滑化した時系列平滑化画像２２０を記憶する。移動物体除去画像メモリ１１３は、背景画像である移動物体除去画像２３０を記憶する。ヒストグラム解析部１３０は、入力画像２１０と時系列平滑化画像２２０若しくは移動物体除去画像２３０とに対して、部分画像のヒストグラムの差分を計算して画像間の類似性情報を算出する。領域分割部１４０は、類似性情報により、入力画像２１０を移動物体領域及び該移動物体領域以外の領域に分割する。画像補正部１５０は、領域毎に入力画像２１０又は前記時系列平滑化画像２２０を画像合成する。

Description

画像処理装置及び画像処理方法

　本発明は、画像処理装置及び画像処理方法に係り、特に陽炎等による画質劣化を軽減するための画像処理装置及び画像処理方法に関する。

　近年、防犯・現場管理等を目的として監視カメラの需要が高まっており、半導体やネットワーク技術の発展とともにその機能も多様化している。
　その中でも揺れ補正や階調補正、霧・雨・吹雪・黄砂・スモッグ等の外乱除去に代表される画像補正は、大気や照明変化の影響を受けやすい監視分野において重要な役割を果たしており、これまでにもさまざまな製品に搭載されてきた。
　これらの画像補正は映像の視認性を改善して監視効率を高めることを目的としている。たとえば、揺れ補正（スタビライザ）の技術は、強風やカメラ固定台の振動等によって発生する画像の余分な動きを検出し、それをキャンセルする方向に補正することによって、視認性の高い映像を提供する。

　ここで、監視映像の視認性を大きく低下させる自然現象の一つとして、陽炎を挙げることができる。陽炎は、空気の温度差等によって発生する光の屈折・進行阻害現象である。陽炎が発生している箇所では、被写体がけば立ったように変形し、不規則に揺れて見え、解像感も低下する。このため、画像の品質が大きく低下する。

　実際のところ、従来から、陽炎によって発生した画像歪みを補正し、或いは陽炎を伴う画像の分解能を高めようとする試みはいくらか行われてきた。
　これらは主に、時間的に近い複数枚の画像を用いて画面内の全画素を平滑化（以下、「時系列平滑化」という。）し、陽炎による被写体の変形を緩和する技術である。
　すなわち、時系列平滑化は、陽炎の影響で被写体が変形する際の変位量が、統計的にはガウス分布に従うという性質を有していると考えられるため、複数枚の画像を用いて画素を平滑化することにより被写体本来の形状に近い画像を取得する技術である。
　たとえば、非特許文献１を参照すると、陽炎補正の対象となる「入力画像」と、時系列平滑化した「平均画像」に対して位置あわせを行い、入力画像を平均画像と合わせるように補正することによって、陽炎による被写体の変形を補正する技術が記載されている。

　図１１を参照して、従来の時系列平滑化による陽炎補正方式について説明する。
　入力画像１２００－１～１２００－ｎは、監視カメラ等で動画撮影された、時間的近傍にある複数枚フレームの画像群を示す。図１１では、入力画像１２００－１～１２００－４を例として示している。これらの画像が、陽炎による歪みを含んでいる場合、陽炎が発生している場所の周辺で被写体の形状が変化し、ビデオ視認性の低下へと繋がる。
　時系列平滑化画像１２２０は、この入力画像１２００－１～１２００－４を、従来の画像の時系列での平滑化により、画面内の全画素を平滑化した画像の例である。この時系列平滑化画像１２２０のように、建物のように物体が静止している背景領域では、物体本来の形状に近い画像を復元することができる。
　しかし、入力画像中に移動物体が存在する場合に時系列平滑化を行うと、移動物体領域が不自然ににじんだ画像が生成され、補正画像の大幅な劣化につながる。つまり、図１１の例では、移動物体が通り過ぎた領域１２５０においては、移動物体とそうでない領域が不正に重畳されてしまい、所望の結果が得られないといった問題があった。
　つまり、時系列平滑化方式は、画面内に移動物体が存在しない場合にのみ効果的に用いることができる。

　また、陽炎の影響による解像感喪失に加えて、上記平滑化処理によっても解像度が低下してしまうため、補正画像の解像度を高める試みも行われている。
　たとえば、非特許文献２を参照すると、画面内の全画素に対して時系列平滑化処理を行った画像に対して、時間的に近い複数枚画像を用いた超解像処理を行うことによって、失われた解像度を復元する技術が記載されている。

　また、特許文献１を参照すると、入力された画像データの画像の揺らぎを補正するために、前記画像データに対して、１つの係数と１フレーム前の前記画像データとで規定される伝達関数を適用する演算を行う補正手段と、前記補正手段により補正された前記画像データを１フレーム遅延して、前記補正手段に１フレーム前の前記画像データとしてフィードバックする遅延手段と、入力された前記画像データと１フレーム前の前記画像データとに基づいて、前記画像中の動きのある画素を抽出する抽出手段と、前記動きのある画素のうちの動体の画素を揺らぎの画素から識別する識別手段と、前記識別手段による識別結果に応じて前記係数を制御する制御手段とを備える画像処理装置が記載されている（以下、従来技術３とする。）。
　従来技術３も、動体に与える影響を軽減し、画像の揺らぎを補正することができる。

特開２０１１－２２９０３０号公報

吉村，清水，田中，奥富，「非剛体レジストレーションによる時系列画像中の揺らぎ除去」，２００７，情報処理学会研究報告，２００６－ＣＶＩＭ－１５７，ｐ．１６９－１７６Ｍ．Ｓｈｉｍｉｚｕ，Ｓ．Ｙｏｓｈｉｍｕｒａ，Ｍ．Ｔａｎａｋａ，ａｎｄ　Ｍ．Ｏｋｕｔｏｍｉ，"Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ　ｆｒｏｍ　Ｉｍａｇｅ　Ｓｅｑｕｅｎｃｅ　ｕｎｄｅｒ　Ｉｎｆｌｕｅｎｃｅ　ｏｆ　Ｈｏｔ－Ａｉｒ　Ｏｐｔｉｃａｌ　Ｔｕｒｂｕｌｅｎｃｅ"，２００８，ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），ｐ．１－８

　しかしながら、従来技術１は、陽炎等を補正するために、時間的に近い画像を用いた時系列平滑化を行う場合、対象画像内に移動物体が存在すると、補正画像が大幅に劣化するといった問題があった。
　また、従来技術１のような、画面全体での時系列平滑化を行うだけでは、入力画像中に移動物体が存在した場合、上述のように平均画像が劣化してしまい、うまく位置あわせができないため、補正そのものが困難化するという問題もあった。
　また、従来技術２は、また、補正画像に対して複数枚画像を用いた超解像処理を行う場合、位置あわせのための処理量が膨大であるといった問題があった。これは、陽炎による被写体の変形は局所的にも起こり得るため、例えば、画素単位の非常に緻密な位置あわせを行う必要があるためであった。
　また、従来技術３は、１フレーム前の画像の画素の位置関係のみに注目して揺らぎを補正しているため、移動物体領域の検出精度が低いという問題があった。

　本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。

　本発明の画像処理装置は、入力画像と、時間的に近い複数枚の画像を用いて平滑化した時系列平滑化画像若しくは移動物体を除去した移動物体除去画像とに対して、部分画像の差分を計算することにより画像間の類似性情報を算出する類似性情報算出部と、前記画像間の類似性情報により前記入力画像を移動物体領域、及び該移動物体領域以外の領域に分割する領域分割部と、前記領域毎に前記入力画像又は前記時系列平滑化画像を画像合成する画像補正部とを備えることを特徴とする。
　本発明の画像処理装置は、前記領域分割部は、大きさの異なる２種類以上の閾値を設定し、高い閾値以上の画素値の前記領域の空間的近傍に位置する前記領域に対しては低い閾値で、そうでない場合には高い閾値で前記領域の分割を行う、又は、低い閾値以下の評価値を備える前記領域の空間的近傍に位置する前記領域に対しては高い閾値にて、そうでない場合には低い閾値にて前記領域の分割を行うことを特徴とする。
　本発明の画像処理装置は、前記画像補正部は、前記移動物体領域に対して空間方向の平滑化フィルタを実行することを特徴とする。
　本発明の画像処理装置は、前記移動物体領域同士、及び／又は前記移動物体以外の領域同士で位置合わせ処理を行い、該位置合わせの結果に基づいて超解像処理を行う画像高画質化部を備えることを特徴とする。
　本発明の画像処理方法は、コンピュータに画像処理を実行させるための画像処理方法において、前記コンピュータに、入力画像と、時間的に近い複数枚の画像を用いて平滑化した時系列平滑化画像とに対して、部分画像の差分を計算することにより画像間の類似性情報を算出し、前記画像間の類似性情報により前記入力画像を移動物体領域、及び該移動物体領域以外の領域に分割し、前記領域毎に前記入力画像又は前記時系列平滑化画像を画像合成する手順を実行させることを特徴とする。

　本発明によれば、入力画像と比較画像の部分画像の差分を計算して移動物体を認識することで、陽炎の影響により観測される被写体の変形や解像感の喪失を好適に補正し、位置合わせの精度を高め、高品質の画像を得られる画像処理装置を提供することができる。

本発明の画像処理方法等の対象となる陽炎を含む画像における、領域のカテゴリの一例を説明する図。本発明の第１実施形態に係る画像処理装置１０の制御構成を示すブロック図。第１実施形態に係る画像品質改善処理のフローチャート。第１実施形態に係る画像間類似性評価処理におけるヒストグラムの差分に係る概念図。第１実施形態に係るヒストグラムの差分の具体的な計算に係る概念図。第１実施形態に係る画像間類似性評価処理における評価コストＣ_Xの計算の概念図。第１実施形態における別の評価コストを計算する方法の概念図。第１実施形態における１フレーム分の評価コスト算出の概念図。第１実施形態にて算出された評価コストの一例を示す概念図。第１実施形態に係る領域分割処理の概要を示す概念図。領域分割処理におけるマスク情報Ｍ_SRの再帰的な算出処理のフローチャート。第１実施形態に係る領域分割処理の動作例を示す概念図。第１実施形態に係る領域分割処理により算出されたマスク情報Ｍ_SRの概念図。第１実施形態に係る画像補正処理の概念図。第１実施形態に係る画像補正処理において、フィルタ種別の分類の概念図。第１実施形態に係る画像補正処理のエッジスムージングフィルタの概念図。第１実施形態に係る歪みレベル出力処理の概念図。第１実施形態に係る高解像度化処理における位置合わせの概念図。本発明の第２実施形態に係る画像処理装置１１の制御構成を示すブロック図。第２実施形態で画像間の類似性情報を計算する概念図。従来の陽炎を軽減するための時系列平滑化による画像処理の概念図。

＜実施形態に係る画像処理装置の原理＞
　まず、図１を参照して、本発明の実施形態に係る画像処理装置の原理を概略的に述べる。
図１に、実施形態に係る画像処理装置が処理の対象とする、陽炎を含む画像の一例が示される。入力画像２１０は、監視カメラ等の撮像手段により所定時間間隔で撮像されたものの１フレームであり、走行中の車とビルが写っている。入力画像２１０は、少なくとも被写体の違いにより、少なくとも移動物体領域、背景領域に区別できることが理解できる。

　実施形態に係る画像処理装置は、例えば、入力画像２１０を、「移動物体領域」「背景領域」「準移動物体領域」の３種類のカテゴリの領域に分割する。
　「移動物体領域」は、入力画像内で移動物体（例えば車）が存在する領域である。「移動物体領域」は、移動物体上で陽炎が発生している領域３１０（車体）と、移動物体上で陽炎が発生していない領域３１１（車輪）とを含む。
　「背景領域」は、物体（例えばビル）が静止している領域である。「背景領域」は、静止する物体上で陽炎が発生している領域３２０と、静止する物体上で陽炎が発生していない領域３２１とを含む。
　「準移動物体領域」は、入力画像内に移動物体は含まれないものの、過去に移動物体が通り過ぎた後の領域３３０を示す。
　このように、「移動物体領域」に属する領域３１０、３１１に限らず、カテゴリ「背景領域」に属する領域３２０においても、陽炎に起因する被写体の動きが検出されうる。

　従来は、この「移動物体領域」と、陽炎が発生している「背景領域」とを、精度良く区別することが困難であり、精度の悪さ、つまり判断された「背景領域」内に誤って移動物体が存在することが、補正画像の画質を大きく低下させていた。
　実施形態に係る画像処理装置は、物体の変形に強いというヒストグラムの性質に着目し、部分画像におけるヒストグラム差分（コスト）を評価する。
　これにより、従来は困難であった、「移動物体領域」と陽炎が発生している「背景領域」とを区別し、別々のカテゴリに領域分割した上で画像補正を行うことができる。これにより、画像品質が改善される。

　少し具体的に説明すると、画像処理装置は、各領域に対して適した処理を行った後で、再び各領域の画像を統合することによって陽炎補正を達成する。
　たとえば、画像処理装置は、移動物体領域に対して、空間的近傍画素を用いた平滑化を行い、それ以外の領域に対しては、時間的近傍画像を用いた平滑化を行う。
　画像処理装置は、移動物体の分離には、例えば、物体の変形に強い特徴を持つヒストグラムを用い、入力画像２１０と、時間的に近い画像入力画像群２００を用いて入力画像を平滑化した時系列平滑化画像とのヒストグラム差分を計算する。そして、画像処理装置は、差分の小さい部分を移動物体領域として抽出する。
　この上で、画像処理装置は、分割した各カテゴリの領域について、陽炎補正を行って、超解像処理を行い、画像の品質を改善する。画像処理装置は、超解像処理のための位置あわせを行う際にも、上述の移動物体領域の抽出結果を参照する。これにより、被写体の存在場所が限定されるため、例えば移動物体領域同士、および移動物体以外の領域同士で探索を行うことにより、探索範囲が限定され処理量を軽減化できる。

＜第１実施形態＞
〔画像処理装置１０の構成〕
　まず、図２を参照して、本発明の第１実施形態に係る画像処理装置１０（コンピュータ）の構成を説明する。
　画像処理装置１０は、一例として、主に、入力画像メモリ１１０（入力画像記憶手段）、時系列平滑化画像メモリ１１２（時系列平滑化画像記憶手段）、移動物体除去画像メモリ１１３（移動物体除去画像記憶手段）、出力画像メモリ１１４（出力画像記憶手段）、計算用メモリ１１５（一時記憶手段）、時系列平滑化画像更新部１２０（時系列平滑化画像更新手段）、ヒストグラム解析部１３０（類似性情報算出手段、類似性情報算出部、ヒストグラム解析手段）、領域分割部１４０（領域分割手段）、画像補正部１５０（画像補正手段）、移動物体除去画像更新部１６０（移動物体除去画像更新手段）、陽炎歪み計算部１７０（陽炎歪み計算手段）、パラメータ最適化部１８０（パラメータ最適化手段）、及び画像高画質化部１９０（画像高画質化手段）を含んで構成される。
　画像処理装置１０は、入力画像メモリ１１０乃至計算用メモリ１１５のメモリと、ＤＳＰ（Digital
Signal Processor）やＧＰＵ（Graphics Processing Unit）等のプロセッサとをハードウェアとして有し、所定のプログラムを読み込んだプロセッサが、時系列平滑化画像更新部１２０乃至画像高画質化部１９０の機能を実現することによって、取得した監視カメラ等の画像から、陽炎による揺らぎ等を補正する陽炎補正装置として機能させることができる。

　入力画像メモリ１１０は、図示しない監視カメラ等からの入力画像２１０が随時書き込まれて、それを記憶する。一般に監視カメラ等から取得される画像は、ＪＰＧ（ＭｏｔｉｏｎＪＰＥＧ）やＪｐｅｇ２０００等の静止画像として、或いはＭＰＥＧ４やＨ．２６４等の動画として符号化されているため、適宜復号し所定のカラーフォーマットのＲＡＷデータとして記憶する。
　入力画像メモリ１１０は、常にできるだけ新しい画像を最低でも１フレーム分、完全な形で保持することが望ましく、そのために２フレーム分以上の容量を備える。また、画像高画質化部１９０での超解像処理が入力画像群２００を必要とする場合、入力画像メモリ１１０は、入力画像群２００として、入力画像２１０の時間的に近傍の静止画像データ（フレーム）を、より多く保持することが望ましい。ＲＡＷデータは、例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）各値８ビット／１６ビット等で表現したビットマップデータや独自形式データである。

　時系列平滑化画像メモリ１１２は、時間的に近い複数枚の入力画像を用いて画面内の全画素を平滑化した時系列平滑化画像２２０を記憶する記録媒体である。
　時系列平滑化画像メモリ１１２は、主に、時系列平滑化画像更新部１２０で作成して更新された時系列平滑化画像２２０を記憶する。

　移動物体除去画像メモリ１１３は、入力画像から移動物体を除去した画像に対して時系列平滑化処理を行った「背景画像」である移動物体除去画像２３０を記憶する記録媒体である。移動物体除去画像２３０は、主に、移動物体除去画像更新部１６０によって作成され、移動物体除去画像メモリ１１３に書き込まれる。
　時系列平滑化画像２２０や移動物体除去画像２３０は、必ずしも単一時刻の画素からなる１フレームを完全な形でメモリ１１２や１１３に保持される必要は無く、１フレーム内に新しく更新した部分と、１つ前の更新のままの部分とを含む画像でも、さほど問題はない。

　出力画像メモリ１１４は、最終的に高画質化した出力画像２４０を記憶する記憶媒体である。
　計算用メモリ１１５は、本実施形態の画像処理におけるその他の一時的なデータやパラメータ等を記憶するための記憶媒体である。
　計算用メモリ１１５は、各制御演算部位からアクセス可能であり、コスト計算用情報２５２（図８）、マスク設定２５３（図１０）、補正画像２５４及び２５６（図１４）、フィルタ情報２５５（図１５）、歪み強度画像２５７（図１７）、陽炎歪みレベルＤＬ（図１７）及び、これらの計算のために用いるデータ等を記憶することができる。
　また、コスト計算用情報２５２には、評価コストＣ_Ｓ（図９）、評価コストＣ_R（図９）、マスク情報Ｍ_SR（図１０）等を記憶可能である。
　また、マスク設定２５３には、閾値パラメータ及びカテゴリ設定を記憶できる。この閾値パラメータは、領域分割処理（図３）の閾値Ｔ１、Ｔ２（図１０）を記憶することができる。また、カテゴリ設定は、画像が分割されうる３種類のカテゴリである「移動物体領域」「背景領域」「準移動物体領域」について、メモリ上でそれらを表現する値を定義するデータである。
　この他にも、計算用メモリ１１５は、座標（ｉ，ｊ）、閾値に係る変数Ｔｃ等についても記憶する。
　これらのデータの詳細については、後述する。

　入力画像メモリ１１０、時系列平滑化画像メモリ１１２、移動物体除去画像メモリ１１３、出力画像メモリ１１４及び計算用メモリ１１５は、ＲＡＭ、ＤＳＰ（Digital Signal
Processor）やＧＰＵ（Graphics
Processing Unit）のチップに内蔵されたワークメモリやグラフィックメモリ等で実現できる。入力画像メモリ１１０や出力画像メモリ１１４の保持する入力画像２１０や出力画像２４０は、ＤＭＡ（Direct Memory Access）等を用いて他のメモリに転送し、或いはバスや外部出力端子やネットワーク等を介して、他機器と入出力可能である。
　この他機器としては、ＰＣ（Personal Ｃｏｍｐｕｔｅｒ）等を用いた映像表示装置（図示せず）や画像分析装置（図示せず）を用いることができる。

　時系列平滑化画像更新部１２０は、所定間隔で起動して、入力画像２１０の、時系列平滑化を行い、作成した時系列平滑化画像２２０時系列平滑化画像メモリ１１２に記憶する。平滑化は、１枚の入力画像２１０と、現在の時系列平滑化画像２２０とを用いて行うことができ、例えば、１／３０秒～数十分程度の所定間隔の数フレームの画像データを平均化することができる。

　ヒストグラム解析部１３０は、第１実施形態において特徴的な制御演算部位であり、画像間の類似性を判断する目的で、ヒストグラム解析部１３０は、後述するウィンドウ（格子状に区切った部分画像）毎にヒストグラムを作成し、その差分を計算する。具体的には、ヒストグラム解析部１３０は、入力画像２１０と、比較画像である時系列平滑化画像２２０若しくは移動物体除去画像更新部１６０との画像間の類似性情報である評価コストＣ_Ｓ、Ｃ_R（図９）等を作成し、計算用メモリ１１５に記憶するか領域分割部１４０に直接渡す。
　この際に、ヒストグラム解析部１３０は、所定範囲の部分画像（以下、「ウィンドウ」という。）に対して、類似性（コスト）を評価する。

　領域分割部１４０は、第１実施形態において特徴的な制御演算部位であり、ヒストグラム解析部１３０によって算出された画像間の類似性情報である評価コストＣ_Ｓ、Ｃ_Rに基づいて、入力画像２１０を所定のカテゴリへ分割する。その結果、各ウィンドウは、移動体か、背景か、等に応じて、該当するカテゴリに分類される。実際には、領域分割部１４０は、各ウィンドウが、いずれのカテゴリへ分類されたかを示す領域分割情報としてマスク情報Ｍ_SR（図１０）を作成し、計算用メモリ１１５に記憶する。

　画像補正部１５０は、第１実施形態において特徴的な制御演算部位であり、領域分割結果であるマスク情報Ｍ_SRに基づいて、カテゴリごとに異なるソース画像或いは画像フィルタ（以下、「フィルタ」という。）を用いて補正画像２５４を作成する。具合的には、画像補正部１５０は、「移動物体領域」には入力画像２１０を選択して空間領域（spatial domain）の平滑化フィルタを実行し、「背景領域」には時系列平滑化画像２２０を選択して時間領域の平滑化フィルタを実行し、「準移動物体領域」には移動物体除去画像２３０を選択して時間領域の平滑化フィルタを実行する。この上で、画像補正部１５０は、各領域の画像を結合し、補正画像２５４（図１４）を合成する。
　画像補正部１５０は、その後、補正画像２５４に対して空間領域フィルタを実行して、補正画像２５６を作成し、計算用メモリ１１５に記憶する。

　移動物体除去画像更新部１６０は、マスク情報Ｍ_SRと、入力画像２１０とを用いて、移動物体除去画像２３０を更新する制御演算部位である。
　移動物体除去画像更新部１６０は、移動平均等を用いて、作成した移動物体除去画像２３０を、移動物体除去画像メモリ１１３に記憶する。

　陽炎歪み計算部１７０は、領域分割及び画像補正結果に基づいて陽炎による歪みの強さを算出する。陽炎歪み計算部１７０は、入力画像２１０と、マスク情報Ｍ_SRと、補正画像２５６を用い、陽炎による画像歪み強度画像２５７を算出し、計算用メモリ１１５に記憶し、更にこの画像歪み強度画像２５７から、陽炎歪みレベルＤＬ（図１７）を算出する。

　パラメータ最適化部１８０は、陽炎による歪みの強さに応じて各種パラメータを最適化する制御演算部位である。パラメータ最適化部１８０は、陽炎歪みレベルＤＬから、領域分割や画像更新を行うための各種パラメータを最適化し、計算用メモリ１１５に記憶する。

　画像高画質化部１９０は、領域分割及び画像補正結果に基づいて超解像処理を行う制御演算部位である。
　画像高画質化部１９０は、まず、入力画像２１０、補正画像２５４若しくは２５６と、入力画像群２００の時間的に近い複数のフレームとを用いて位置合わせを行う。この位置あわせは、マスク情報Ｍ_SRを参照して、移動物体領域間又は移動物体以外の領域間でのみ行う。これにより、位置合わせの処理量を削減できる。
　その後、画像高画質化部１９０は、超解像処理を行い、背景領域が高画質化された出力画像２４０を出力画像メモリ１１４に記憶する。

　なお、本実施形態の画像処理装置１０の各部位は、専用の回路として実装されても、記憶手段に記憶されたプログラムを制御手段が上述の各手段として実行する構成であってもよい。前者として、画像処理装置１０は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field-Programmable Gate Array）等による回路で実装できる。後者としては、ハードウェア資源として、ＤＳＰやＧＰＵの他、ＰＣ等が備えるＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro
Processing Unit）等の制御演算手段と、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＨＤＤ等の記憶手段とを備えたコンピュータが実行するプログラムとして実装することもできる。
　また、上述の記憶手段は、例えば、ＤＶＤ等の光学記憶媒体、ＵＳＢメモリやＳＤカード等半導体記憶媒体のような脱着可能な記録媒体を含んでいてもよい。この脱着可能な記録媒体にも、各種プログラムやデータを記憶し、内蔵の記録媒体へインストール等をすることも可能である。また、脱着可能な記録媒体に、入力画像２１０や、出力画像２４０を記憶し、別のＰＣや携帯電話等で閲覧することも可能である。

　また、本実施形態の画像処理装置１０は、ＣＣＤやＣＭＯＳのイメージセンサ等を備え、静止画像や動画像を撮像するカメラ等の撮像手段を備えることもできる。
　また、本実施形態の画像処理装置１０は、ネットワークから静止画像や動画像を取得したり、出力画像２４０を送出したりするＬＡＮボードや携帯通信部位等のネットワーク送受信手段を備えることもできる。
　さらに、画像処理装置１０は、各画像、パラメータ、撮像状態を確認するための液晶ディスプレイ等の表示手段を備えることもできる。
　加えて、画像処理装置１０は、キーボードやマウスやタッチパネル等の入力手段を備えて、各部位の制御についてのユーザの指示を検知することもできる。

〔画像処理装置１０による画像品質改善処理〕
　次に、図３のフローチャートを参照して、本実施形態の画像品質改善処理についてステップ毎に詳しく説明する。以下の処理は、図２に示した画像処理装置１０の各部が、ハードウェア資源を用いて実行する。ここでは理解を容易にするため、各ステップは、フレーム単位で処理を行うことを前提とする。つまり１フレーム分の画像データを受取り、処理して、後続のステップに渡す。

　まず、ステップＳ１０１において、時系列平滑化画像更新部１２０は、時系列平滑化画像更新処理を行う。
　具体的に、時系列平滑化画像更新部１２０は、入力画像メモリ１１０に記憶された入力画像２１０を用いて時系列平滑化画像２２０を作成し、時系列平滑化画像メモリ１１２に記憶、更新する。
　時系列平滑化画像更新部１２０は、時系列平滑化画像２２０の作成のために、例えば、式（１）に示す移動平均による計算式を用いて各画素の時系列平滑化を行う。

　ここで、ａ（ｉ，ｊ）は時系列平滑化画像上の座標（ｉ，ｊ）における画素値を、ｐ（ｉ，ｊ）は、同じ座標（ｉ，ｊ）における入力画像の画素値を、ｓは更新パラメータ（０＜ｓ＜１）を、等号は右辺を左辺に代入する演算子を表す（以下同じ）。
　画素値ｐ（ｉ，ｊ）やａ（ｉ，ｊ）は互いに同じであればどのような形式でもよいが、時系列平滑化画像更新部１２０は、例えば、各画素における、ＲＧＢ色相空間の３原色Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の成分値や、ＨＳＶ色空間（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）の各成分値について、それぞれ式（１）にて時系列平滑化を行うことができる。
　なお、時系列平滑化画像更新部１２０は、白黒の入力画像２１０を用いる場合や、ＲＧＢのＧ成分の値、ＨＳＶの明度の成分値のみについて、時系列平滑化を行うことで、処理を高速化することもできる。

　また、ａ（ｉ，ｊ）の初期値、すなわち最初のフレームにおける時系列平滑化画像は、例えば、式（２）のように、入力画像そのものを用いることが好適である。
　なお、ａ（ｉ，ｊ）の初期値として、この他にも、入力画像群２００から、入力画像２１０に時間的に近いフレームの画像を選択することもできる。

　なお、時系列平滑化画像更新部１２０は、時系列平滑化画像２２０の作成方法として、上述の移動平均以外の処理を用いることもできる。
　たとえば、時系列平滑化画像更新部１２０は、複数フレームの同一座標における画素値に対して、その中央となる値を時系列平均化画像における該当座標の画素値とすることもできる。
　さらに、時系列平滑化画像更新部１２０は、時系列平滑化処理を行わなくても、例えばロバストな背景差分を実現するために開発されている各種の背景モデル化手法を用いてもよい。背景モデル化手法は、画素もしくは領域単位で背景色の分布等を背景らしさの尺度としてモデル化する手法である。この背景モデル化手法では、例えばモデル化された背景色分布の中心値等のように、最も背景らしさの高い値を対象とする画素値として用いる。これにより、時系列平滑化画像を用いた場合よりもより高精度な背景、つまり移動体を含まない背景を生成することができる。
　背景モデル化手法は、公知の各種の方式、例えば「島田，有田，谷口；適応的な分布数の増減法を利用した混合ガウス分布による高速な動的背景モデル構築，電子情報通信学会論文誌Ｄ，Ｖｏｌ．Ｊ９０－Ｄ，Ｎｏ．９，ｐｐ．２６０６－２６１４，２００７．」に記載の方式を用いることができる。この背景モデル化手法の方法では、画素単位で背景色の分布を複数のガウス分布によりモデル化する。そして、ガウス分布の個数、各分布の平均・共分散・重みのような、モデルのパラメータをフレーム単位で更新することにより、ロバストな背景差分を実現することができる。

　次に、ステップＳ１０２において、ヒストグラム解析部１３０は、画像間類似性評価処理を行う。
　この処理では、ヒストグラム解析部１３０は、画素単位で画像間の差（非類似性）に相当するコストを評価し、領域分割部１４０に出力する。
　図４～図９を参照して説明すると、ヒストグラム解析部１３０は、入力画像メモリ１１０に記憶された入力画像２１０と、比較画像とについて、画像間の類似性情報を算出して評価する。
　この比較画像は、時系列平滑化画像メモリ１１２に記憶された時系列平滑化画像２２０と、移動物体除去画像メモリ１１３に記憶された背景画像である移動物体除去画像２３０であり、それぞれ類似度情報（評価コストＣ_ＳとＣ_R）が算出される。
　ここで、ヒストグラム解析部１３０は、後述する移動物体除去画像更新処理で既に作成されていた移動物体除去画像２３０があれば、これを用いることができる。

　図４は、ある領域における類似性を計算する方法について示している。
　ヒストグラム解析部１３０は、入力画像２１０と比較画像とにおいて、ウィンドウＷ１とＷ２とを用いて、ヒストグラムを作成し、その差分を計算する。ウィンドウＷ１とＷ２は、それぞれ同一座標で、例えば３２ピクセル×３２ピクセルのような同一サイズの部分画像である。

　ヒストグラム解析部１３０は、ヒストグラムの作成方法および差分の計算方法についてはどのようなものを用いてもよいが、例えば下記のような方法を用いることができる。
　たとえば、ヒストグラム解析部１３０は、入力画像２１０と比較画像のそれぞれの各成分値について、ウィンドウ内の各成分値の階調を減少させ、差分を計算する。
　具体的には、例えば、ヒストグラム解析部１３０は、それぞれのウィンドウＷ１とＷ２に対して、３２階調にまで量子化した後に、ヒストグラム４１０及び４２０を作成する。それぞれのヒストグラムにおいて、横軸は成分値、縦軸は例えば画素数のような度数を示す。この上で、ヒストグラム解析部１３０は、ヒストグラム４１０及び４２０の各成分値における画素数の差分を算出する。この３２階調の画素数の差分を、ヒストグラム差分ＤＨ₃₂と呼ぶ。
　次に、ヒストグラム解析部１３０は、諧調数を１／２ずつ減少させ、入力画像２１０と比較画像とのヒストグラムを作成する。ヒストグラム解析部１３０は、このような処理を、階調数が２になるまで行い、それぞれのヒストグラム差分ＤＨ_n（ｎ＝３２，１６，８，４，２）を計算する。
　続いて、ヒストグラム解析部１３０は、下記の式（３）によりウィンドウＷ１、Ｗ２間のヒストグラム差分Ｄ_W1,W2を計算する。

　ここで、ｗ_n（ｎ＝３２，１６，８，４，２）は諧調数ｎに対する重みを示す。
　式（３）のように、複数階調によるヒストグラム差分を用いることにより、ヒストグラム上で画素値が離れた成分における差分を大きく反映した評価が可能になり、例えば、ウィンドウのサイズに対して極端に小さい物体でも、背景とは異質のものであれば検出が可能になるといった効果が得られる。
　なお、ヒストグラム解析部１３０は、特定の階調数によるヒストグラム差分のみを用いてヒストグラム差分Ｄ_W1,W2を計算してもよい。
　たとえば、下記の式（４）は階調数３２のヒストグラム差分のみ用いて、ヒストグラム差分Ｄ_W1,W2を算出する例である。

　また、ヒストグラム解析部１３０は、ヒストグラム差分ＤＨ_nをどのように算出してもよいが、例えば式（５）に示すように、各成分値におけるヒストグラム差分ＤＤＨ_n（ｋ）（ｋ＝１，……，ｎ）の和として算出することが好適である。

　図５は、具体的なヒストグラム差分の計算方法の例を示す。
　ヒストグラム解析部１３０は、ヒストグラム４１０とヒストグラム４２０との間で、当該階調における各成分ｋにおいて、画素数等の度数値であるＦ１及びＦ２の差分を算出する。
　ヒストグラム解析部１３０は、各成分値ｋにおけるヒストグラム差分ＤＤＨ_n（ｋ）をどのように算出してもよいが、例えば、式（６）に示すように、正規化誤差を用いることが好適である。

　式（６）のＦ１はウィンドウＷ１の成分値ｋにおけるヒストグラムの値、Ｆ２はウィンドウＷ２の画素値ｋにおけるヒストグラムの画素数等の度数値、「ＭＡＸ（）」は最大値を返す関数、Ｋは雑音データの影響を緩和するための定数である。
　式（６）のように正規化誤差を用いることによって、背景領域に存在しない画素値を持つ移動物体の識別が容易になり、例えば、ウィンドウのサイズに対して極端に小さい物体でも検出が可能になるという効果が得られる。
　なお、ヒストグラム解析部１３０は、下記の式（７）のように、ＤＤＨ_n（ｋ）を輝度値ｋにおけるヒストグラムの単純差分によって計算してもよい。

　図６は、上述の方法で計算されるヒストグラム差分Ｄ_W1,W2を用いて、各画素における画像間の差を表す評価コストＣ_Ｓ又はＣ_R（以下、評価コストＣ_Ｓ又はＣ_Rのいずれかを、評価コストＣ_Xと呼ぶ。）を計算する方法の一例について示している。
　本例のヒストグラム解析部１３０は、対象画素の周りでウィンドウを動かしながら繰り返し解析を行う。たとえば、ヒストグラム解析部１３０は、最初に対象画素Ｘが中心になるようにウィンドウを設定し、ウィンドウが対象画素Ｘを含み続ける範囲でウィンドウを動かして、繰り返し、ヒストグラム差分を計算する。図６の例では、入力画像２１０側では画素６１０、比較画像側では画素６２０を、対象画素Ｘとする。
　この算出する入力画像２１０側と比較画像側で、各ｋ種類のウィンドウを設定したとすると、対象画素Ｘにおける評価コストＣ_Xは、下記式（８）のように計算される。

　この式（８）において、入力画像２１０側のウィンドウがウィンドウＷ_{1_1}，Ｗ_{1_2}，……，Ｗ_{1_k}であり、比較画像側のウィンドウがウィンドウＷ_{2_1}，Ｗ_{2_2}，……，Ｗ_{2_k}である。また、ウィンドウＷ_1,tとウィンドウＷ_{2_t}（ｔ＝１，２，……，ｋ）は同一サイズかつ同一座標である。例えば、ウィンドウが３２ピクセル×３２ピクセルで、対象画素Ｘの座標から－３１ピクセル～＋３１ピクセルの範囲でピクセル毎に動かしてウィンドウＷ_{1_ｔ}、Ｗ_{2_ｔ}を設定した場合、ｋ＝63×63＝3969となる。実際のところ、D_{Ｗ1_ｔ,Ｗ2_ｔ}の結果は別の対象画素に再利用できるので、後に図８で説明されるようにD_{Ｗ1_ｔ,Ｗ2_ｔ}は最大でも、１フレーム内の画素数と同数求めればよい。
　式（８）では、評価コストＣ_Xが小さいほど画像間の類似性が高いことを表す。式（８）のようにウィンドウをずらしながら繰り返し計算して総和を求めることにより、例えば、ウィンドウが物体と物体の境界に位置する等、陽炎による被写体の変形が生じた際に誤差が不正に高くなる場合の影響を緩和することができる。

　なお、ヒストグラム解析部１３０は、その他の方法により、評価コストＣ_Xを計算してもよい。
　図７は、ヒストグラム差分Ｄ_W1,W2を用いて各画素における評価コストを計算する方法の、別の一例を示す。
　ヒストグラム解析部１３０は、対象画素Ｘが中心になるようにウィンドウＷ_１Ｘ、Ｗ_２Ｘを設定した場合、対象画素Ｘにおける評価コストＣ_Xを、例えば、式（９）のように計算する。

　図８は、ヒストグラム解析部１３０が、式（８）により、１フレーム分の評価コストを計算する方法の例を示す。
　まず、ヒストグラム解析部１３０は、画像間の類似性情報を記憶するコスト計算用情報２５２を用意し、すべて０に初期化する。
　コスト計算用情報２５２は、入力画像２１０と同じ水平Ｗピクセル×垂直Ｈピクセルの画素数のフレーム（記録領域）が、比較画像の枚数＋１以上、計算用メモリ１１５に確保されてそこに記録される。比較画像の枚数より１多いのは、マスク情報Ｍ_SRを記録するためである。本実施形態においては、コスト計算用情報２５２は、評価コストＣ_Ｓ（ｉ，ｊ）、評価コストＣ_R（ｉ，ｊ）、及びマスク情報Ｍ_SR（ｉ，ｊ）に対応する３フレームのデータである。なおＣ_Ｓ（ｉ，ｊ）は、画素（ｉ，ｊ）における評価コストＣ_Ｓの値（計算途中の値を含む）を表し、他も同様である。また、（ｉ，ｊ）は、当該画素のＸ軸、Ｙ軸の座標を示し、ｉ＝０，１，２，…，Ｗ－１、また、ｊ＝０，１，２，…，Ｈ－１である。

　その後、ヒストグラム解析部１３０は、入力画像２１０上のウィンドウＷ１と、比較画像上のウィンドウＷ２と、コスト計算用情報２５２の当該比較画像用のフレームのウィンドウＷｍとを、それぞれＸ軸（水平）方向にΔｘ、Ｙ軸（垂直）方向にΔｙずつずらしながら動かす。なお、以下で、各フレームの左上の座標を（Ｘ軸，Ｙ軸）＝（０，０）とし、右及び下方向に、Ｘ座標及びＹ座標が増える座標系を用いる。
　具体的には、ヒストグラム解析部１３０は、動かす毎に、ウィンドウＷ１とＷ２間のヒストグラム差分Ｄ_W1,W2を計算して、ウィンドウＷｍ内の各要素にそれぞれ足し合わせる。この際、ヒストグラム解析部１３０は、Δｘ＝１、Δｙ＝１を用いて処理を行うことができる。ウィンドウＷ１、Ｗ２及びＷｍを各フレームで右下端まで動かし終わった状態で、コスト計算用情報２５２のフレームに保持された各要素が、最終的に評価コストＣ_Ｓ、Ｃ_Rとなる。

　なお、ヒストグラム解析部１３０は、上下左右の端部に関しては、そのまま足したり、正規化して足す等の処理を行うことができる。
　また、ヒストグラム解析部１３０は、ΔｘとΔｙの値を増やすことで、処理量を減らして演算スピードを上げることもできる。その場合、評価コストはΔｘ×Δｙのブロック領域内で同じ値となる。このため、別途、後述するフィルタ等で分割領域の境界部分のブロック歪みを抑えることが望ましい。

　図９は、ステップＳ１０２で生成される各評価コストの性質を模式的に表している。
　評価コストＣ_Ｓは、入力画像２１０と、時系列平滑化画像２２０を比較画像として計算した評価コストを示している。評価コストＣ_Ｓは、時系列平滑化画像２２０の移動物体領域と、これに加えて、移動物体が通り過ぎた領域において評価コストが高くなるような性質を備えている。
　評価コストＣ_Rは、入力画像２１０と移動物体除去画像２３０を比較画像として計算した評価コストを示している。評価コストＣ_Rは、通常、移動物体領域のみにおいて評価コストの増加がみられるような性質を備えている。
　このように、本実施形態では、入力画像２１０並びに時系列平滑化画像２２０、又は入力画像２１０並びに移動物体除去画像２３０の組み合わせについて、それぞれヒストグラム差分を計算し比較することができる。

　なお、画像間類似性評価処理は、ヒストグラム差分を用いて画像間の類似性を評価し、評価コストを出力するものであれば各種の手法を用いることができる。
　まず、本実施形態では画像内で一様に画素ごと評価コストを算出しているが、これに限られない。たとえば、ヒストグラム解析部１３０は、以前の領域分類の結果やユーザからの指定を参照して、意味のあるまとまった領域単位で計算してもよく、
　また、ヒストグラム解析部１３０は、例えば、入力画像群２００の１つのフレームを対象画像として、当該対象画像と時間的に近い別の画像で比較する等、上述とは別の組み合わせの比較を行って、評価コストを算出してもよい。
　さらに、ヒストグラム解析部１３０は、どのような形式の画像データに対してヒストグラム解析を行ってもよい。たとえば、画像データが色相空間において３原色Ｒ、Ｇ、Ｂで表現されている場合、それぞれの成分にてヒストグラム差分を計算し、それらを足し合わせて評価コストとすると好適である。
　また、本実施形態において、ヒストグラム解析部１３０は、空間的に連続性のある画像ブロックにて表現されるウィンドウ単位でヒストグラムの作成を行っているが、これに限られない。ヒストグラム解析部１３０は、例えば、空間的に離れた複数の領域を統合してヒストグラムを作成し比較する等の処理を行うことも可能である。

　図２に戻ると、次に、ステップＳ１０３において、領域分割部１４０は、領域分割処理を行う。
　具体的には、領域分割部１４０は、ヒストグラム解析部１３０にて計算した評価コストに基づいて、各画素を「移動物体領域」、「背景領域」或いは「準移動物体領域」のカテゴリに分類することで、画像を３領域へ分割する。

　図１０は、コスト計算用情報２５２に含まれる評価コストＣ_Ｓ、Ｃ_R及びマスク情報Ｍ_SRの内容と、マスク設定２５３の内容の例を示している。
　Ｃ_Ｓ、Ｃ_R及びＭ_SRはそれぞれ１フレーム分保持されており、その任意の一部分（６×６画素）について、保持されている実際の値をマトリクス状に示してある。
　領域分割部１４０は、ヒストグラム解析部１３０が算出した評価コストＣ_Ｓと評価コストＣ_Rを用いて、各画素がどのカテゴリに属するかを示すマスク情報Ｍ_SRを、計算用メモリ１１５のコスト計算用情報２５２に記録する。
　領域分割部１４０は、評価コストＣ_Ｓ、Ｃ_Rをマスク設定２５３の閾値パラメータＴとそれぞれ比較することで、各画素が属するカテゴリを判断し、マスク設定２５３のカテゴリ設定に従い、マスク情報Ｍ_SRを書き込む。すなわち、Ｃ_Ｓ(i,j)＞ＴかつＣ_R(i,j)＞Ｔである場合には、画素(i,j)は移動体領域であると判断する。それ以外の場合で、Ｃ_Ｓ(i,j)＜Ｃ_R(i,j)であれば、画素(i,j)は背景領域であると判断し、そうでなければ、画素(i,j)は準移動体領域であると判断する。
　なお、図示された２つの閾値パラメータＴ１、Ｔ２の一方が、Ｔに相当するものとする。実際には、この閾値Ｔは、所定の初期値を設定した後、パラメータ最適化部１８０が、後述するパラメータ最適化処理により、１フレーム単位の周期で調整する。また、マスク設定２５３のカテゴリ設定は、図示された様に、「領域分割未完了」＝０、「移動物体領域」＝１、「背景領域」＝２、「準移動物体領域」＝３である。

（マスク情報Ｍ_SRの再帰的な算出例）
　領域分割部１４０は、２種類の評価コストＣ_Ｓ、Ｃ_Rからマスク情報Ｍ_SRを算出するのに、各種の手法を用いることができる。
　図１１は、複数の閾値を適応的に使い分けることにより、評価コストＣ_Ｓ、Ｃ_Rから好適にマスク情報Ｍ_SRを計算する再帰的アルゴリズムについて示している。
　このアルゴリズムでは、２種類の閾値Ｔ１、Ｔ２（Ｔ１＞Ｔ２）を、移動物体に隣接する画素は低い閾値Ｔ２を、そうでない場合は高い閾値Ｔ１を用いて評価することにより、被写体領域の空間的な連続性を考慮したロバストな領域分割が可能になる。

　まず、ステップＳ２０１において、領域分割部１４０は、初期設定処理を行う。
　この処理において、領域分割部１４０は、まだ処理の完了していない画素（ｉ，ｊ）を対象画素として選択し、対象画素（ｘ，ｙ）＝（ｉ，ｊ）、閾値に係る変数Ｔｃ＝Ｔ１に初期化する。

　次に、ステップＳ２０２において、領域分割部１４０は、閾値にＴ１を用いて、対象画素が移動物体領域であるか否かを判定する。具体的に、領域分割部１４０は、Ｃ_Ｓ（ｘ，ｙ）＞Ｔｃ且つＣ_R（ｘ，ｙ）＞Ｔｃである場合、Ｙｅｓと判定する。それ以外の場合は、Ｎｏと判定する。
　Ｙｅｓの場合、領域分割部１４０は、対象画素が移動物体領域であると判断して、処理をステップＳ２０３へ進める。
　Ｎｏの場合、領域分割部１４０は、処理をステップＳ２０５へ進める。

　ステップＳ２０３において、（ｘ，ｙ）は移動物体領域なので、領域分割部１４０は、Ｍ_SR（ｘ，ｙ）＝１に設定する処理を行い、その後、処理をステップＳ２０４へ進める。

　次に、ステップＳ２０４において、領域分割部１４０は、隣接画素再帰呼び出し処理を行う。具体的には、領域分割部１４０は、変数Ｔｃ＝Ｔ２に設定した上で、対象画素と左、上、右、下に隣接する画素（ｘ，ｙ）＝（ｉ－１，ｊ）、（ｉ，ｊ－１）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）の中で処理が未完了のものに対して、ステップＳ２０２の処理を再帰的に呼び出し、その後、領域分割処理を終了する。

　ステップＳ２０５において、移動物体領域でなかった場合、領域分割部１４０は、背景領域であるか否かを判定する。具体的に、領域分割部１４０は、Ｃ_Ｓ（ｘ，ｙ）＜Ｃ_R（ｘ，ｙ）である場合には、Ｙｅｓと判定する。それ以外の場合は、Ｎｏと判定する。
　Ｙｅｓの場合、領域分割部１４０は、処理をステップＳ２０６へ進める。
　Ｎｏの場合、領域分割部１４０は、処理をＳ２０７へ進める。

　ステップＳ２０６において、領域分割部１４０は、対象画素が背景領域であると判断してＭ_SR（ｘ，ｙ）＝２に設定する処理を行い、対象画素（ｘ，ｙ）に対する、領域分割処理を終了する。
　ステップＳ２０７において、領域分割部１４０は、対象画素が準移動物体領域であると判断してＭ_SR（ｘ，ｙ）＝３に設定する処理を行い、対象画素（ｘ，ｙ）に対する領域分割処理を終了する。

　上述の再帰呼び出しとは、ステップＳ２０２～S２０７を纏めた１つの関数（手続き）を、その関数内で呼び出すことである。本例では、対象画素（ｘ，ｙ）が一旦、移動体領域に触れると、再帰呼び出しにより移動体領域が優先的にスワイプされ、小さい閾値Ｔ２が適用されることで移動体領域の輪郭付近がより移動体領域に取り込まれやすくなる。

　単一の閾値Ｔを用いた場合、背景に含まれるべき領域でも、陽炎による変形がある程度大きいと、評価コストが小さい値にならず、背景の一部が移動物体として識別され、画質が悪化する可能性がある。かと言って、閾値を高くすると、移動物体に含まれるべき領域でも、背景色に近い色を有していると、ヒストグラム解析による評価コストがあまり高い値にならず背景と判断され、出力画像から消えてしまうという致命的な問題を引き起こす。また、移動物体の輪郭付近では、陽炎による変形の影響も受けて評価コストがばらつくので、背景を移動体として誤識別しやすく、またその逆も起こり得る。これによる、移動物体の一部（輪郭）の欠損等のアーティファクトが、主観的画質の劣化の主要因となる。

　これに対して、２種類の閾値Ｔ１、Ｔ２を用いるアルゴリズムでは、ロバストな領域分割を実現することができる。閾値は変化しうるが、一例として、各画素値を０～２５５の８ｂｉｔ階調とした場合に、閾値Ｔ１＝８０、閾値Ｔ２＝５５を用いることができる。

（マスク情報Ｍ_SRによる領域分割の動作例）
　図１２Ａ及び図１２Ｂは、上述の手法による領域分割の動作例について示している。
　各図において、Ｃ_Ｓ、Ｃ_R及びＭ_SRそれぞれのマトリクスは、図１０に示したそれと同様、コスト計算用情報２５２に保持されている１フレームのうち、同じ位置の一部であり、処理の進展とともにＭ_SRが書き込まれていく様子が示される。
　図１２Ａの最上段は、初期の状態を示し、Ｍ_SRがすべて０（未完了）である。領域分割部１４０は、領域分割が未完了である画素の中から１つの画素７１０を対象画素として選択し、その評価コストＣ_Ｓ、Ｃ_Rを参照して閾値Ｔ１と比較する。この場合、両方の評価コストともに、閾値Ｔ１よりも大きな値が記憶されているため、対象画素は移動物体領域であると判断し、マスク情報Ｍ_SRの対象画素に対する値を１に設定する。２段目はその直後の状態を示す。
　また、領域分割部１４０は、この場合、対象画素が移動物体領域であったため、対象画素７１０の左、上、右、下に隣接する画素の中で、領域分割が未完了の画素７２０、７３０に対して、閾値Ｔ２を用いた評価を再帰的に行い、マスク情報を決定する。領域分割部１４０は、このような閾値Ｔ２を用いた評価を、移動物体領域以外の画素が見つかるまで再帰的に行い、マスク情報Ｍ_SRの一部７６０を算出する。最下段は、その直後の状態を示す。
　領域分割部１４０は、再帰処理が完了すると再び閾値をＴ１に戻し、処理が未完了である画素７７０に対して比較評価処理を行うと、この画素は準移動物体領域であることが分かり、マスク情報Ｍ_SRの対象画素に対する値を３に設定する。図１２Ｂの上段は、その直後の状態を示す。
　このとき、領域分割部１４０は、対象画素が移動物体領域ではなかったため再帰計算は行わず、閾値がＴ１のままで、処理が未完了である画素７８０、７９０に対して処理を続ける。すると、再び画素８１０が移動物体領域であると識別されるため、領域分割部１４０は、閾値をＴ２に設定して、隣接する画素８２０の評価を行う。図１２Ｂの中段は、その直後の状態を示す。このような処理を続けると、０の画素を含まないマスク情報Ｍ_SRの一部８３０が得られ、領域分割が達成される。
　なお、本実施形態では再帰的に移動物体領域を拡張する方法について述べているが、ハードウェア実装を行う場合等、再帰計算を行うことが困難である場合は、同様の結果が得られるように再帰的ではない演算を行うこともできる。

　図１３は、上述の処理によって計算されたマスク情報Ｍ_SRの一例を視覚的に示している。
　すなわち、時系列平滑化画像２２０と入力画像２１０を用いて算出した評価コストＣ_Ｓと、移動物体除去画像２３０と入力画像２１０を用いて算出した評価コストＣ_Rにより上述の計算を行うことで、３種類のカテゴリへの領域分割結果であるマスク情報Ｍ_SRが取得できる。

　なお、本実施形態では、２種類の評価コストＣ_Ｓ、Ｃ_Rを用いて、３種類のカテゴリへの領域分割を行ったが、評価コストの種類やカテゴリの数を任意に設定することも可能である。
　たとえば、領域分割部１４０は、時系列平滑化画像２２０に係る評価コストＣ_Ｓのみを用いて、移動物体領域と背景領域の２種類のカテゴリに分割してもよい。
　さらに、領域分割部１４０は、移動物体除去画像２３０に係る評価コストＣ_Rのみを用いて２種類のカテゴリに分割することもできる。この場合、カメラが動いたりシーン変化等の原因で一度、画面全体が移動物体として検出されると、それ以降は移動物体除去画像が更新されなくなる。このため、領域分割部１４０は、シーン変化やカメラの動き自体を別途検出したり、タイマを設定して所定期間で評価コストＣ_Rの算出をリセットする等により、計算量を抑えて確実に領域分割を行うことができる。
　加えて、領域分割部１４０は、別の比較画像を用い、準移動物体領域を複数のレベルで設定する等、４種類以上のカテゴリに分割してもよい。

　次に、ステップＳ１０４において、画像補正部１５０は、画像補正処理を行う。
　図１４～図１６を参照して、本実施形態の画像補正処理の詳細について説明する。
　画像補正部１５０は、領域分割部１４０から入力されたマスク情報Ｍ_SR、入力画像２１０、時系列平滑化画像２２０、及び移動物体除去画像２３０を用いて陽炎補正を行い、補正画像２５４を出力する。
　この上で、画像補正部１５０は、入力画像２１０に対し、空間方向の画像フィルタを実行し、領域分割を目立たなくした自然な補正画像２５６を出力する。

　まず、図１４を参照して、本実施形態の画像補正処理の概念について説明する。
　この処理において、画像補正部１５０は、マスク情報Ｍ_SRで示されたカテゴリの種類に応じて、それぞれ異なる処理を行うことにより陽炎補正を行う。本実施形態では、画像補正部１５０は、カテゴリに応じて３種類の画像を、例えば画素毎に選択して画像合成することにより、補正画像２５４を生成する。
　すなわち、画像補正部１５０は、マスク情報Ｍ_SRの画素群１１１０のように、移動物体領域と識別された画素に対しては、入力画像２１０内の同じ座標にある画素群１０１０の値を選択する。
　また、画像補正部１５０は、マスク情報Ｍ_SRの画素群１１２０のように、背景領域と識別された画素に対しては、時系列平滑化画像２２０内の同じ座標にある画素群１０２０の値を選択する。
　同様に、マスク情報Ｍ_SRの画素群１１３０のように、準移動物体領域と識別された画素に対しては、移動物体除去画像２３０内の同じ座標にある画素群１０３０の値を選択する。
　これにより、画像補正部１５０は、移動物体以外の領域において陽炎等による歪みが補正された補正画像２５４を作成する。

　ここで、画像補正部１５０は、補正画像２５４から適応フィルタ１５２を用いて補正画像２５６を作成する。一般に陽炎による物体の変形は、物体の境界部分及びテクスチャの細かい部分において強く観測される。また移動物体との境界は、補正画像２５４では異なる画像間のつなぎ目に当るため、不自然なエッジが現れうる。このため、画像補正部１５０は、境界部分やテクスチャに対して選択的に強い平滑化フィルタを実行することが好適である。

　図１５は、適応フィルタ１５２が、選択的に平滑化フィルタを実行する一例を示している。
　画像補正部１５０が備える適応フィルタ１５２は、まず、入力画像２１０或いは補正画像２５４に対して境目（エッジ）の濃淡の変化を一次微分によるソーベルフィルタ（Sobel Filter）やプレウィットフィルタ（Prewitt Filter）等を用いて算出し、エッジの濃淡の変化の急激さ（エッジ強度）も算出する。この他にも、画像補正部１５０は、例えば、対象画素の５×５ピクセルの周辺にある画素値の最大値から最小値を引いた値を、エッジ強度として算出することもできる。

　エッジ強度を算出した後、適応フィルタ１５２は、２種類の所定値である閾値Ｔ_Ａ、Ｔ_Ｂ（Ｔ_Ａ＞Ｔ_Ｂ）を用いて、入力画像２１０等を「物体境界領域」「テクスチャ領域」「平面領域」の３領域に分類し、その結果をフィルタ情報２５５として一時的に保持する。
　具体的には、適応フィルタ１５２は、エッジ強度が閾値Ｔ_Ａ以上である画素を物体境界領域に分類する。
　また、適応フィルタ１５２は、エッジ強度が閾値Ｔ_Ｂ以上Ｔ_Ａ未満となる画素を、テクスチャ領域に分類する。
　また、適応フィルタ１５２は、エッジ強度が閾値Ｔ_Ｂ未満となる画素を、平面領域に分類する。
　物体境界領域には適宜、モルフォロジー演算の一種である膨張処理を施す。

　画像補正部１５０の適応フィルタ１５２は、フィルタ情報２５５が示す領域種別に応じて、補正画像２５４に異なる空間フィルタを適用する。適応フィルタ１５２は、例えば、物体境界領域に対しては、輪郭線を滑らかにするエッジスムージングフィルタ１５２cを、テクスチャ領域に対しては、輪郭線は残しながら平滑化処理が可能なバイラテラルフィルタ１５２tを、平面領域に対しては、あまりぼかしの強度が強くないガウシアンフィルタ１５２fを適用すると好適である。これにより、陽炎による変形が目立ちやすい部分に対して、選択的に平滑化を行うことができる。

　また、適応フィルタ１５２は、上述のフィルタ種別への分類の際に、エッジ強度を計算する他に、対象画素の周辺における画素値の分散（空間領域での分散）の値を計算して用いることもできる。たとえば、適応フィルタ１５２は、新たな閾値Ｔ_Ｅを導入し、下記のように判定を行うことにより、より精密な処理が可能になる。すなわち、適応フィルタ１５２は、エッジ強度が閾値Ｔ_Ａ以上である場合には物体境界領域、エッジ強度が閾値Ｔ_Ｂ以上Ｔ_Ａ未満であり、かつ分散値が閾値Ｔ_Ｅ以上である場合はテスクチャ領域、それ以外の場合は平面領域であると判定することができる。

　図１６は、上述のフィルタ種別における物体境界領域に適用するエッジスムージングフィルタ１５２cの一例について示している。エッジスムージングフィルタ１５２cは、例えば、画像のエッジ部分に対して、一度画素を大幅に間引き、残った画素を補間することにより、境界線を滑らかにするフィルタである。
　画素の補間方法として、例えばスプライン曲線を用いると好適である。この場合、画素を多く間引かなくてもスムーズな曲線を得られる。
　より簡便な方法として、エッジスムージングフィルタ１５２cは、例えば、一度画像を大幅に縮小したあとで再度拡大し、続いてラプラシアンフィルタのようなエッジ先鋭化フィルタを用いて、なまった境界部分を際立たせるような処理を行ってもよい。

　なお、適応フィルタ１５２は、各領域（フィルタ種別）に、他のフィルタを適用することも可能であり、或いは物体境界領域以外ではフィルタを必ずしも適用しなくても良い。更には適応フィルタ１５２をのものを省略し、画像補正部１５０が画像合成のみをするものとしてもよい。
　また、画像補正部１５０が、補正画像２５４を１画素ずつ合成しながら適応フィルタ１５２を呼び出して、元となる入力画像２１０、時系列平滑化画像２２０、或いは移動物体除去画像２３０上でエッジスムージングフィルタ１５２c等が適用されても良い。
　また、フィルタ情報２５５の生成は、エッジ強度や分散を更に計算して領域種別を分類しなおすものに限らず、マスク情報Ｍ_SR或いは後述の陽炎歪みレベルＤ_Ｌの計算中に派生的に得ても良い。例えばＭ_SR＝２の画素と隣接するＭ_SR＝１の画素を、物体境界領域と扱うことができる。
　また、画像補正部１５０が、補正画像２５４や補正画像２５６を算出する過程で、「背景領域」「準移動物体領域」のそれぞれの画素に対して、後述のステップS１０８の超解像処理を呼び出して実施してもよい。

　次に、ステップＳ１０５において、移動物体除去画像更新部１６０は、移動物体除去画像更新処理を行う。
　具体的には、移動物体除去画像更新部１６０は、領域分割部１４０から入力されたマスク画像Ｍ_SRと入力画像２１０とを用いて、移動物体除去画像メモリ１１３に記憶されている移動物体除去画像２３０を、移動領域以外で更新する。
　移動物体除去画像更新部１６０は、例えば、下記の式（１０）に示す移動平均による更新式を用いて、移動物体除去画像２３０を算出する。

　式（１０）において、ｂ（ｉ，ｊ）は移動物体除去画像上の座標（ｉ，ｊ）における画素値を、Ｍ_SR（ｉ，ｊ）は座標（ｉ，ｊ）における画素に関するマスク情報Ｍ_SRの値を、ｔは更新パラメータ（０＜ｔ＜１）を示す。
　ここで、ｂ（ｉ，ｊ）の初期値、すなわち最初のフレームにおける移動物体除去画像２３０は、例えば式（１１）のように、入力画像２１０そのものを用いることができる。

　なお、移動物体除去画像更新部１６０は、上述のような平均化処理でなくても、複数フレームの同一座標における画素値に対して、それらの中央となる値を、移動物体除去画像２３０における該当座標の画素値としてもよい。
　また、移動物体除去画像更新部１６０は、これに限られず、他の方法を用いて画素値を算出してもよい。

　次に、ステップＳ１０６において、陽炎歪み計算部１７０は、歪みレベル出力処理を行う。
　図１７を参照して説明すると、陽炎歪み計算部１７０は、入力画像２１０と、領域分割部１４０から入力されたマスク情報Ｍ_SRと、画像補正部１５０から入力された補正画像２５６（或いは出力画像２４０）とを用いて、陽炎による画像歪み量を計算し、その歪みレベルを出力する。
　ここでは、陽炎歪み計算部１７０は、入力画像２１０と補正画像２５６の差分に基づいて、陽炎による画像歪み量を歪み強度画像２５７として算出する。

　図１７は、画像歪み量を計算する方法の一例を示している。
　まず、陽炎歪み計算部１７０は、入力画像２１０と補正画像２５６の、画素ごとの差分の絶対値を計算して、所定の閾値Ｔ_Ｄ以上／未満を判定して２値化する。これにより、陽炎歪み計算部１７０は、各画素において陽炎による歪みが生じているか否か（２値）を表す歪み強度画像２５７を取得することができる。
　陽炎歪み計算部１７０は、差分が閾値以上である画素は陽炎による歪みが生じていると判断し、そうでなければ、陽炎による歪みが生じていないと判断できる。

　続いて、陽炎歪み計算部１７０は、歪み強度画像２５７を、互いに重ならないＮ×Ｎサイズ（例えば、Ｎ＝１６）のブロックに分割する。そして、陽炎歪み計算部１７０は、それぞれのブロックの中で、歪みが生じている画素の数をカウントして、ヒストグラム化する。
　たとえば、図１７の例では、陽炎歪み計算部１７０は、歪みが生じている画素数について、４階調のような所定値で量子化して、ヒストグラム４７０を作成する。ヒストグラム４７０の横軸は歪みが生じている画素数、縦軸はブロックの数（度数）を示す。そして、陽炎歪み計算部１７０は、適切に設定された所定の閾値Ｔ_Ｌを用いて、４階調化された画素数の中で、度数が閾値Ｔ_Ｌを超える最大の画素数を判定することで、当該の最大値を陽炎歪みレベルＤ_Ｌとして得る。
　図１７の例では、ヒストグラムでは、値３の度数は閾値を超えているが、値４の度数は閾値ＴＬを越えていないため、陽炎歪みレベルＤ_Ｌは３であると判定される。

　なお、陽炎歪み計算部１７０は、歪み強度画像２５７を参照し、対象画素に歪みが生じているかどうかに基づいて、他のアプリケーションに送信するデータを選択したり、重み付け計算を行う等の加工を行うこともできる。
　すなわち、陽炎歪み計算部１７０は、例えば、デジタルカメラの焦点距離計算や画像の階調補正等、画面内の画素値の統計情報を扱うアプリケーションに、陽炎による歪みがなく信頼性の高い画素のブロックの位置を送信することができる。
　これにより他のアプリケーションでは、画面内のどの場所で歪みが生じているかの情報である歪み強度画像２５７に基づいて各種処理を行ったり省いたりでき、当該アプリケーションの処理精度が高くなるという効果が得られる。

　次に、ステップＳ１０７において、パラメータ最適化部１８０は、パラメータ最適化処理を行う。
　具体的には、パラメータ最適化部１８０は、陽炎歪み計算部１７０から入力された陽炎歪みレベルＤ_Ｌに基づいて、領域分割や画像更新を行うための各種パラメータを制御し、最適化する。たとえば、時系列平滑化画像２２０や移動物体除去画像２３０を更新するための更新パラメータｓ，ｔは、容易に変更でき、大きな値に設定するほど平滑化の強度が大きくなるため強い歪みを補正できるが、解像度は低下する。このため、パラメータ最適化部１８０は、陽炎歪みレベルＤ_Ｌが大きくなるほど更新パラメータｓ，ｔの値が大きくなるよう制御することができる。
　また、パラメータ最適化部１８０は、領域分割に関するパラメータとして設定される閾値パラメータである閾値Ｔ１、Ｔ２等についても、歪みのレベルが大きくなるほど閾値Ｔ１、Ｔ２が大きくなるように制御すると、領域分割の精度を高く保つことができる。
　このほか、画像間類似性評価処理S１０２におけるウィンドウ６１０、６２０のサイズやΔｘ、Δｙを制御しても良い。

　なお、パラメータ最適化部１８０は、画面全体で計算された陽炎歪みレベルＤ_Ｌに基づいてパラメータの最適化を行うだけでなく、歪み強度画像２５７を直接用いてパラメータの最適化を行うこともできる。つまり、パラメータ最適化部１８０は、画面内のどの場所で歪みが生じているかを表す歪み強度画像２５７を用いることにより、同じ画面内でも場所によってパラメータを変化させることができ、より細かな最適化が可能になる。
　たとえば、パラメータ最適化部１８０は、歪みが生じているフィルタ種別の領域ではパラメータｓ、ｔ、Ｔ１、Ｔ２等を大きく設定し、そうでない領域ではこれらの値を小さく設定することができる。
　なお、パラメータ最適化処理S１０８は、図２のフローにおいて必ずしも毎回行なう必要はない。

　次に、ステップＳ１０８において、画像高画質化部１９０は、高解像度化処理を行う。
　図１８を参照して説明すると、画像高画質化部１９０は、補正画像２５６に対して、時間的に近傍にあるフレーム（入力画像２１０等と同じフレームは除く）を参照画像２１２とした超解像処理を行い、その結果を出力画像２４０として出力画像メモリ１１４に書き込む。画像高画質化部１９０は、参照画像２１２として、基本的には計算用メモリ１５５内に数保持される過去の補正画像２５６を用いるが、出力画像メモリが保持している１フレーム前の出力画像２４０、移動物体除去画像２３０、或いは入力画像メモリ１１０中の入力画像群２００等で代用できる場合がある。なお、参照画像２１２と一緒に、対応するフレーム（時刻）のマスク情報Ｍ_SRも保持しておく。
　一般に、複数枚のフレームを参照する超解像処理では、対象画像に対して、一度すべての参照画像との局所位置あわせを行う必要がある。従来の位置合わせは、ブロックマッチング等様々な方法があるものの、サブピクセル精度が必要で、一般的に処理量が高い。
　よって、本実施形態では、現実的な時間で処理を完了させるために、マスク情報Ｍ_SRを用いて、処理量を低減させる。

　図１８は、本実施形態における位置あわせ方法の一例を示している。
　本実施例の画像高画質化部１９０は、入力画像２１０又は補正画像２５６のマスク情報Ｍ_SRと、参照画像２１２のマスク情報Ｍ_SR（もしあれば）とを参照して、それぞれにおいて、移動物体が存在する場所を特定する。
　そして、画像高画質化部１９０は、移動物体については移動物体領域間でのみ局所位置あわせを行い、移動物体以外の領域については、移動物体以外の領域間でのみ局所位置あわせを行う。
　ブロックマッチングでは通常、直前の探索結果（位置ずれ量）を、初期の探索位置（探索範囲の中心）に設定することが多い。異なる領域を跨ぐ無意味な探索を行なわないように探索範囲が制限されるので、処理量が軽減される。これは移動物体の１フレーム時間当たりの移動量が、陽炎の変位量より小さいか大きいかに係わらず有効である。

　画像高画質化部１９０は、位置あわせ結果に基づき、対象画像と参照画像２１２とを、小数点画素精度の局所的位置合わせをして合成（重ね合わせ）していく超解像処理を行い、出力画像２４０を作成する。
　この超解像処理は、どのような方法を用いても良いが、例えば、高解像度画像から観測画像が生成されるまでに加わった動きやぼけといった画像劣化の要因をモデル化し、ＭＡＰ推定やＢＴＶ（Bilateral Total Variation）法といった正則化手法を用いて高解像度画像を推定する再構成法を用いると好適である。この再構成法については、「田中，奥富；再構成型超解像処理の高速化アルゴリズムとその精度評価，　電子情報通信学会論文誌　Ｖｏｌ．　Ｊ８８－Ｄ－ＩＩ，　Ｎｏ．　１１，　ｐｐ．　２２００－２２０９，　２００５．（電子情報通信学会）；２００５年１１月」を参照することができる。
　或いは最も簡便な方法として、対象画像を直近の出力画像２４０、参照画像２１２は最新の補正画像２５６（１枚）のみとする方法がある。この方法に、入力画像群２１０が含む、対象画像より１フレーム新しい最新の入力画像を加え、参照画像２１２を２枚としてもよい。
　以上により、本発明の第１実施形態に係る画像品質改善処理を終了する。

　なお、対象画像や参照画像として、他の画像を用いてもよい。たとえば、画像高画質化部１９０は、入力画像群２００から対象画像を直接選択し、時系列平滑化画像２２０や移動物体除去画像２３０を参照画像に用いてもよく、マスク情報Ｍ_SRさえ用いれば補正画像２５６、２５４は一切用いない方法も考えられる。また、フィルタ情報２５５を参照し、エッジ強度が弱い平面領域で超解像処理を省略しても良い。

　また陽炎歪み計算部１７０は、画像高画質化部１９０による位置合わせ処理の結果を利用して、陽炎歪みレベルＤ_Ｌを算出してもよい。位置合わせ処理の結果は、その他、移動物体の動き解析やオブジェクト認識のためのテンプレートマッチング等、幅広い用途に利用することが可能である。
　また、出力画像メモリ１１４に記憶された出力画像２４０は、他のアプリケーションから読みだしたり、映像ファイルとして記録媒体に蓄積して記憶したり、ネットワーク上に出力したり、表示手段に出力してユーザが閲覧したりすることができる。

　以上のように構成することで、以下のような効果を得ることができる。
　まず、従来技術１～２では、移動物体が存在しない領域においては好適な結果が得られるものの、移動物体が通り過ぎた領域においては、移動物体とそうでない領域が不正に重畳される残像現象が発生し、画質が劣化するといった問題があった。

　これに対して、本発明の第１実施形態に係る画像処理装置１０は、ヒストグラムを用い、入力画像と、時間的に近い画像を用いて入力画像を平滑化した時系列平滑化画像とのヒストグラム差分を計算し、差分の小さい部分を移動物体領域として抽出する。この上で、各領域に対して適切なフィルタ処理を行って再び領域統合を行うことによって陽炎補正を行う。

　このような処理により、本実施形態の画総処理装置１０は、移動物体が存在する場合でも補正画像を劣化させることなく、陽炎の影響により観測される被写体の変形や解像感の喪失を補正し、現実的な計算量で陽炎補正を行い画像の品質を改善できる。よって、不規則に揺れている被写体を止まって見える様にでき、人による映像監視に適した視認性の高い画像を提供できる。

　また、本実施形態の領域分割による移動物体分離方法は、画像補正以外の用途で利用することもできる。たとえば、陽炎等による歪みが含まれる監視映像内から侵入者を自動検知したり、進入車両のナンバーを自動識別するシステム等にて、移動物体として識別された領域を解析することで、処理量を低減することができる。

＜第２実施形態＞
〔画像処理装置１１の構成〕
　次に、図１９を参照して、本発明の第２実施形態に係る画像処理装置１１の制御構成について説明する。図１９では、図２の第１実施形態に係る画像処理装置１０と同じ符号は、同様の処理部位を示している。具体的には、画像処理装置１１は、画像処理装置１０のヒストグラム解析部１３０（図２）の代わりに、類似性情報算出部であるブロック解析部１３１（類似性情報算出手段、ブロック解析手段）を備えている。
　ブロック解析部１３１は、第１実施形態のヒストグラム解析部１３０と同様に、入力画像２１０と時系列平滑化画像２２０、入力画像２１０と移動物体除去画像２３０の各組み合わせに対して、画素単位で、画像間の差を表す評価コストを画像間の類似性情報として算出する。ただし、ブロック解析部１３１は、ヒストグラムの差分ではなく同一座標における画素値の差を計算する点が、ヒストグラム解析部１３０と異なる。
　なお、ブロック解析部１３１以外の処理は、第１実施形態に係る画像処理装置１０と同じであり、説明を省略する。

　図１０は、ある領域においてブロック解析部１３１が、画像間の類似性を計算する方法について示している。
　ここでは、ブロック解析部１３１は、入力画像２１０と、比較画像において、例えば３２×３２ピクセルの同一座標・同一サイズのウィンドウＷ１とＷ２における画素値を評価し、ウィンドウ間の差分値Ｄ_W1,W2を算出する。
　この際、比較画像として、入力画像２１０の比較対象となる画像として、第１実施形態と同様に、時系列平滑化画像２２０又は移動物体除去画像２３０を用いることができる。

　画素値の評価方法は、例えば、下記の式（１２）に示すように、ウィンドウ内における同一座標の画素値差分を足し合わせたものを計算すると好適である。
　式（１２）は、時系列平滑化画像２２０を比較画像とする場合について示しているが、移動物体除去画像２３０でも同様である。

　ここでＤｉｆｆ（ｘ，ｙ）は、画素値ｘと画素値ｙの差分を表している。
　差分の計算方法として、ブロック解析部１３１は、例えば、式（１３）に示す絶対値誤差（Absolute Difference）や、式（１４）に示す二乗誤差（Squared Difference）等を用いると好適である。

　また、ブロック解析部１３１は、下記の式（１５）に示すように、ウィンドウ内の画素値の平均値の差分をウィンドウ間の差分として計算することもできる。
　これにより、陽炎による被写体の変形を考慮した計算が可能となる。

　ここで、ＡＶＥ（Ｗ１又はＷ２）は、ウィンドウＷ１又はＷ２に含まれるすべての画素の平均値を表している。
　なお、ブロック解析部１３１は、ウィンドウ間の差分を計算する際、平均値を用いず、例えば、中央値や最頻値等、ウィンドウ内の画素の特徴を示す特徴値を用いることができる。

　本発明の第２の実施形態において、ブロック解析部１３１は、上述の方法で計算したウィンドウ間差分Ｄ_W1,W2に基づき、第１実施形態の画像間類似性評価処理と同様に、各画素における画像間の差を表す評価コストＣ_Xを計算することができる。
　すなわち、ブロック解析部１３１は、図６に示されるように、対象画素の周りでウィンドウを動かし、繰り返しウィンドウ間差分を計算してもよいし、図７に示されるように、対象画素が中心に来るようにウィンドウ設定して差分を計算してもよい。

　以上の各実施形態の説明から、本発明の実施形態は、領域を「移動物体領域」「背景領域」「準移動物体領域」等に分割する領域分割手段として、ヒストグラムの比較によるものや、画素値自体の比較によるものなど、様々なものが利用できることが理解される。本発明の実施形態を総じて言えば、以下の共通の傾向を有しているといえる。
　領域分割手段は、他の処理、過去の結果になるべく依存せず、オリジナルの入力画像を利用する。これはロバストな動作に本質的に貢献する。移動体と陽炎とで、僅かでも出力の挙動が異なるものであれば、あらゆる画像処理手法が利用できる。
　陽炎その他の外乱の抑圧は、時間領域での平滑化を基本とする。これは陽炎による変位の推定が不要なため、推定の誤りに起因する画質の極端な劣化の危険がない。そして静止した背景においては効果がある。
　超解像処理を補助的に用いて、平滑化で低下した解像感を回復する。超解像処理は通常、それにより画質が大きく悪化することはない。移動体領域に用いて、陽炎による歪みの改善を期待することもできる。

　本発明は、以下のようにも述べることができる。
　本発明の一側面である画像処理装置１０又は１１は、入力画像２１０を保持するための入力画像メモリ１１０と、時間的に近い複数枚の入力画像群２００とを用いて画面内の全画素を平滑化した時系列平滑化画像２２０を保持するための時系列平滑化画像メモリ１１２と、入力画像から移動物体を除去した画像に対して時系列平滑化処理を行った移動物体除去画像２３０を記憶するための移動物体除去画像メモリ１１３と、入力画像２１０を用いて時系列平滑化画像を更新する時系列平滑化画像更新部１２０と、２種類の画像の部分画像に対してそれぞれヒストグラムを作成し、その差分を計算することにより画像間の類似性を評価するヒストグラム解析部１３０、又はブロック毎に画素の差分を計算することにより画像間の類似性を評価するブロック解析部１３１と、ヒストグラム解析部１３０又はブロック解析部１３１によって計算された誤差に基づいて領域分割を行う領域分割部１４０と、領域分割部１４０による領域分割結果に基づいて画像を補正する画像補正部１５０と、領域分割部１４０による領域分割結果に基づいて入力画像を用いた移動物体除去画像２３０の更新処理を行う移動物体除去画像更新部１６０と、領域分割および画像補正の結果に基づいて陽炎による歪みの強さを計算するための陽炎歪み計算部１７０と、陽炎による歪みの強さに応じて各種パラメータを最適化するパラメータ最適化部１８０と、領域分割および画像補正の結果に基づいて超解像処理を行う画像高画質化部１９０とを備えることを特徴とする。

　上記の画像処理方法は、対象画像と、時間的に近い複数枚の画像を用いて平滑化した時系列平滑化画像の類似性を計算し、類似性の低い領域を移動物体として抽出することを特徴とする。
　上記の画像処理方法は、移動物体として抽出された領域以外の部分に対して時系列平滑化した移動物体除去画像を用い、対象画像との類似性に基づいて移動物体が過去に通過した領域を抽出することを特徴とする。
　上記の画像処理方法は、入力画像と対象画像のそれぞれのウィンドウに対するヒストグラムを作成し、これらの差分を計算することによって画像間の類似性を計算し、領域分割することを特徴とする。
　上記の画像処理方法は、入力画像を２種類以上の領域に分割し、各領域において異なる処理を施すことによって画像補正を行うことを特徴とする。
　上記の画像処理方法は、移動物体領域に対して空間方向の平滑化フィルタをかけ、又は移動物体以外の領域に対して時間方向の平滑化フィルタをかけることを特徴とする。
　上記の画像処理方法は、画素単位若しくは領域単位で計算された評価値に対して領域分割を行う際に、２種類以上の閾値パラメータを設定し、高い閾値以上の評価値を有する領域の空間的近傍に位置する領域に対しては低い閾値にて、そうでない場合には高い閾値にて領域分割を行うことを特徴とする。
　上記の画像処理方法は、領域分割を行う際に、低い閾値以下の評価値を有する領域の空間的近傍に位置する領域に対しては高い閾値にて、そうでない場合には低い閾値にて領域分割を行うことを特徴とする。

　本発明は、陽炎の他に、例えば水面の揺らぎ、木々の揺れ、大気中のもや、水中撮影時の画像の、時間的に変動する歪みに対して広く適用でき、光学像に限らず、電磁波や粒子線の強度分布等がイメージ化された画像系列を扱う装置や方法全般に利用できる。

１０、１１　画像処理装置
１１０　入力画像メモリ
１１２　時系列平滑化画像メモリ
１１３　移動物体除去画像メモリ
１１４　出力画像メモリ
１１５　計算用メモリ
１２０　時系列平滑化画像更新部
１３０　ヒストグラム解析部
１３１　ブロック解析部
１４０　領域分割部
１５０　画像補正部
１６０　移動物体除去画像更新部
１７０　陽炎歪み計算部
１８０　パラメータ最適化部
１９０　画像高画質化部
２００　入力画像群
２１０、１２００－１～１２００－ｎ　入力画像
２１２　参照画像
２２０、１２２０　時系列平滑化画像
２３０　移動物体除去画像
２４０　出力画像
２５２　コスト計算用情報
２５３　マスク設定
２５４、２５６　補正画像
２５５　フィルタ情報
２５７　歪み強度画像
３１０、３１１、３２０、３２１、３３０、１２５０　領域
４１０、４２０、４３０、４４０、４５０、４６０、４７０　ヒストグラム
６１０、６２０、７１０、７２０、７３０、７７０、７８０、７９０、８１０、８２０　画素
７６０、８３０　マスク情報Ｍ_SRの一部
１０１０、１０２０、１０３０、１１１０、１１２０、１１３０　画素群。

Claims

　入力画像と、時間的に近い複数枚の画像を用いて平滑化した時系列平滑化画像若しくは移動物体を除去した移動物体除去画像とに対して、部分画像の差分を計算することにより画像間の類似性情報を算出する類似性情報算出部と、
　前記画像間の類似性情報により前記入力画像を移動物体領域、及び該移動物体領域以外の領域に分割する領域分割部と、
　前記領域毎に前記入力画像又は前記時系列平滑化画像を画像合成する画像補正部とを備える　ことを特徴とする画像処理装置。
　前記領域分割部は、
　　大きさの異なる２種類以上の閾値を設定し、高い閾値以上の画素値の前記領域の空間的近傍に位置する前記領域に対しては低い閾値で、そうでない場合には高い閾値で前記領域の分割を行う、又は、
　　低い閾値以下の評価値を備える前記領域の空間的近傍に位置する前記領域に対しては高い閾値にて、そうでない場合には低い閾値にて前記領域の分割を行う
　ことを特徴とする請求項１に記載の画像処理装置。
　前記画像補正部は、
　　前記移動物体領域に対して空間方向の平滑化フィルタを実行する　ことを特徴とする請求項１又は２に記載の画像処理装置。
　前記移動物体領域同士、及び／又は前記移動物体以外の領域同士で位置合わせ処理を行い、該位置合わせの結果に基づいて超解像処理を行う画像高画質化部を備える
　ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
　コンピュータに画像処理を実行させるための画像処理方法において、
　前記コンピュータに、
　入力画像と、時間的に近い複数枚の画像を用いて平滑化した時系列平滑化画像とに対して、部分画像の差分を計算することにより画像間の類似性情報を算出し、
　前記画像間の類似性情報により前記入力画像を移動物体領域、及び該移動物体領域以外の領域に分割し、
　前記領域毎に前記入力画像又は前記時系列平滑化画像を画像合成する　手順を実行させることを特徴とする画像処理方法。