JP5787456B2 - 画像処理装置 - Google Patents

Description

本発明は、陽炎等による画質劣化を抑え、画質改善することを目的とした画像処理技術に関する。

昨今のカメラには、撮影した画像の解像度を向上させる超解像処理や、画像に含まれる霞を除去して視認性を向上させる霞除去処理等、様々な画像処理技術が導入されている。特に、本発明に関連する画像処理技術として特許文献１や特許文献２が知られている。これらの特許文献では、入力画像を時間領域でフィルタ処理（平均化）することで画像を再構成する点で共通しており、特許文献１では、この再構成画像を参照して入力画像のずれ（動きベクトル）を求めて補正し、特許文献２では、再構成画像をそのまま出力とするものである。

ここで、特許文献１の技術（従来技術１）を図１６乃至１８を参照して概説する。
特許文献１では、図１６に示す順序で画像処理を行っている。すなわち、最初に参照画像を推定し（Ｓ５１）、次にオプティカルフロー（動きベクトル）を計算し（Ｓ５２）、最後に動き補正を行っている（Ｓ５３）。
Ｓ５１における参照画像の推定では、入力画像の指数移動平均により行う方法が示されている。指数移動平均の特性として、逐次入力される入力画像の高周波成分を低減する効果があるため、これにより推定された参照画像は、移動する物体、陽炎による揺らぎなどが取り除かれ、動きのない画像となる。

次に、Ｓ５２におけるオプティカルフローの計算では、図１７に示すように、入力画像と参照画像間のブロックマッチング（以降、ＢＭともいう。）により、入力画像の局所領域（例えば縦５画素、横５画素）の動きベクトルを推定する。この動きベクトルを、局所領域の中心点（注目画素）の動きベクトルとしている。図１７の例では、例えば、参照画像１７１の局所領域と類似する（つまり、ＢＭのとれる）入力画像１７２の局所領域１（縦５画素、横５画素）が、対応する参照画像の位置から移動した方向と量を、局所領域１の中心点である注目画素１の動きベクトル１として表している。

Ｓ５３における動き補正では、図１８に示すように、前記推定された動きベクトルに従って、入力画像の局所領域１〜３を移動させ、該移動させた局所領域１〜３を重ね合わせる。このように、部分画像の重ね合わせにより補正された画像を生成している。

特開２０１２−１０４０１８号公報 特開２０１１−２２９０３０号公報

特許文献１や特許文献２によれば、カメラで撮影された画像が陽炎等によって劣化した場合にも、陽炎等の影響を補正することにより画質を改善し、良好な画像を得ることができる。
しかしながら、特許文献１による補正の場合、ある時刻の入力画像の空間的位置が異なる局所領域を重ね合わせることによってその時刻の補正画像を生成するため、重ね合わせの平滑効果により補正画像の解像感が低下するという課題がある。
また、入力画像は陽炎等によって歪んでいるためその局所領域も歪んでいる。従って、この歪んだ局所領域を入力画像内で探索すると、間違った領域が類似度の高い領域として検出されたりするため、それらを重ね合わせて生成した補正画像が歪み、画質が劣化するという課題がある。
本発明の目的は、前記課題に鑑み、従来技術の画像処理時に発生していた解像感の低下や画像歪みによる画質劣化を抑えつつ、陽炎等の影響を補正することで画質改善する画像処理装置を提供することにある。なお、これ以降、陽炎を含む画像が揺らぐ状態を「陽炎」という言葉で代表して述べることがある。装置の構成や動作の説明で顕著に表れるが、この技術は画像の揺らぎ全般に適用される。

前記課題を解決するための、本発明に係る画像処理装置の代表的な構成は、次のとおりである。すなわち、
撮像結果を時系列の画像として出力する撮像部と、該撮像部から出力された時系列の画像が入力画像として入力され、該入力画像における画像の揺らぎを補正する画像補正部とを備える画像処理装置であって、
前記画像補正部は、
前記撮像部からの複数枚の時系列入力画像に基づき、該複数枚の時系列入力画像を平滑化して時間平滑画像を生成する時間平滑画像生成部と、
前記時間平滑画像生成部で生成された時間平滑画像に対し局所領域を設定し、該局所領域における前記時間平滑画像と、前記複数枚の時系列入力画像の部分領域との類似度を、決定する類似度決定部と、
前記類似度決定部で算出された類似度決定結果に基づき、前記時間平滑画像の局所領域の画像に類似する画像を有する前記入力画像の部分領域を、前記複数枚の時系列入力画像の部分領域から選択し、該選択した部分領域に基づき補正画像を生成する補正画像生成部と、
を備えることを特徴とする画像処理装置。

上記の構成によれば、従来技術１を使用した場合に発生する解像感の低下や画像の歪みを抑え、解像感を保ったまま陽炎等の影響を補正し画質を向上させることができる。

本発明の実施形態に係る補正画像生成を説明する図である。 本発明の実施形態の比較例に係る類似度計算を説明する図である。 本発明の実施形態に係る類似度計算を説明する図である。 本発明の実施形態の第１実施例に係る画像処理装置の構成図である。 本発明の実施形態の第１実施例に係る陽炎補正部の構成図である。 本発明の実施形態の第１実施例に係る時間平滑画像生成部の構成図である。 本発明の実施形態の第１実施例に係る類似度決定部の構成図である。 本発明の実施形態の第１実施例に係る補正画像生成部の構成図である。 本発明の実施形態の第１実施例に係る画像処理の流れを説明する図である。 本発明の実施形態の第２実施例に係る画像処理装置の構成図である。 本発明の実施形態の第３実施例に係る画像処理装置の構成図である。 本発明の実施形態の第３実施例に係る画像処理装置内のデータの流れを説明する図である。 本発明の実施形態の第３実施例に係る陽炎補正領域を説明する図である。 本発明の実施形態の第３実施例に係る陽炎補正可能なブロック数の算出方法を説明する図である。 本発明の実施形態の第３実施例に係るキャリブレーション処理の流れを説明する図である。 従来例に係る画像処理の流れを説明する図である。 従来例に係る動きベクトル推定処理を説明する図である。 従来例に係る補正画像生成処理を説明する図である。

以下、本発明の実施形態における画像処理装置を説明する。本実施形態では、陽炎による画像の揺らぎを補正する画像処理装置について説明する。
本実施形態の画像処理装置は、入力画像を時系列に足し込んで平滑化した時間平滑画像を生成し、入力画像と時間平滑画像間の局所領域における類似度を、差分絶対値和(以下、ＳＡＤ: Sum of Absolute Difference)等を用いたＢＭ（ブロックマッチング）によって評価する。このとき、ある時刻の入力画像に加えその時刻の前後の複数時刻の入力画像も使って時間平滑画像との間で類似度計算を行い、最も類似度の高い入力画像の局所領域を検出する。この処理を、時間平滑画像の全体領域又は一部領域に対して行い、図１に示すように、検出した局所領域を（重ね合わせずに）組み合わせて生成した画像を補正画像とする。このような処理により、解像感の低下を防ぐことができる。図１は、本発明の実施形態に係る補正画像生成を説明する図である。図１においては、複数時刻の入力画像から、最も類似度の高い局所領域である最適局所領域１〜３を選択し、補正画像を生成している。

前記画像処理は、陽炎による画像の揺らぎが、揺らぎがなければ本来表示されたであろう正しい位置を中心に対称になるという性質に基づく。以降、この表示されたであろう位置を平均位置と呼ぶ。また、補正されるべき画像（これは物体のエッジ（部分）であることが比較的多い）のことを対象画像と呼ぶ。そして、ある時刻の入力画像の局所領域が、揺らぐ画像の平均位置からかけ離れている場合を考慮したものである。複数枚の時系列画像を使うことにより、陽炎により揺らぐ画像の平均位置、つまり、その画像の正しい位置に近い画像を有する局所領域を捉える可能性を向上させ、その結果、補正画像の画質を改善するものである。

図２は、本実施形態の比較例に係る類似度計算を説明する図であり、ある時刻の入力画像ＩＮ（ｎ）のみを使って類似度計算を行った場合を示している。図２（ａ）は、時間平滑画像ＡＶ（ｎ）を示し、２１ａは処理対象の局所領域、２１ｂは対象画像である。時間平滑により、揺らいだ線が本来表示されたであろう正しい位置に補正されている。図２（ｂ）は、入力画像ＩＮ（ｎ）を示し、２２ａは、処理対象局所領域２１ａと類似する画像領域を探索する範囲、２２ｂは対象画像である。揺らぎで線が歪んでいる。
図２（ｃ）に示すように、入力画像ＩＮ（ｎ）の対象画像２２ｂは、陽炎により揺らぐため、対象画像２２ｂの平均位置からかけ離れている。そのため、この１枚の入力画像ＩＮ（ｎ）と時間平滑画像ＡＶ（ｎ）の処理対象局所領域との間で類似度計算を行うと、本来検出すべき類似度の高い領域が存在しないので、偶然に類似度が高くなった他の間違った領域が選択され、該選択された部分画像から生成した補正画像の画質が劣化する。

図３は、本実施形態に係る類似度計算を説明する図である。図３（ａ）は、時間平滑画像ＡＶ（ｎ）を示し、３１ａは処理対象の局所領域、３１ｂは対象画像である。図３（ｂ）は、複数の入力画像ＩＮ（ｎ）〜ＩＮ（ｎ−４）を示し、３２ａ（ｎ）〜３２ａ（ｎ−４）は、処理対象局所領域３１ａと類似する画像領域を探索する範囲、３２ｂ（ｎ）〜３２ｂ（ｎ−４）は対象画像である。入力画像の時刻の違いにより、本来表示されたであろう正しい位置から左右に揺らいでいる。図３は、ある時刻の入力画像ＩＮ（ｎ）に加え、その時刻の前の複数時刻の入力画像ＩＮ（ｎ−１）〜ＩＮ（ｎ−４）も使って類似度計算を行った場合を示している。

図３（ｃ）に示すように、ある時刻の入力画像ＩＮ（ｎ）の対象画像３２ｂ（ｎ）は、陽炎により揺らぐため、対象画像３２ｂ（ｎ）の平均位置からかけ離れているが、その揺らぎは平均位置に対して対称となる性質があることから、別の時刻の入力画像ＩＮ（ｎ−２）における対象画像３２ｂ（ｎ−２）は、より平均位置に近い状態となっている。したがって、時刻の異なるこれら複数枚の入力画像ＩＮ（ｎ）〜ＩＮ（ｎ−４）と時間平滑画像ＡＶ（ｎ）の処理対象局所領域との間で類似度計算を行うと、より類似度の高い入力画像ＩＮ（ｎ−２）の領域が選択され、該選択された領域の画像（部分画像）から生成した補正画像の画質を改善することができる。
なお、図２と図３の説明では、陽炎により揺らぐ範囲を考慮した探索範囲を設定することにより、類似度計算の処理量を削減している。陽炎により揺らぐ範囲は、例えば、類似度計算で局所領域の動きベクトルを推定するようにしておきそこから推定しても良いし、定数または変数にしても良い。

さらに、上述の説明では、複数の入力画像の局所領域のうち、類似度計算によって類似度が最も高いと判定された局所領域を補正画像に使うことにしているが、例えば、類似度が高い順に複数の時系列入力画像の局所領域を、解像感が失われない範囲で平滑化して使っても良い。これにより、類似度が高い（似ている）画像同士のみを平滑化することで解像感の低下を最小限に抑えつつ、生成した補正画像の局所領域間の境界をなめらかにする、つまり、複数の局所領域から生成した補正画像の継ぎ目を目立たなくすることができる。さらに、時間平滑画像ＡＶ（ｎ）に対し、入力画像ＩＮ（ｎ−２）、ＩＮ（ｎ−１）、ＩＮ（ｎ）、ＩＮ（ｎ＋１）、ＩＮ（ｎ＋２）、対象画像３２ｂ（ｎ−２）、３２ｂ（ｎ−１）、３２ｂ（ｎ）、３２ｂ（ｎ＋１）、３２ｂ（ｎ＋２）を用いて、ＡＶ（ｎ）の前後２つの時刻を対象にした合計５つの入力画像と対象画像のペアで補正処理をしても構わない。

（第１実施例）
図４は、本実施形態の第１実施例に係る画像処理装置の構成図である。第１実施例に係る画像処理装置は、本発明を望遠カメラ監視システムに適用した場合の例である。
この望遠カメラ監視システムは、図４に示すように、望遠カメラと映像モニタ等から構成される。望遠カメラは、レンズを含み撮像結果を時系列の画像として出力する撮像部４１と、撮像部４１から出力された時系列の画像が入力画像として入力され、該入力画像における画像の揺らぎを補正する画像補正部としての陽炎補正部４２とを備える。陽炎補正部４２は、撮像部４１から出力された画像の陽炎による影響を補正し、補正画像を画像表示部４３に出力する。この望遠カメラ監視システムにおいては、少なくとも所定時間、撮影対象に対しカメラの向きを固定する。つまり、撮像部４１から出力された画像は、少なくとも所定時間、同じ位置の画像である。もしくは、移動する撮影対象を追尾し続け、画像表示部４３の一定位置に止まって表示されるようにカメラの向きや位置を移動する。

図５は、第１実施例に係る陽炎補正部４２の構成図であり、機能ブロックを示している。陽炎補正部４２は、時間平滑画像生成部５０と、類似度決定部６０と、補正画像生成部７０とを備える。
時間平滑画像生成部５０は、撮像部４１から逐次入力される複数枚の時系列画像に基づき、該複数枚の時系列入力画像を平滑化して時間平滑画像を生成する。平滑化の手法は様々知られているが、例えば指数移動平均、加重移動平均、単純移動平均等を適用することができる。時間平滑画像生成部５０で生成された時間平滑画像と撮像部４１からの時系列入力画像は、類似度決定部６０に入力される。

類似度決定部６０は、時間平滑画像生成部５０で生成された時間平滑画像に対し局所領域を設定し、該局所領域における時間平滑画像と、複数枚の時系列入力画像の部分領域との間の類似度を決定する。このとき、類似度決定部６０は、複数枚の時系列入力画像それぞれに対してあらかじめ設定された探索範囲で、時間平滑画像の処理対象局所領域との類似度を計算し決定する。

補正画像生成部７０は、類似度決定部６０から出力される類似度計算結果に基づき、複数枚の入力画像から陽炎補正に最適な部分領域（局所領域）を選択する。この処理を時間平滑画像の全体もしくは一部の領域に対して行い、選択された部分領域の画像（部分画像）を（重ね合わせずに）組み合わせて生成し、該生成した画像を補正画像として出力する。このように、補正画像生成部７０は、類似度決定部６０で算出された類似度決定結果に基づき、時間平滑画像の局所領域の画像に類似する画像を有する入力画像の部分領域を、複数枚の時系列入力画像の部分領域から選択し、該選択した部分領域に基づき補正画像を生成する。

以下で陽炎補正部４２内の各ブロックについて詳細を説明する。
図６は、第１実施例に係る時間平滑画像生成部５０の構成図である。時間平滑画像生成部５０は、時間平滑画像保持部５１、乗算器５２、乗算器５３、加算器５４を備える。図６の例の時間平滑画像生成部５０では、撮像部４１から逐次入力される時系列画像を指数移動平均により平滑化することで、陽炎による揺らぎを取り除いた画像を生成している。

指数移動平均による平滑化処理は、次の数式１で表される。

ＡＶ（ｎ）＝ｒ×ＩＮ（ｎ）＋（１−ｒ）×ＡＶ（ｎ−１）・・・数式１

この平滑化処理において、ある時刻の入力画像ＩＮ（ｎ）は、乗算器５３で各画素値がｒ倍され、一方、時間平滑画像保持部５１で保持されている時系列順で１つ前の時間平滑画像ＡＶ（ｎ−１）が乗算器５２で（１−ｒ）倍され、これらの出力が加算器５４で加算される。そして、加算器５４の出力は、新たな時間平滑画像ＡＶ（ｎ）として後段に出力されるとともに、時間平滑画像保持部５１の画像を更新する。数式１のＡＶ（ｎ）はｎ番目の時間平滑画像、ＩＮ（ｎ）はｎ番目の入力画像を表す。この場合、時間平滑画像生成部５０は、無限インパルス応答（ＩＩＲ）フィルタとなる。

図７は、第１実施例に係る類似度決定部６０の構成図である。類似度決定部６０は、時間平滑画像保持部６１と、入力画像保持部６２と、類似度計算部としてのＢＭ計算部６３と、類似度計算結果保持部としてのＢＭ計算結果保持部６４とを備える。時間平滑画像保持部６１は、時間平滑画像生成部５０から出力される時間平滑画像を保持する。入力画像保持部６２は、撮像部４１から逐次入力される時系列入力画像（画像フレーム）を保持する。ＢＭ計算部６３は、時間平滑画像をＮ×Ｎ画素単位の局所領域に分割し、それぞれの局所領域について、入力画像保持部６２に保持されている複数枚の時系列入力画像それぞれに対して、あらかじめ設定された探索範囲で類似度計算を行う。この探索範囲は、局所領域を含み、局所領域よりも広い範囲となるように、ＢＭ計算部６３により設定される。このように、類似度決定部６０は、入力画像において部分領域を探索するための探索範囲を設定し、該探索範囲内において、局所領域における時間平滑画像と入力画像との類似度を決定する。以上により、補正画像生成部７０が、時間平滑画像での局所領域を基準として、その局所領域に類似する部分画像を各時系列入力画像から探索することを可能にする。処理対象局所領域の類似度評価には、例えばＳＡＤを用いることができる。

ＢＭ計算部６３の計算結果は、例えば局所領域毎に、最小ＳＡＤ値を得た入力画像番号、入力画像上の位置およびそのＳＡＤ値を対応付ける様態で、ＢＭ計算結果保持部６４で保持される。例えば、時間平滑画像番号５の時間平滑画像の局所領域番号１の局所領域において、入力画像番号２の入力画像のある位置（２，３）で最小ＳＡＤ値５７を得た場合、時間平滑画像番号５と局所領域番号１と入力画像番号２と最小ＳＡＤ値５７と入力画像上の位置（２，３）とを対応付けるように、ＢＭ計算結果保持部６４で保持される。ここで、時間平滑画像番号は、時間平滑画像を特定する番号である。局所領域番号は、時間平滑画像の局所領域を特定する番号である。入力画像番号は、入力画像を特定する番号である。入力画像上の位置は、最小ＳＡＤ値を得た入力画像上の位置であり、例えば相対座標（ｘ，ｙ）で表される。

図８は、第１実施例に係る補正画像生成部７０の構成図である。補正画像生成部７０は、最適局所領域選択部７１と補正画像保持部７２とを備える。最適局所領域選択部７１は、類似度決定部６０のＢＭ計算結果保持部６４に保持されているＢＭ計算結果に基づき、ＢＭ計算を行った時間平滑画像のＮ×Ｎ画素単位の局所領域毎に、最も類似度の高い部分領域（局所領域と同サイズである）を、入力画像保持部６２に保持されている複数枚の時系列入力画像の中から選択し、最適局所領域として、入力画像保持部６２から読み出す。その後、最適局所領域選択部７１は、時間平滑画像の局所領域毎にそれぞれ選択された複数の最適局所領域を、時間平滑画像の全領域に亘り貼り合わせた画像を生成し、これを補正画像として補正画像保持部７２に保持する。補正画像保持部７２は、保持した補正画像を、画像モニタの画像表示部４３へ出力する。

以上の処理をまとめると、図９の処理フローとなる。図９は、第１実施例に係る陽炎補正部４２の画像処理の流れを説明する図である。なお、本明細書において、局所領域と部分領域は、１枚の画像フレーム内の一部の領域という意味において同じであるが、説明を解り易くするため、時間平滑画像に対しては局所領域を用い、入力画像に対しては部分領域を用いることがある。
まず、時間平滑画像生成部５０が、数式１の平滑化処理により、時間平滑画像を生成する（ステップＳ１）。次に、類似度決定部６０が、ステップＳ２〜Ｓ７の処理により、時間平滑画像の局所領域のそれぞれに対し、複数の時系列入力画像の類似度を計算し決定する。次に、補正画像生成部７０が、時間平滑画像の局所領域のそれぞれに対し最も類似度の高い最適部分領域（最適局所領域）を、複数の時系列入力画像の中から選択し、該選択した複数（局所領域の数）の最適部分領域（最適局所領域）を重ならないように組み合わせて、補正画像を生成する。

詳しく説明すると、ステップＳ１の後、類似度決定部６０は、時間平滑画像の１つ目の処理対象局所領域において、該１つ目の処理対象局所領域の画像と、１枚目の時系列入力画像において設定された探索範囲内の部分領域の画像との類似度を計算する（ステップＳ２）。類似度決定部６０は、指定された探索範囲内の全ての部分領域に対し、類似度計算が終了したか否かを判断し（ステップＳ３）、終了していない場合は（ステップＳ３でＮｏ）、ステップＳ２に戻り、設定された探索範囲内の部分領域の類似度計算を続行する。

設定された探索範囲内の部分領域の類似度計算が終了した場合は（ステップＳ３でＹｅｓ）、類似度計算を行った処理対象局所領域が、時間平滑画像の最後の処理対象局所領域であるか否かを判断し（ステップＳ４）、最後の処理対象局所領域でない場合は（ステップＳ４でＮｏ）、処理対象局所領域を時間平滑画像の次の局所領域へ移し（ステップＳ５）、ステップＳ２に戻り、次の局所領域の類似度計算を行う。

時間平滑画像の最後の処理対象局所領域である場合は（ステップＳ４でＹｅｓ）、類似度計算を行った入力画像が、複数の時系列画像のうち最後の入力画像であるか否かを判断し（ステップＳ６）、最後の入力画像でない場合は（ステップＳ６でＮｏ）、処理対象を次の入力画像へ移し（ステップＳ７）、ステップＳ２に戻り、次の入力画像の類似度計算を行う。

最後の入力画像である場合は（ステップＳ６でＹｅｓ）、補正画像生成部７０は、時間平滑画像の局所領域のそれぞれに対し、最も類似度の高い入力画像の部分領域（最適局所領域）を選択し（ステップＳ８）、該選択した複数の部分領域（最適局所領域）を重ならないように組み合わせて、補正画像を生成する（ステップＳ９）。その後、ステップＳ１へ戻る。

以上説明した第１実施例によれば、少なくとも次の（Ａ１）〜（Ａ３）の効果を得ることができる。
（Ａ１）時間平滑画像の各局所領域に対し、複数の時系列入力画像の中から、類似度の高い部分領域を選択し、これらを組み合わせて補正画像を生成するので、従来よりも解像感の低下や画像の歪みを抑えることができる。
（Ａ２）入力画像に対し、時間平滑画像の局所領域よりも広く入力画像全域よりも狭い探索範囲を設定するので、入力画像全域を探索する場合に比べ、類似度計算の処理量を削減できる。
（Ａ３）補正画像生成に用いる入力画像の部分領域として、類似度が高い複数の時系列入力画像の部分領域を、解像感が失われない範囲で平滑化して使用するように構成した場合は、複数の部分領域から生成した補正画像の継ぎ目を目立たなくすることができる。

（第２実施例）
第２実施例に係る画像処理装置について説明する。本例の画像処理装置は、例えば第１実施例と同様の望遠カメラ監視システムであるが、入力画像を２種類以上のカテゴリに分類して陽炎補正を行う点などで、第１実施例と異なる。即ち、画像の変形に対してロバストなヒストグラム比較手法により、陽炎条件下でも背景画像と移動体画像とを正確に区別する。例えば、入力画像を、移動体領域と、背景領域と、移動体通過直後領域とに分類し、分類に応じた画像処理（フィルタ処理）を行う。例えば背景領域では、第１実施例と同様の陽炎補正をした画像を出力とし、その他の領域では入力画像そのもの或いは移動体除去画像を出力とすることなどを特徴とする。

図１０は、本実施形態の第２実施例に係る画像処理装置の構成図であり、第１実施例における陽炎補正部４２に相当する陽炎補正装置の構成図である。この陽炎補正装置は、入力画像メモリ８１と、時系列平滑化画像メモリ８２と、移動体除去画像メモリ８３と、時系列平滑化画像更新部８４と、ヒストグラム解析部８５と、領域分類部８６と、陽炎補正部８７と、移動体除去画像更新部８８と、選択合成部８９と、陽炎歪み計算部９０と、パラメータ最適化部９１と、を有する。

入力画像メモリ８１は、複数の時系列入力画像を保持する。時系列平滑化画像更新部８４は、入力画像メモリ８１から出力された複数の時系列入力画像に基づき、時系列平滑化画像を作成する。この時系列平滑化画像は、第１実施例の時間平滑画像と同じであり、時間平滑画像と呼ぶこともある。時系列平滑化画像メモリ８２は、時系列平滑化画像更新部８４で作成された時系列平滑化画像、つまり、時間的に近い複数枚の時系列入力画像の画面内の全画素を平滑化した時系列平滑化画像を保持する。

図１０に示す時系列平滑化画像メモリ８２の画像中の８２ａは、移動体が通過した直後の領域を示す移動体通過直後領域である。８２ｂは、移動体の領域を示す移動体領域である。移動体は、時系列平滑化処理中に移動するため、移動体通過直後領域８２ａと移動体領域８２ｂは、ぼやけた画像になる。図１０では、説明の便宜上、移動体通過直後領域８２ａと移動体領域８２ｂを区別して示しているが、実際の時系列平滑化画像では区別できない。移動体通過直後領域８２ａと移動体領域８２ｂとを合わせた領域を、移動体及び通過領域８２ｃと称する。図１０に示す時系列平滑化画像メモリ８２の画像において、移動体及び通過領域８２ｃ（８２ａと８２ｂとを合わせた部分）を除いた部分が、背景領域８２ｄである。

ヒストグラム解析部８５は、２種類の画像の部分画像に対してそれぞれヒストグラムを作成し、両画像間の類似性を評価するための差分を計算する。例えば、入力画像メモリ８１から出力された２枚の時系列入力画像の部分画像に対して、それぞれヒストグラムを作成し、その差分を計算することにより、２枚の時系列入力画像間の類似性を評価する。また、入力画像メモリ８１から出力された入力画像の部分画像と、時系列平滑化画像メモリ８２の時系列平滑化画像の部分画像とに対して、それぞれヒストグラムを作成することで、入力画像と時系列平滑化画像との類似性を評価するための差分を計算する。

領域分類部８６は、ヒストグラム解析部８５によって計算された差分に基づいて、領域分類を行う。領域分類部８６は、入力画像メモリ８１から出力された直近の入力画像と過去の入力画像の、２枚の時系列入力画像間の差分（つまり、類似性）に基づき、移動体画像の領域（移動体領域８２ｂ）であるか否かの領域分類を、最低でもブロック（第１実施例のＮ×Ｎ画素単位の局所領域に相当）単位で行う。差分が大きいと、移動体画像もしくはそれに準ずる領域と判断する。
また、領域分類部８６は、入力画像メモリ８１から出力された直近の入力画像と時系列平滑化画像との差分に基づき、移動体及び通過領域８２ｃであるかそれとも背景領域８２ｄであるかの領域分類を、最低でもブロック（第１実施例のＮ×Ｎ画素単位の局所領域に相当）単位で行う。差分が小さいと、背景領域と判断する。
そして、以上の領域分類結果に基づき、領域分類部８６は、移動体通過直後領域８２ａであるか移動体領域８２ｂであるかそれとも背景領域８２ｄであるかの領域分類を、最低でもブロック（第１実施例のＮ×Ｎ画素単位の局所領域に相当）単位で行う。

このように、本例では、ヒストグラム解析部８５や領域分類部８６等の機能により、上記の領域分類（移動体領域８２ｂであるか又は移動体通過直後領域８２ａであるか或いは背景領域８２ｄであるかの判断）を、最低でもブロック（第１実施例のＮ×Ｎ画素単位の局所領域に相当）単位で行い、それらの領域分類結果を、陽炎補正部８７、移動体除去画像更新部８８、選択合成部８９、陽炎歪み計算部９０へ出力する。

陽炎補正部８７は、第１実施例の類似度決定部６０と補正画像生成部７０に相当する機能を有し、時系列平滑化画像メモリ８２から出力された時系列平滑化画像を参照して、第１実施例と同様の陽炎除去処理を、入力画像メモリ８１から出力された複数の時系列入力画像に施す。陽炎補正部８７は、現在の入力画像で移動体及び通過領域８２ｃではないと判断された領域（つまり、背景領域８２ｄ）において動作して、背景領域８２ｄにおける補正画像を、選択合成部８９に出力するとともに、必要に応じブロックマッチング（ＢＭ）で求めた現在の入力画像の動きベクトルを、陽炎歪み計算部９０に出力する。また、陽炎歪み計算部９０から与えられる歪みの強さにより、ブロックマッチングの探索範囲を適応的に制御する。

移動体除去画像更新部８８は、入力画像メモリ８１から出力された入力画像或いは出力画像９２を入力され、領域分類部８６により背景領域８２ｄと判断された領域において、第１実施例の数式１と同様の更新式を適用して指数移動平均画像を得て、該得た指数移動平均画像を、移動体除去画像として出力する。また、この移動体除去画像における移動体領域８２ｂ及び移動体通過直後領域８２ａでは、更新されず現在の移動体が映り込んでいない過去の移動体除去画像が、そのまま維持される。このように、移動体除去画像更新部８８は、領域分類部８６からの領域分類結果に基づいて、例えば入力画像メモリ８１から出力された入力画像に対し、背景領域８２ｄにおける複数枚の時系列入力画像を平滑化して移動体を除去した移動体除去画像の作成処理と更新処理を行う。つまり、移動体除去画像更新部８８は、複数枚の時系列入力画像と領域分類部８６からの領域分類結果とに基づき、背景領域８２ｄにおける複数枚の時系列入力画像を平滑化して移動体除去画像を生成する。

移動体除去画像メモリ８３は、移動体除去画像更新部８８から出力された移動体除去画像、つまり、入力画像から移動体を除去した画像に対して時系列平滑化処理を施した画像（移動体除去画像）を保持する。

選択合成部８９は、領域分類部８６からの領域分類結果に基づいて、補正した出力画像９２を出力する。すなわち、選択合成部８９は、領域分類部８６からの領域分類結果に基づき、背景領域８２ｄでは、陽炎補正部８７からの陽炎補正画像を選択し、移動体領域８２ｂでは、入力画像メモリ８１から出力された入力画像を選択し、移動体通過直後領域８２ａでは、移動体除去画像メモリ８３から出力された移動体除去画像を選択、又は、後述するように入力画像メモリ８１から出力された入力画像を選択し、これらを合成して出力する。したがって、移動体領域８２ｂや移動体通過直後領域８２ａでは、陽炎補正されないものの、背景領域８２ｄでは、陽炎補正することができる。
なお、領域分類の空間精度が荒いと出力される合成画像に領域境界が目立つため、選択合成部８９で用いる領域分類は、画素単位とするか、或いは、ブロック又は領域の境界付近に空間領域フィルタを適宜施す。

陽炎歪み計算部９０は、領域分類部８６からの領域分類結果および陽炎補正部８７からの画像補正結果に基づいて、背景領域８２ｄにおける陽炎による歪みの強さを計算する。詳しくは、陽炎歪み計算部９０は、例えば、陽炎補正部８７から得た陽炎による画像の変位量を表す動きベクトル等に基づいて、歪みの強さや、変位の時間的な周波数、平均変位（グローバル動きベクトル）等を求める。平均変位とは、１枚（１フレーム）の入力画像内の全ての動きベクトルを平均したものである。歪みの強さは、１枚の入力画像内の全ての動きベクトルの変位量の分散に基づいて計算することができる。分散が大きいほど、歪みの強さは大きい。

歪みの強さと周波数は、パラメータ最適化部９１に与えられ、パラメータ最適化部９１から各種パラメータとして出力されることで、時系列平滑化画像更新部８４や移動体除去画像更新部８８や選択合成部８９での空間或いは時間領域フィルタの特性を適応制御するために利用される。
パラメータ最適化部９１は、陽炎歪み計算部９０から出力された陽炎による歪みの強さや周波数に応じて各種パラメータを最適化し、該最適化したパラメータを、時系列平滑化画像更新部８４や移動体除去画像更新部８８や選択合成部８９へ出力する。

また、平均変位は、適宜、陽炎補正部８７等に与えられ、入力画像における探索領域のオフセットとして利用される。つまり、平均変位が、入力画像における探索範囲（つまり、動きベクトルの分散）よりも大きくなった場合は、図１０の陽炎補正装置の動作はリセットされる、つまり、入力画像メモリ８１、時系列平滑化画像メモリ８２、移動体除去画像メモリ８３の内容はリセットされ、新たに入力画像メモリ８１への入力画像蓄積等の動作が開始される。
これにより、カメラの撮影方向の振れに起因するような画像の平行移動が、入力画像における探索範囲よりも大きくなるような環境下でも、陽炎補正を可能にする。選択合成部８９は、領域分類部８６が移動体領域８２ｂと判断した領域でも、陽炎補正が成功した（陽炎補正部が用いたグローバル動きベクトルが第１所定値以下で、且つ得られたＳＡＤ値が第２所定値以下）と判断できる領域は、背景領域８２ｄとみなす。

なお、第２実施例では、時系列平滑化画像更新部８４と移動体除去画像更新部８８の両者を備えるように構成したが、例えば、選択合成部８９が、移動体通過直後領域８２ａにおいて入力画像を選択するようにすれば、移動体除去画像更新部８８における移動体除去画像の作成は必須ではなく、移動体除去画像更新部８８は省略可能である。逆に、陽炎補正部８７が、時系列平滑化画像に代えて移動体除去画像を用いるようにすれば、時系列平滑化画像更新部８４における時系列平滑化画像の作成を省略できる、つまり、時系列平滑化画像更新部８４を省略できる。
また、陽炎歪み計算部９０とパラメータ最適化部９１は、必須構成ではないが、設けることが望ましい。

以上説明した第２実施例によれば、少なくとも次の（Ｂ１）〜（Ｂ３）の効果を得ることができる。
（Ｂ１）入力画像の背景領域８２ｄと移動体及び通過領域８２ｃとを識別し、背景領域８２ｄを陽炎補正して、該陽炎補正した背景領域８２ｄと、陽炎補正していない移動体及び通過領域８２ｃとを組み合わせて、出力画像を生成するので、入力画像内に移動体が存在する場合においても、背景領域８２ｄの陽炎補正が可能である。
（Ｂ２）さらに、移動体領域８２ｂと移動体通過直後領域８２aとを識別し、移動体通過直後領域８２aでは、移動体除去画像を用いて、実際に近い画像を生成できる。
（Ｂ３）平均変位が、入力画像における探索範囲よりも大きくなった場合は、陽炎補正装置の動作はリセットされるので、カメラの撮影方向の振れに起因するような画像の平行移動が、入力画像における探索範囲よりも大きくなるような環境下でも、陽炎補正が可能である。

（第３実施例）
第３実施例に係る画像処理装置について、図面１１〜１５を参照して説明する。本例の画像処理装置は、第１実施例や第２実施例の陽炎補正を、例えば図４に示す第１実施例の望遠カメラ監視システムの画像表示部４３側に備えたマルチコアプロセッサを用いて実現した例である。

陽炎補正処理は、補正処理の計算量が多く、また補正処理が要求する入力画像（画像フレーム）の枚数が多いことから、カメラに内蔵させる陽炎補正部のプロセッサやメモリなどの構成規模が大きくなりコストの上昇を引き起こす。また演算処理性能が不足したまま処理を継続すると、画像フレーム抜けなどが発生し、撮影した画像と同じフレームレートでのリアルタイム表示が出来ない。

ところで、陽炎補正処理は、ブロック（第１実施例や第２実施例の時間平滑画像の局所領域）単位で処理を行えるため、並列演算との相性が良い。一般的にパーソナルコンピュータは、カメラが搭載するＤＳＰ（Digital Signal Processor）に対して処理能力に余裕がある。また、搭載するメモリ容量も大きく、数フレームの画像データを格納することはあまり問題にはならない。特に、近年のコンピュータ技術は、モニタに画像を表示させるグラフィックボードの性能が著しく向上している。グラフィックボード上で画像処理を行うＬＳＩは、一般的にＧＰＵ（Graphics Processing Unit）と称される。ＧＰＵは、複数処理を同時に実行する並列演算機能を有するのが、近年の一般的な構成である。ＧＰＵは、並列演算性能を生かして、グラフィック用途ばかりでなく物理演算にも応用するＧＰＧＰＵ（General-purpose computing on graphics processing units）としても使われている。

そこで本例では、複数処理を同時に実行する必要がある陽炎補正処理を、並列演算機能を有するＧＰＵで処理する。コア数やクロック数等の性能の異なる様々なＧＰＵが市場に流通しているため、本実施例の画像処理装置では、第１実施例又は第２実施例の画像処理装置において、リアルタイムに処理が可能な最大ブロック数の算出機能と、処理が可能な最大ブロック数に合わせ、入力画像における陽炎補正範囲を限定する機能と、該限定された陽炎補正領域をモニタに表示し、変更、移動する機能と、該限定された陽炎補正領域のブロックだけを演算対象とする機能とを新たに備えた。また、時系列平滑化画像の作成処理は、過去の画像フレームさえあれば、陽炎補正範囲とは無関係に、画面全体の各ブロックを比較的自由な並列度で処理することができる。これらにより、陽炎補正のリアルタイム表示を実現する。

例えば、第１実施例の画像表示部４３には、入力画像上に、画像補正のリアルタイム処理が可能な画像補正領域が表示され、その画像補正領域は、操作者の操作により大きさ変更可能又は移動可能である。そして、類似度決定部６０は、前記画像補正領域内でのみ類似度の決定を行い、補正画像生成部７０は、前記画像補正領域内でのみ補正画像を生成する。一方、時間平滑画像生成部５０は、前記画像補正領域の大きさと無関係に、撮像部４１からの入力画像全体に対して時間平滑画像を生成する。

まず、本実施例を説明するための予備知識として、グラフィックボードを搭載したコンピュータの構成例を図１１に示す。図１１は、本実施形態の第３実施例に係る画像処理装置の構成図であり、第１実施例の陽炎補正部４２に相当する。もしくは第２実施例の画像処理装置である図１０に相当する。
一般的にコンピュータは様々な周辺機器で構成されるが、この例ではコンピュータ１００がマザーボード１１０とグラフィックボード１２０の２つを備え、陽炎補正処理に必要最低限な構成を示している。但し、これ以外の構成機器が追加されても構わない。

マザーボード１１０は、ＣＰＵ１１２、メモリ１１３、ＰＣＩ（Peripheral Component
Interconnect）コントローラ１１４、インタフェース１１１を備える。このマザーボード１１０の構成も、必要最低限な構成を示している。ＣＰＵ１１２は、コンピュータ１００の全体を制御し、また、入力データに対し演算処理を行って出力する。メモリ１１３は、ＣＰＵ１１２が演算処理に使用するデータを格納し、ＣＰＵ１１２とデータの入出力をする。

インタフェース１１１は、外部データ１０１を取り込み、ＣＰＵ１１２へ出力する。一般的なインタフェース１１１としては、例えば、ＬＡＮ（Local Area Network）、ＵＳＢ（Universal Serial Bus）、ｅＳＡＴＡ（External Serial Advanced Technology Attachment）などがある。インタフェース１１１は、最低限、カメラから伝送路を経由して伝送された外部データ１０１を、コンピュータ１００の内部に格納できれば、どのようなインタフェースの方式でも構わない。例えば、インタフェース１１１にハードディスクを接続し、伝送路からの外部データ１０１を一旦ハードディスクに蓄積する。その蓄積したデータをＣＰＵ１１２が取り込んで処理する構成でも構わない。

ＰＣＩコントローラ１１４は、ＰＣＩスロットに接続された拡張ボード、この場合はグラフィックボード１２０とのインタフェースをとる。本例ではＰＣＩ Ｅｘｐｒｅｓｓ方式とするが、最低限、グラフィックボードに実装されたＰＣＩコントローラ１２１と同じプロトコルで通信し、必要なデータ量の転送が出来れば、どのような方式でも構わない。

グラフィックボード１２０は、ＰＣＩコントローラ１２１、ＧＰＵ１２３を備えるが、これも必要最低限な構成だけを示している。ＰＣＩコントローラ１２１は、マザーボード１１０上のＰＣＩコントローラ１１４と共通なプロトコルで通信を行い、グラフィックボード１２０とマザーボード１１０の間でデータの入出力を行う。ＰＣＩコントローラ１２１が取り込んだデータは、ＧＰＵ１２３に出力される。ＧＰＵ１２３の内部には、帯域が広いＧＰＵ内部バス１２２に接続された多数のコア１２４が備えられている。コア１２４の個数は、数百個から数千個に達する。ＧＰＵ１２３は、このＧＰＵ内部バス１２２の帯域とコア１２４の個数により、エントリー向けから３Ｄグラフィックゲームに代表されるハイエンド向けまで、性能差によりラインナップが分かれる。コア１２４は、それぞれが演算処理ユニットになっている。３Ｄグラフィック処理に代表される比較的単純な演算を数百の並列処理に振り分けて、高速なＧＰＵ内部バス１２２を介在してマザーボード１１０に処理結果を戻したり、演算の結果を構成して作り出した画像データを、モニタ出力１０６として出力するのに最適な構成になっている。

ここまで説明したデータの流れを、図１２を用いて説明する。図１２は、第３実施例に係る画像処理装置内のデータの流れを説明する図である。
カメラで撮影した陽炎を伴う画像データは、図１２中の１０１、１０２、１０３、１０４、１０５、１０６の順で流れる。外部から入力された外部データ１０１は、外部データ取り込み用のインタフェース１１１を経由し、データ１０２として、ＣＰＵ１１２に取り込まれる。ＣＰＵ１１２は、取り込んだ画像データをブロック単位に切り分け、ブロック単位のデータ１０３として、ＧＰＵ１２３に出力する。ＧＰＵ１２３は、内部の複数のコア１２４を用いて、データ１０３を並列で陽炎補正処理を行い、処理結果１０４として、ＣＰＵ１１２に戻す。ＣＰＵ１１２は、ブロック単位の処理結果１０４を、１枚の画像フレームの陽炎補正後の画像データ１０５として、モニタ表示を目的にＧＰＵ１２３に戻す。ＧＰＵ１２３は、モニタ出力用の端子からモニタ出力１０６としてモニタ４３に出力する。また、処理結果１０４のデータが画像データの場合は、そのままモニタ４３に出力することが出来るので、１０４，１０５を省略して、ＧＰＵ１２３の処理結果を、直接、モニタ出力１０６としてモニタ４３に出力しても良い。

以上のように画像データをブロックに分割することで、ＧＰＵ１２３の各コア１２４に陽炎補正処理を割り振ることが可能になる。ＧＰＵ１２３の高速な並列演算処理能力を使い、本来の画像フレームレートと同じ処理レートでモニタ４３に陽炎補正後の画像を表示することが容易となる。

ここまでの説明で、画像をブロック単位に分割することを述べたが、そのブロック数とＧＰＵ１２３内部のコア１２４の数との関係が重要である。ブロック数に対しコア数が少ないと、画像をリアルタイムに表示することができず画像フレーム抜けが発生してしまう。

そこで、第３実施例に係る画像処理装置では、グラフィックボード１２０の１つのコア１２４の処理能力を測定し、陽炎補正処理が可能な最大のブロック数を求める処理を、陽炎補正処理の開始前に実行する。この処理可能な最大ブロック数を求める処理を、これ以降はキャリブレーション処理と称することにする。

また、１枚の画像フレームに含まれるブロック数に対し、グラフィックボード１２０の処理能力が低い場合は、処理するブロック数を制限し、フレームレートを維持しつつ、特定領域のブロックに関してだけ、陽炎補正処理を行う。表示された画像を見ているユーザに対しては、どのブロックが特定領域となっているか判別できるよう、特定領域の画像の表示の仕方を他のブロックと異なるようにする。例えば、特定領域に含まれるブロックの周囲を色の付いた枠で囲むなどの手段が考えられる。枠の形状を矩形にして特定領域の外周を覆うような表示にするのが簡単ではあるが、枠の内部に含まれるブロック数が処理可能な個数以下であれば領域を矩形に制限する必要はない。

その特定領域の表示の様子を、図１３を用いて説明する。図１３は、第３実施例に係る陽炎補正領域を説明する図であり、陽炎補正領域を囲む枠の形状を矩形にした場合を示す。ここでは、１フレームの陽炎画像１３１は、横７ブロック、縦６ブロックで構成されており、陽炎補正処理が可能なブロック数が１２個である場合を例に説明する。

図１３（ａ）では、陽炎補正処理が可能なブロック数が１２個であるため、横４ブロック、縦３ブロックの領域を、陽炎補正領域１３２として枠で囲んで表示している。枠内は陽炎の補正処理が行われるが、枠外は陽炎によりゆらぐ画像がそのまま表示される。しかし、陽炎によるゆらぎにより画像細部の視認性は低下するが、撮影された物体が人間であるか否かなど監視用途として必要な最低限の判断にはあまり影響しない。そのため、陽炎補正領域１３２の枠外に何か監視対象としたものが映っていた場合は、細部は分からずともその存在を認識することは出来るので、陽炎補正領域１３２を移動する手段を用意すれば問題は無い。

この枠は、ＣＰＵ１１２あるいはＧＰＵ１２３のうち、陽炎画像１３１としてブロックを集め１画面を構成する処理を行う部分（第１実施例の補正画像生成部７０に相当）で枠表示データを作成する。例えばＣＰＵ１１２が全てのブロックのデータを１枚の画像データとして構成し直す場合は、ＣＰＵ１１２が枠を作成する必要がある。ＧＰＵ１２３で処理した結果を直接モニタ４３へ出力する場合は、ＧＰＵ１２３が枠を作成する必要がある。

また、コンピュータであればユーザの操作機器としてマウスが接続されている構成が一般的であるが、そのマウスで操作することができるカーソル１３３を使い、陽炎補正領域１３２の位置を移動することが出来るようにする。例えば、カーソル１３３を陽炎補正領域１３２内の一部に移動し、マウスボタンをクリックしたままカーソル１３３を移動することで、陽炎補正領域１３２の形を変えずに、陽炎補正領域１３２の位置をブロック単位で移動できるようにする。カーソル１３３の移動位置はＣＰＵ１１２が把握出来るので、マウスを動かすことで陽炎補正領域１３２の表示位置を移動しつつ、枠内に位置するブロック位置を算出してＧＰＵ１２３で処理すべきブロックを決定する。

また、陽炎補正領域１３２の枠部分をカーソル１３３でドラッグすることで、枠のサイズを変更できるようにする。この例の場合、陽炎補正領域１３２のブロック数は１２個以内と決まっているので、枠の伸び縮みには、陽炎補正処理が可能なブロック数に収めるように制限する処理が入る。例えば、図１３（ａ）に示すように、陽炎補正領域１３２が横４ブロック、縦３ブロックの場合、枠を横に１ブロック広げる操作をすると、陽炎補正領域１３２の横が５ブロックになる。処理が可能なブロック数が１２ブロックであることから、縦のブロック数を求めると、１２÷５＝２．５ブロックになり、ブロック数は整数であることから、小数点以下を切り捨てて２ブロックが縦のブロック数になる。よって陽炎補正領域１３２は、図１３（ｂ）に示すように、横５ブロック、縦２ブロックの合計１０ブロックになる。

この状態からさらに、横のブロック数を６ブロックに広げると、縦のブロック数は、１２÷６＝２ブロックになり、縦２ブロックを維持するため、図１３（ｃ）に示すように、横６ブロック、縦２ブロックの合計１２ブロックになる。さらに横に１ブロック広げ７ブロックにする操作を行うと、処理可能なブロック数が１２ブロックであることから、縦のブロック数は、１２÷７＝１．７…ブロックとなり、縦１ブロックになるため、図１３（ｄ）に示すように、横７ブロック、縦１ブロックの合計７ブロックになる。また、陽炎補正領域１３２のブロック数が、処理可能なブロック数を越えるように、カーソル１３３を操作した場合は、これ以上広げることができないよう、枠表示の変更は行わず操作に制限を加える。

また、陽炎補正処理が可能なブロック数が、１画面に含まれるブロック数の合計よりも多い場合、１画面全てのブロックを陽炎補正の対象にできる。この場合は、陽炎補正領域１３２の枠は表示しないか、又は、陽炎補正領域１３２の枠を、画面の大きさと同じ最大のサイズで表示する。
以上述べたように、第３実施例では、画像表示部４３には、画像補正（陽炎補正）のリアルタイム処理が可能な画像補正領域が表示され、該画像補正領域が、操作者の操作により大きさ変更可能又は移動可能である。

なお、上述したように、画面全体のブロックを１フレーム期間内に処理できない場合は、陽炎補正領域１３２を表示することにより陽炎補正処理の対象とするブロックを制限するが、この場合でも、画面全体に対し絶えず演算する必要がある処理もある。これは、陽炎補正処理の処理に時間的に近い複数枚の入力画像を用いて画面内の全画素を積算処理することにより平滑化した時系列平滑化画像を作成する処理（第１実施例の時間平滑画像生成処理に相当）である。この処理は、過去の画像フレームを必要とすることから、陽炎補正領域１３２とは無関係に、画面全体のブロックに対して絶えず時間方向の積算処理を実行する。これは、陽炎補正領域１３２をユーザが変更できるため、どのブロックが陽炎補正領域１３２に割り当てられるか分からないので、事前に画面全体に対して実行しておく必要があるからである。この積算処理は、単純な画像フレームのデータの足し合わせと除算（ビットシフト演算でも良い）だけで実現できるので、処理負荷はあまり増加せず、画面全体の処理であるが処理レートに対し影響は少ない。

次に、グラフィックボード１２０が最大で何個のブロックの陽炎を補正できるか測定する手段を、図１４を用いて説明する。図１４は、第３実施例に係る陽炎補正可能なブロック数の算出方法を説明する図である。
図１４（ａ）から図１４（ｄ）までのグラフは、縦軸が陽炎補正処理の処理時間、横軸がＧＰＵ１２３内のコア数を示す。陽炎補正処理をリアルタイムの動作とするためには、入力される画像のフレームレートと同じ速度で、１フレームの陽炎補正処理が終わらなければならない。仮に、入力画像のフレームレートを、ＮＴＳＣ方式と同じおよそ３３ｍｓとする。１フレーム分の陽炎補正処理時間がこの３３ｍｓを越えた場合にリアルタイム処理が実現出来ないことを示すため、図１４では、３３ｍｓの位置で横線（点線）を引いている。また、この例でのＧＰＵ１２３のコア数は３個と仮定して説明する。実際のＧＰＵ１２３は、この何百倍のコア数を持つが、測定手段は同じ考え方でかまわない。１回の陽炎補正処理にかかる演算時間は全て同じである。それは、演算量が入力画像に依らないためである。

図１４（ａ）は、１個のコアで１つのブロックＢ１の陽炎補正処理を実行する状態である。処理時間は３３ｍｓ未満、コア数は１個だけを使用しており、ＧＰＵ１２３のコア数３個を越えていない。よって、図１４（ａ）の場合は、リアルタイムで陽炎補正処理が可能であると判断できる。

図１４（ｂ）は、１個のコアで３つのブロックＢ１〜Ｂ３の陽炎補正処理を実行する状態である。１個のコアであっても、処理時間をずらせば複数の処理を実行することが可能である。図１４（ｂ）の場合は、３つめのブロックＢ３の陽炎補正処理を実行中に、処理時間が３３ｍｓを越えている。よって、１個のコアであると、３つのブロックの陽炎除去処理を、リアルタイムでは実現出来ないと判断できる。

図１４（ｂ）の結果から、この例での陽炎補正処理は、１個のコアで２つまでのブロックの陽炎補正処理が可能である。よって、図１４（ｃ）では、３３ｍｓ以内の時間で終わるように、１個のコアに２つまでのブロックの処理を実行させるという条件で、７つのブロックＢ１〜Ｂ７の陽炎を補正する状態を示す。コア数が３個であるため、７つめのブロックＢ７の処理を行うには、コア数が足りないと判断できる。

図１４（ｄ）は、１個のコアで２つのブロックの陽炎補正処理、コア数は３個という条件で、最大の性能を出せる状態を示す。この場合は、２×３＝６つのブロックの陽炎補正処理まで可能だと判断できる。仮に、陽炎画像を分割して６つのブロックになった場合、このグラフィックボードでは、画面全体に対して陽炎補正処理が可能だということになる。そして、陽炎画像を分割して７つ以上のブロック数になった場合、前述した陽炎除去領域表示を併用しないとリアルタイムに処理できないと判断できる。

上記で説明した、処理できる最大のブロック数を求めるためのキャリブレーション処理の手順を、図１５のフローチャートを用いて説明する。図１５は、第３実施例に係るキャリブレーション処理の流れを説明する図である。
この手順の考え方は、１つのブロックをＧＰＵ１２３の１個のコア１２４に処理させて、その処理にかかる時間を測定することで、画像１フレームの時間に何ブロックを処理できるか算出するものである。前提として、グラフィックボード１２０のコア数が事前に分かることと、１つのブロックの処理時間が画像フレーム全体にも適用できることが必要である。前者のコア数の取得は、グラフィックボード１２０から取得する手段が用意されているのが一般的であるため問題は無い。後者は、ブロックの内容、つまり画像データの値により陽炎補正の処理時間は変わらないため、１つのブロックの処理時間で代表することが可能であり問題は無い。

図１５の処理Ｓ３１では、１つのブロックの画像データを、ＣＰＵ１１２が用意する。前述したように、陽炎補正処理は画像データの値には依らないので、例えば、適当なブルーバックなどのテストパターンや実際の画像など、どのような画像データを用意してもかまわない。

処理Ｓ３２では、ＣＰＵ１１２が、カウンタＮをゼロに初期化する。カウンタＮは、１フレーム期間に何回の陽炎補正処理が実行出来たかをカウントするために用意する。

処理Ｓ３３では、ＣＰＵ１１２が、タイマＴをゼロにリセットし、タイマＴのカウントアップを開始する。このタイマＴは、コンピュータ１００に一般的に搭載されているタイマ機能を使えばよい。タイマＴの精度は１ｍｓ程度でかまわないが、より細かい時間が計測できればそれが望ましい。この処理Ｓ３３からタイマＴのカウントアップを開始して、直後の処理Ｓ３４で実行する陽炎補正処理に要する時間を計測できるようにする。

処理Ｓ３４では、ＣＰＵ１１２が、処理Ｓ３１で用意したブロックデータを、ＧＰＵ１２３の１個のコア１２４に渡し、コア１２４が陽炎補正処理を実行する。この陽炎補正処理の実行中も、処理Ｓ３３で開始したタイマＴは、カウントアップを続けている。

処理Ｓ３５では、ＣＰＵ１１２が、タイマＴが示す時間が１フレーム期間である３３ｍｓ未満であるか否かを判断する。陽炎補正処理が３３ｍｓより短ければ、同じコア１２４を使用して、もう一度陽炎補正処理を実施できる可能性がある。そこで、タイマＴが３３ｍｓ未満であれば（処理Ｓ３５でＹｅｓ）、処理Ｓ３６を実行する。タイマＴが３３ｍｓ以上であれば（処理Ｓ３５でＮｏ）、陽炎補正処理の時間が１フレーム期間を超過したことを示すので、処理Ｓ３７を実行する。

処理Ｓ３６では、次の陽炎補正処理を実行するために、ＣＰＵ１１２が、カウンタＮの値を＋１している。処理Ｓ３６が、キャリブレーション処理の実行を開始して最初の処理であれば、Ｎの値は０であり、処理Ｓ３６を処理することで１になる。つまり、陽炎補正処理を１フレーム期間で最低１回は行えることを示す。処理Ｓ３６の後は、処理Ｓ３４に戻り、２回目以降の陽炎補正処理を行う。

処理Ｓ３７では、陽炎補正処理の時間が１フレーム期間を超えたので、ＣＰＵ１１２は、このＧＰＵ１２３が処理可能なブロック数Ｍの計算を行う。カウンタＮと、事前に判明しているＧＰＵ１２３のコア数とを積算することで、ＧＰＵ１２３の全てのコア１２４を用いたときに何個のブロックが処理できるかを算出する。

処理Ｓ３８では、ＣＰＵ１１２は、算出した処理可能なブロック数Ｍの数が、１画面の画像に占めるブロック数に対し、少ないか否かを判断する。１画面のブロック数は、画面サイズから一意に求められるので、事前に値が判明している。処理可能ブロック数Ｍの方が小さい場合（処理Ｓ３８でＹｅｓ）、１画面全体のブロックを処理できない。よって、ＣＰＵ１１２は、陽炎補正領域表示が必要と判断し、処理Ｓ３９を実行する。処理Ｓ３９では、陽炎補正領域の表示が必要であることを示すため、フラグＲｏｉＦｌａｇに１を設定する。

１画面のブロック数が、処理可能ブロック数Ｍ以下である場合は（処理Ｓ３８でＮｏ）、ＣＰＵ１１２は、陽炎補正領域表示が不要と判断し、処理Ｓ４０を実行する。処理Ｓ４０では、陽炎補正領域の表示が不要であることを示すため、フラグＲｏｉＦｌａｇに０を設定する。
処理Ｓ３９、もしくは処理Ｓ４０の処理が終われば、キャリブレーション処理は完了する。

以上の処理フローにより、グラフィックボード１２０に搭載されたＧＰＵ１２３が処理できるブロック数を示すＭと、陽炎補正領域表示が必要か否かを判断するためのＲｏｉＦｌａｇを取得することができる。このＭとＲｏｉＦｌａｇは、前述した陽炎補正領域をＣＰＵ１１２がモニタ４３に表示するときに使用する。

以上のように、コンピュータ１００を使って陽炎補正後の画像を表示する装置において、コア数や内部バスの速度により性能が異なるグラフィックボード１２０に合わせ、陽炎補正処理が可能なブロック数を算出する機能と、処理可能なブロックの数により陽炎補正領域をモニタに表示する機能を持つことができる。これにより、入力された画像フレームレートと同じ表示レートのリアルタイム陽炎補正処理が可能な陽炎補正装置としての画像処理装置を実現できる。

なお、上記第３実施例では、画像処理として陽炎補正処理について説明したが、画像フレームをブロック単位で分割する画像処理であれば、陽炎補正処理に限定されない。例えば、超解像処理や、ゆれ補正処理、エッジ鮮鋭化のような画像フィルタ処理に対して、上記のブロック単位で並列化してＧＰＵ１２３で処理し、処理が可能な範囲だけを示す領域をモニタに表示する装置として構成してもかまわない。

さらに、グラフィックボード１２０に搭載されたＧＰＵ１２３で並列演算処理を行う説明をしたが、ブロック単位に並列演算処理が可能であれば、グラフィックボード１２０に限らず、複数の専用ハードウェアを内蔵した専用ＬＳＩ搭載ボードや、複数コアのプロセッサが内蔵され複数のソフトウェアを並列で同時に処理するＣＰＵで上記の処理を行ってもかまわない。

以上説明した第３実施例によれば、少なくとも次の（Ｃ１）〜（Ｃ３）の効果を得ることができる。
（Ｃ１）陽炎補正処理をブロック毎に並列に行うことができるので、処理速度を向上でき、リアルタイム処理を容易に実現することができる。
（Ｃ２）陽炎補正のリアルタイム処理が可能な陽炎補正領域を表示し、該陽炎補正領域をユーザ（操作者）が変更、移動可能としたので、画面全体に亘って陽炎補正のリアルタイム処理が不可能な処理能力の陽炎補正装置においても、必要部分の陽炎補正を行うことができる。
（Ｃ３）陽炎補正のリアルタイム処理が可能なブロック数を計算することができる。

本発明は、前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々に変更が可能であることはいうまでもない。

本明細書には少なくとも、次の構成が含まれる。すなわち、
第１の構成は、
撮像結果を時系列の画像として出力する撮像部と、該撮像部から出力された時系列の画像が入力画像として入力され、該入力画像における画像の揺らぎを補正する画像補正部とを備える画像処理装置であって、
前記画像補正部は、
前記撮像部からの複数枚の時系列入力画像に基づき、該複数枚の時系列入力画像を平滑化して時間平滑画像を生成する時間平滑画像生成部と、
前記時間平滑画像生成部で生成された時間平滑画像に対し局所領域を設定し、該局所領域における前記時間平滑画像と、前記複数枚の時系列入力画像の部分領域との類似度を、決定する類似度決定部と、
前記類似度決定部で算出された類似度決定結果に基づき、前記時間平滑画像の局所領域の画像に類似する画像を有する前記入力画像の部分領域を、前記複数枚の時系列入力画像の部分領域から選択し、該選択した部分領域に基づき補正画像を生成する補正画像生成部と、
を備えることを特徴とする画像処理装置。

第２の構成は、第１の構成における画像処理装置であって、
前記類似度決定部は、前記時間平滑画像に対し複数の局所領域を設定し、該複数の局所領域における前記時間平滑画像のそれぞれと、前記複数枚の時系列入力画像の部分領域との類似度を決定し、
前記補正画像生成部は、前記類似度決定部で算出された類似度決定結果に基づき、前記複数の局所領域の画像に類似する画像を有する前記入力画像の部分領域を、前記複数枚の時系列入力画像の部分領域から選択し、該選択した複数の部分領域に基づき補正画像を生成することを特徴とする画像処理装置。

第３の構成は、第１の構成又は第２の構成における画像処理装置であって、
前記類似度決定部は、前記入力画像において前記部分領域を探索するための探索範囲を設定し、該探索範囲内において、前記局所領域における前記時間平滑画像と、前記入力画像との類似度を決定することを特徴とする画像処理装置。

第４の構成は、第３の構成における画像処理装置であって、
前記類似度決定部は、前記局所領域における動きベクトルに基づき、前記探索範囲を設定することを特徴とする画像処理装置。

第５の構成は、第２の構成ないし第４の構成における画像処理装置であって、
前記補正画像生成部は、前記選択した複数の部分領域を平滑化することを特徴とする画像処理装置。

第６の構成は、第２の構成ないし第５の構成における画像処理装置であって、
前記画像補正部は、さらに、
前記撮像部からの入力画像を、移動体領域と移動体通過直後領域とから構成される移動体及び通過領域と、移動体及び通過領域以外の領域である背景領域とに分類する領域分類部と、
前記移動体及び通過領域においては、前記撮像部からの入力画像を選択し、前記背景領域においては、当該画像補正部において補正した補正画像を選択し、該選択された入力画像と補正画像とを合成する選択合成部と、
を備えることを特徴とする画像処理装置。

第７の構成は、第６の構成における画像処理装置であって、
前記画像補正部は、さらに、
前記撮像部からの複数枚の時系列入力画像と前記領域分類部からの領域分類結果とに基づき、前記背景領域における複数枚の時系列入力画像を平滑化して移動体除去画像を生成する移動体除去画像更新部を備え、
前記領域分類部は、前記撮像部からの入力画像を、前記移動体領域と、前記移動体通過直後領域と、前記背景領域とに分類し、
前記選択合成部は、前記移動体領域においては、前記撮像部からの入力画像を選択し、前記移動体通過直後領域においては、前記移動体除去画像更新部で生成した移動体除去画像を選択し、前記背景領域においては、当該画像補正部において補正した補正画像を選択し、該選択された入力画像と移動体除去画像と補正画像とを合成することを特徴とする画像処理装置。

第８の構成は、第７の構成における画像処理装置であって、
前記画像補正部は、さらに、
前記撮像部からの複数の時系列入力画像間の差分と、前記撮像部からの入力画像と前記時間平滑画像生成部からの時間平滑画像との間の差分とを計算するヒストグラム解析部を備え、
前記領域分類部は、前記ヒストグラム解析部が算出した差分に基づき、前記領域分類を行うことを特徴とする画像処理装置。

第９の構成は、第１の構成ないし第８の構成における画像処理装置であって、
前記時間平滑画像生成部は、指数移動平均又は加重移動平均あるいは単純移動平均を用いて前記時間平滑画像を生成することを特徴とする画像処理装置。

第１０の構成は、第１の構成ないし第９の構成における画像処理装置であって、
前記類似度決定部は、差分絶対値和を用いたブロックマッチングにより前記類似度を決定することを特徴とする画像処理装置。

第１１の構成は、第１の構成ないし第１０の構成における画像処理装置であって、
前記補正画像生成部は、前記選択した複数枚の時系列入力画像の部分領域を、重ね合わせずに組み合わせて補正画像を生成することを特徴とする画像処理装置。

第１２の構成は、第１の構成ないし第１１の構成における画像処理装置であって、さらに、
前記補正画像生成部で生成した補正画像を表示する画像表示部を備え、
前記画像表示部には、画像補正のリアルタイム処理が可能な画像補正領域が表示され、該画像補正領域が、操作者の操作により大きさ変更可能又は移動可能であり、
前記類似度決定部は、前記画像補正領域内でのみ前記類似度の決定を行い、
前記補正画像生成部は、前記画像補正領域内でのみ前記補正画像を生成し、
前記時間平滑画像生成部は、前記画像補正領域の大きさと無関係に、前記撮像部からの入力画像全体に対して前記時間平滑画像を生成することを特徴とする画像処理装置。

本発明は、カメラなど画像処理を行う製品群に適用可能である。

４１…撮像部、４２…陽炎補正部（画像補正部）、４３…画像表示部、５０…時間平滑画像生成部、５１…時間平滑画像保持部、５２…乗算器、５３…乗算器、５４…加算器、６０…類似度決定部、６１…時間平滑画像保持部、６２…入力画像保持部、６３…ＢＭ計算部、６４…ＢＭ計算結果保持部、７０…補正画像生成部、７１…最適局所領域選択部、７２…補正画像保持部、８１…入力画像メモリ、８２…時系列平滑化画像メモリ、８２ａ…移動体通過直後領域、８２ｂ…移動体領域、８２ｃ…移動体及び通過領域、８２ｄ…背景領域、８３…移動体除去画像メモリ、８４…時系列平滑化画像更新部、８５…ヒストグラム解析部、８６…領域分類部、８７…陽炎補正部、８８…移動体除去画像更新部、８９…選択合成部、９０…陽炎歪み計算部、９１…パラメータ最適化部、９２…出力画像、１００…コンピュータ、１０１…外部データ、１０６…モニタ出力、１１０…マザーボード、１１１…インタフェース、１１２…ＣＰＵ、１１３…メモリ、１１４…ＰＣＩコントローラ、１２０…グラフィックボード、１２１…ＰＣＩコントローラ、１２２…ＧＰＵ内部バス、１２３…ＧＰＵ、１２４…コア、１３１…陽炎映像、１３２…陽炎補正領域、１３３…カーソル、１７１…参照画像、１７２…入力画像。

Claims (12)

1. 撮像結果を時系列の画像として出力する撮像部と、該撮像部から出力された時系列の画像が入力画像として入力され、該入力画像における画像の揺らぎを補正する画像補正部とを備える画像処理装置であって、
   前記画像補正部は、
   前記撮像部からの複数枚の時系列入力画像に基づき、該複数枚の時系列入力画像を平滑化して時間平滑画像を生成する時間平滑画像生成部と、
   前記時間平滑画像生成部で生成された時間平滑画像に対し局所領域を設定し、該局所領域における前記時間平滑画像と、前記複数枚の時系列入力画像の部分領域との類似度を、決定する類似度決定部と、
   前記類似度決定部で算出された類似度決定結果に基づき、前記時間平滑画像の局所領域の画像に類似する画像を有する前記入力画像の部分領域を、前記複数枚の時系列入力画像の部分領域から選択し、該選択した部分領域に基づき補正画像を生成する補正画像生成部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載された画像処理装置であって、
   前記類似度決定部は、前記時間平滑画像に対し複数の局所領域を設定し、該複数の局所領域における前記時間平滑画像のそれぞれと、前記複数枚の時系列入力画像の部分領域との類似度を決定し、
   前記補正画像生成部は、前記類似度決定部で算出された類似度決定結果に基づき、前記複数の局所領域の画像に類似する画像を有する前記入力画像の部分領域を、前記複数枚の時系列入力画像の部分領域から選択し、該選択した複数の部分領域に基づき補正画像を生成することを特徴とする画像処理装置。
3. 請求項１に記載された画像処理装置であって、
   前記類似度決定部は、前記入力画像において前記部分領域を探索するための探索範囲を設定し、該探索範囲内において、前記局所領域における前記時間平滑画像と、前記入力画像との類似度を決定することを特徴とする画像処理装置。
4. 請求項３に記載された画像処理装置であって、
   前記類似度決定部は、前記局所領域における動きベクトルに基づき、前記探索範囲を設定することを特徴とする画像処理装置。
5. 請求項２に記載された画像処理装置であって、
   前記補正画像生成部は、前記選択した複数の部分領域を平滑化することを特徴とする画像処理装置。
6. 請求項２に記載された画像処理装置であって、
   前記画像補正部は、さらに、
   前記撮像部からの入力画像を、移動体領域と移動体通過直後領域とから構成される移動体及び通過領域と、移動体及び通過領域以外の領域である背景領域とに分類する領域分類部と、
   前記移動体及び通過領域においては、前記撮像部からの入力画像を選択し、前記背景領域においては、当該画像補正部において補正した補正画像を選択し、該選択された入力画像と補正画像とを合成する選択合成部と、
   を備えることを特徴とする画像処理装置。
7. 請求項６に記載された画像処理装置であって、
   前記画像補正部は、さらに、
   前記撮像部からの複数枚の時系列入力画像と前記領域分類部からの領域分類結果とに基づき、前記背景領域における複数枚の時系列入力画像を平滑化して移動体除去画像を生成する移動体除去画像更新部を備え、
   前記領域分類部は、前記撮像部からの入力画像を、前記移動体領域と、前記移動体通過直後領域と、前記背景領域とに分類し、
   前記選択合成部は、前記移動体領域においては、前記撮像部からの入力画像を選択し、前記移動体通過直後領域においては、前記移動体除去画像更新部で生成した移動体除去画像を選択し、前記背景領域においては、当該画像補正部において補正した補正画像を選択し、該選択された入力画像と移動体除去画像と補正画像とを合成することを特徴とする画像処理装置。
8. 請求項７に記載された画像処理装置であって、
   前記画像補正部は、さらに、
   前記撮像部からの複数の時系列入力画像間の差分と、前記撮像部からの入力画像と前記時間平滑画像生成部からの時間平滑画像との間の差分とを計算するヒストグラム解析部を備え、
   前記領域分類部は、前記ヒストグラム解析部が算出した差分に基づき、前記領域分類を行うことを特徴とする画像処理装置。
9. 請求項１に記載された画像処理装置であって、
   前記時間平滑画像生成部は、指数移動平均又は加重移動平均あるいは単純移動平均を用いて前記時間平滑画像を生成することを特徴とする画像処理装置。
10. 請求項１に記載された画像処理装置であって、
    前記類似度決定部は、差分絶対値和を用いたブロックマッチングにより前記類似度を決定することを特徴とする画像処理装置。
11. 請求項１に記載された画像処理装置であって、
    前記補正画像生成部は、前記選択した複数枚の時系列入力画像の部分領域を、重ね合わせずに組み合わせて補正画像を生成することを特徴とする画像処理装置。
12. 請求項１に記載された画像処理装置であって、
    前記補正画像生成部で生成した補正画像を表示する画像表示部を備え、
    前記画像表示部には、画像補正のリアルタイム処理が可能な画像補正領域が表示され、該画像補正領域が、操作者の操作により大きさ変更可能又は移動可能であり、
    前記類似度決定部は、前記画像補正領域内でのみ前記類似度の決定を行い、
    前記補正画像生成部は、前記画像補正領域内でのみ前記補正画像を生成し、
    前記時間平滑画像生成部は、前記画像補正領域の大きさと無関係に、前記撮像部からの入力画像全体に対して前記時間平滑画像を生成することを特徴とする画像処理装置。

Images