JP5680524B2

JP5680524B2 - 画像処理装置

Info

Publication number: JP5680524B2
Application number: JP2011270130A
Authority: JP
Inventors: 桑原　宗光; 宗光桑原; 伊藤　渡; 渡伊藤; 周田中
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2011-12-09
Filing date: 2011-12-09
Publication date: 2015-03-04
Anticipated expiration: 2031-12-09
Also published as: JP2013122639A; US9191589B2; US20140320682A1; WO2013084782A1

Description

本発明は、画像処理装置に係り、特にカメラ等によって撮影された映像が陽炎による揺らぎで劣化した場合に映像の画質を改善することのできる画像処理装置に関する。

昨今、カメラなどを用いて或る被写体を撮影した場合に、撮影した画像が劣化していたときには画質劣化を改善（画質を復元）して被写体が良好に知覚できるようにする画像処理方法が数多く提案されている。
これに関連したものとして、特許文献１と特許文献２に挙げた従来技術（従来技術１、従来技術２とする）がある。従来技術１には、時系列な連続画像に存在する揺らぎ成分を画像間の動ベクトルとして抽出し、この動ベクトルを追跡して揺らぎの中心を求め、この中心位置に揺らぎの起点となる部分画像又は画素を再配置することにより、画像のぼけ等の画像劣化の少ない揺らぎ雑音軽減処理方法が開示されている。また、従来技術２には、監視カメラの揺れによる画像のずれをリアルタイムに補正し、その動画中から対象の移動物体をオンラインで識別する技術が開示されている。また、本特許出願の発明者らは、先に、入力画像と、これの時間平均である参照画像に対するオプティカルフローを計算し、入力画像の局所的な揺らぎ（動きベクトル）を計算し、これを用いて陽炎の揺らぎを相殺するように、入力画像の部分画像を移動することで映像の画質を改善する技術を、特願２０１０−２５３７２７号（従来技術３とする）として出願した。

特開平３−９５６８６号特許４０４０６５１号

上記従来技術１〜３によれば、カメラを用いて撮影する際に手ぶれや陽炎等によって画像の画質が劣化した場合、背景物の画質劣化を改善し、良好な画像を得ることができるが、移動物体上にある陽炎の揺らぎを補正することはできないという問題があった。
本発明の目的は、上記問題点に鑑み、背景物だけでなく、移動物体上にある陽炎の揺らぎを補正し、良好な画像を得ることのできる画像処理装置を提供することにある。

本発明の画像処理装置は、対象領域を撮影する撮像装置で撮影した映像を処理する画像処理装置において、前記撮像装置から逐次入力される入力画像に基づき動きのない背景物に対する参照画像を推定する背景物参照画像推定手段と、前記入力画像および前記背景物に対する参照画像に基づいて前記入力画像の局所的な揺らぎを演算して背景物に対するオプティカルフローを求める背景物オプティカルフロー演算手段と、前記撮像装置から逐次入力される入力画像に基づき動きのある移動物体に対する参照画像を推定する移動物体参照画像推定手段と、前記入力画像および前記移動物体に対する参照画像に基づいて前記入力画像における移動物体上の陽炎による揺らぎを演算する移動物体上陽炎揺らぎ演算手段と、前記入力画像の局所的な揺らぎを除去するように、前記背景物オプティカルフロー演算手段で求めた前記オプティカルフローと、前記移動物体上陽炎揺らぎ演算手段で求めた移動物体上の陽炎による揺らぎにより前記入力画像を補正する動き補正手段を備えたことを特徴とする。
また、前記移動物体参照画像推定手段は、前記撮像装置から逐次入力される前記入力画像の差分フローを求め移動物体を検出する移動物体検出部と、前記検出された移動物体の平均画像を作り、これを移動物体の参照画像とする移動物体参照画像推定部と、を備えるようにしてもよい。
また、前記移動物体上陽炎揺らぎ計算手段は、移動物体上の各注目点における、参照とする移動物体の揺らぎを計算する参照移動物体揺らぎ計算部と、前記参照とする移動物体の揺らぎの平均値を計算する参照移動物体揺らぎ平均値計算部と、移動物体の各注目点における前記差分フローの平均値を求める差分フロー平均値計算部と、移動物体のフローを計算する移動物フロー計算部と、各注目点における移動物体上の陽炎による揺らぎを計算する移動物体上陽炎揺らぎ計算部と、を備えるようにしてもよい。

本発明による画像処理装置によれば、背景物だけでなく、移動物体上にある陽炎の揺らぎを補正することが可能となり、良好な画像を得ることができる。

本発明の画像処理装置が適用された監視装置の構成図である。従来技術の画像処理装置の内部ブロック図である。本発明の画像処理装置の内部ブロック図の一例を説明する図である。本発明の画像処理装置の動作フローの例を示す図である。本発明の背景物参照画像推定部の内部ブロック図である。本発明の背景物のオプティカルフロー計算部の動作を説明する図である。本発明の移動物体の検出の一例を説明する図である。本発明の各フローの関係を説明する図である。本発明の参照とする揺らぎの計算の一例を説明する図である。本発明の移動物体の平均フロー計算の一例を説明する図である。本発明の移動物体上の陽炎による揺らぎ（フロー）の計算の一例を説明する図である。本発明の動き補正の一例を説明する図である。

本発明に係る実施例を、以下、図面を参照して説明する。

本発明を適用した具体的な実施形態として、カメラなどの撮像装置による監視装置を例に以下説明する。
図１は、本発明が適用された監視装置１００の構成を機能ブロックで示したものである。監視装置１００は、監視カメラなどの撮像装置１０１、撮像装置１０１からの画像データを入力して本発明の画像処理を実行する画像処理装置１０２、撮像装置１０１から入力した画像データ（入力画像）や画像処理装置１０２から出力された画像データ（背景物の参照画像データ、補正画像データ）を入力して映像として出力する画像出力部１０３を備えている。画像出力部１０３は、映像表示部を備えたモニタ装置などで構成できる。画像処理装置１０２は、図示はしていないが、マイクロコンピュータを備え、メモリに記憶されたプログラムを実行して各種演算を行い、以下説明する各機能を実現する。

図２は、本発明に先行して出願された従来技術３の特願２０１０−２５３７２７号に記載された画像処理装置１０２の構成図を示している。図２における従来技術３の画像処理装置２００は、参照画像推定部２０１、オプティカルフロー計算部２０２、動き補正部２０３から構成されている。この従来技術３の画像処理装置２００は、背景物の陽炎による揺らぎを補正するもので、移動物体上にある陽炎による揺らぎを補正する機能は備えていない。本発明は従来技術３の画像処理装置２００に、更に移動物体上にある陽炎による揺らぎを補正する機能を備えるように、図３に示した構成としたものである。

図３は、本実施例の画像処理装置１０２の内部ブロックの一例を示したものである。背景物参照画像推定部１は、従来技術３の参照画像推定部２０１と同じ機能を備えている。また、背景物オプティカルフロー計算部２は、従来技術３のオプティカルフロー計算部２０２と同じ機能を備えている。動き補正部３は従来技術３の動き補正部２０３に相当する部位であるが、従来技術３の動き補正部２０３と異なり、背景物の陽炎による揺らぎと移動物体上にある陽炎による揺らぎの両方を補正する機能を備えている。

本実施例の画像処理装置１０２は、背景物参照画像推定部１、背景物オプティカルフロー計算部２、動き補正部３の他に、移動物体検出部４、差分フロー平均値計算部５、移動物体フロー計算部６、移動物体上陽炎揺らぎ計算部７、ラッチ８、移動物体参照画像推定部９、参照移動物体揺らぎ計算部１０、参照移動物体揺らぎ平均値計算部１１によって構成されている。

図４は、本実施例の、画像処理装置１０２の動作フローチャートの一例を示している。背景物参照画像推定部１の動作は背景物の参照画像推定ステップＳ２０で実行され、背景物オプティカルフロー計算部２の動作は背景物のオプティカルフロー計算ステップＳ２１で実行され、移動物体検出部４の動作は移動物体の検出ステップＳ２２で実行され、移動物体参照画像推定部９の動作は移動物体の参照画像推定ステップＳ２３で実行され、参照移動物体揺らぎ計算部１０の動作は参照とする移動物体の揺らぎ計算ステップＳ２４で実行され、参照移動物体揺らぎ平均値計算部１１の動作は参照とする移動物体の揺らぎの平均値計算ステップＳ２５で実行され、差分フロー平均値計算部５の動作は差分フローの平均値計算ステップＳ２６で実行され、移動物体フロー計算部６の動作は移動物体のフロー計算ステップＳ２７で実行され、移動物体上陽炎揺らぎ計算部７の動作は移動物体上の陽炎による揺らぎ計算ステップＳ２８で実行され、動き補正部３の動作は動き補正ステップＳ２９で実行される。
以下、各処理部の動作を説明する。

まず、背景物参照画像推定部１は、背景物の参照画像推定ステップＳ２０において、カメラなどの撮像装置１０１から逐次入力される入力画像から動きのない画像（背景物の参照画像）を推定する。その動作を、図５を用いて説明する。
或る時刻ｔに入力された画像Ｆ_ｔ（ｘ，ｙ）は、ゲインブロック１２に入力されてｒ倍され、一方、遅延部１４から出力される或る時刻ｔの背景物の参照画像Ｒ_ｔ（ｘ，ｙ）がゲインブロック１３で１−ｒ倍され、これらゲインブロック１２とゲインブロック１３の出力値は加算器１５によって重み付け加算される。そして、加算器１５の出力値は遅延部１４に入力され、遅延部１４は、次フレーム（時刻ｔ＋１）における背景物の参照画像Ｒ_ｔ＋１（ｘ，ｙ）としてデータを更新し出力する。ここでゲインブロック１２、１３におけるrは重みであり、０から１の間の値を取る定数である。また、遅延部１４は、１フレームの時間間隔分だけ画像を保持する。したがって、背景物参照画像推定部１で算出される背景物の参照画像は、式（１）のように表わされる。

Ｒ_ｔ＋１（ｘ，ｙ）＝ｒ×Ｆ_ｔ（ｘ，ｙ）＋（１−ｒ）×Ｒ_ｔ（ｘ，ｙ）
・・・・・・（１）

式（１）は、指数移動平均（Exponential Moving Average）と呼ばれ、逐次入力される入力画像の高周波成分の低減（平均化）の効果がある。ここで、重みrは、例えば、r＝０．０１（１／１００）とすると、背景物の参照画像に対して最後に重み付け加算した入力画像は、１００フレームの入力画像を平均化したと同等の重みが課せられる。すなわち、逐次入力される入力画像に対して、背景物参照画像推定部１をその都度実行すると、重みｒで示されるフレーム数の入力画像を平均化した画像として収束する。この画像を参照画像と呼び、背景物の参照画像は、入力画像中の移動する物体、揺らぎなどが取り除かれ、動きのない画像となる。

次に、背景物オプティカルフロー計算部２は、背景物のオプティカルフロー計算ステップＳ２１において、入力画像と背景物の参照画像を比較し、背景物のオプティカルフローを計算する。背景物のオプティカルフローは、２つの画像間での局所的な動きの分布を表わすものであり、例えば、図６のようになる。図６は、背景物オプティカルフロー計算部２の計算結果を説明するための図であり、図６（ａ）は背景物の参照画像、図６（ｂ）は入力画像、図６（ｃ）は背景物のオプティカルフローを示している。前述の通り、背景物の参照画像は、動きのない画像であり、入力画像は、陽炎などによって揺らいでいる画像となるため、２つの画像の背景物のオプティカルフローは、図６（ｃ）のような局所的にランダムな動きを持つ分布となる。

図６（ｃ）の背景物のオプティカルフローの計算の方法としては、背景物の参照画像（図６（ａ））の局所的なブロックのパターン（テンプレート）が、入力画像（図６（ｂ））中でどの位置にあるかを２つの画像の局所領域（例えば、縦１０画素、横１０画素）の類似度に基づいて探す処理（これをテンプレートマッチング処理と言う）に基づくブロックマッチング法や、或る注目画素の輝度レベルの空間的な勾配と２フレームの画像の輝度レベルの差分から、動きベクトルを計算する勾配法などがある。これらの計算を、入力画像（図６（ｂ））上の注目画素（例えば、縦横１０画素間隔の位置の画素）において適用することで、入力画像（図６（ｂ））全体の局所的な動き（揺らぎ）の分布が得られる。これらの方法は、当該技術分野において広く用いられている。

背景物オプティカルフロー計算部２によれば、入力画像（図６（ｂ））および背景物の参照画像（図６（ａ））の２つの画像間での局所的な動きを計算することができる。すなわち、入力画像（図６（ｂ））上の注目画素において、陽炎による揺らぎがどの程度発生しているかを推定することができる。

次に、図３、図７を参照して、移動物体の検出ステップＳ２２における移動物体の検出を行う動作の一例を説明する。
まず、ラッチ８は、１つ前の入力画像フレームｎ−１、２つ前の入力画像フレームｎ−２・・・Ｎヶ前の入力画像フレームｎ−Ｎを格納する。
移動物体検出部４は、ある入力画像（例えば、現在のフレームである入力画像フレームｎ）と１つ前の入力画像（例えば、１つ前のフレームである入力画像フレームｎ−１）を比較し、差分フローを計算し、同じ大きさ、同じ方向の差分フローが、ある一定数塊となって存在するエリアを、移動物体であると判定し、その場所（座標データ）を、移動物体参照画像推定部９に送る。また、差分フロー(Vx_n， Vy_n)を差分フロー平均値計算部５に送る。

図８は、本発明の各フローの関係を説明するものである。
今、各注目点(x，y)における差分フロー(Vx_n， Vy_n)と、各注目点における参照とする移動物体の揺らぎ(Vrx_n， Vry_n)と、移動物体のフロー(Vmx， Vmy)と、各注目点における移動物体上の陽炎による揺らぎ(Vkx_n， Vky_n)の間には、
Vx_n + Vrx_n = Vmx + Vkx_n
Vy_n + Vry_n = Vmy + Vky_n ・・・・・・・・・・（２）
という関係が成り立つ。ここでn＝ 0， 1，・・・N-1である。

次に、図３、図９を参照して、本発明の参照とする揺らぎの計算の一例を説明する。移動物体参照画像推定部９は、移動物体検出部４から送られた、ある入力画像における移動物体の場所（座標データ）を用いて、入力画像フレームｎ、入力画像フレームｎ−１、入力画像フレームｎ−２・・・入力画像フレームｎ−Ｎから、移動物体を抜き出し、この抜き出した移動物体の平均画像を作り、これを移動物体参照画像とする。また、抜き出した移動物体と、移動物体参照画像を、参照移動物体揺らぎ計算部１０に送る。

参照移動物体揺らぎ計算部１０は、移動物体参照画像推定部９からの抜きだした移動物体と移動物体の参照画像とを使って、移動物体の参照画像に対するフローを計算することで、参照とする移動物体の揺らぎ(Vrx_n， Vry_n)を求めることができる。この参照とする移動物体の揺らぎ(Vrx_n， Vry_n)を、移動物体上陽炎揺らぎ計算部７と、参照移動物体揺らぎ平均値計算部１１に送る。

参照移動物体揺らぎ平均値計算部１１は、ある入力画像ｎの、各注目点における、参照とする移動物体の揺らぎ(Vrx_n， Vry_n)の平均値(Vrx_ave， Vry_ave)を計算し、これを移動物体フロー計算部６と、移動物体上陽炎揺らぎ計算部７に送る。
尚、平均値(Vrx_ave， Vry_ave)は
Vrx_ave = (Vrx_0 + Vrx_1 + …… + Vrx_N-1)/N
Vry_ave = (Vry_0 + Vry_1 + …… + Vry_N-1)/N ・・・・・（３）
として計算することができる。

次に、図１０を参照して、移動物体フロー計算部６における本発明の移動物体のフローの計算の一例を説明する。
各注目点における差分フロー (Vx_n， Vy_n)の平均値(Vx_ave， Vy_ave)は、式（４）のように表すことができる。
Vx_ave = (Vx_0 + Vx_1 + …… + Vx_N-1)/N
Vy_ave = (Vy_0 + Vy_1 + …… + Vy_N-1)/N ・・・・・（４）

式（４）を式（２）を用いて表現すると、式（５）のように表すことができる。
Vx_ave = Vmx - (Vrx_0 + Vrx_1 + …… + Vrx_N-1)/N
+ (Vkx_0 + Vkx_1 + …… + Vkx_N-1)/N
Vy_ave = Vmy - (Vry_0 + Vry_1 + …… + Vry_N-1)/N
+ (Vky_0 + Vky_1 + …… + Vky_N-1)/N ・・・・（５）

さらに、式（５）を式（３）を用いて表現すると、式（６）のように表すことができる。
Vx_ave = Vmx - Vrx_ave + (Vkx_0 + Vkx_1 + …… + Vkx_N-1)/N
Vy_ave = Vmy - Vry_ave + (Vky_0 + Vky_1 + …… + Vky_N-1)/N ・・・（６）

この時、各注目点における陽炎による揺らぎは任意の方向に生じるため、
(Vkx_0 + Vkx_1 + …… + Vkx_N-1)/N ≒ 0
(Vky_0 + Vky_1 + …… + Vky_N-1)/N ≒ 0
と考えることができる。

その結果、式（６）は、式（７）のように表すことができる。
Vx_ave ≒ Vmx - Vrx_ave
Vy_ave ≒ Vmy - Vry_ave ・・・・・・・・・・・・（７）

式（７）より、移動物体のフロー(Vmx， Vmy)は、式（８）のように表すことができる。
Vmx ≒ Vx_ave + Vrx_ave
Vmy ≒ Vy_ave + Vry_ave ・・・・・・・・・・・・（８）

つまり、移動物体のフローは、各注目点における差分フローの平均値(Vx_ave， Vy_ave)に、参照とする移動物体が揺らいでいる量(Vrx_n，Vry_n)の平均値(Vrx_ave， Vry_ave)を加算した値と考えることができる。

上記の計算は、下記のようにして行う。
差分フロー平均値計算部５が、移動物体検出部４から送られた各注目点における差分フロー(Vx_n， Vy_n)を用いて、各注目点における差分フローの平均値(Vx_ave， Vy_ave)を計算し、これを、移動物体フロー計算部６に送る。

移動物体フロー計算部６は、差分フロー平均値計算部５から送られた各注目点における差分フローの平均値(Vx_ave， Vy_ave)と、参照移動物体揺らぎ平均値計算部１１から送られた参照とする移動物体の揺らぎの平均値(Vrx_ave， Vry_ave)を用いて、移動物体のフロー(Vmx， Vmy)を計算し、これを、移動物体上陽炎揺らぎ計算部７に送る。

次に、図１１を参照して、本発明の移動物体上の陽炎による揺らぎ（フロー）の計算の一例を説明する。
式（２）を、各注目点における、移動物体上の陽炎による揺らぎ(Vkx_n， Vky_n)について、式変形すると、式（９）のように表すことができる。
Vkx_n = Vx_n + Vrx_n - Vmx
Vky_n = Vy_n + Vry_n - Vmy ・・・・・・・・・・・・（９）
つまり、移動物体上の陽炎による揺らぎ(Vkx_n， Vky_n)は、各注目点における差分フロー(Vx_n， Vy_n)と、参照とする移動物体が揺らいでいる量(Vrx_n， Vry_n)と、移動物体のフロー(Vmx， Vmy)とがわかれば、計算することができる。

上記の計算は、下記のようにして行う。
移動物体上陽炎揺らぎ計算部７は、移動物体検出部４から送られた差分フロー(Vx_n， Vy_n)と、移動物体フロー計算部６から送られた移動物体のフロー(Vmx， Vmy)と、参照移動物体揺らぎ計算部１０から送られた参照とする移動物体が揺らいでいる量(Vrx_n， Vry_n)と、参照移動物体揺らぎ平均値計算部１１から送られた参照とする移動物体の揺らぎの平均値(Vrx_ave， Vry_ave)を用いて、注目点における、移動物体上の陽炎による揺らぎ(Vkx_n， Vky_n)を計算し、これを、動き補正部３に送る。

次に、図１２を参照して、本発明の動き補正の一例を説明する。
（１）まず、動き補正部３は、背景物参照画像推定部１で求めた背景物参照画像を下敷きにして、入力画像の背景物に対しては、背景物参照画像を基準に背景物オプティカルフロー計算部２で求めた背景物に対する陽炎のオプティカルフローを用いて、入力画像を動かす（Ａ→Ａ’）。
（２）次いで、入力画像の移動物体に対しては、入力画像の移動物体を基準に移動物体上陽炎揺らぎ計算部７で求めたオプティカルフローＢ、すなわち移動物体上の陽炎の揺らぎ(Vkx_n， Vky_n)を用いて、入力画像を動かす。

以上のようにすることで、逐次入力される入力画像から動きのない背景物の画像（背景物の参照画像）を推定し（Ａ→Ａ’）、入力画像および移動物体の参照画像に基づいて移動物体上のオプティカルフローＢを計算して入力画像の移動物体上の局所的な揺らぎを算出し、該揺らぎに基づいて移動物体上の陽炎の揺らぎを相殺するように入力画像の部分画像を移動して入力画像中に存在する移動物体上の陽炎の揺らぎを取り除いた補正画像を生成することができる。

以上の実施態様の特徴を纏めると次のようになる。
（１）本発明の画像処理装置は、対象領域を撮影する撮像装置で撮影した映像を処理する画像処理装置において、前記撮像装置から逐次入力される入力画像に基づき動きのない背景物に対する参照画像を推定する背景物参照画像推定手段と、前記入力画像および前記背景物に対する参照画像に基づいて前記入力画像の局所的な揺らぎを演算して背景物に対するオプティカルフローを求める背景物オプティカルフロー演算手段と、前記撮像装置から逐次入力される入力画像に基づき動きのある移動物体に対する参照画像を推定する移動物体参照画像推定手段と、前記入力画像および前記移動物体に対する参照画像に基づいて前記入力画像における移動物体上の陽炎による揺らぎを演算する移動物体上陽炎揺らぎ演算手段と、前記入力画像の局所的な揺らぎを除去するように、前記背景物オプティカルフロー演算手段で求めた前記オプティカルフローと、前記移動物体上陽炎揺らぎ演算手段で求めた移動物体上の陽炎による揺らぎにより前記入力画像を補正する動き補正手段を備えたことを特徴とする。
（２）また、（１）の前記移動物体参照画像推定手段は、前記撮像装置から逐次入力される前記入力画像の差分フロー(Vx_n， Vy_n)を求め移動物体を検出する移動物体検出部と、前記検出された移動物体の平均画像を作り、これを移動物体の参照画像とする移動物体参照画像推定部と、を備えるようにしてもよい。
（３）また、（２）の前記移動物体上陽炎揺らぎ計算手段は、移動物体上の各注目点における、参照とする移動物体の揺らぎ(Vrx_n， Vry_n)を計算する参照移動物体揺らぎ計算部と、前記参照とする移動物体の揺らぎ(Vrx_n， Vry_n)の平均値(Vrx_ave， Vry_ave)を計算する参照移動物体揺らぎ平均値計算部と、移動物体の各注目点における前記差分フロー(Vx_n， Vy_n)の平均値(Vx_ave， Vy_ave)を求める差分フロー平均値計算部と、移動物体のフロー(Vmx， Vmy)を計算する移動物フロー計算部と、各注目点における移動物体上の陽炎による揺らぎ(Vkx_n， Vky_n)を計算する移動物体上陽炎揺らぎ計算部と、を備えるようにしてもよい。
（４）また、（２）の前記移動物体検出部は、現在の入力画像フレームと、ラッチに時系列的に記憶された複数の入力画像フレームを用い、それぞれ１つ前のフレームと比較してその差分フロー(Vx_n， Vy_n)を求め、移動物体を検出することができる。
（５）また、（２）の前記移動物体参照画像推定部は、現在の入力画像フレームと、前記時系列的にラッチに記憶された複数の入力画像から移動物体を抜き出し、この抜き出した移動物体の平均画像を作り、これを移動物体の参照画像とすることができる。
（６）また、（３）の参照移動物体揺らぎ計算部は、抜き出した移動物体と移動物体の参照画像から移動物体の参照画像に対するフローを計算し、参照とする移動物体の揺らぎ(Vrx_n，Vry_n)として求めることができる。
（７）また、（３）の参照移動物体揺らぎ平均値計算部は、前記揺らぎの平均値(Vrx_ave，Vry_ave)を、
Vrx_ave = (Vrx_0 + Vrx_1 + …… + Vrx_N-1)/N
Vry_ave = (Vry_0 + Vry_1 + …… + Vry_N-1)/N
として計算することができる。
（８）また、（３）の差分フロー平均値計算部は、前記差分フロー(Vx_n， Vy_n)の平均値(Vx_ave， Vy_ave)を、移動物体のフロー(Vmx， Vmy)と、前記揺らぎの平均値(Vrx_ave，Vry_ave)とから、
Vx_ave ≒ Vmx - Vrx_ave
Vy_ave ≒ Vmy - Vry_ave
として計算することができる。
（９）また、（３）の移動物フロー計算部は、前記移動物体のフロー(Vmx， Vmy)を、前記差分フローの平均値(Vx_ave， Vy_ave)と前記揺らぎの平均値(Vrx_ave，Vry_ave)とから、
Vmx ≒ Vx_ave + Vrx_ave
Vmy ≒ Vy_ave + Vry_ave
として計算することができる。
（１０）また、（３）の移動物体上陽炎揺らぎ計算部は、前記移動物体上の陽炎による揺らぎ(Vkx_n， Vky_n)を、前記差分フロー(Vx_n， Vy_n)と、前記揺らぎ(Vrx_n，Vry_n)と、移動物体のフロー(Vmx， Vmy)とから
Vkx_n = Vx_n + Vrx_n - Vmx
Vky_n = Vy_n + Vry_n - Vmy
として計算することができる。

以上、の実施形態は、カメラなどの撮像装置による監視装置を例に説明したが、これに限定されず、各種撮像装置の画像処理装置として適用することができる。
また、本発明を具体的な実施形態により説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を逸脱しない範囲で変更して実施することができる。

本発明は、上記説明した監視装置に限らず、各種撮像装置における陽炎による画像劣化の防止に広く利用できる。

１…背景物参照画像推定部、
２…背景物オプティカルフロー計算部、
３…動き補正部、
４…移動物体検出部、
５…差分フロー平均値計算部、
６…移動物体フロー計算部、
７…移動物体上陽炎揺らぎ計算部、
８…ラッチ、
９…移動物体参照画像推定部、
１０…参照移動物体揺らぎ計算部、
１１…参照移動物体揺らぎ平均値計算部、
１２、１３…ゲインブロック、
１４…遅延部、
１５…加算器、
Ｓ２０…背景物の参照画像推定ステップ、
Ｓ２１…背景物のオプティカルフロー計算ステップ、
Ｓ２２…移動物体の検出ステップ、
Ｓ２３…移動物体の参照画像推定ステップ、
Ｓ２４…参照とする移動物体の揺らぎ計算ステップ、
Ｓ２５…参照とする移動物体の揺らぎの平均値計算ステップ、
Ｓ２６…差分フローの平均値計算ステップ、
Ｓ２７…移動物体のフロー計算ステップ、
Ｓ２８…移動物体上の陽炎による揺らぎの計算ステップ、
Ｓ２９…動き補正ステップ。

Claims

対象領域を撮影する撮像装置で撮影した映像を処理する画像処理装置において、
前記撮像装置から逐次入力される入力画像に基づき動きのない背景物に対する参照画像を推定する背景物参照画像推定手段と、
前記入力画像および前記背景物に対する参照画像に基づいて前記入力画像の局所的な揺らぎを演算して背景物に対するオプティカルフローを求める背景物オプティカルフロー演算手段と、
前記撮像装置から逐次入力される入力画像に基づき動きのある移動物体に対する参照画像を推定する移動物体参照画像推定手段と、
前記入力画像および前記移動物体に対する参照画像に基づいて前記入力画像における移動物体上の陽炎による揺らぎを演算する移動物体上陽炎揺らぎ演算手段と、
前記入力画像の局所的な揺らぎを除去するように、前記背景物オプティカルフロー演算手段で求めた前記オプティカルフローと、前記移動物体上陽炎揺らぎ演算手段で求めた移動物体上の陽炎による揺らぎにより前記入力画像を補正する動き補正手段を備えたことを特徴とする画像処理装置。
前記移動物体参照画像推定手段は、
前記撮像装置から逐次入力される前記入力画像の差分フローを求め移動物体を検出する移動物体検出部と、
前記検出された移動物体の平均画像を作り、これを移動物体の参照画像とする移動物体参照画像推定部と、
を備えたことを特徴とする請求項１記載の画像処理装置。
前記移動物体上陽炎揺らぎ計算手段は、
移動物体上の各注目点における、参照とする移動物体の揺らぎを計算する参照移動物体揺らぎ計算部と、
前記参照とする移動物体の揺らぎの平均値を計算する参照移動物体揺らぎ平均値計算部と、
移動物体の各注目点における前記差分フローの平均値を求める差分フロー平均値計算部と、
移動物体のフローを計算する移動物フロー計算部と、
各注目点における移動物体上の陽炎による揺らぎを計算する移動物体上陽炎揺らぎ計算部と、
を備えたことを特徴とする請求項２に記載の画像処理装置。