JP4776587B2 - 画像処理装置，運転支援装置 - Google Patents

Description

本発明は、霧が発生した状況で撮像された画像から霧の影響を除去した復元画像を生成する画像処理装置，及びその画像処理装置が生成する復元画像を利用する運転支援装置に関する。

従来より、自車両の周辺（特に前方）を撮像手段によって撮像し、撮像した画像を、そのまま、或いは画像処理を施して画面に表示したり、撮像した画像から各種物標を検出し、その検出結果に基づいて自車両が走行している道路形状や走行の際に注意を要する障害物等を認識して各種車両制御に用いたりすることで運転支援を行う運転支援装置が知られている。

この種の装置では、撮像された画像から各種物標を検出する際に、画像中の特徴点（例えば道路白線のエッジや高輝度部分など）をカルマンフィルタを用いて追跡することが行われている（例えば、特許文献１参照。）。

ところで、撮像手段としては、一般的に、運転者と同じ見え方をする可視光カメラが用いられている。このため、霧の発生時など、運転者にとって視界が悪い場合には、可視光カメラで撮像された画像も、輝度値の変化が少ないぼけた画像となり、カルマンフィルタを用いた特徴点の追跡も精度が低下する。その結果、画像中の各種物標を精度よく検出することが困難になり、有効な運転支援を実行することができないという問題がある。

これに対して、霧濃度を判定する判定手段によって、霧濃度が濃くなる変化を検出した場合に、画像中の高輝度領域の位置に基づいて、霧濃度が濃くなる前に取得した画像を変形し、その変形した画像を表示する装置が知られている（例えば、特許文献２参照。）。
特開２００３−０６７７５５号公報 特開平６−１１３３０８号公報

しかし、特許文献２に記載の従来装置では、霧濃度が濃い状態が継続すると、霧濃度が濃くなる前に取得した画像と、実際の周囲の状況とが大きく異なったものとなってしまうため、画像の変形だけで現在の状況を表すことが困難であるという問題や、そもそも、画像上に高輝度領域が存在しない場合には、この手法が有効に機能しないという問題があった。

本発明は、霧の発生した状況で撮像された画像から、霧の影響を除去した画像を精度良く復元する画像処理装置、その復元された画像を利用する運転支援装置を提供することを目的とする。

上記目的を達成するためになされた第一発明の画像処理装置では、画像復元手段が、カルマンフィルタを用いて、時系列的に入力される画像のうち、霧が発生した状況で撮像された画像である霧画像から、霧の影響を除去した復元画像を生成する。

なお、カルマンフィルタは、霧画像を構成する各画素の輝度を表すベクトルを観測ベクトル、各画素の本来の輝度を表すベクトルを状態ベクトル、霧画像に撮像された物体の輝度が霧の影響を受けて劣化することを表す行列を観測行列、連続する前記画像間で該画像中の各要素が移動することにより生じる前記状態ベクトルの変化を表した行列を状態遷移行列とするものであり、このカルマンフィルタによって状態ベクトルの予測値を求めることにより、その状態ベクトルの予測値によって表される画像である復元画像を生成する。

このように、本発明の画像処理装置によれば、霧の影響をノイズとしてではなく観測系の特性として扱った（即ち、観測行列に組み込んだ）カルマンフィルタを用いているため、霧の影響が除去された画素本来の輝度を状態ベクトルとして扱うことができ、その結果、このカルマンフィルタを用いて状態ベクトルの予測値を求めることで、霧の影響を除去した復元画像を得ることができる。

また、本発明の画像処理装置によれば、カルマンフィルタを用いて霧の影響を除去しているため、常に、霧の濃さに応じた最適な画像処理によって復元画像を得ることができる。

ところで、状態遷移行列は、状態ベクトルが時間軸方向に遷移していく様子を表すものであり、連続する画像間の動きベクトルによって表すことが可能である。但し、霧画像では、霧の影響によってコントラストが低下するため、コントラストの低下が著しい霧濃度の濃い領域では、動きベクトルを抽出できない可能性がある。

そこで、本発明の画像処理装置において、状態遷移行列を生成する遷移行列生成手段は、今サイクルの入力画像に基づく観測ベクトルに対して観測行列の逆行列を作用させることで生成された仮復元ベクトルと、前サイクルの入力画像に対する状態ベクトルの予測値に基づいて、カルマンフィルタにて推定された今サイクルの状態ベクトルの推定値とに基づいて状態遷移行列を生成するように構成されていることが望ましい。

即ち、仮復元ベクトル（仮復元画像）は、観測ベクトル（霧画像）を観測行列を用いて直に復元したものであり、カルマンフィルタを用いて得られる状態ベクトルの予測値（復元画像）ほどの精度はないが、観測ベクトルよりは霧の影響が低下したものとなる。従って、この仮復元ベクトルを用いることで、観測ベクトルをそのまま用いるより、精度の良い状態遷移行列を得ることができるのである。

次に、第二発明の運転支援装置では、車両に搭載された撮像手段が、該車両の周囲を撮像して、その撮像した画像を上述の画像処理装置に供給し、その画像処理装置により生成された復元画像を、表示手段が表示する。

このように構成された本発明の運転支援装置によれば、霧の発生によって車両周囲の視認性が低下した時でも、表示手段に表示される復元画像によって、車両の運転者に車両の周囲の状況をより的確に把握させることができる。

なお運転支援装置は、復元画像を表示するだけでなく、物標検出手段が、画像処理装置により生成された復元画像に基づいて、車両の周囲に存在する各種物標を検出し、その検出結果に基づいて、制御手段が、運転支援のために車両に設けられた機器の動作を制御するように構成されていてもよい。

つまり、画像に表れている様々な情報を、霧の影響を受けたコントラストの低い（即ち画像処理が行い難い）霧画像から検出するのではなく、霧の影響が除去されコントラストが改善された（即ち画像処理が行い易い）復元画像から検出することになるため、その検出の精度や確実性を向上させることができ、ひいては、その検出結果に基づく制御の精度や確実性を向上させることができる。

以下に本発明の実施形態を図面と共に説明する。
＜全体構成＞
図１は、本発明を適用した運転支援装置１の全体構成を示すブロック図、図２は、運転支援装置１を構成する各部の配置を示す説明図である。

図１及び図２に示すように、運転支援装置１は、車室内中央のフロントガラスの上部に設置され、車両前方の画像を取得するカメラ３と、車両の挙動を表す各種物理量（車速，ヨー，ピッチ等、以下では挙動データという）を検出するためのセンサ群４（図２には、例として車速センサ４ａ，ヨーレートセンサ４ｂを示す）と、カメラ３が取得した画像（以下、入力画像という）及びセンサ群４が検出する挙動データに基づいて、入力画像中の霧の影響を除去した復元画像を生成する画像復元部１０と、復元画像の表示／非表示を指示するための復元画像表示スイッチ５と、各種画像を表示するためのモニタ６と、運転支援制御の制御対象となるアクチュエータ群７（図２には図示せず）と、スイッチ５の設定に従ってモニタ６に表示する画像を切り替える表示画像切替制御８１や、入力画像または復元画像に基づいて車両周辺の状況を認識してアクチュエータ群７を動作させることにより運転を支援する運転支援制御８２等の各種アプリケーションを実行するアプリケーション実行部８とを備えている。

なお、カメラ３は、画素毎の輝度をデジタルデータに変換して出力する周知のものである。
センサ群４としては、上述の車速センサ４ａ，ヨーレートセンサ４ｂの他に、例えば、ピッチ角センサ，ステアリング角センサ等を用いてもよい。

アクチュエータ群７は、例えば、車両の制動力，推進力，サスペンション，トランスミッション等を制御するためのアクチュエータからなる。
アプリケーション実行部８は、ＣＰＵ，ＲＯＭ，ＲＡＭを中心に構成された周知のマイクロコンピュータからなり、表示画像切替制御８１及び運転支援制御８２は、マイクロコンピュータが実行する処理により実現される。

また、アプリケーション実行部８は、復元画像表示スイッチ５がＯＦＦの場合に、カメラ３からの入力画像を用いて処理を実行し、復元画像表示スイッチ５がＯＮの場合に、画像復元部１０からの復元画像を用いて処理を実行するように構成されている。なお、運転支援制御８２は、入力画像又は復元画像を画像処理することで車両前方の障害物の位置や挙動を認識し、その認識結果に基づいて危険のある障害物をモニタ６中で強調表示する等して運転者に報知したり制動力を強めたりする等の運転支援のための周知の車両制御を実行するものである。

＜画像復元部＞
次に、画像復元部１０について説明する。
画像復元部１０は、アプリケーション実行部８と同様に、ＣＰＵ，ＲＯＭ，ＲＡＭを中心に構成された周知のマイクロコンピュータからなり、以下で説明する各部の処理は、マイクロコンピュータが実行する処理により実現される。

なお、画像復元部１０とアプリケーション実行部８とは、同一のマイクロコンピュータによって実現してもよいし、別々のマイクロコンピュータによって実現してもよい。
＜劣化モデル＞
ここで、まず、画像復元部１０が実行する処理の前提となる劣化モデルについて説明する。

図３は、霧等の大気の影響による輝度の劣化モデルを表す説明図である。
図３に示すように、被観測物からの直接的な光の伝達をＴ、霧によって拡散された光（以下、拡散光という）の伝達をＡ、観測点にて観測される劣化した輝度をＩとすると、これらは（１）式に示す関係を有する。

また、被観測物の本来の輝度をＲ、地平線上から伝達されてくる拡散光をＡ∞ 、観測点から被観測物までの距離をｄ、大気の消滅係数と呼ばれる拡散光の劣化の特性を示す係数をβとすると、（１）式は、（２）式のように書き換えられる。

但し、（２）式におけるβｄ及びＡ∞ （以下では、劣化パラメータという）は、（３）（４）式で示される。

なお、（３）（４）式は、カメラＣのパラメータを、図４に示すようにモデル化することで、以下に示すように導出される。

即ち、カメラＣに撮像された画像平面上の座標を（ｕ，ｖ）、カメラＣの光学センサの座標を（ｕ₀ ，ｖ₀ ）、道路平面の法線に対するカメラＣの傾きをθ、道路平面上の地平線の画像平面上への投影点をｖ_h 、カメラＣの焦点距離をｆ、撮像される画像サイズをｔ_pu×ｔ_pvとし、更に、α_u ＝ｆ／ｔ_pu及びα_v ＝ｆ／ｔ_pvは等しいものとみなして、いずれもαで表すものとする。

また、本来は単体のカメラＣから、撮像された被観測物までの距離ｄを正確に算出することは不可能であるが、平坦な道であることを過程すれば、算出することが可能となる。ここで、３次元（ｘ，ｙ，ｚ）で表現されるピンホールカメラモデルを用いると、画像平面上の座標は（５）（６）式で示される。

また、投影点ｖ_h は（７）式で示され、更に、この（７）式と（６）式とから（８）式が得られる。

道路平面上の原点Ｓからｙ方向のカメラ高さをＨとして、（８）式を道路上の座標系である（Ｘ，Ｙ，Ｚ）で表すと（９）式が得られる。

原点Ｓから距離ｄの位置にある道路上の地点Ｍの座標は（１０）式で示され、これを（９）式に代入すると（１１）式が得られる。

更に、この（１１）式をｄについて解くことで（１２）式が得られる。

次に、（２）（１２）式から得られる（１３）式を、ｖについて微分すると（１４）式が得られ、その（１４）式を、更にｖについて微分すると（１５）式が得られる。

（１５）式を０にする解のうち、β＝０ではない方の解は（１６）で表される。但し、画面上における光の屈曲点の位置をｖ_i 、カメラからその屈折点までの距離をｄ_i とする。

なお、ここでいう光の屈曲点の位置ｖ_i とは、画像の縦方向（ｖ方向）の位置のうち、輝度が大きく変化する地点のことであり、具体的には、画像の縦方向の位置をパラメータとして画像の輝度を表す関数を２回微分し、その結果が０となる地点を探すことにより求めることができる。

つまり、劣化パラメータβｄを求める（３）式は、（１２）式と（１６）式とから得られ、また、劣化パラメータＡ∞ を求める（４）式は、（２）式のＩをＩ_i ，ｄをｄ_i に置換して変形した（１７）式の（Ｒ−Ａ∞ ）の部分に、（１４）式を変形した式を代入することによって求められる。

また、劣化パラメータβｄ，Ａ∞ がわかれば、（２）式を変形した（１８）式に基づき、観測される劣化した輝度値Ｉから、実際の輝度値Ｒを復元できることがわかる。

＜カルマンフィルタ＞
次に、一般的なカルマンフィルタについて説明する。

図５は、カルマンフィルタのシステムモデルを表す説明図である。
なお、ｔは時刻、Ｚ(ｔ)は観測ベクトル、Ｘ(ｔ)は状態ベクトル、Ｕ(ｔ)はシステムノイズ、Ｖ(ｔ)は観測ノイズ、Ａ(ｔ)は状態遷移行列、Ｇ(ｔ)は駆動行列、Ｈ(ｔ)は観測行列を表す。

このシステムモデルは、次の（１９）（２０）式によって表される。

なお、システムノイズＵ（ｔ）及び観測ノイズＶ(ｔ)は、それぞれ正規分布Ｎ(０，Ｓ(ｔ))，Ｎ(０，Ｔ(ｔ))に従い、Ｓ(ｔ)，Ｔ(ｔ)は、その正規分布の共分散行列であるものとする。

以下では、状態推定において、将来の状態を推定することを予測、現在の状態を推定することをろ波（フィルタリング）と呼ぶものとする。
そして、時刻ｔ−１における状態の予測分布ｐ(Ｘ(ｔ)｜Ｚ(ｔ−１))の平均ベクトル（以下では「予測ベクトル」という）をＸ_b (ｔ)，共分散行列をＰ_b (ｔ)とし、時刻ｔにおける状態のろ波の分布ｐ(Ｘ(ｔ)｜Ｚ(ｔ))の平均ベクトル（以下では「推定ベクトル」という）をＸ_a (ｔ)，共分散行列をＰ_a (ｔ)、時刻ｔでのカルマンゲインをＫ(ｔ)とすると、周知のように、これらは（２１）〜（２５）式によって表される。

但し、Ｑ_U (ｔ)は、Ｇ(ｔ)Ｓ(ｔ)Ｇ^T (ｔ)で表されるシステムノイズの共分散行列であり、Ｑ_V (ｔ)は、観測ノイズの共分散行列である。

また、Ｐ_b (ｔ)，Ｐ_a (ｔ)は、次の（２６）（２７）式で与えられる推定誤差共分散行列である。

＜画像のモデル化＞
次に、劣化モデルをカルマンフィルタに適用するためのモデル化について説明する。

まず、画像を構成するＮ個の画素の輝度値を要素Ｘ₁ (ｔ)，Ｘ₂ (ｔ)，…，Ｘ_N (ｔ)とするベクトルを状態ベクトルＸ(ｔ)として設定する。但し、本実施形態では、図６（Ａ）に示すように、各要素Ｘ_i (ｔ)（ｉ＝１，２，…，Ｎ）は、画面の左上から右下に向かって順番に対応づけられている。

この状態ベクトルＸ(ｔ)を用いて、原画像のモデルを（２８）式のように定義する。なお、システムノイズＵ(ｔ)は平均値０、分散がσ_v ²となるようなガウス性白色雑音とする。また、この式は、先に示した（１９）式を、駆動行列Ｇ(ｔ)を単位行列として示した式である。

つまり、時刻ｔ＋１における画素値Ｘ_i (ｔ＋１)（ｉ＝１，２，…Ｎ）は、前の時刻ｔにおけるいずれかの画素値Ｘ_i (ｔ−１)が遷移したものであるとする。

次に、観測画像（入力画像）のモデルは、先に示した（２０）式で与えられるものとする。
但し、観測ノイズＶ(ｔ)は、分散がσ_v ²となるようなガウス性白色雑音ｖ(ｔ)から構成され、観測行列Ｈ(ｔ)は、劣化モデルに基づいて設定される劣化関数である。

この（２６）式及び（２０）式で表されるモデルにカルマンフィルタを適用した場合のアルゴリズムは、先に示した通り（２１）〜（２５）式で表される。
この（２１）〜（２５）式に示すアルゴリズムを実現するには、状態遷移行列Ａ(ｔ)、観測行列Ｈ(ｔ)、システムノイズの共分散行列Ｑ_U (ｔ)、観測ノイズの共分散行列Ｑ_V (ｔ)の値が未知となる。

従って、観測画像（観測ベクトルＺ(ｔ)）のみを用いて状態ベクトルＸ(ｔ)を復元するためには、これらの行列Ａ(ｔ)，Ｈ(ｔ)，Ｑ_U (ｔ)，Ｑ_V (ｔ)を推定すればよいことがわかる。

＜観測行列＞
推定すべき行列のうち、観測行列Ｈ(ｔ)は、（３）（４）式に示した劣化パラメータβｄ，Ａ∞ が、状態ベクトルＸ(ｔ)を構成する全ての画素値に対して一様であるものと仮定すると、（２８）式で示すことができる。

また、（２３）式の第２項に注目すると、この項では、実際の観測値（観測ベクトルＺ(ｔ)）とカルマンフィルタで得られる予測値（状態ベクトルの予測値Ｘ_b (ｔ)）に観測行列Ｈ(ｔ)を作用させたものの差分、即ち、実際の観測値と予測された観測値との誤差を求めている。従って、観測行列Ｈ(ｔ)を（２８）式のように定義した場合、（２）式との比較により、カルマンフィルタのアルゴリズムを表す（２３）式は、（３０）式のように書き換える必要がある。

＜状態遷移行列＞
次に、推定すべき行列のうち、状態ベクトルＸ(ｔ)の状態遷移を表す状態遷移行列Ａ（ｔ）は、その状態遷移が時間軸方向に遷移していくことから、時刻ｔにおける画像（状態ベクトルＸ(ｔ)）と時刻ｔ−１における画像（状態ベクトルＸ(ｔ−１)）との間の動きベクトルによって表せばよい。

そして、状態遷移行列Ａ(ｔ)は、時刻ｔ−１における画像の各画素、即ち動きベクトルの規定となる画素を各列に対応させ、時刻ｔにおける画像の各画素、即ち動きベクトルの終点となる画素を各行に対応させたＮ行Ｎ列の行列からなる。そして、状態遷移行列Ａ(ｔ)の各要素は０か１で表され、時刻ｔにおける画像の画素毎に動きベクトルが求められることから、１で表される要素が各行につき必ず一つ存在することになる。

具体的には、画像の画素数が９（＝３×３）であり、時刻ｔ−１における画像の画素Ｘ₁ 〜Ｘ₉ が図７（Ａ）に示すように配列されているものとして、時刻ｔにおける画像では、各画素Ｘ₁ 〜Ｘ₉ が図７（Ｂ）に示すように遷移したものとすると、状態遷移行列Ａ（ｔ）は、図７（Ｃ）のように表されることになる。

但し、動きベクトルを算出する際に、時刻ｔの画像での霧の濃度が濃い領域では、画像のコントラストが著しく低下することにより動きベクトルを正しく求めることができない場合が考えられる。

そこで、動きベクトルの算出に用いる時刻ｔの画像としては、観測画像（観測ベクトルＺ(ｔ)をそのまま用いるのではなく、劣化モデルに基づく（１８）式を用いて、輝度を復元した画像を用い、また、時刻ｔー１の画像としては、カルマンフィルタで求められた時刻ｔ−１での推定画像（推定ベクトルＸ_a (ｔ−１)）を用いる。

＜共分散行列＞
システムノイズの共分散行列Ｑ_U (ｔ)は、システムノイズは一定の割合で画像全体に存在するものとして、（３１）式で表すことができる。

また、観測ノイズの共分散行列Ｑ_V (ｔ)は、観測ノイズは一定の割合で画像全体に存在するものとして、（３２）式で表すことができる。

上述したように、劣化モデルをカルマンフィルタに適用して、複数時間の画像について状態遷移をさせながら復元を行うことで、霧画像（霧の発生時に撮像された入力画像）以外の統計量を必要とすることなく、時間経過による連続的な相関や誤差，雑音等を光量した、適応的な霧の除去が可能となる。

＜画像復元部の構成＞
ここで、図８は、上述の処理を実行する画像復元部１０の機能的な構成を示す機能ブロック図である。なお、図８中に示された各部は、上述したようにマイクロコンピュータが実行する処理として実現される。

図８に示すように、画像復元部１０は、カメラ３からの入力画像（即ち、観測ベクトルＺ(ｔ)）に基づき、入力画像上での光の屈曲点の位置ｖ_i を求め、その求めた位置ｖ_i 及び（３）（４）式を用いて劣化パラメータβｄ，Ａ∞ 算出すると共に、算出された劣化パラメータβｄを用いて（２９）式に示す観測行列Ｈ(ｔ)を生成する劣化パラメータ生成部１１と、劣化パラメータ生成部１１にて生成された劣化パラメータβｄ，Ａ∞ に基づき、（１８）式を用いて、入力画像（観測ベクトルＺ(ｔ)＝Ｉ）から仮復元画像（即ち、仮復元ベクトルＲ(ｔ)＝Ｒ）を生成する仮復元画像生成部１２と、センサ群４からの挙動データＢ(ｔ)を用いて時刻ｔ−１における推定画像（ろ波分布の平均ベクトルＸ_a (ｔ−１)）の動き補償を行い、その動き補償を行った時刻ｔ−１における推定画像と時刻ｔにおける仮復元画像（仮復元ベクトルＲ(ｔ)）との間の動きベクトルを求める（本実施形態ではブロックマッチング法を用いる）ことにより、状態遷移行列Ａ(ｔ−１)を生成する追跡部１３とを備えている。

また、画像復元部１０は、入力画像（観測ベクトルＺ(ｔ)），仮復元画像生成部１２にて生成された仮復元画像（仮復元ベクトルＲ(ｔ)），追跡部１３にて生成された状態遷移行列Ａ(ｔ−１)，劣化パラメータ生成部１１にて生成された観測行列Ｈ(ｔ)，劣化パラメータβｄ，Ａ∞ 、時刻ｔ−１における推定画像（推定ベクトルＸ_a (ｔ−１)）に基づいて、霧の影響が除去された復元画像（予測ベクトルＸ_b (ｔ)），その復元画像から推定される次の時刻の推定画像（推定ベクトルＸ_a (ｔ)）を生成する適応フィルタ部１４と、適応フィルタ部１４にて生成された推定画像を記憶して、次の時刻で時刻ｔ−１における推定画像として、追跡部１３や適応フィルタ部１４に供給する推定画像記録部１５とを備えている。

＜適応フィルタ部の詳細＞
適応フィルタ部１４は、仮復元ベクトルＲ(ｔ)，状態遷移行列Ａ(ｔ−１)，時刻ｔ−１における推定ベクトルＸ_a (ｔ−１)，共分散行列Ｐ_a (ｔ) 、（３１）式で与えられるシステムノイズの共分散行列Ｑ_U (ｔ)に基づき、（２１）（２２）式を用いて、予測ベクトルＸ_b (ｔ)（即ち、復元画像）、及び共分散行列Ｐ_b (ｔ)を算出する予測部４１と、観測行列Ｈ(ｔ)，予測部４１からの共分散行列Ｐ_b (ｔ)，（３２）式で与えられる観測ノイズの共分散行列Ｑ_V (ｔ)に基づき、（２５）式を用いてカルマンゲインＫ(ｔ)を算出するゲイン算出部４２と、観測ベクトルＺ(ｔ)、観測行列Ｈ(ｔ)、劣化パラメータβｄ，Ａ∞ 、予測部４１からの予測ベクトルＸ_b (ｔ)，共分散行列Ｐ_b (ｔ)、ゲイン算出部４２からのカルマンゲインＫ(ｔ)に基づき、（３０）（２４）式を用いて推定ベクトルＸ_a (ｔ)、及び共分散行列Ｐ_b (ｔ)を算出するろ波部４３とにより構成されている。

このように構成された画像復元部１０では、上述した劣化モデルが適用したカルマンフィルタとして動作する適応フィルタ部１４により、霧の発生時に撮像された入力画像（霧画像）から、霧の影響を除去した復元画像を逐次的に生成する。

＜効果＞
以上、説明したように運転支援装置１では、アプリケーション実行部８は、復元画像表示スイッチ５のＯＦＦ時には、カメラ３からの入力画像（観測ベクトルＺ(ｔ)）を用い、復元画像表示スイッチ５のＯＮ時には、復元画像（予測ベクトルＸ_b (ｔ)を用いて、表示画像切替制御や運転支援制御などの各種アプリケーションを実行するようにされている。

従って、運転支援装置１によれば、霧の発生時であっても、復元画像表示スイッチ５をＯＮにすることで、霧の影響が除去された、即ち画像のコントラストが改善された復元画像に基づいて、各種画像処理を行うことができるため、運転支援制御等のアプリケーションの精度や信頼性を向上させることができる。

また、画像復元部１０において適応フィルタ部１４は、霧の影響をノイズとしてではなく観測系の特性として扱った（即ち、観測行列Ｈ(ｔ)に組み込んだ）カルマンフィルタを用いているため、霧の影響が除去された画素本来の輝度を状態ベクトルＸ(ｔ)として扱うことができ、その結果、この適応フィルタ部１４（カルマンフィルタ）を用いて状態ベクトルの予測値Ｘ_b (ｔ)を求めることで、霧の影響を除去した復元画像を、霧の濃さに応じた最適な画像処理によって得ることができる。

また、画像復元部１０では、状態遷移行列Ａ(ｔ−１)の生成に必要な動きベクトルを求める際に、時刻ｔにおける画像として、観測画像（観測ベクトルＺ(ｔ)）をそのまま用いるのではなく、劣化パラメータβｄ，Ａ∞ を用いて簡易的に霧の影響を除去した仮復元画像（仮復元ベクトルＲ(ｔ)）を用いているため、観測画像ではコントラストの低下が著しい霧濃度の濃い領域であっても、動きベクトルを確実に抽出することができ、その結果、適応フィルタ部１４（カルマンフィルタ）の動作の信頼性を向上させることができる。

＜他の実施形態＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態では、復元画像表示スイッチ５を備えているが、これに代えて、或いはこれと共に、カメラ３からの入力画像を画像処理することにより、霧がかかった画像であるか否かを判断する霧検出部を設け、霧がかかった画像であると判断された場合に、アプリケーション実行部８での処理に使用する画像を、入力画像から復元画像に切り替えるように構成してもよい。なお、霧検出部の具体的な構成は、例えば、特開２００６−３４９４９２号に詳述されているため、ここではその説明を省略する。

上記実施形態では、追跡部１３において動きベクトルを求める際に、ブロックマッチング法を用いているが、これに限らず、二つの画像間の動きベクトルを求めることができれば、どのような方法を用いてもよい。

上記実施形態では、共分散行列Ｐ_b (ｔ)，Ｐ_a (ｔ)を、（２２）（２４）式を用いて算出しているが、（２６）（２７）式のＸ(ｔ)をＲ(ｔ)に置き換えた式を用いて算出するように構成してもよい。

運転支援装置の全体構成を示すブロック図。 運転支援装置を構成する各部の車両内での配置を示す説明図。 霧等の大気の影響による輝度の劣化モデルを表す説明図。 カメラのパラメータを示す説明図。 カルマンフィルタのシステムモデルを表す説明図。 原画像のモデル化に関する説明図。 状態遷移行列の具体例を表す説明図。 画像復元部の構成を示す機能ブロック図。

符号の説明

１…運転支援装置 ３…カメラ ４…センサ群 ４ａ…車速センサ ４ｂ…ヨーレートセンサ ５…復元画像表示スイッチ ６…モニタ ７…アクチュエータ群 ８…アプリケーション実行部 １０…画像復元部 １１…劣化パラメータ生成部 １２…仮復元画像生成部 １３…追跡部 １４…適応フィルタ部 １５…推定画像記録部 ４１…予測部 ４２…ゲイン算出部 ４３…ろ波部 ８１…表示画像切替制御 ８２…運転支援制御部

Claims (4)

1. 時系列的に入力される画像のうち、霧が発生した状況で撮像された画像である霧画像から、霧の影響を除去した復元画像を生成する画像処理装置であって、
   前記霧画像を構成する各画素の輝度を表すベクトルを観測ベクトル、前記各画素の本来の輝度を表すベクトルを状態ベクトル、前記霧画像に撮像された物体の輝度が霧の影響を受けて劣化すること表す行列を観測行列、連続する前記画像間で該画像中の各要素が移動することにより生じる前記状態ベクトルの変化を表した行列を状態遷移行列とするカルマンフィルタを用いて前記状態ベクトルの予測値を求めることにより、該状態ベクトルの予測値によって表される画像である前記復元画像を生成する画像復元手段を備えることを特徴とする画像処理装置。
2. 今サイクルの入力画像に基づく前記観測ベクトルに対して前記観測行列の逆行列を作用させることで生成された仮復元ベクトルと、前サイクルの入力画像に対する前記状態ベクトルの予測値に基づいて、前記カルマンフィルタにて推定された今サイクルの前記状態ベクトルの推定値とに基づいて前記状態遷移行列を生成する遷移行列生成手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置と、
   車両に搭載され、該車両の周囲を撮像した画像を前記画像処理装置に供給する撮像手段と、
   前記画像処理装置により生成された前記復元画像を表示する表示手段と、
   を備えることを特徴とする運転支援装置。
4. 前記画像処理装置により生成された前記復元画像に基づいて、前記車両の周囲に存在する各種物標を検出する物標検出手段と、
   前記物標検出手段での検出結果に基づいて、運転支援のために前記車両に設けられた機器の動作を制御する制御手段と、
   を備えることを特徴とする請求項３に記載の運転支援装置。