JP5166111B2

JP5166111B2 - 車両周辺監視装置

Info

Publication number: JP5166111B2
Application number: JP2008128366A
Authority: JP
Inventors: 浩輔今村
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2008-05-15
Filing date: 2008-05-15
Publication date: 2013-03-21
Anticipated expiration: 2028-05-15
Also published as: JP2009278428A

Description

本発明は、車両周辺監視装置に係り、特に、車両に搭載された複数台のカメラの撮影映像に基づいて生成された車両周辺画像を表示することによって、車両の周辺を監視するのに好適な車両周辺監視装置に関する。

近年、車載カメラ技術および画像処理技術の進展により、駐車場等における車両の安全かつ円滑な運転操作を支援することを目的としたシステムとして、車両に搭載された複数台のカメラによる車両の周辺の撮影映像に基づいて、車両およびその周辺を車両の上方から俯瞰したような画像である車両周辺画像を生成し、生成された車両周辺画像を車内のディスプレイに表示することによって、車両の周辺を監視可能とされた車両周辺監視装置が採用されるようになった。

図８は、このような車両周辺監視装置によってディスプレイに表示される車両周辺画像１の一例として、駐車場において表示される車両周辺画像１を示したものである。

図８に示すように、車両周辺画像１は、車両の前方の所定の監視領域を車両の上方の所定の仮想視点から俯瞰したような画像である前方俯瞰画像１ａを有しており、この前方俯瞰画像１ａは、車両の前部（例えば、エンブレム部）に取り付けられたフロントカメラの撮影映像に基づいて生成されるようになっている。

また、車両周辺画像１は、車両の左側方の所定の監視領域を前記車両の上方の仮想視点から俯瞰したような画像である左側方俯瞰画像１ｂを有しており、この左側方俯瞰画像１ｂは、前方俯瞰画像１ａの左端部に連接されている。この左側方俯瞰画像１ｂは、車両の左側部（例えば、左ドアミラー部）に取り付けられた左サイドカメラの撮影映像に基づいて生成されるようになっている。

さらに、車両周辺画像１は、車両の右側方の所定の監視領域を前記車両の上方の仮想視点から俯瞰したような画像である右側方俯瞰画像１ｃを有しており、この右側方俯瞰画像１ｃは、前方俯瞰画像１ａの右端部に連接されている。この右側方俯瞰画像１ｃは、車両の右側部（例えば、右ドアミラー部）に取り付けられた右サイドカメラの撮影映像に基づいて生成されるようになっている。

さらにまた、車両周辺画像１は、車両の後方の所定の監視領域を前記車両の上方の仮想視点から俯瞰したような画像である後方俯瞰画像１ｄを有しており、この後方俯瞰画像１ｄは、左側方俯瞰画像１ｂの後端部および右側方俯瞰画像１ｃの後端部に連接されている。この後方俯瞰画像１ｄは、車両の後部（例えば、ナンバープレートの取付部）に取り付けられたバックカメラの撮影映像に基づいて生成されるようになっている。

また、車両周辺画像１は、車両を模したイラスト画像１ｅを有しており、このイラスト画像１ｅは、俯瞰画像１ａ，１ｂ，１ｃ，１ｄによって四方を囲まれるように表示されている。

このような車両周辺画像１を表示する車両周辺監視装置は、車両の周囲３６０°の方向を監視可能とする観点から、カメラとして、魚眼レンズ等の広角レンズを備えたカメラを用いることが多かった。

このような広角レンズを備えたカメラを用いて車両周辺画像１を生成する場合には、図９に示すように、ＣＣＤ等のカメラの撮像面３（図９においては、左サイドカメラの撮像面）に結像された撮影映像４のうち、車両周辺画像１の生成に使用される所定の使用映像領域５（図９における破線部参照）内の映像のみを切り出し、切り出された映像に基づいて、このカメラに対応する俯瞰画像１ａ，１ｂ，１ｃ，１ｄ（図９の場合には左側方俯瞰画像１ｂ）を生成するようになっていた。

この俯瞰画像１ａ，１ｂ，１ｃ，１ｄの生成の際には、切り出された使用映像領域５内の映像から、俯瞰画像１ａ，１ｂ，１ｃ，１ｄの生成（換言すれば車両周辺画像１の生成）に使用される画素である使用画素を抽出し、抽出された使用画素に対して、使用映像領域５内の映像の歪みを補正するための歪み補正処理と、使用映像領域５内の映像を車両の上方の仮想視点から俯瞰したような画像へと変換するための視点変換処理とを順次行うようになっていた。また、視点変換処理の際には、各俯瞰画像１ａ，１ｂ，１ｃ，１ｄは、互いに合成されるとともに、イラスト画像１ｅとも合成されるようになっていた。

なお、使用画素として抽出される画素は、使用映像領域５内の映像を構成する実際の画素そのものの場合もあるし、あるいは、実際の画素を用いた公知の重み付け等によって抽出された画素（ただし、重み付けの場合にはカメラがアナログ出力の場合に限る）の場合もある。重み付けによる使用画素の抽出については、例えば、ディジタル画像処理（ＣＧ−ＡＲＴＳ協会／Ｐ１０６〜１１０）等の文献に記載されている。

また、歪み補正処理の際には、歪み補正処理前の使用画素と歪み補正処理後の使用画素との座標の対応関係が記述されたルックアップテーブル（換言すれば、マッピングテーブル）を用いる場合があった。

さらに、視点変換処理の際にも、使用画素（歪み補正処理後のものである場合もある）と俯瞰画像との座標の対応関係が記述されたルックアップテーブルを用いる場合があった。

特許第３３００３３４号

ところで、この種の車両周辺画像１の生成に使用されるカメラは、現状におけるレンズの直径が２０ｍｍ程度の小さなものとされている。

これに対して、ディスプレイにおける車両周辺画像１の表示サイズが、例えば、６４０画素（pixel）の場合、車両周辺画像１における１画素に対応するレンズの大きさは平均０．０３ｍｍ程度の非常に小さなものとなる。

今後、さらなる高画素化およびカメラの小型化が進展するのにともなって、車両周辺画像１の１画素あたりのレンズの大きさ（換言すれば、視野角範囲）はさらに小さなものになると予想される。

このような現状における問題としては、例えば、走行時におけるレンズへの飛び石や、雨天時におけるレンズへの泥はね等により、レンズに汚れが付着したり傷が形成されることによって、車両周辺画像１の画質に悪影響を与える虞があるといった問題があった。

例えば、図１０は、左サイドカメラにおける使用映像領域５内に、映像不良部位７として、左サイドカメラのレンズの汚れまたは傷を示す映像からなる３つの映像不良部位７（７Ａ，７Ｂ，７Ｃ）が結像されている状態を示している。なお、３つの映像不良部位７Ａ，７Ｂ，７Ｃのうちの１つ７Ａは、使用映像領域５におけるほぼ中央位置に映されている。また、他の２つの映像不良部位７Ｂ，７Ｃのうちの１つ７Ｂは、使用映像領域５における中央から車両の後方側（図１０における左方）にずれた位置に映されている。さらに、残りの１つの映像不良部位７Ｃは、３つの映像不良部位７Ａ，７Ｂ，７Ｃの中で最も車両の後方側にずれた位置に映されている。ただし、図１０における各映像不良部位７Ａ，７Ｂ，７Ｃの映像サイズは、いずれも１画素とされている。

そして、これらの映像不良部位７Ａ，７Ｂ，７Ｃは、図１１に示すように、車両周辺画像１（左側方俯瞰画像１ｂ）上において３つの画像不良部位８（８Ａ，８Ｂ，８Ｃ）として視認されることになり、車両周辺画像１の画質を落とすことになる。

特に、使用映像領域５の中央から最も外れた位置（すなわち映像の歪みが最も大きい位置）に映された映像不良部位７Ｃは、歪み補正処理の際に、左側方俯瞰画像１ｂにおける複数の画素の生成に用いられることになるため、この映像不良部位７Ｃに対応する画像不良部位８Ｃは、特に目立つ大きさとなってしまう。

このような問題は、例えば、レンズに付着した汚れを拭き取ったり、傷が形成されたレンズを交換することによって解決することができる場合もあるが、レンズの汚れや傷が微小なものである場合には、ユーザが外観上これらの汚れや傷に気付くことが困難な場合がある。

そこで、本発明は、このような問題点に鑑みなされたものであり、外観上判別することが困難なカメラの汚れや傷に起因する車両周辺画像の画質の低下を回避することができ、画質に優れた車両周辺画像を表示することができる車両周辺監視装置を提供することを目的とするものである。

前述した目的を達成するため、本発明に係る車両周辺監視装置は、車両に搭載され、広角レンズを用いて前記車両の周辺における所定の撮影領域を撮影可能とされた複数台のカメラと、これら複数台のカメラのそれぞれの撮影映像における各カメラごとの所定の使用映像領域内の映像を使用することによって、前記車両およびその周辺を前記車両の上方から俯瞰したような画像である車両周辺画像を生成して表示部に表示する車両周辺画像表示処理手段とを備えた車両周辺監視装置であって、車両周辺監視装置本体は、前記複数台のカメラのそれぞれの撮影映像に基づいて、各カメラの汚れまたは傷を原因とした映像不良部位を、各カメラごとの前記使用映像領域内において検出可能とされた映像不良部位検出手段と、前記車両の走行速度を取得する車速取得手段と、前記車両の舵角情報を取得する舵角情報取得手段とを備え、前記車両周辺画像表示処理手段は、前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用映像領域内の映像から抽出された所定の使用画素を使用することによって、当該使用映像領域内の映像の歪みを補正するための歪み補正処理を行う歪み補正処理手段と、前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用画素を使用することによって、前記使用映像領域内の映像を前記車両の上方の仮想視点から俯瞰したような画像へと変換するための視点変換処理を行う視点変換処理手段と、前記複数台のカメラの使用映像領域ごとに、前記使用映像領域を、前記複数台のカメラにおける他のカメラとの撮影映像の重複部分を有しないような領域である非重複領域と、前記他のカメラとの撮影映像の重複部分を有するような領域である重複領域とに分割した状態として把握する分割手段と、この分割手段の分割結果および前記映像不良部位検出手段の検出結果に基づいて、前記複数台のカメラの前記使用映像領域内の映像ごとに前記使用画素の補正を行う使用画素補正処理手段とを備えており、前記使用画素補正処理手段は、前記映像不良部位検出手段によって前記非重複領域内に映像不良部位が検出されている場合であって前記車両が走行している場合には、前記車速取得手段の取得結果と、前記舵角情報取得手段の取得結果と、最新の前記車両周辺画像の生成に用いられようとしている最新の撮影映像に対する所定フレーム前の撮影映像とに基づいて、前記所定フレーム前の撮影映像における所定フレーム後において前記映像不良部位と同一位置に結像されるべき画素を割り出し、割り出された前記画素を、前記非重複領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、前記映像不良部位検出手段によって前記非重複領域内に映像不良部位が検出されている場合であって前記車両が静止している場合には、前記非重複領域内に検出されている前記映像不良部位の周辺に存在する画素に基づいて、前記非重複領域内に検出されている前記映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された前記画素を、当該映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、前記映像不良部位検出手段によって前記重複領域内に映像不良部位が検出されている場合には、前記他のカメラの前記重複部分における撮影映像の中から、当該映像不良部位と同一箇所の撮影結果に相当する画素を割り出し、割り出された前記画素を、前記重複領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成されていることを特徴としている。

そして、このような構成によれば、非重複領域内に映像不良部位が検出され且つ車両が走行している場合には、車速と舵角情報と所定フレーム前の撮影映像とに基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。また、非重複領域内に映像不良部位が検出され且つ車両が静止している場合には、映像不良部位の周辺の画素に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。さらに、重複領域内に映像不良部位が検出されている場合には、他のカメラの重複部分における撮影映像に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。

この結果、外観上判別することが困難なカメラの汚れまたは傷に起因する車両周辺画像の画質の低下を回避することができ、画質に優れた車両周辺画像を表示することができる。また、使用映像領域を非重複領域と重複領域とに分割して、各領域ごとに使用画素を適正化するために好適な使用画素の補正を行うことができる。

また、前記非重複領域内に映像不良部位が検出されている場合であって前記車両が静止している場合における前記代替すべき画素は、前記非重複領域内に検出されている前記映像不良部位の周辺に存在する所定の複数の画素の平均画素値を有するような画素とされていることが好ましい。

そして、このような構成によれば、簡便な方法によって使用画素を補正することができ、ひいては、画質に優れた車両周辺画像を迅速に表示することができる。

さらに、本発明に係る他の車両周辺監視装置は、車両に搭載され、広角レンズを用いて前記車両の周辺における所定の撮影領域を撮影可能とされた複数台のカメラと、これら複数台のカメラのそれぞれの撮影映像における各カメラごとの所定の使用映像領域内の映像を使用することによって、前記車両およびその周辺を前記車両の上方から俯瞰したような画像である車両周辺画像を生成して表示部に表示する車両周辺画像表示処理手段とを備えた車両周辺監視装置であって、車両周辺監視装置本体は、前記複数台のカメラのそれぞれの撮影映像に基づいて、各カメラの汚れまたは傷を原因とした映像不良部位を、各カメラごとの前記使用映像領域内において検出可能とされた映像不良部位検出手段と、前記車両の走行速度を取得する車速取得手段と、前記車両の舵角情報を取得する舵角情報取得手段とを備え、前記車両周辺画像表示処理手段は、前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用映像領域内の映像から抽出された所定の使用画素を使用することによって、当該使用映像領域内の映像の歪みを補正するための歪み補正処理を行う歪み補正処理手段と、前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用画素を使用することによって、前記使用映像領域内の映像を前記車両の上方の仮想視点から俯瞰したような画像へと変換するための視点変換処理を行う視点変換処理手段と、前記複数台のカメラの使用映像領域ごとに、前記使用映像領域を、前記複数台のカメラにおける他のカメラとの撮影映像の重複部分を有しないような領域である非重複領域であって、１画素分の前記使用画素が１画素分の前記車両周辺画像の生成に使用され、かつ、前記使用画素と前記使用画素以外の画素である非使用画素とが混在するような領域である第１の領域と、前記非重複領域であって、１画素分の前記使用画素が複数画素分の前記車両周辺画像の生成に使用され、かつ、全画素が車両周辺画像の生成に使用されるような領域である第２の領域と、前記他のカメラとの撮影映像の重複部分を有するような領域である重複領域からなる第３の領域とに分割した状態として把握する分割手段と、この分割手段の分割結果および前記映像不良部位検出手段の検出結果に基づいて、前記複数台のカメラの前記使用映像領域内の映像ごとに前記使用画素の補正を行う使用画素補正処理手段とを備えており、前記使用画素補正処理手段は、前記映像不良部位検出手段によって前記第１の領域内に映像不良部位が検出されている場合には、前記第１の領域内に検出されている前記映像不良部位の周辺に存在する前記非使用画素に基づいて、前記第１の領域内に検出されている前記映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された前記画素を、当該映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、前記映像不良部位検出手段によって前記第２の領域内に映像不良部位が検出されている場合であって前記車両が走行している場合には、前記車速取得手段の取得結果と、前記舵角情報取得手段の取得結果と、最新の前記車両周辺画像の生成に用いられようとしている最新の撮影映像に対する所定フレーム前の撮影映像とに基づいて、前記所定フレーム前の撮影映像における所定フレーム後において前記映像不良部位と同一位置に結像されるべき画素を割り出し、割り出された前記画素を、前記第２の領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、前記映像不良部位検出手段によって前記第２の領域内に映像不良部位が検出されている場合であって前記車両が静止している場合には、前記第２の領域内に検出されている前記映像不良部位の周辺に存在する画素に基づいて、前記第２の領域内に検出されている前記映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された前記画素を、当該映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、前記映像不良部位検出手段によって前記第３の領域内に映像不良部位が検出されている場合には、前記他のカメラの前記重複部分における撮影映像の中から、当該映像不良部位と同一箇所の撮影結果に相当する画素を割り出し、割り出された前記画素を、前記第３の領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成されていることを特徴としている。

そして、このような構成によれば、第１の領域内に映像不良部位が検出されている場合には、映像不良部位の周辺の非使用画素に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。また、第２の領域内に映像不良部位が検出され且つ車両が走行している場合には、車速と舵角情報と所定フレーム前の撮影映像とに基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。さらに、第２の領域内に映像不良部位が検出され且つ車両が静止している場合には、映像不良部位の周辺の画素に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。さらにまた、第３の領域内に映像不良部位が検出されている場合には、他のカメラの重複部分における撮影映像に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像の生成に使用することができる。

さらにまた、前記第１の領域内に映像不良部位が検出されている場合における前記代替すべき画素は、前記第１の領域内に検出されている前記映像不良部位の周辺に存在する所定の複数の前記非使用画素の平均画素値を有するような画素とされていることが好ましい。

そして、このような構成によれば、簡便な方法によって第１の領域内における使用画素を補正することができ、ひいては、画質に優れた車両周辺画像を迅速に表示することができる。

また、前記第２の領域内に映像不良部位が検出されている場合であって前記車両が静止している場合における前記代替すべき画素は、前記第２の領域内に検出されている前記映像不良部位の周辺に存在する所定の複数の画素の平均画素値を有する画素とされていることが好ましい。

そして、このような構成によれば、簡便な方法によって第２の領域内における使用画素を補正することができ、ひいては、画質に優れた車両周辺画像を迅速に表示することができる。

さらに、前記映像不良部位検出手段は、前記車速取得手段の取得結果と、前記舵角情報取得手段の取得結果とを用いることによって、前記車両周辺画像上の各画素についてのフレームの変化にともなう予測される変位量を算出した上で、前記使用映像領域内の映像における前記フレームの変化にかかわらず前記算出された前記変位量を示していない前記車両周辺画像上の画素に対応する部位を、前記映像不良部位として検出するように形成されていることが好ましい。

そして、このような構成によれば、簡便な方法によって映像不良部位を検出することができる。

さらにまた、前記映像不良部位検出手段は、前記使用映像領域内の映像におけるフレームの変化にかかわらず映像が変化しない部位を前記映像不良部位として検出するように形成されていることが好ましい。

また、前記広角レンズが、魚眼レンズとされていてもよい。

そして、このような構成によれば、外観上判別することが困難な魚眼レンズの汚れまたは傷に起因する車両周辺画像の画質の低下を回避することができ、画質に優れた車両周辺画像を表示することができる。

本発明によれば、外観上判別することが困難なカメラの汚れまたは傷に起因する車両周辺画像の画質の低下を回避することができ、画質に優れた車両周辺画像を表示することができる。

（第１実施形態）
以下、本発明に係る車両周辺監視装置の第１実施形態について、図１乃至図５を参照して説明する。

なお、従来と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。

図１に示すように、本実施形態における車両周辺監視装置（車両周辺監視装置本体）１２は、車両に搭載された４台のカメラ１４，１５，１６，１７を有しており、これらのカメラ１４，１５，１６，１７は、いずれも、魚眼レンズ等の広角レンズを備えた（用いた）広角カメラとされているとともに、ＣＣＤやＣＭＯＳ等の固体撮像素子（撮像面）を備えたデジタルカメラとされている。

これらのカメラ１４，１５，１６，１７のうちの１台は、車両の前部に取付けられたフロントカメラ１４とされており、このフロントカメラ１４は、車両の周辺における車両の前方を中心とした所定の撮影領域を撮影するようになっている。他の３台のカメラ１５，１６，１７のうちの１台は、車両の左側部に取り付けられた左サイドカメラ１５とされており、この左サイドカメラ１５は、車両の周辺における車両の左側方を中心とした所定の撮影領域を撮影するようになっている。他の２台のカメラ１６，１７のうちの１台は、車両の右側部に取り付けられた右サイドカメラ１６とされており、この右サイドカメラ１６は、車両の周辺における車両の右側方を中心とした所定の撮影領域を撮影するようになっている。残りの１台のカメラ１７は、車両の後部に取り付けられたバックカメラ１７とされており、このバックカメラ１７は、車両の周辺における車両の後方を中心とした所定の撮影領域を撮影するようになっている。

各カメラ１４，１５，１６，１７には、カメラ映像取得部１８が接続されており、このカメラ映像取得部１８は、各カメラ１４，１５，１６，１７から撮影映像を取得可能とされている。

カメラ映像取得部１８には、映像切り出し部２０が接続されており、この映像切り出し部２０には、カメラ映像取得部１８から、各カメラ１４，１５，１６，１７の撮影映像が入力されるようになっている。そして、映像切り出し部２０は、入力された各カメラ１４，１５，１６，１７の撮影映像のそれぞれから、車両周辺画像１（図８参照）の生成に使用される使用映像領域５内の映像を切り出すようになっている。なお、フロントカメラ１４の撮影映像における使用映像領域５内の映像は、車両周辺画像１における前方俯瞰画像１ａの生成に使用されることになる。また、左サイドカメラ１５の撮影映像における使用映像領域５内の映像は、車両周辺画像１における左側方俯瞰画像１ｂの生成に使用されることになる。さらに、右サイドカメラ１６の撮影映像における使用映像領域５内の映像は、車両周辺画像１における右側方俯瞰画像１ｃの生成に使用されることになる。さらにまた、バックカメラ１７の撮影映像における使用映像領域５内の映像は、車両周辺画像１における後方俯瞰画像１ｄの生成に使用されることになる。

映像切り出し部２０の出力側には、車両周辺画像表示処理手段としての車両周辺画像表示処理部２１が接続されており、この車両周辺画像表示処理部２１の出力側には、表示部としてのディスプレイ２２が接続されている。

車両周辺画像表示処理部２１は、映像切り出し部２０によって切り出された各カメラ１４，１５，１６，１７ごとの使用映像領域５内の映像を使用することによって、車両およびその周辺を車両の上方から俯瞰したような画像である車両周辺画像１を生成し、生成された車両周辺画像１をディスプレイ２２に表示するようになっている。

車両周辺画像表示処理部２１は、歪み補正処理手段としての歪み補正処理部２４を有しており、この歪み補正処理部２４には、映像切り出し部２０によって切り出された各カメラ１４，１５，１６，１７ごとの使用映像領域５内の映像が入力されるようになっている。

そして、歪み補正処理部２４は、映像切り出し部２０から入力された各カメラ１４，１５，１６，１７ごとの使用映像領域５内の映像に対して、各カメラ１４，１５，１６，１７の使用映像領域５内の映像ごとに、当該使用映像領域５内の映像の歪みを補正するための歪み補正処理を行うようになっている。この歪み補正処理は、使用映像領域５内の映像から、歪み補正処理の対象となる所定の使用画素を抽出し、抽出された使用画素を使用することによって行われるようになっている。

ここで、使用映像領域５における映像の歪みが小さい中央部の領域においては、例えば、この中央部の領域内の映像の全画素のうちの予め座標指定等によって設定されている一部の画素が、使用画素として散点的に（間引かれた状態として）抽出されることになる。一方、使用映像領域５における映像の歪みが大きい周辺部の領域においては、例えば、この周辺部の領域内の映像の全画素が使用画素として抽出されることになる。

このような歪み補正処理は、カメラ１４，１５，１６，１７の内部パラメータを用いて行われるようになっている。また、歪み補正処理は、歪み補正処理前の使用画素と歪み補正処理後の使用画素との座標の対応関係が記述されたルックアップテーブル（換言すれば、マッピングテーブル）を用いて行うようにしてもよい。

また、車両周辺画像表示処理部２１は、視点変換処理手段としての視点変換処理部２６を有しており、この視点変換処理部２６の入力側には、歪み補正処理部２４が、出力側には、ディスプレイ２２が、それぞれ接続されている。

視点変換処理部２６には、歪み補正処理部２４による歪み補正処理後における各カメラ１４，１５，１６，１７の使用映像領域５内の映像が入力されるようになっている。そして、視点変換処理部２６は、入力された各カメラ１４，１５，１６，１７の使用映像領域５内の映像ごとに、使用映像領域５内の映像を車両の上方の仮想視点から俯瞰したような画像へと変換するための視点変換処理を行うようになっている。

この視点変換処理は、使用画素を使用した歪み補正処理後の映像に対して行われるものであるため、この視点変換処理も、使用画素を使用して行われることになる。

この視点変換処理によって、各カメラ１４，１５，１６，１７ごとの使用映像領域５内の映像は、それぞれが対応する俯瞰画像１ａ，１ｂ，１ｃ，１ｄへと変換されるようになっている。そして、この視点変換処理の際に、各俯瞰画像１ａ，１ｂ，１ｃ，１ｄは、互いに合成されるとともに、視点変換処理部２６によって独自に生成されたイラスト画像１ｅとも合成されることによって、車両周辺画像１が生成されるようになっている。

ここで、従来は、カメラ１４，１５，１６，１７のレンズに汚れが付着されていたり、レンズに傷が形成されている場合には、これらの汚れや傷は、各カメラ１４，１５，１６，１７の使用映像領域５内においては映像不良部位７（図１０参照）として結像され、車両周辺画像１上においては画像不良部位８（図１１参照）として表示されて車両周辺画像１の画質を落としてしまっていた。

これに対し、本実施形態においては、以下に示すように、映像不良部位７の結像にもかかわらず高画質の車両周辺画像１を表示するための手段が講じられている。

すなわち、図１に示すように、本実施形態における車両周辺監視装置１２は、車速取得手段としての車速取得部２９を有しており、この車速取得部２９には、車両周辺画像表示処理部２１が接続されている。車速取得部２９には、車両側から車速パルスが入力されるようになっており、これによって、車両の走行速度が取得されるようになっている。

また、本実施形態における車両周辺監視装置１２は、舵角情報取得手段としての舵角情報取得部３０を有しており、この舵角情報取得部３０には、車両周辺画像表示処理部２１と、車両のハンドルの操舵角を検出する舵角センサ３１とが、それぞれ接続されている。

舵角情報取得部３０には、舵角センサ３１の検出結果が舵角情報として入力されるようになっており、これによって、車両の舵角情報が取得されるようになっている。

さらに、本実施形態における車両周辺監視装置１２は、映像不良部位検出手段としての映像不良部位検出部２７を有しており、この映像不良部位検出部２７には、視点変換処理部２６、車速取得部２９および舵角情報取得部３０がそれぞれ接続されている。

映像不良部位検出部２７には、視点変換処理部２６によって生成された車両周辺画像１、車速取得部２９の取得結果、および舵角情報取得部３０の取得結果がそれぞれ入力されるようになっている。

そして、映像不良部位検出部２７は、入力された車両周辺画像１に基づいて、カメラ１４，１５，１６，１７のレンズの汚れまたは傷を原因とした映像不良部位を、各カメラ１４，１５，１６，１７ごとの使用映像領域５内において検出することが可能とされている。なお、車両周辺画像１は、各カメラ１４，１５，１６，１７のそれぞれの撮影映像を反映したものであるため、車両周辺画像１に基づく映像不良部位の検出は、各カメラ１４，１５，１６，１７のそれぞれの撮影映像に基づく映像不良部位の検出と同義である。

この映像不良部位の検出に際して、映像不良部位検出部２７は、まず、車速取得部２９の取得結果と、舵角情報取得部３０の取得結果とを用いることによって、車両周辺画像１上の各画素についての、フレームの変化にともなう予測される変位量を算出するようになっている。そして、フレームの変化にかかわらず算出された変位量を示していないような車両周辺画像１上の画素を特定し、この画素に対応するような使用映像領域５内の映像における部位を、映像不良部位として検出するようになっている。

このようにして映像不良部位を検出する場合には、映像不良部位が反映された車両周辺画像１を一旦生成、表示させた上で、車両を走行させることを要するが、映像不良部位が一旦検出された後においては、後述のように映像不良部位の影響が解消された良好な車両周辺画像１を表示させ続けることができる。

なお、映像不良部位検出部２７は、このような構成に限定されるものではなく、例えば、単純に、使用映像領域５内の映像におけるフレームの変化にかかわらず映像が変化しない部位を映像不良部位として検出するようにしてもよい。この場合には、映像不良部位検出部２７を、例えば映像切り出し部２０の直後に配置することによって、映像不良部位検出部２７が、各カメラ１４，１５，１６，１７の使用映像領域５内の映像を直接取得できるように構成してもよい。

また、本実施形態において、車両周辺画像表示処理部２１は、分割手段としての分割部３２を有しており、この分割部３２には、各カメラ１４，１５，１６，１７が接続されている。

図２に示すように、分割部３２は、各カメラ１４，１５，１６，１７の使用映像領域５ごとに、使用映像領域５を、他のカメラ１４，１５，１６，１７との撮影映像の重複部分を有しないような領域である非重複領域５Ａと、他のカメラ１４，１５，１６，１７との撮影映像の重複部分を有するような領域である重複領域５Ｂとに分割した状態として把握するようになっている。

なお、図２に示すように、非重複領域５Ａは、使用映像領域５における中央部側の所定範囲を占め、重複領域５Ｂは、非重複領域５Ａの周辺に位置されている。

さらに、図１に戻って、本実施形態において、車両周辺画像表示処理部２１は、
使用画素補正処理手段としての使用画素補正処理部３４を有しており、この使用画素補正処理部３４には、分割部３２および歪み補正処理部２４がそれぞれ接続されている。

この使用画素補正処理部３４は、分割部３２の分割結果と、映像不良部位検出部２７の検出結果とに基づいて、各カメラ１４，１５，１６，１７の使用映像領域５内の映像ごとに、使用画素の補正を行うようになっている。

すなわち、使用画素補正処理部３４は、映像不良部位検出部２７によって非重複領域５Ａ内に映像不良部位が検出されている場合であって車両が走行している場合には、車速取得部２９の取得結果と、舵角情報取得部３０の取得結果と、最新の車両周辺画像１の生成に用いられようとしている最新の使用映像領域５内の映像（撮影映像）に対する所定フレーム前（例えば、１フレーム前）の使用映像領域５内の映像（撮影映像）とに基づいて、使用画像の補正としての非重複領域内検出時第１補正処理を行うようになっている。

なお、使用画素補正処理部３４は、映像不良部位が検出されている領域が非重複領域５Ａであることについては、分割部３２による使用映像領域５の分割結果に基づいて把握することができる。また、車両が走行していることは、車速取得部２９の取得結果に基づいて判別することができる。さらに、最新の使用映像領域５内の映像については、映像切り出し部２０から取得するようにすればよい。さらにまた、前記所定フレーム前の使用映像領域５内の映像については、前記所定フレーム前における車両周辺画像１の生成の際に使用画素補正処理部３４が予め記憶しておくようにすればよい。

ここで、非重複領域内検出時第１補正処理は、前記所定フレーム前の使用映像領域５内（非重複領域５Ａ内）の映像における前記所定フレーム後（例えば、１フレーム後）において映像不良部位と同一位置に結像されるべき画素を割り出し、割り出された画素を、非重複領域５Ａ内に検出されている映像不良部位に相当する画素に代わって使用画素とすることによって使用画素を補正する処理とされている。

より具体的な例としては、図３に示すように、最新の使用映像領域５内の映像における非重複領域５Ａ内に、予め座標指定等によって設定された１画素分の使用画素（補正前における使用画素）として、１画素分の映像不良部位７が検出されている場合を考える。

この場合における非重複領域内検出時第１補正処理を行うには、使用画素補正処理部３４は、車速取得部２９の取得結果、舵角情報取得部３０の取得結果、および前記所定フレーム前の使用映像領域５内の映像を取得した上で、まず、図３における映像不良部位７と同一の撮像面座標位置に、映像不良部位７に重なる１画素を仮定する。

そして、使用画素補正処理部３４は、この仮定された第１画素が、前記所定フレーム前の撮影映像の撮影時において、どこの撮像面座標位置に結像されていたかを、車速取得部２９の取得結果と、舵角情報取得部３０の取得結果とに基づいて推定（逆算）する。

すなわち、車速取得部２９の取得結果と舵角情報取得部３０の取得結果とを用いれば、最新の撮影映像の撮影時における車両の速度ベクトルを算出することができる。ここで、前記所定フレーム前の撮影映像の撮影時においても、車両の速度ベクトルが現在と同じであったとみなすと、現在の速度ベクトルに前記所定フレーム分の撮影時間間隔を乗じることによって得られた距離が、前記所定フレーム前の撮影映像の撮影時から最新の撮影映像の撮影時までの前記仮定された１画素の移動量（ベクトル量）とみなすことができる。

したがって、図３に示すように、仮定された１画素から、移動量分だけ遡れば、仮定された１画素が、前記所定フレーム前の撮影映像の撮影時において、どこの撮像面座標位置に結像されていたものであるかを推定することができる。

そして、推定された撮像面座標位置に実際に結像されていた前記所定フレーム前の使用映像領域５内の映像における１画素を、前記所定フレーム後（すなわち最新の使用映像領域５内の映像）において映像不良部位と同一位置に結像されるべき画素として割り出す。

最後に、このようにして割り出された１画素を、前記１画素分の映像不良部位７に代わって使用画素（補正後の使用画素）に設定する。

これにより、歪み補正処理部２４は、使用画素補正処理部３４による非重複領域内検出時第１補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。

このような非重複領域内検出時第１補正処理の他にも、使用画素補正処理部３４は、映像不良部位検出部２７によって非重複領域５Ａ内に映像不良部位が検出されている場合であって車両が静止している場合には、非重複領域５Ａ内に検出されている映像不良部位の周辺に存在する画素に基づいて、使用画素の補正として、非重複領域内検出時第２補正処理を行うようになっている。

ここで、非重複領域内検出時第２補正処理は、非重複領域５Ａ内に検出されている映像不良部位の周辺に存在する画素に基づいて、非重複領域５Ａ内に検出されている映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された画素を、当該映像不良部位に相当する画素に代わって使用画素とすることによって使用画素の補正を行う処理とされている。

より具体的な例としては、図４に示すように、非重複領域５Ａ内に、予め座標指定等によって設定された１画素分の使用画素（補正前における使用画素）として、１画素分の映像不良部位７が検出されている場合を考える。

この場合における非重複領域内検出時第２補正処理を行うには、使用画素補正処理部３４は、例えば、図４に示すように、この１画素分の映像不良部位７を囲む周辺の８個の画素（周辺画素）の平均画素値を算出するとともに、算出された平均画素値を有するような１画素を、映像不良部位７に代替すべき画素として割り出す。

なお、これらの周辺画素の中には、使用画素として車両周辺画像１の生成に使用される画素もあるし、使用画素としては使用されない画素（非使用画素）もある。これについては、第２実施形態において詳述する。

そして、非重複領域内検出時第２補正処理においては、前記のようにして割り出された１画素を、前記１画素分の映像不良部位７に代わって使用画素に設定する。

これにより、歪み補正処理部２４は、使用画素補正処理部３４による非重複領域内検出時第２補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。

なお、使用画素補正処理部３４は、非重複領域内検出時第２補正処理の際に、前記周辺画素の平均画素値を有する画素の代わりに、周辺画素のいずれか１つを使用画素に設定するようにしてもよい。この場合に、周辺画素のいずれを使用画素とするかについては、コンセプトに応じて種々選択することができ、例えば、重み付け等によって映像不良部位７に相当する画素に対して座標が最も近くなる周辺画素を使用画素としてもよい。

この他にも、さらに、使用画素補正処理部３４は、映像不良部位検出部２７によって、任意の一つのカメラ１４，１５，１６，１７における重複領域５Ｂ内に映像不良部位が検出されている場合には、この重複領域５Ｂとの撮影映像の重複部分を有するような他のカメラ１４，１５，１６，１７の当該重複部分における撮影映像に基づいて、使用画素の補正として、重複領域内検出時補正処理を行うようになっている。

なお、映像不良部位が検出されている領域が重複領域５Ｂであることについては、分割部３２による使用映像領域５の分割結果に基づいて把握することができる。

ここで、重複領域内検出時補正処理は、前記他のカメラ１４，１５，１６，１７の重複部分における撮影映像の中から、前記任意の一つのカメラ１４，１５，１６，１７の重複領域５Ｂ内に検出されている映像不良部位と同一箇所の撮影結果に相当する画素を割り出し、割り出された画素を、前記重複領域５Ｂ内に検出されている映像不良部位に相当する画素に代わって使用画素とすることによって使用画素を補正する処理とされている。

より具体的な例としては、図５に示すように、重複領域内検出時補正処理の対象となっている左サイドカメラ１５の使用映像領域５内の映像において、この左サイドカメラ１５の使用映像領域５における重複領域５Ｂに、予め座標指定等によって設定された１画素分の使用画素（補正前における使用画素）として、１画素分の映像不良部位７が検出されている場合を考える。

なお、この左サイドカメラ１５の使用映像領域５における重複領域５Ｂは、その車両前方側（図５における右側）の領域部分に、フロントカメラ１４との撮影映像の重複部分を有しており、その車両後方側（図５における左側）の領域部分に、バックカメラ１７との撮影映像の重複部分を有している。

また、図５における１画素分の映像不良部位７は、フロントカメラ１４との撮影映像の重複部分に相当する位置に結像されている。

この場合における重複領域内検出時補正処理を行うには、使用画素補正処理部３４は、まず、図５における１画素分の映像不良部位７の左サイドカメラ１５における撮像面座標位置を把握した上で、この撮像面座標位置に対応するフロントカメラ１４の撮像面座標位置（以下、対応座標位置と称する）を求める。ここで、フロントカメラ１４の対応座標位置は、左サイドカメラ１５における前記１画素分の映像不良部位７が結像されている撮像面座標位置に本来（映像不良部位７がない場合に）結像されるべき物体が結像されている前記フロントカメラ１４の撮像面座標位置とされている。なお、これら両カメラ１４，１５の撮像面座標位置の対応関係は、両カメラ１４，１５の内部パラメータおよび外部パラメータに基づいて予め把握しておくことができる。

そして、使用画素補正処理部３４は、求められたフロントカメラ１４の対応座標位置に結像されている１画素を、左サイドカメラ１５における映像不良部位７に対応する画素として割り出し、割り出された１画素を、当該映像不良部位７に代わって使用画素に設定する。

これにより、歪み補正処理部２４は、使用画素補正処理部３４による重複領域内検出時補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。

なお、重複領域内検出時補正処理は、車両の走行の如何を問わずに行うことができる。

以上の構成によれば、非重複領域５Ａ内に映像不良部位が検出され且つ車両が走行している場合には、車速と舵角情報と最新の撮影映像に対する所定フレーム前の撮影映像とに基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。また、非重複領域５Ａ内に映像不良部位が検出され且つ車両が静止している場合には、映像不良部位の周辺の画素に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。さらに、重複領域５Ｂ内に映像不良部位が検出されている場合には、他のカメラの重複部分における撮影映像に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。

このようにして生成された車両周辺画像１は、たとえ映像不良部位を含む使用映像領域５内の映像を使用して生成されたものであっても、使用画素の補正によって映像不良部位の影響が解消されるため、例えば、図８に示したように画像不良部位のない高画質な車両周辺画像１となる。
（第２実施形態）
以下、本発明に係る車両周辺監視装置の第２実施形態について、第１実施形態との相違点を中心として図６および図７を参照して説明する。

なお、本実施形態における車両周辺監視装置は、外部構成は、図１に示した第１実施形態と同様であるので、本実施形態における車両周辺監視装置の説明に際しても、図１と同様の符号を用いて説明する。

本実施形態における車両周辺監視装置１についての第１実施形態との主たる相違点は、分割部３２による使用映像領域５の分割方法と、使用画素補正処理部３４による使用画素の補正方法とにある。

すなわち、図６に示すように、本実施形態において、分割部３２は、各カメラ１４，１５，１６，１７の使用映像領域５ごとに、使用映像領域５を、第１の領域５ａ、第２の領域５ｂおよび第３の領域５ｃの３つの領域５ａ，５ｂ，５ｃに分割した状態として把握するようになっている。

ここで、第１の領域５ａは、他のカメラ１４，１５，１６，１７との撮影映像の重複部分を有しないような領域である非重複領域であって、当該領域５ａにおける１画素分の使用画素が、１画素分の車両周辺画像１の生成に使用され、かつ、使用画素と使用画素以外の画素である非使用画素とが混在するような領域とされている。なお、非使用画素は、車両周辺画像１の生成には使用されない画素と同義である。

また、第２の領域５ｂは、非重複領域であって、１画素分の使用画素が、複数画素分の車両周辺画像１の生成に使用され、かつ、当該領域５ｂ内における全画素が、使用画素として車両周辺画像１の生成に使用されている領域とされている。

さらに、第３の領域５ｃは、他のカメラ１４，１５，１６，１７との撮影映像の重複部分を有するような領域である重複領域からなる。なお、この第３の領域５ｃも、第２の領域５ｂと同様に、１画素分の使用画素が、複数画素分の車両周辺画像１の生成に使用され、かつ、当該領域５ｂ内における全画素が、使用画素として車両周辺画像１の生成に使用されている。さらに、第３の領域５ｃは、１画素分の使用画素を使用して生成される車両周辺画像１の画素数が、第２の領域５ｂよりも多い領域とされている。

また、図６に示すように、第１の領域５ａは、使用映像領域５における中央部の所定範囲を占め、第2の領域５ｂは、第１の領域５ａの外側周辺部に、第３の領域５ｃは、第２の領域５ｂの外側周辺部に形成されている。

そして、本実施形態において、使用画素補正処理部３４は、映像不良部位検出部２７によって第１の領域５ａ内に映像不良部位が検出されている場合には、第１の領域５ａ内に検出されている映像不良部位の周辺に存在する非使用画素に基づいて、使用画素の補正として、第１領域内検出時補正処理を行うようになっている。

このとき、使用画素補正処理部３４は、映像不良部位が第１の領域５ａ内において検出されていることについては、分割部３２による分割結果に基づいて把握することができる。

ここで、第１領域内検出時補正処理は、第１の領域５ａ内に検出されている映像不良部位の周辺に存在する画素に基づいて、第１の領域５ａ内に検出されている映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された画素を、当該映像不良部位に相当する画素に代わって使用画素とすることによって使用画素の補正を行う処理とされている。

より具体的な例としては、図７に示すように、第１の領域５ａ内に、予め座標指定等によって設定された１画素分の使用画素（補正前における使用画素）として、１画素分の映像不良部位７が検出されている場合を考える。

この場合における第１領域内検出時補正処理を行うには、使用画素補正処理部３４は、例えば、図７に示すように、この１画素分の映像不良部位７を囲む周辺の４個の非使用画素の平均画素値を算出し、算出された平均画素値を有するような１画素を、映像不良部位７に代替すべき画素として割り出す。

そして、使用画素補正処理部３４は、第１領域内検出時補正処理においては、前記のようにして割り出された１画素を、前記１画素分の映像不良部位７に代わって使用画素に設定する。

これにより、歪み補正処理部２４は、使用画素補正処理部３４による第１領域内検出時補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。

なお、使用画素補正処理部３４は、映像不良部位７を囲む周辺画素のいずれかを使用画素に設定するようにしてもよい。

また、使用画素補正処理部３４は、映像不良部位検出部２７によって第２の領域５ｂ内に映像不良部位が検出されている場合であって車両が走行している場合には、車速取得部２９の取得結果と、舵角情報取得部３０の取得結果と、最新の車両周辺画像１の生成に用いられようとしている最新の使用映像領域５内の映像（撮影映像）に対する前記所定フレーム前の使用映像領域５内の映像（撮影映像）とに基づいて、使用画像の補正としての第２領域内検出時第１補正処理を行うようになっている。

このとき、使用画素補正処理部３４は、映像不良部位が第２の領域５ｂ内において検出されていることについては、分割部３２による分割結果に基づいて把握することができる。

ここで、第２領域内検出時第１補正処理は、前記所定フレーム前の使用映像領域５（第２の領域５ｂ）内の映像における前記所定フレーム後において映像不良部位と同一位置に結像されるべき画素を割り出し、割り出された画素を、第２の領域５ｂ内に検出されている映像不良部位に相当する画素に代わって使用画素とすることによって使用画素を補正する処理とされている。

なお、この第２領域内検出時第１補正処理は、前述した第１実施形態における非重複領域内検出時第１補正処理と基本原理が同様であるので、詳細は非重複領域内検出時第１補正処理の説明に委ねることにする。

そして、第２領域内検出時第１補正処理が行われた場合には、歪み補正処理部２４は、使用画素補正処理部３４による第２領域内検出時第１補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。

さらに、使用画素補正処理部３４は、映像不良部位検出部２７によって第２の領域５ｂ内に映像不良部位が検出されている場合であって車両が静止している場合には、第２の領域５ｂ内に検出されている映像不良部位の周辺に存在する画素に基づいて、使用画素の補正として、第２領域内検出時第２補正処理を行うようになっている。

ここで、第２領域内検出時第２補正処理は、第２の領域５ｂ内に検出されている映像不良部位の周辺に存在する画素（他の使用画素）に基づいて、第２の領域５ｂ内に検出されている映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された画素を、当該映像不良部位に相当する画素に代わって使用画素とすることによって使用画素の補正を行う処理とされている。

なお、この第２領域内検出時第２補正処理は、前述した第１実施形態における非重複領域内検出時第２補正処理と基本原理が同様であるので、詳細は非重複領域内検出時第１補正処理の説明に委ねることにする。

そして、第２領域内検出時第２補正処理が行われた場合には、歪み補正処理部２４は、使用画素補正処理部３４による第２領域内検出時第２補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。

さらにまた、使用画素補正処理部３４は、映像不良部位検出部２７によって、任意の一つのカメラ１４，１５，１６，１７における第３の領域５ｃ内に映像不良部位が検出されている場合には、この第３の領域５ｃとの撮影映像の重複部分を有するような他のカメラ１４，１５，１６，１７の当該重複部分における撮影映像に基づいて、使用画素の補正として、第３領域内検出時補正処理を行うようになっている。

このとき、使用画素補正処理部３４は、映像不良部位が第３の領域５ｃ内において検出されていることについては、分割部３２による分割結果に基づいて把握することができる。

ここで、第３領域内検出時補正処理は、前記他のカメラ１４，１５，１６，１７の重複部分における撮影映像の中から、前記任意の一つのカメラ１４，１５，１６，１７の第３の領域５ｃ内に検出されている映像不良部位と同一箇所の撮影結果に相当する画素を割り出し、割り出された画素を、前記第３の領域５ｃ内に検出されている映像不良部位に相当する画素に代わって使用画素とすることによって使用画素を補正する処理とされている。

なお、この第３領域内検出時第２補正処理は、前述した第１実施形態における重複領域内検出時補正処理と基本原理が同様であるので、詳細は重複領域内検出時補正処理の説明に委ねることにする。

そして、第３領域内検出時補正処理が行われた場合には、歪み補正処理部２４は、使用画素補正処理部３４による第３領域内検出時補正処理後の使用画素を、映像不良部位に相当する画素に代わって歪み補正処理に用いることになる。

以上の構成によれば、第１の領域５ａ内に映像不良部位が検出されている場合には、映像不良部位の周辺の非使用画素に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。また、第２の領域５ｂ内に映像不良部位が検出され且つ車両が走行している場合には、車速と舵角情報と前記所定フレーム前の撮影映像とに基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。さらに、第２の領域５ｂ内に映像不良部位が検出され且つ車両が静止している場合には、映像不良部位の周辺の画素に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。さらにまた、第３の領域５ｃ内に映像不良部位が検出されている場合には、他のカメラ１４，１５，１６，１７の重複部分における撮影映像に基づいて、映像不良部位に相当する画素に代わる使用画素を割り出して車両周辺画像１の生成に使用することができる。

このようにして生成された車両周辺画像１は、たとえ映像不良部位を含む使用映像領域５内の映像を使用して生成されたものであっても、使用画素の補正によって映像不良部位の影響が解消されるため、図８に示したように画像不良部位のない高画質な車両周辺画像１となる。

なお、本発明は、前述した実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

本発明に係る車両周辺監視装置の第１実施形態を示すブロック図本発明に係る車両周辺監視装置の第１実施形態において、使用映像領域の分割状態を示す図本発明に係る車両周辺監視装置の第１実施形態において、非重複領域内検出時第１補正処理を説明するための説明図本発明に係る車両周辺監視装置の第１実施形態において、非重複領域内検出時第２補正処理を説明するための説明図本発明に係る車両周辺監視装置の第１実施形態において、重複領域内検出時補正処理を説明するための説明図本発明に係る車両周辺監視装置の第２実施形態において、使用映像領域の分割状態を示す図本発明に係る車両周辺監視装置の第２実施形態において、第１領域内検出時補正処理を説明するための説明図車両周辺画像の一例を示す図車両周辺画像の生成に使用されるカメラの撮影映像を示す図使用領域内への映像不良部位の結像状態を示す図図１０における映像不良部位の結像を反映した車両周辺画像上への画像不良部位の形成状態を示す図

符号の説明

１車両周辺画像
５使用映像領域
５Ａ非重複領域
５Ｂ重複領域
５ａ第１の領域
５ｂ第２の領域
５ｃ第３の領域
７映像不良部位
８画像不良部位
１２車両周辺監視装置
１４フロントカメラ
１５左サイドカメラ
１６右サイドカメラ
１７バックカメラ
２１車両周辺画像表示処理部
２２ディスプレイ
２４歪み補正処理部
２６視点変換処理部
２７映像不良部位検出部
２９車速取得部
３０舵角情報取得部
３２分割部
３４補正処理部

Claims

車両に搭載され、広角レンズを用いて前記車両の周辺における所定の撮影領域を撮影可能とされた複数台のカメラと、
これら複数台のカメラのそれぞれの撮影映像における各カメラごとの所定の使用映像領域内の映像を使用することによって、前記車両およびその周辺を前記車両の上方から俯瞰したような画像である車両周辺画像を生成して表示部に表示する車両周辺画像表示処理手段と
を備えた車両周辺監視装置であって、
車両周辺監視装置本体は、
前記複数台のカメラのそれぞれの撮影映像に基づいて、各カメラの汚れまたは傷を原因とした映像不良部位を、各カメラごとの前記使用映像領域内において検出可能とされた映像不良部位検出手段と、
前記車両の走行速度を取得する車速取得手段と、
前記車両の舵角情報を取得する舵角情報取得手段と
を備え、
前記車両周辺画像表示処理手段は、
前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用映像領域内の映像から抽出された所定の使用画素を使用することによって、当該使用映像領域内の映像の歪みを補正するための歪み補正処理を行う歪み補正処理手段と、
前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用画素を使用することによって、前記使用映像領域内の映像を前記車両の上方の仮想視点から俯瞰したような画像へと変換するための視点変換処理を行う視点変換処理手段と、
前記複数台のカメラの使用映像領域ごとに、前記使用映像領域を、前記複数台のカメラにおける他のカメラとの撮影映像の重複部分を有しないような領域である非重複領域と、前記他のカメラとの撮影映像の重複部分を有するような領域である重複領域とに分割した状態として把握する分割手段と、
この分割手段の分割結果および前記映像不良部位検出手段の検出結果に基づいて、前記複数台のカメラの前記使用映像領域内の映像ごとに前記使用画素の補正を行う使用画素補正処理手段と
を備えており、
前記使用画素補正処理手段は、
前記映像不良部位検出手段によって前記非重複領域内に映像不良部位が検出されている場合であって前記車両が走行している場合には、前記車速取得手段の取得結果と、前記舵角情報取得手段の取得結果と、最新の前記車両周辺画像の生成に用いられようとしている最新の撮影映像に対する所定フレーム前の撮影映像とに基づいて、前記所定フレーム前の撮影映像における所定フレーム後において前記映像不良部位と同一位置に結像されるべき画素を割り出し、割り出された前記画素を、前記非重複領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、
前記映像不良部位検出手段によって前記非重複領域内に映像不良部位が検出されている場合であって前記車両が静止している場合には、前記非重複領域内に検出されている前記映像不良部位の周辺に存在する画素に基づいて、前記非重複領域内に検出されている前記映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された前記画素を、当該映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、
前記映像不良部位検出手段によって前記重複領域内に映像不良部位が検出されている場合には、前記他のカメラの前記重複部分における撮影映像の中から、当該映像不良部位と同一箇所の撮影結果に相当する画素を割り出し、割り出された前記画素を、前記重複領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成されていること
を特徴とする車両周辺監視装置。
前記非重複領域内に映像不良部位が検出されている場合であって前記車両が静止している場合における前記代替すべき画素は、前記非重複領域内に検出されている前記映像不良部位の周辺に存在する所定の複数の画素の平均画素値を有するような画素とされていること
を特徴とする請求項１に記載の車両周辺監視装置。
車両に搭載され、広角レンズを用いて前記車両の周辺における所定の撮影領域を撮影可能とされた複数台のカメラと、
これら複数台のカメラのそれぞれの撮影映像における各カメラごとの所定の使用映像領域内の映像を使用することによって、前記車両およびその周辺を前記車両の上方から俯瞰したような画像である車両周辺画像を生成して表示部に表示する車両周辺画像表示処理手段と
を備えた車両周辺監視装置であって、
車両周辺監視装置本体は、
前記複数台のカメラのそれぞれの撮影映像に基づいて、各カメラの汚れまたは傷を原因とした映像不良部位を、各カメラごとの前記使用映像領域内において検出可能とされた映像不良部位検出手段と、
前記車両の走行速度を取得する車速取得手段と、
前記車両の舵角情報を取得する舵角情報取得手段と
を備え、
前記車両周辺画像表示処理手段は、
前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用映像領域内の映像から抽出された所定の使用画素を使用することによって、当該使用映像領域内の映像の歪みを補正するための歪み補正処理を行う歪み補正処理手段と、
前記複数台のカメラの前記使用映像領域内の映像ごとに、前記使用画素を使用することによって、前記使用映像領域内の映像を前記車両の上方の仮想視点から俯瞰したような画像へと変換するための視点変換処理を行う視点変換処理手段と、
前記複数台のカメラの使用映像領域ごとに、前記使用映像領域を、前記複数台のカメラにおける他のカメラとの撮影映像の重複部分を有しないような領域である非重複領域であって、１画素分の前記使用画素が１画素分の前記車両周辺画像の生成に使用され、かつ、前記使用画素と前記使用画素以外の画素である非使用画素とが混在するような領域である第１の領域と、前記非重複領域であって、１画素分の前記使用画素が複数画素分の前記車両周辺画像の生成に使用され、かつ、全画素が車両周辺画像の生成に使用されるような領域である第２の領域と、前記他のカメラとの撮影映像の重複部分を有するような領域である重複領域からなる第３の領域とに分割した状態として把握する分割手段と、
この分割手段の分割結果および前記映像不良部位検出手段の検出結果に基づいて、前記複数台のカメラの前記使用映像領域内の映像ごとに前記使用画素の補正を行う使用画素補正処理手段と
を備えており、
前記使用画素補正処理手段は、
前記映像不良部位検出手段によって前記第１の領域内に映像不良部位が検出されている場合には、前記第１の領域内に検出されている前記映像不良部位の周辺に存在する前記非使用画素に基づいて、前記第１の領域内に検出されている前記映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された前記画素を、当該映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、
前記映像不良部位検出手段によって前記第２の領域内に映像不良部位が検出されている場合であって前記車両が走行している場合には、前記車速取得手段の取得結果と、前記舵角情報取得手段の取得結果と、最新の前記車両周辺画像の生成に用いられようとしている最新の撮影映像に対する所定フレーム前の撮影映像とに基づいて、前記所定フレーム前の撮影映像における所定フレーム後において前記映像不良部位と同一位置に結像されるべき画素を割り出し、割り出された前記画素を、前記第２の領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、
前記映像不良部位検出手段によって前記第２の領域内に映像不良部位が検出されている場合であって前記車両が静止している場合には、前記第２の領域内に検出されている前記映像不良部位の周辺に存在する画素に基づいて、前記第２の領域内に検出されている前記映像不良部位に相当する画素に代替すべき画素を割り出し、割り出された前記画素を、当該映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成され、
前記映像不良部位検出手段によって前記第３の領域内に映像不良部位が検出されている場合には、前記他のカメラの前記重複部分における撮影映像の中から、当該映像不良部位と同一箇所の撮影結果に相当する画素を割り出し、割り出された前記画素を、前記第３の領域内に検出されている前記映像不良部位に相当する画素に代わって前記使用画素とする補正を行うように形成されていること
を特徴とする車両周辺監視装置。
前記第１の領域内に映像不良部位が検出されている場合における前記代替すべき画素は、前記第１の領域内に検出されている前記映像不良部位の周辺に存在する所定の複数の前記非使用画素の平均画素値を有するような画素とされていること
を特徴とする請求項３に記載の車両周辺監視装置。
前記第２の領域内に映像不良部位が検出されている場合であって前記車両が静止している場合における前記代替すべき画素は、前記第２の領域内に検出されている前記映像不良部位の周辺に存在する所定の複数の画素の平均画素値を有するような画素とされていること
を特徴とする請求項３または請求項４に記載の車両周辺監視装置。
前記映像不良部位検出手段は、前記車速取得手段の取得結果と、前記舵角情報取得手段の取得結果とを用いることによって、前記車両周辺画像上の各画素についてのフレームの変化にともなう予測される変位量を算出した上で、前記使用映像領域内の映像における前記フレームの変化にかかわらず前記算出された前記変位量を示していない前記車両周辺画像上の画素に対応する部位を、前記映像不良部位として検出するように形成されていること
を特徴とする請求項１乃至請求項５のいずれか１項に記載の車両周辺監視装置。
前記映像不良部位検出手段は、前記使用映像領域内の映像におけるフレームの変化にかかわらず映像が変化しない部位を前記映像不良部位として検出するように形成されていること
を特徴とする請求項１乃至請求項５のいずれか１項に記載の車両周辺監視装置。
前記広角レンズが、魚眼レンズとされていること
を特徴とする請求項１乃至請求項７のいずれか１項に記載の車両周辺監視装置。