JP4900377B2 - 画像処理装置 - Google Patents

Description

本発明は、車両に搭載されて撮像装置により撮像される画像の処理を行う画像処理装置に関する。

従来より、車両に搭載された車載カメラにより撮像される画像を車内のディスプレイに表示する車載表示システムや、路側に設置された路側カメラにより撮像される画像に基づいて渋滞や事故等の状況を示す各種の交通情報を生成し、これら交通情報を走行道路上の各車両に提供する情報提供システムが知られている。なお、一般的に情報提供システムでは、路側カメラにより走行道路（路面）を含む所定の領域を撮像することで、リアルタイムに得られる画像（撮像画像）と、路面上に車両が通行していないときに得られる画像（道路画像）とを比較して、路面上の車両を抽出（検出）する車両検出処理を行う。

この種の車載表示システムや情報提供システムでは、夜間や暗い場所（例えば、トンネル）において路面に反射する反射像（路面反射光）の影響により、ディスプレイの視認性や車両検出処理の精度が低下してしまうことが問題視されている。

このため、例えば情報提供システムにおいて、撮像画像から車灯だけを抽出して路面上の車両を検出するために、周知の二値化処理およびラベリング処理によって撮像画像から抽出された高輝度領域の円形度を算出し、その円形度に基づいて高輝度領域を車灯領域と路面反射領域とに識別する画像処理装置が提案されている（例えば、特許文献１参照）。また、例えば車載表示システムでは、この画像処理装置により識別された路面反射領域の輝度を低下させることにより、ディスプレイの視認性を向上させることが考えられる。
特開２００７−１９３７０２号公報

しかし、従来の車載表示システムでは、画像処理装置により路面反射領域を認識する必要があるため、その認識が必ずしも正しいとは限らず、撮像画像から路面反射光を適切に除去することができない場合があるという問題があった。

本発明は、上記問題点を解決するために、撮像画像における路面反射光の影響を好適に抑制可能な画像処理装置を提供することを目的とする。

上記目的を達成するためになされた発明である請求項１に記載の画像処理装置は、車両に搭載される装置であり、同一の路面領域を異なる位置から撮像する複数の撮像装置に接続されて構成されている。なお、以下では、複数の撮像装置のうち、予め決められた一つの装置を基準撮像装置、その撮像装置以外の一つ又は複数の装置を対象撮像装置と呼ぶことにする。

具体的に本発明の画像処理装置では、以下で詳述する基本原理に着目している。つまり、図７に示すように、３次元空間内で例えば互いに平行な３つの面（平面Ｉ，平面ＩＩ，平面ＩＩＩ）、平面Ｉ，平面ＩＩ上にそれぞれ配置された物体Ｘ，Ｙ、物体Ｘ，Ｙを平面ＩＩＩ上の異なる位置から撮像する撮像装置Ｅ，撮像装置Ｆを仮定する。そして、画像Ｂにおける物体Ｘが画像Ａにおける物体Ｘに一致するように画像Ｂを並進（平行移動）させて画像Ａに合成すると、合成画像において平面Ｉが基準平面となり、基準平面上の物体が一致することになるが、基準平面と異なる平面ＩＩ上の物体Ｙが一致しなく（ずれることに）なる。逆に、画像Ａにおける物体Ｙに画像Ｂ上の物体Ｙを合わせると、合成画像において平面ＩＩが基準平面となり、基準平面と異なる平面Ｉ上の物体Ｘがずれることになる。

このような基本原理を本発明に適用すると、以下のようになる。なお、前述した複数の撮像装置による各撮像画像のうち、基準撮像装置による撮像画像を基準画像、対象撮像装置による撮像画像を対象画像、各撮像画像（基準画像および対象画像）において、路面領域に対応する画像領域を画像路面領域、このうち、基準画像における画像路面領域を基準路面領域、対象画像における画像路面領域を対象路面領域と定義する。

つまり、本発明の画像処理装置では、画像取得手段が複数の撮像装置（基準撮像装置および対象撮像装置）から各撮像画像を取得し、画像合成手段が、対象路面領域と基準路面領域とが一致するように対象画像を視点変換し、その変換後の対象画像を変換画像として、その変換画像を合成する処理（以下、合成処理という）を行う。なお、合成処理は、変換画像と基準画像とを合成する処理に限らず、複数の変換画像だけを合成する処理であってもよい。

このように３次元空間内の路面領域を基準平面とすることにより、合成画像において基準平面と異なる平面上の物体がずれることになる。ここで重要なことは、基準平面に対して、正（プラス）の高さを有する物体（街灯光を含む）だけでなく、負（マイナス）の高さを有する物体（路面反射光を含む）もずれることである（図８参照）。

この理由をわかりやすく説明すると、図９に示すように、例えば撮像画像における路面反射光は、路面領域（基準平面）上に形成されているが、基準平面に対して、プラスの高さを有する街灯光から反射（及び、乱反射）されて撮像装置に投影されたものであり、マイナスの同じ高さを有する街灯光から直接撮像装置に投影されたものと言い換えることができるためである。このため、視点変換後の合成画像において路面領域上の区画線（例えば、白線）等が一致するのに対して、路面反射光がずれることになる（図８参照）。

なお、視点変換とは、周知の「並進」（平行移動），「剛体変換」（回転と平行移動），「相似変換」（回転と平行移動とスケール変化），「アフィン変換」（相似変換に斜めに歪みを加えたもの）等を部分群とする画像変換をいう。また、合成画像とは、一般的に合成前の撮像画像（基準画像および変換画像）の数をＮとして、各撮像画像（基準画像および変換画像）を１／Ｎの合成割合で合成することを指す。

さらに、本発明の画像処理装置では、画像合成手段により合成された画像を合成画像、その合成画像における画像路面領域を合成路面領域として、基準画像のうち基準路面領域を合成路面領域に置換する処理（以下、置換処理という）を行うことにより画像を生成する。

このように構成された画像処理装置では、路面領域が基準平面となり、合成画像において、基準平面と異なる平面上の物体（街灯光や路面反射光など）がずれることにより、その物体の輝度が所定の合成割合（１／Ｎ）で薄まる。そして、合成画像における路面領域を合成路面領域として、基準画像において路面領域だけが合成路面領域に置換することで画像が生成されるため、その生成画像において路面領域以外の領域には、基準画像における物体（街灯光等）が合成前の状態で残る。

したがって、本発明の画像処理装置によれば、生成画像において路面領域内の物体（路面反射光など）の輝度だけが低下（分散）することになり、ひいては、撮像画像における路面反射光の影響を好適に抑制することができる。

なお、撮像装置は、例えば路側に設置されて（又は、他車両に搭載されて）、撮像画像を車両に送信するように構成されてもよいが、請求項２に記載のように、車両（自車両）に搭載されることが望ましい。

この場合、車両外部から撮像画像を受信せずに済むため、通信エラーや画像劣化、通信速度の低下等を考慮する必要がなく、ひいては、画像処理に係る精度や処理速度の低下を抑制することができる。

ところで、例えば本発明の画像処理装置が車載表示システムに用いられる場合、生成画像において路面領域内の物体に路面反射光以外の物体（例えば、他車両等；以下、障害物と総称する）が含まれていると、ディスプレイを視認する上で運転者にとって重要な情報が除去されてしまうことになる。

そこで、請求項３に記載のように、画像処理装置は、路面領域上の障害物を検出する障害物検出装置に接続され、距離取得手段が、障害物と車両との相対距離を表す情報（距離情報）を取得し、置換禁止手段が、距離取得手段により取得した距離情報に基づいて、基準路面領域上の位置が上記の相対距離を越える領域に対しては画像置換手段による置換処理を禁止するように構成されることが望ましい。なお、基準路面領域上の位置は、複数の撮像装置のキャリブレーション（周知のカメラキャリブレーション）に基づいて、車両を起点とする路面領域上の距離に予め対応付けられていることを前提とする。

この場合、例えばディスプレイの表示画像において路面反射光の影響だけを抑制し、車両等の障害物を合成前の状態で残すことができる。なお、障害物検出装置としては、周知のミリ波や超音波を用いたレーダ装置等を利用すればよい。また、基準路面領域上の位置は、予め障害物検出装置とカメラ画像とのキャリブレーション、及びカメラの取り付け位置情報により算出される。

ここで、請求項４に記載のように、画像路面領域は、撮像装置の内部パラメータ及び外部パラメータ（即ち、カメラパラメータ）に基づいて、撮像装置毎に固定されてもよい。なお、カメラパラメータとは、カメラキャリブレーションにより予め特定されるものであり、このうち内部パラメータが撮像装置の焦点距離等に基づくものを指し、外部パラメータが撮像装置の位置や姿勢等に基づくものを指す。

この場合、各撮像画像において予め固定された路面領域（固定路面領域）に基づいて対象画像を視点変換すればよいことになるため、例えば固定路面領域上の区画線（白線等）やその区画線の消失点が一致するように画像変換することが考えられ、ひいては画像処理を容易にすることができる。その一方で例えば車両のカーブ走行時に、実際の撮像画像における路面領域が固定路面領域に対してずれてしまうことが懸念される。

そこで、請求項５に記載のように、画像処理装置は、路面領域上の区画線を検出する区画線検出手段を備え、画像路面領域が、区画線検出手段により検出した区画線に基づいて撮像画像毎に設定されることが望ましい。なお、区画線検出手段としては、一般的に周知のエッジ検出やHough変換等を用いて特徴点を抽出し、撮像画像全体における特徴点の繋がりに基づき区画線を検出する処理（検出処理）を行う。また、このような区画線検出手段は、全ての撮像画像に対して区画線を検出するようにしてもよい。或いは、それら撮像画像のうちの一つ（例えば、基準画像）に対して区画線が検出されれば、その他の撮像画像（例えば、対象画像）における画像路面領域（例えば、対象路面領域）については、各撮像装置のカメラパラメータに基づいて設定され得る。

これらの場合、車両の挙動にかかわらずに撮像画像における路面反射光の影響を好適に抑制することができる。その一方で例えば本発明の画像処理装置が、駐車支援や車線維持といった車両の走行支援に係る制御を行う車両制御システムに用いられる場合、撮像画像における路面反射光の影響により、上記の検出処理の精度が低下する虞があるため、区画線等を適切に検出できないことが考えられる。

そこで、請求項６に記載のように、画像処理装置では、路面標示検出手段が、画像置換手段により置換された画像（置換画像）又は合成画像に基づいて、路面領域上の路面標示を検出するように構成されてもよい。なお、路面標示とは、路面上にペイントされたものを総称し、速度制限や一次停止などを表す道路標示や、白線等のように走行車線の境界を表す区画線を含むものをいう。

このように構成された画像処理装置では、路面標示を検出する際に、画像置換手段により路面反射光の影響が抑制された画像を用いるため、その検出精度を向上させることができる。従って、車両制御システムでは、画像処理装置による処理結果に基づいて、例えば白線位置や速度制限、一時停止などの路面情報を運転者に適切に報知したり、或いは路面情報に基づいて各種の走行制御を適切に行ったりすることができる。

以下に、本発明の実施形態を図面と共に説明する。

＜全体構成＞
図１は、本発明が適用された画像処理装置を備える車両制御システム１の全体構成を示すブロック図、図２は、車両制御システム１の構成要素としてのカメラアレイ１０の配置を示す概略図である。

図１に示すように、車両制御システム１は、車両の前方側（車両前方）の路面を含む画像を撮像する複数（本実施形態では、９台）の撮像装置（例えば、ＣＣＤカメラ）１１〜１９からなるカメラアレイ１０と、車両前方の所定検出範囲内に位置する物体を検知するレーダ装置２０と、カメラアレイ１０により撮像される画像（撮像画像）の処理を行う画像処理装置３０と、各種画像を表示する表示装置４０と、車両の走行支援に係る各種制御を行う制御装置５０とを備え、これら装置１０〜５０が映像線や車内ＬＡＮ（Local Area Network）等の通信線を介して接続されて構成されている。

このうち、カメラアレイ１０は、図２に示すように、複数の撮像装置１１〜１９が一直線上に配置された状態で、その配列方向が車幅方向（車両の横方向）となるように例えば車内の天井部に、各撮像装置１１〜１９がフロントガラス越しに同一の路面領域を異なる位置から撮像するように取り付けられている。そして、これら各撮像装置１１〜１９による各撮像画像を画像処理装置３０に出力するように構成されている。なお、各撮像装置１１〜１９の内部パラメータ（カメラの焦点距離等に基づくパラメータ）及び外部パラメータ（カメラの位置や姿勢等に基づくパラメータ）は、周知のカメラキャリブレーションにより予め設定されている。

図１に戻り、レーダ装置２０は、例えばＦＭＣＷ方式のいわゆる「ミリ波レーダ」として構成されたものである。具体的には、周波数変調されたミリ波帯のレーダ波を送受信することにより、車両の前方における他車両や障害物、歩行者等の対象物（以下、前方障害物と総称する）を検出（認識）し、これらの認識結果に基づき、前方障害物に関するターゲット情報を作成して、このターゲット情報を画像処理装置３０に出力する。

表示装置４０は、周知の液晶ディスプレイ，有機ＥＬディスプレイ，ＣＲＴ，ヘッドアップディスプレイ等のいずれかとして構成されたものであり、画像処理装置３０（及び制御装置５０）からの入力画像を表示する。

制御装置５０は、画像処理装置３０から入力される路面情報（後述する）に基づき、生成した画像を表示装置４０に出力したり、路面情報と、図示しない各種センサ（車速センサ，加速度センサ，ステアリングセンサ等）による検出結果とに基づき、車線維持制御を行ったりする。なお、制御装置５０は、車線維持制御として、例えば車両が走行車線を逸脱する可能性（逸脱可能性）を予測し、その逸脱可能性に応じて、注意喚起を表す注意画像を表示装置４０に出力したり、ステアリングに対して警報用の弱い操舵トルクを逸脱方向の反対側方向に付加したりする。

＜画像処理装置の構成＞
次に、図３は、本発明が適用された画像処理装置の構成を示すブロック図である。

図３に示すように、画像処理装置３０は、カメラアレイ１０における撮像装置１１〜１９からの各撮像画像（映像信号）を入力するための画像入力部３１と、画像入力部３１を介して入力される映像信号（アナログ信号）をデジタル信号に変換して出力するＡ／Ｄ変換部３２と、Ａ／Ｄ変換部３２から出力されるデジタル信号を画像データとして一時的に保持する画像メモリ部３３と、画像メモリ部３３から画像データを読み出して処理する画像処理部３０ａと、画像処理部３０ａによる処理結果を表示装置４０（及び制御装置５０）に出力するためのインターフェース（Ｉ／Ｆ）部３４とを備えている。そして、画像処理装置３０（詳しくは、画像処理部３０ａ）には、ヨーレートセンサやステアリングセンサ等のように車両の挙動を検出するための各種の挙動検出センサ３５が接続されている。

画像処理部３０ａは、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ及びバスライン等からなる周知のマイクロコンピュータを中心に構成されており、このうちＣＰＵが、ＲＡＭを作業エリアとして、ＲＯＭに記憶されたプログラムに基づき、以下で詳述する画像制御処理を実行する。なお、ＲＯＭには、カメラアレイ１０における撮像装置１１〜１９毎のカメラパラメータ（内部パラメータ及び外部パラメータ）が記憶されている。また、ＲＡＭは、画像メモリ部３３から読み出された撮像画像，後述する変換画像，合成画像を一時的に保持するための読出画像領域，変換画像領域，合成画像領域をそれぞれ有している。

＜画像制御処理＞
次に、図４は、画像処理部３０ａのＣＰＵが実行する画像制御処理の詳細を示すフローチャートである。なお、本処理は、画像処理装置３０（又は制御装置５０）の電源がオンにされると起動されて、その電源（又は車両のＩＧスイッチ）がオフにされるまで繰り返し実行される。

まず、本処理が開始されると、Ｓ１１０では、カメラアレイ１０における撮像装置１１〜１９による各撮像画像（図５参照）を、画像メモリ部３３から読み出して、ＲＡＭの読出画像領域に記憶し、Ｓ１２０に移行する。なお、画像記憶領域には、カメラアレイ１０における撮像装置１１〜１９うち、予め決められた一つの装置（以下、基準撮像装置という）１０ａによる撮像画像（以下、基準画像という；図５参照）と、基準撮像装置１０ａ以外の複数（本実施形態では、８台）の装置（以下、対象撮像装置という）１０ｂによる各撮像画像（以下、対象画像という）がそれぞれ識別可能に記憶される。

Ｓ１２０では、レーダ装置２０からターゲット情報を取得し、Ｓ１３０に移行する。なお、ターゲット情報には、前方障害物の検出または非検出を表す有無情報や、検出時の前方障害物と車両との相対距離を表す距離情報が含まれる。

Ｓ１３０では、Ｓ１１０で記憶した各撮像画像（基準画像および対象画像）において、路面領域に対応する画像領域（以下、画像路面領域という）を、ＲＯＭに記憶されているカメラパラメータに基づいて予め設定された領域に設定し、その設定した画像路面領域に基づいて、対象路面領域が基準路面領域に一致するように、ＲＡＭの読出画像領域に記憶されている各対象画像を視点変換する変換処理を行う。なお、対象路面領域とは、対象画像における画像路面領域を指し、基準路面領域とは、基準画像における画像路面領域を指す。また、変換処理では、例えば画像路面領域上の白線やその白線の消失点が一致するように画像変換する。このような画像変換については、周知であるため（例えば、特開２００２−３５２２２５号公報参照）、その詳細については説明を省略する。さらに、ここで変換された対象画像（以下、変換画像という）は、ＲＡＭの変換画像領域に記憶される。

続くＳ１４０では、ＲＡＭの変換画像領域に記憶されている（Ｓ１３０で生成された）変換画像と、ＲＡＭの読出画像領域に記憶されている（Ｓ１１０で読み出された）基準画像とを合成する処理（以下、合成処理という）を行う。なお、合成処理では、合成前の撮像画像（基準画像および変換画像）の数（本実施形態では、９枚）に等しい合成比率で各撮像画像（基準画像および変換画像）を合成する。また、ここで合成された撮像画像（以下、合成画像という；図５参照）は、ＲＡＭの合成画像領域に記憶される。

続くＳ１５０では、挙動検出センサ３５から入力される各種信号に基づいて、車両の挙動を示す検出値（例えば、ヨーレート）が所定の閾値を下回るか否かを判断し、ここで肯定判断した場合には、車両が直進または停止している（画像路面領域が固定されている）とみなして、Ｓ１６０に移行する。一方、否定判断した場合には、車両がカーブ走行している（画像路面領域が変動している）とみなして、Ｓ１７０に移行する。

Ｓ１６０では、Ｓ１３０で設定した画像路面領域をそのまま固定させた状態にして、Ｓ１９０に移行する。つまり、Ｓ１４０で合成した合成画像において、路面領域に対応する画像領域（以下、合成路面領域という；基準路面領域および対象路面領域を含む）を、ＲＯＭに記憶されているカメラパラメータに基づいて予め固定された領域（以下、固定路面領域という）とする。なお、固定路面領域は、カメラアレイ１０（撮像装置１１〜１９）の位置や姿勢、焦点距離などに基づいて予め特定されている。

一方、Ｓ１７０では、Ｓ１４０で合成した合成画像に基づいて、路面領域上の白線位置を検出する白線検出処理を行う。なお、白線検出処理では、例えば合成画像における水平ライン毎に輝度レベルが所定の閾値以上のレベル差を伴って変化する画素点（エッジ点）を抽出し、隣接する二つのエッジ点に挟まれる領域のうち輝度レベルが高い側の領域に属する画素点を白線候補点に設定する。そして、基準画像全体における白線候補点の繋がりに基づき白線位置を推定する。つまり、ここでは、白線以外の輝度が相対的に薄くなっている合成画像を用いることにより、エッジ点の抽出を行いやすくなることが適用される。

続くＳ１８０では、Ｓ１７０の白線検出処理による処理結果に基づいて、Ｓ１３０で設定した画像路面領域を変更する。具体的には、例えば基準画像における複数の白線位置（及び白線の消失点）により囲まれる領域を特定することにより、基準画像における画像路面領域（基準路面領域）を設定する。また、この設定された基準路面領域と、ＲＯＭに記憶されている各カメラパラメータ間の相対関係とに基づいて、Ｓ１４０で合成した合成画像において基準路面領域に対応する画素点を特定することにより、対象画像における画像路面領域（対象路面領域）を設定し、Ｓ１９０に移行する。

Ｓ１９０では、ＲＡＭの合成画像領域に記憶されている（Ｓ１４０で生成された）合成画像から、Ｓ１６０又はＳ１８０で設定された合成路面領域を、後述する置換処理において画像の置換対象となる領域（以下、置換路面領域という）として抽出し、Ｓ２００に移行する。

Ｓ２００では、Ｓ１２０で取得したターゲット情報（詳しくは、有無情報）に基づいて、路面領域上に前方障害物が存在するか否かを判断し、ここで肯定判断した場合にはＳ２１０に移行し、否定判断した場合にはＳ２２０に移行する。

Ｓ２１０では、Ｓ１２０で取得したターゲット情報（詳しくは、距離情報）に基づいて、Ｓ１９０で抽出された置換路面領域から、その置換路面領域上の画素点（位置）が、路面領域上の前方障害物と車両との相対距離を越える領域（つまり、上側の領域）を削除（カット）することにより、置換路面領域に前方障害物が含まれないように調整して、Ｓ２２０に移行する。

Ｓ２２０では、ＲＡＭの読出画像領域に記憶されている基準画像のうち、基準路面領域を、Ｓ１９０を経て抽出された置換路面領域に置換する処理（以下、置換処理という）を行って、Ｓ２３０に移行する。なお、ここでの置換対象となる基準路面領域には、例えばＳ２１０で置換路面領域が調整されている場合、その置換路面領域と同様に上側の領域がカットされた領域が適用される。

Ｓ２３０では、Ｓ２２０で置換された画像（以下、置換画像という；図５参照）を、Ｉ／Ｆ部３４を介して表示装置４０に出力して、Ｓ１１０に移行する。なお、ここでは、表示装置４０への出力に加えて、置換画像に基づきＳ１５０と同様の白線検出処理を行い、路面領域上の白線位置などを表す路面情報を生成し、その路面情報を制御装置５０に出力することも行う。

なお、上記実施形態において、Ｓ１１０が画像取得手段、Ｓ１３０及びＳ１４０が画像合成手段、Ｓ１９０及びＳ２２０が画像置換手段、Ｓ１２０が距離取得手段、Ｓ２１０が置換禁止手段、白線検出処理（Ｓ１７０，Ｓ２３０）が区画線検出手段，路面標示検出手段に相当する。

＜効果＞
以上説明したように、本実施形態の画像処理装置３０では、３次元空間内の路面領域を基準平面として各対象画像を視点変換し（Ｓ１３０）、各変換画像と基準画像とを合成することにより（Ｓ１４０）、基準平面に対してプラスの高さを有する物体（街灯台，街灯光，他車両等）、及びマイナスの高さを有する物体（路面反射光など）がずれて、これら物体の輝度が所定の合成割合（本実施形態では、１／９）に低減される。

そして、合成画像における路面領域（置換路面領域）を抽出することにより（Ｓ１９０，及び必要に応じてＳ２１０）、基準平面に対してプラスの高さを有する物体（街灯台，街灯光，他車両等）が合成画像から除去され、基準画像における基準路面領域を合成路面領域に置換することにより（Ｓ２２０）、置換画像を生成する。

したがって、本実施形態の画像処理装置３０によれば、基準平面に対してマイナスの高さを有する物体（路面反射光など）の輝度だけが低減された置換画像を生成することが可能となり、ひいては、撮像画像における路面反射光の影響を好適に抑制することができる。

また、画像処理装置３０では、車両が直進（又は、停止）していれば（Ｓ１５０；ＹＥＳ）、撮像画像毎に予め固定された画像路面領域を基準として（Ｓ１６０）、車両がカーブ走行していれば（Ｓ１５０；ＮＯ）、白線認識処理により撮像画像毎に設定される画像路面領域を基準として（Ｓ１７０，Ｓ１８０）、このうち対象路面領域が基準路面領域に一致するように、各対象画像を視点変換することになる。

したがって、画像処理装置３０によれば、車両の挙動に応じて、画像路面領域（基準路面領域および対象路面領域）の設定方法を好適に変更することができ、ひいては、画像処理に係る余計な制御を省略しつつ、路面反射光の影響を精度よく抑制することができる。

さらに、画像処理装置３０では、路面反射光の輝度が低減された置換画像に基づき白線検出処理を行うため、その検出精度を向上させることができ、ひいては、その検出結果に基づいて制御装置５０が行う各種制御（車線維持制御など）に係る精度を向上させることができる。

［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態のカメラアレイ１０は、９台の撮像装置１１〜１９が車両の前方側における同一の路面領域をフロントガラス越しに撮像するように一直線上に配列されて構成されているが、これに限らす、２台以上の複数の撮像装置が車両の外部における同一の路面領域（少なくともその一部）を撮像するように配置されていればよい。

なお、このような撮像装置が多く設置される（即ち、撮像画像の数が多い）ほど、画像制御処理による生成画像（置換画像）において路面反射光の輝度をより低減させることができるが、その場合、製造コストを含む設置コストが膨らんでしまうことが考えられる。

このため、例えば図５に示すように、車両の中央部，及び左右のサイドミラーに各１台の撮像装置を設置し、このうち中央部の撮像装置を基準撮像装置として、各サイドミラーの撮像装置（対象撮像装置）による撮像画像（対象画像）を、上記実施形態と同様に視点変換，合成，置換の各処理（画像制御処理）を行うようにしてもよい。この場合、各サイドミラーのいずれかの撮像装置により路面反射光が撮像されていれば、画像制御処理により生成される画像（生成画像）において、その路面反射光の輝度が低減されることになる。また、左右のサイドミラーの撮像装置は、路面領域のうち少なくとも左側半分，右側半分をそれぞれ撮像可能に設置されるとよい。この場合、中央部の撮像装置による撮像画像（基準画像）に路面反射光が撮像されていれば、左右いずれかのサイドミラーの撮像装置がその路面反射光を撮像していることになり、生成画像において路面反射光による影響を確実に抑制することができる。

また、これら撮像装置（上記実施形態のカメラアレイ１０を含む）は、例えば車両の後方側における同一の路面領域を撮像するように設置されてもよい。この場合、車両制御システム１は、制御装置５０が、画像処理装置３０から入力される路面情報に基づいて、例えば車両の後進に対する走行制御を行うことにより、周知の駐車支援制御システムとして適用され得る。

なお、複数の撮像装置の設置に関しては、例えばカメラアレイ１０において撮像装置１１〜１９の設置間隔が大きいほど、生成画像において路面反射光のずれが大きくなり、その設置間隔が小さいほど、生成画像において路面反射光が集積するので、これらのバランスを考慮して適宜調整されるとよい。例えば、表示装置４０における画像の視認性を優先させて、車両から所定距離の光源（街灯光）に対する路面反射光が画像合成時に適度に集積するように調整されてもよいし、白線認識処理（路面情報の生成）等を優先させて、上記の路面反射光が確実に分散するように調整されてもよい。

本発明が適用された画像処理装置３０を備える車両制御システム１の全体構成を示すブロック図。 車両制御システム１の構成要素としてのカメラアレイ１０の配置を示す概略図。 本発明が適用された画像処理装置３０の構成を示すブロック図。 画像処理部３０ａのＣＰＵが実行する画像制御処理の詳細を示すフローチャート。 画像制御処理により生成される画像（合成画像，置換画像）を説明するためのイメージ図。 他の実施形態における撮像装置の設置位置、各撮像画像、及び置換画像を説明するための概略図およびイメージ図。 本発明の基本原理を説明するための第一の説明図。 本発明の基本原理を説明するための第二の説明図。 本発明の基本原理を説明するための第三の説明図。

符号の説明

１…車両制御システム、１０…カメラアレイ、２０…レーダ装置、３０…画像処理装置、３０ａ…画像処理部、３１…画像入力部、３２…Ａ／Ｄ変換部、３３…画像メモリ部、３４…Ｉ／Ｆ部、３５…挙動検出センサ、４０…表示装置、５０…制御装置。

Claims (6)

1. 車両に搭載される画像処理装置において、
   同一の路面領域を異なる位置から撮像する複数の撮像装置から各撮像画像を取得する画像取得手段と、
   前記画像取得手段により取得した各撮像画像において前記路面領域に対応する画像領域を画像路面領域、前記複数の撮像装置のうち一つの撮像装置を基準撮像装置、該基準撮像装置による撮像画像を基準画像、該基準画像における前記画像路面領域を基準路面領域、前記複数の撮像装置のうち前記基準撮像装置以外の撮像装置による撮像画像を対象画像として、
   前記対象画像における前記画像路面領域である対象路面領域が前記基準路面領域と一致するように前記対象画像を視点変換し、その変換後の前記対象画像である変換画像を合成する画像合成手段と、
   前記画像合成手段により合成された画像を合成画像、該合成画像における前記画像路面領域を合成路面領域として、前記基準画像のうち前記基準路面領域を該合成路面領域に置換する置換処理を行う画像置換手段と、
   を備えることを特徴とする画像処理装置。
2. 前記複数の撮像装置は、前記車両に搭載されていることを特徴とする請求項１に記載の画像処理装置。
3. 前記基準路面領域上の位置は、前記複数の撮像装置のキャリブレーションに基づいて、前記車両を起点とする前記路面領域上の距離に予め対応付けられ、
   前記路面領域上の障害物を検出する障害物検出装置から、該障害物と前記車両との相対距離を取得する距離取得手段と、
   前記基準路面領域上の位置が前記距離取得手段により取得した相対距離を越える領域に対して、前記画像置換手段による置換処理を禁止する置換禁止手段と、
   を備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記画像路面領域は、前記撮像装置の内部パラメータ及び外部パラメータに基づいて、前記撮像画像毎に固定されていることを特徴とする請求項１ないし請求項３のいずれかに記載の画像処理装置。
5. 前記路面領域上の区画線を検出する区画線検出手段を備え、
   前記画像路面領域は、前記区画線検出手段により検出した区画線に基づいて前記撮像画像毎に設定されることを特徴とする請求項２または請求項３に記載の画像処理装置。
6. 前記画像置換手段により置換された画像を置換画像として、該置換画像または前記合成画像に基づいて前記路面領域上の路面標示を検出する路面標示検出手段を備えることを特徴とする請求項１ないし請求項４のいずれかに記載の画像処理装置。