JP4483305B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、撮像画像を用いて車両周辺を監視する車両周辺監視装置に関する。

従来から、カメラで撮像した撮像画像内から特定の物体を画像処理により検出し、運転者の視覚を支援する技術が広く知られている。この種の技術において、障害物が撮像画像内から消滅した場合、当該消滅以前の画像処理により得た障害物の位置に基づいて、消滅後の物体の移動位置を予測する技術が知られている（例えば、特許文献１参照）。
特開平９−５４８９８号公報

ところで、撮像画像内で一旦物体を認識した後は、車両の移動状態の検出結果に基づいてその後の物体の位置が予測できるが、物体を初期認識する際には、物体の位置が予測できないので、例えば撮像画像の全領域を探索（画像処理）する必要があり、処理時間の低減及び認識率の向上が図れない。

そこで、本発明は、画像認識処理における処理時間の低減及び認識率の向上が可能な車両周辺監視装置の提供を目的とする。

上記課題を解決するため、本発明の一局面によれば、
車両位置を検出する位置検出手段と、
車両の所定位置に搭載され、車両周辺を撮像する撮像手段と、
撮像手段から得られる撮像画像から静止対象物を認識する画像処理手段と、
前記画像処理手段の認識結果に基づいて、同一の静止対象物を次回以降認識するための補助情報を作成する補助情報作成手段と、
前記作成された補助情報を記憶する記憶手段とを備え、
前記画像処理手段は、記憶手段内の補助情報を用いて、静止対象物を認識するための画像処理領域を決定し、
前記補助情報は、静止対象物が存在する道路に関連付けられて記憶され、該道路を次回以降走行する際に前記画像処理手段により利用されることを特徴とする、車両周辺監視装置が提供される。

本局面によれば、同一の道路を次回以降走行する際に、該道路に関連付けて記憶されている記憶手段内の補助情報を用いることで、静止対象物を認識するための画像処理領域を適切に決定することができ、この結果、画像認識処理における処理時間の低減及び認識率の向上が可能となる。

本局面において、前記補助情報は、静止対象物の位置に関する情報であり、撮像画像の撮像時の検出車両位置と、該撮像画像中の静止対象物の画素位置とに基づいて補助情報作成手段により算出及び作成されてよい。また、前記補助情報は、静止対象物の３次元絶対座標を表す情報であってよい。また、前記補助情報は、道路の勾配変化に関する情報であり、該道路走行中の複数の時点での静止対象物の位置算出結果に基づいて補助情報作成手段により作成されてよく、この場合、前記画像処理手段は、前記勾配変化に関する情報を更に考慮して前記画像処理領域決定を行ってよい。これにより、勾配変化に起因して撮像画像中の静止対象物の画素位置が変化する場合にもそれに対応した画像処理領域を適切に決定することができる。

また、本発明のその他の一局面によれば、
位置検出手段により検出された車両位置に対応する走行道路を、第１の記録媒体内の所与の道路情報に基づいて特定する道路特定手段と、
車両の所定位置に搭載された車両周辺撮像手段の撮像画像を画像処理することにより、該撮像画像に含まれる静止対象物を認識する画像処理手段と、
前記画像処理手段の認識結果に基づいて、同一の静止対象物を次回以降認識するための補助情報を作成する補助情報作成手段と、
前記作成された補助情報を、前記特定された走行道路に関連付けて第２の記録媒体に記憶する記憶手段とを含み、
前記画像処理手段は、道路特定手段により特定された走行道路に関連する補助情報が第２の記録媒体内に記憶されている場合、該補助情報を利用することによって、該補助情報が記憶されていない場合に比して小さな画像処理領域で静止対象物を認識するための画像処理を行うことを特徴とする、車両周辺監視装置用の画像処理装置が提供される。

本発明によれば、画像認識処理時間の低減及び認識率の向上が可能な車両周辺監視装置を得ることができる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明による車両周辺監視装置の一実施形態を示すシステム構成図である。本実施形態の車両周辺監視装置は、画像認識・モデル作成プロセッサ１０（以下、単に「プロセッサ１０」という）を備える。プロセッサ１０は、ＣＰＵやＲＯＭ等を含み、後述する各処理を実行する。尚、プロセッサ１０は、画像処理回路を構成するＦＰＧＡ（Field Programmable Gate Array）を更に含んでよい。

プロセッサ１０には、車両の位置を計測可能な位置検出手段１２が接続されている。位置検出手段１２は、ＧＰＳ（Global Positioning System）受信機を含む。ＧＰＳ受信機は、衛星からの衛星信号や他の基準局からの情報に基づいて車両の位置及び方位を計測する。尚、車両の位置の測位手法としては、単独測位や干渉測位（キネマティック法（ＲＴＫ−ＧＰＳ測位アルゴリズム））に基づくものであってよい。

位置検出手段１２は、ＩＮＳ（Inertial
Navigation Sensor）を含んでもよい。ＩＮＳは、車両を中心に定義されるボデー座標系の３軸まわりの回転パラメータを検出するジャイロセンサ、及び、同３軸の各方向の加速度を検出する加速度センサにより構成されてよい。ＩＮＳは、これらのセンサの検出値に基づいて、走行時の車両の動的な状態量を表わす運動状態量を検出する。この場合、位置検出手段１２は、ＧＰＳ受信機と共にＩＮＳの検出結果を考慮して、車両の位置を決定してよい。例えば、位置検出手段１２は、ＧＰＳ受信機の受信状態が良好でない場合（典型的には、電波遮断時）、ＧＰＳ受信機の受信状態が回復するまでＩＮＳによる検出結果を利用して、車両の位置を決定してよい。

プロセッサ１０には、地図データベース２２が接続されている。地図データベース２２には、ＤＶＤ、ＣＤ−ＲＯＭ等の記録媒体上に所与の地図情報が格納されている。地図情報には、交差点・高速道路の合流点／分岐点に各々対応する各ノードの座標情報、隣接するノードを接続するリンク情報が含まれており、その他、各リンクに対応する道路の幅員情報、各リンクに対応する国道・県道・高速道路等の道路種別、各リンクの通行規制情報及び各リンク間の通行規制情報等が含まれていてよい。

プロセッサ１０には、空間モデルデータベース３０が接続されている。空間モデルデータベース３０は、ハードディスクのような書き込み可能な記録媒体により構成される。空間モデルデータベース３０には、地図データベース２２内の地図情報には存在しない有用な情報（後で詳説する補助情報）が随時格納されていく。

プロセッサ１０には、ＣＣＤ（ステレオ）カメラのような撮像手段１８が接続されている。撮像手段１８は、車両周辺の風景を撮像するように車両に搭載され、例えば車両の室内のルームミラー付近に固定される。撮像手段１８が撮像した撮像画像の画像データはプロセッサ１０に供給される。尚、撮像手段１８が撮像した撮像画像は、映像信号として表示装置２４に供給され、液晶ディスプレイのような表示装置２４のディスプレイ上に表示される。

プロセッサ１０には、更に、レーダーセンサ１９が接続されてもよい。レーダーセンサ１９は、ミリ波レーダセンサであってよく、例えば車両のフロントグリル付近に配設される。レーダーセンサ１９がミリ波レーダセンサの場合、例えば２周波ＣＷ（Continuous Wave）方式により、２つの周波数の位相情報から車両前方の物体の相対位置（自車に対する相対位置）が計測されてよい。尚、レーダーセンサ１９は、車両前方の所定領域内に放射ビームを１次元的又は２次元的に走査するように構成されていてよい。

ところで、一般的に、ある物体を含む撮像画像から当該物体を画像処理により抽出・認識する場合、当該物体の特徴点を撮像画像内で探索する必要がある。この際、認識すべき対象物体（以下、「物標」という）の位置が予測できれば、撮像画像の全ての領域を探索（画像処理）する必要が無く、処理時間及び認識率の向上を図ることができる。

これに対して、“信号機の位置は撮像画像中の上側領域内に存在するはず”であり、“道路標識の位置は撮像画像中の側方領域内に存在するはず”である、といったような大まかな予測に基づいて、探索範囲（画像処理領域）を限定することも可能である。この際、更に、例えば、地図情報内に含まれる交差点情報（信号機の有無に関する情報を含む）や車両位置情報を考慮して、撮像画像中に信号機の出現が予測される間のみ、信号機の探索を実行するといったように、探索処理を時間的に限定することも可能である。しかしながら、これらの構成であっても、実際の物標位置が探索範囲外にならないように、依然として大まかな探索範囲を設定せざるを得ないという課題がある。

一方、本実施形態では、以下に詳説する如く、過去の画像処理により得た各種情報を補助情報としてデータベース化し、当該補助情報を以降の物標検出に利用することで、処理時間及び認識率の飛躍的な向上を可能とする。以下、本実施形態の車両周辺監視装置の特徴的な構成を具体的に説明する。

図２は、本実施形態の車両周辺監視装置（プロセッサ１０）により実現（実行）される空間モデル作成処理を示すフローチャートである。尚、以下の空間モデル作成処理中には、プロセッサ１０に位置検出手段１２から最新の車両位置情報が所定周期で入力されているものとする。

プロセッサ１０は、位置検出手段１２から得た車両位置情報に基づいて、現在の車両位置を基準として車両位置周辺の地図情報を地図データベース２２から読み込む（ステップ１００）。

プロセッサ１０は、読み込んだ地図情報及び車両位置情報に基づいて、現在の車両位置に対応する道路（リンク）を特定し（ステップ１１０）、進行方向前方に交差点が存在するか否かを地図情報の交差点情報に基づいて判断する（ステップ１２０）。

進行方向前方に交差点が存在しないと判断した場合、プロセッサ１０は、車両位置が車両の走行に伴って次のリンクに移行するまで（ステップ１４０）、現在のリンクを走行中に得られる補助情報を、当該リンクに対応付けて空間モデルデータベース３０に格納していく（ステップ１３０）。

ステップ１３０で取得する補助情報は、道路の幅員、車線数、道路標識の位置、道路標識の内容（例えば、制限速度、“止まれ”、一方通行等）、道路周辺の建物（街路樹やガードレール等を含む）の特徴（位置や形状）、地図情報内に無い接続道路（路地や新規開通道路等を含む）、及び、駐車場出口の位置に関する情報を含んでよい。これらの情報は、撮像手段１８が撮像した撮像画像の画像処理結果に基づいて作成される。ここで、道路の幅員情報は、画像認識精度に依存するが、詳細な値（例えば０．１ｍのオーダー）であることが好ましい。尚、道路標識等の金属物体の位置に関する情報は、レーダーセンサ１９の検出結果に基づいて作成されてもよい。また、道路周辺の建物の特徴に関する情報は、接続道路や駐車場出口が存在する場合であって接続部（合流部）での見通しが悪いと判断できる場合にのみ、作成されることとしてもよい。

本ステップ１３０の処理は、車両位置が車両の走行に伴って次のリンクに移行した時点で終了される。リンク移行時（即ち、車両位置がノード位置に来た時）には、プロセッサ１０は、位置検出手段１２から得た車両位置情報に基づいて、ノード位置の標高情報を補助情報として取得し、当該標高情報を当該ノードに対応付けて空間モデルデータベース３０に格納する（ステップ１４５）。次いで、ステップ１２０に戻る（但し、この際、上記ステップ１００の処理が適宜実行される）。尚、ステップ１３０で取得する補助情報は、一時記憶メモリ（図示せず）に一時的に記憶され、適切な時点（例えば、車両が停車した時点）で空間モデルデータベース３０に書き込み処理されてよい。

一方、上記ステップ１２０にて進行方向前方に交差点が存在すると判断された場合、プロセッサ１０は、車両位置が車両の走行に伴って次のリンクに移行するまで（ステップ１７０）、ステップ１５０及びステップ１６０の処理を実行する。ステップ１５０の処理は、上記ステップ１３０の処理と同様であってよい。

ステップ１６０では、プロセッサ１０は、前方の交差点までの距離が所定値（即ち、撮像画像中に信号機が出現しうる程度の距離）になった段階で、信号機を認識するための画像処理を開始する。尚、地図情報の交差点情報に信号機の有無に関する情報が含まれている場合、本ステップ１６０は、信号機がある交差点に対してのみ実行されてもよい。但し、本ステップ１６０は、信号機が新設される場合を考慮して、如何なる交差点に対しても実行されてもよい。尚、信号機を認識するための画像処理は、上記ステップ１３０において接続道路が認識された場合にも実行されてよい。

本ステップ１６０では、更に、プロセッサ１０は、認識した信号機の位置情報を補助情報として交差点ノードに対応付けて空間モデルデータベース３０に格納する。この際、信号機の位置情報は、絶対座標系の３次元座標値であってよい。尚、信号機の３次元座標値は、撮像画像を取得した時の車両位置（３次元座標値）と、当該撮像画像中の信号機の位置（画素位置）とに基づいて算出されてよい。例えば、撮像手段１８が一台のカメラである場合（単眼の場合）、２時点以上の撮像画像を用いて信号機の３次元座標値を算出することが可能である。また、撮像手段１８が、図１に示すように、２つのカメラから構成されている場合には、両カメラによる２つの撮像画像の画像処理結果に基づいて信号機の３次元座標値が算出できる。尚、撮像画像中の信号機の画素位置は、所定の座標変換式を用いて、車両に対する信号機の相対位置に変換できる。この座標変換式は、撮像手段１８の搭載位置・視角や広角レンズのレンズ特性等を考慮して予め決定することができる。また、信号機の３次元座標値は、レーダーセンサ１９の計測結果に基づいて算出されてもよい。この場合、撮像手段１８の画像処理結果に基づく信号機の位置を考慮して、レーダーセンサ１９の放射ビームが信号機に向けて発射されてよい。

本ステップ１６０において、信号機の無い交差点に対しては、プロセッサ１０は、一時停止線の位置に関する情報を、補助情報として交差点ノードに対応付けて空間モデルデータベース３０に格納してよい。尚、一時停止線の位置情報は、信号機の位置情報と同様、絶対座標系の３次元座標値であってよく、若しくは、地図データベース２２内の交差点ノードの座標に対する相対的な座標であってよい。また、本ステップ１６０において、可能な場合には、通過する道路上の信号機のみならずその道路に交差する交差道路上の信号機の位置情報が、補助情報として交差点ノードに対応付けて空間モデルデータベース３０に格納されてもよい。また、本ステップ１６０において、複数の走行車線が存在する場合には、路面上のレーン表示に対する画像認識結果に基づいて、レーン情報（例えば、“直進専用レーン”、“右折レーン”）及びレーン表示の位置情報が、補助情報として空間モデルデータベース３０に格納されてもよい。

また、本ステップ１６０の処理中、上記ステップ１５０の処理が、交差点の見通しの悪さ（即ち、交差点周辺の建物の特徴）に関する情報を取得するために実行されてよい。特に、この処理は、信号機の無い交差点に対して実行されてよい。

本ステップ１６０の処理が終了すると、車両位置が車両の走行に伴って次のリンクに移行した時点（即ち、交差点ノードを通過した時点）で、上記ステップ１４５と同様にノード位置の標高情報を補助情報として取得・記録（更新）して、ステップ１２０に戻る（但し、この際、上記ステップ１００の処理が適宜実行される）。この場合、その後のステップ１３０若しくはステップ１５０の処理では、交差点通過後における周辺の建物の特徴、及び、交差点通過後における対向車線の一時停止線の位置情報（通過した交差点が信号機の無い交差点である場合）が、追加的に、空間モデルデータベース３０に格納されてよい。尚、同様に、ステップ１６０で取得する補助情報（信号機の位置情報）は、一時記憶メモリ（図示せず）に一時的に記憶され、適切な時点（例えば、車両が停車した時点）で空間モデルデータベース３０に書き込み処理されてよい。

以上のような処理によって、車両の走行距離の増加に伴って多くの補助情報（少なくとも走行したことのある道路に関する補助情報）が蓄積され、空間モデルデータベース３０内に空間モデルが構築される。かかる補助情報は、所与の地図情報（地図データベース２２）には存在しない有用な情報として利用することができる。

以下、図３を参照して、画像処理を効率的に実行するための補助情報の利用態様を説明する。図３は、本実施形態の車両周辺監視装置（プロセッサ１０）により実現（処理）される画像認識処理を示すフローチャートである。尚、以下の処理中において、プロセッサ１０には、位置検出手段１２から最新の車両位置情報が所定周期で入力されているものとする。

ステップ２００では、プロセッサ１０は、位置検出手段１２から得た車両位置情報に基づいて、現在の車両位置を基準として車両位置周辺の地図情報を地図データベース２２から読み込み、読み込んだ地図情報及び車両位置情報に基づいて、現在の車両位置に対応する道路（以下、「走行リンク」という）を特定する。

次いで、プロセッサ１０は、走行リンク若しくはその走行リンク前方のノードに関連付けられた補助情報が、空間モデルデータベース３０内に存在するか否かをチェックする（ステップ２１０）。

補助情報が空間モデルデータベース３０内に存在しない場合（典型的には、初めて通行する道路の場合）、補助情報を取得するため、図２のステップ１２０以後の処理に移行してよい。この場合、大まかな探索範囲を用いて、撮像手段１８が撮像した撮像画像の画像処理が実行される。但し、この際、大まかな探索範囲は、地図データベース２２内の地図情報（例えば、大まかな幅員情報（即ち、“３〜５．５ｍの間”といったような粗い幅員情報）、大まかな信号機位置情報等）を用いて可能な限り限定されたものであってもよい。例えば、大まかな幅員情報（若しくは、地図情報に含まれうる車線情報）を基に片側一車線の道路であると判断できる場合、プロセッサ１０は、中央線（及び路肩）を探索・認識するための探索範囲を大まかな幅員情報に基づいて設定してよい。尚、ある物標が一旦認識された後、当該物標を認識し続けるための探索範囲（次回の画像処理時の探索範囲）は、前回以前の画像処理結果を利用して随時適切に限定されていってよい。例えば、前回以前の物標の画素位置と、同物標の車両に対する相対的な動きベクトル（車両の移動ベクトル）とを利用して、次回以降の画像処理時の探索範囲が決定されてよい。

一方、補助情報が空間モデルデータベース３０内に存在する場合、ステップ２１５以後の処理が実行される。尚、補助情報は、図１に示すように、空間モデルデータベース３０からプロセッサ１０に供給されてよい。この場合、空間モデルデータベース３０は、地図データベース２２から供給される車両位置周辺の地図情報に基づいて、当該地図情報に対応付けられた補助情報を検索・抽出してプロセッサ１０に供給してよい。

ステップ２１５では、プロセッサ１０は、空間モデルデータベース３０内の補助情報を利用して、認識すべき物標の種類を特定する。この場合、例えば、物標の種類は、単に空間モデルデータベース３０内の利用可能な補助情報に応じて決定されてよく、若しくは、認識結果を利用する制御内容（例えば、警報制御や自動制動制御等）に応じて決定されてもよい。認識すべき物標の種類が特定されると、当該特定された物標に応じて以下のステップ２２０乃至２６０の処理が実行される。

ステップ２２０の処理は、車線が物標として指定された場合に実行される画像処理である。ステップ２２０では、プロセッサ１０は、空間モデルデータベース３０内の詳細な幅員情報（及び車線数情報）に基づいて、車線識別のための探索範囲（画像処理領域）を決定する。例えば、空間モデルデータベース３０内の詳細な幅員情報が“幅員L＝３．８ｍ”と示す場合、プロセッサ１０は、L／N［ｍ］（N＝車線数）の間隔で車線が存在することを想定して、探索範囲を決定してよい。この場合、上述の如く地図データベース２２に含まれうる大まかな幅員情報（例えば、“幅員L＝３〜５．５ｍ”）を利用する場合に比して、探索範囲をより小さく設定することができる。

ステップ２３０の処理は、信号機が物標として指定された場合に実行される画像処理である。本ステップ２３０の処理は、前方交差点の手前所定距離に車両位置が達した時点から開始されてよい。ステップ２３０では、プロセッサ１０は、空間モデルデータベース３０内の信号機位置情報に基づいて、信号機識別のための探索範囲（画像処理領域）を決定する。この場合、実際の過去の画像処理結果から得られた信号機位置情報を用いることで、上述の如く地図データベース２２に含まれうる大まかな信号機位置情報を用いる場合に比して、探索範囲をより小さく設定することができる。例えば、地図データベース２２内の信号機位置の３次元座標位置に基づいて、現時点の車両位置（位置検出手段１２から得た３次元座標位置）を基準として、撮像画像中の信号機の位置（画素位置・範囲）をより正確に予測できるので、この画素位置・範囲を中心として探索範囲が設定されてよい。

ステップ２４０の処理は、道路標識が物標として指定された場合に実行される画像処理である。本ステップ２４０の処理は、上記ステップ２３０の処理と同様の要領で実行されてよい。

ステップ２５０の処理は、一時停止線が物標として指定された場合に実行される画像処理である。本ステップ２５０の処理は、空間モデルデータベース３０内の一時停止線の位置情報に基づいて撮像画像中に一時停止線が出現する車両位置に達した時点で実行されてよい。ステップ２５０では、プロセッサ１０は、空間モデルデータベース３０内の一時停止線の位置情報に基づいて、一時停止線識別のための探索範囲（特に探索範囲の上下方向の幅）を決定する。この際、探索範囲の左右方向の幅は、空間モデルデータベース３０内の詳細な幅員情報（及び車線数情報）に基づいて決定されてもよい。

ステップ２６０の処理は、レーン表示が物標として指定された場合に実行される画像処理である。本ステップ２６０の処理は、空間モデルデータベース３０内のレーン表示の位置情報に基づいて撮像画像中にレーン表示が出現する車両位置に達した時点で実行されてよい。ステップ２６０では、プロセッサ１０は、空間モデルデータベース３０内のレーン表示の位置情報に基づいて、レーン表示識別のための探索範囲（特に探索範囲の上下方向の幅）を決定する。この際、探索範囲の左右方向の幅は、空間モデルデータベース３０内の詳細な幅員情報（及び車線数情報）に基づいて決定されてもよい。また、探索範囲は、車両が実際に走行する走行車線に対してのみ設定されてよい。尚、通常的には空間モデルデータベース３０内のレーン情報に基づいて走行車線のレーンが把握できるので、本ステップ２６０の処理は補助的に実行されるものであってよい。

尚、ステップ２２０乃至２６０の処理は、物標に応じて選択的に実行される処理である。例えば、上記ステップ２１５で指定された物標が車線及び信号機である場合には、ステップ２２０及び２３０のみが実行される。

続くステップ２７０では、今回の周期で取得した撮像画像に対して上記ステップ２２０乃至２６０の処理で決定された探索範囲による画像認識処理が実行され、所望の物標が認識されたか否かが判断される。所望の物標が認識されなかった場合、探索範囲の修正処理が実行される（ステップ２８０）。探索範囲の修正処理は、修正前の探索範囲の中心を基準に探索範囲を拡大（局所的な範囲の追加を含む）することによって実現されてよく、若しくは、修正前の探索範囲の中心をずらすことによって実現されてもよい。本ステップ２８０の処理は、所望の物標が認識されるまで実行される。尚、ステップ２８０で修正された探索範囲は、今回の周期で得た撮像画像に再び適用されてもよく、若しくは、次回以後の周期で得た撮像画像に適用されてもよい（この場合、当然に、次回以後の周期で得た車両位置情報が使用される）。

上記ステップ２７０で所望の物標が認識されたと判断された場合、続くステップ２９０では、必要に応じて、空間モデルデータベース３０内の補助情報を修正・追加する処理が実行される。ステップ２９０は、例えば、より正確な補助情報が得られた場合、今回の処理で新たな補助情報が得られた場合、上記ステップ２８０の修正処理を経由した場合等に、実行されてよい。特に、信号機位置情報等の位置に関する補助情報に関しては、精度向上の観点から、複数回通過した際のデータが空間モデルデータベース３０内に保持されてよい。

このように、ステップ２９０の処理を繰り返すことで、空間モデルデータベース３０内の補助情報の信頼性が向上していく。特に、ユーザが頻繁に使用する道路に関しては、利用頻度の高い補助情報の信頼性が高くなり、非常に有用な空間モデルが構築されることになる。尚、この観点（及び記憶容量の効率的な使用の観点）から、所定回数以上同一道路を走行した場合のみ、それまで蓄積した当該道路に関する補助情報を空間モデルデータベース３０に書き込むこととしてもよい。

尚、ステップ２９０において、継続的な認識処理が必要な物標（例えば、車線や信号機）に対しては、次回周期以後の撮像画像に対して上述のような画像処理が継続的に実行されてよい。この場合、次回周期以後の撮像画像に対しては、空間モデルデータベース３０内の補助情報のみならず、今回の画像処理結果で得られた補助情報にも基づいて探索範囲が決定されてよい（この場合、当然に、画像処理対象の撮像画像が変化した場合には、それに応じた車両位置情報が使用される）。或いは、前回以前の物標の画素位置と、同物標の車両に対する相対的な動きベクトル（車両の移動ベクトル）とを利用して、次回周期以降の画像処理時の探索範囲が決定されてよい。

尚、車両位置が車両の走行に伴って次のリンクに移行すると（ステップ２９５）、ステップ２１０に戻る（但し、この際、上記ステップ１００の処理が適宜実行される）。尚、上記ステップ２９０で修正・追加される補助情報は、一時記憶メモリ（図示せず）に一時的に記憶され、適切な時点（例えば、車両が停車した時点）で空間モデルデータベース３０に書き込み処理されてよい。

以上のように、本実施形態によれば、過去の画像処理結果から得た補助情報をデータベース化して保持することで、同一道路を２回目以降走行する時には、一回目の走行時の探索領域よりも小さな探索範囲を使用して物標を確実に認識することができ、また、探索開始タイミングの適正化を図ることもできる。特に、本実施形態によれば、小さな探索範囲を適切に設定することができるので、物標認識処理に要する時間の飛躍的な短縮を実現することと共に、認識率の飛躍的な向上（認識誤差の飛躍的な低減）を実現することが可能となる。

このように短時間且つ高精度に認識される物標に関する情報は、運転者の安全運転を視覚的に支援・補助するための情報として有効に利用することができる。例えば、上記ステップ２２０（２７０）を介して得られる車線の認識結果は、自動運転制御、蛇行運転等に対する警報制御、車両追従制御等に利用されてよい。また、上記ステップ２３０（２７０）を介して得られる信号機の認識結果は、信号機の色（赤、青等）に応じて車両を安全に交差点を通過させるための警報制御や自動制動制御等に利用されてよい。また、上記ステップ２４０（２７０）を介して得られる道路標識の認識結果は、道路標識に従った走行を支援するための警報制御等に利用されてよい。同様に、上記ステップ２５０（２７０）を介して得られる一時停止線の認識結果は、信号機の無い交差点を安全に通過させるための警報制御や自動制動制御等に利用されてよい。また、上記ステップ２６０（２７０）を介して得られるレーン表示の認識結果は、夜間の右左折時に車両側方を照明するランプの自動点灯制御、ターニングランプの自動点灯制御、ナビゲーション装置が提示する経路案内に反するレーンを走行している場合の警報制御等に利用されてよい。尚、これらの各種制御は、本実施形態の車両周辺監視装置自体で実現されてもよく、若しくは、他の制御装置と協働して実現されてもよい。

次に、図３の参照を続けて、上記ステップ２２０乃至２６０の処理と並列的に実行されてよいステップ３００及び３１０の処理について説明する。

ステップ３００の処理は、上記ステップ２１５で接続道路の出口や駐車場出口の周辺状況が物標として指定された場合に実行される画像処理である。本ステップ３００の処理は、空間モデルデータベース３０内の建物情報に基づいて接続道路の出口周辺や駐車場出口周辺の見通しが悪いと判断できる場合にのみ実行されてよい。ステップ３００では、プロセッサ１０は、空間モデルデータベース３０内の適切な補助情報（即ち、接続道路の出口等の位置情報及び建物情報）に基づいて、接続道路の出口周辺や駐車場出口周辺に探索範囲を設定する。この場合、プロセッサ１０は、車両位置が車両の走行に伴って次のリンクに移行するまで（ステップ３３０）、車両の移動に伴って探索範囲を適切に変更しつつ、当該探索範囲内に移動物体（即ち、接続道路の出口等からの車両や人の飛び出し）が存在するか否かを検出する（ステップ３２０）。

ステップ３１０の処理は、上記ステップ２１５で交差点周辺状況が物標として指定された場合に実行される画像処理である。本ステップ３１０の処理は、空間モデルデータベース３０内の建物情報（交差点周辺の建物情報）に基づいて見通しの悪い交差点と判断できる場合にのみ実行されてよい。ステップ３１０では、プロセッサ１０は、空間モデルデータベース３０内の適切な補助情報（即ち、交差点の位置情報及び建物情報）に基づいて、交差点周辺に探索範囲を設定する。この場合、プロセッサ１０は、車両位置が車両の走行に伴って次のリンクに移行するまで（ステップ３３０）、車両の移動に伴って探索範囲を適切に変更しつつ、当該探索範囲内に移動物体（即ち、接続道路の出口等からの車両や人の飛び出し）が存在するか否かを検出する（ステップ３２０）。

ステップ３２０で移動物体が検出されると、プロセッサ１０は、移動物体と自車両との位置関係に応じて適切な処理を実行する（ステップ３３０）。例えば、プロセッサ１０は、警報装置に警報を音声及び／又は映像で出力させることにより運転者に注意を喚起してもよく、若しくは、制動装置及び／又は操舵装置（アクチュエータ）を作動させて移動物体との衝突を回避するようにしてもよい。

このように、本実施形態によれば、移動物体の動きを監視すべき探索範囲を静止物体の位置情報等に基づいて小さく設定することができるので、必要な移動物体の動きを高精度且つ短時間に認識・監視することができる。

次に、図４を参照して、道路（リンク）に勾配の変化がある場合の、探索範囲の決定（修正）手法の実施形態について説明する。図４は、本実施形態の車両周辺監視装置（プロセッサ１０）により実現される勾配変化情報取得処理を示すフローチャートである。

本実施形態のプロセッサ１０は、信号機を上述のような画像認識処理により認識した後、同信号機を認識する必要がなくなるまで（典型的には、交差点通過時点まで）、所定周期で得られる各撮像画像に対して、上述のような同信号機の位置算出処理を継続する（ステップ４００）。尚、ここでは、説明上、信号機の位置は、上述の如く、位置検出手段１２の検出車両位置（３次元絶対座標値）を基準として、画像中の物標位置（画素位置：車両位置に対する物標相対位置）に基づいて、３次元座標系の絶対座標値で算出されるものとする。

ここで、図５に示すように、リンクに勾配の変化がある場合には、勾配変化前後で撮像画像中の信号機位置（画素位置）が上下方向に変化する。即ち、勾配変化前後で信号機位置のｚ成分の算出座標値が変化する。

このため、プロセッサ１０は、同信号機に対する複数の位置算出結果に所定基準以上のバラツキ（特に、信号機位置のｚ方向の座標値において急激な変化）が発生しているか否かを判断する（ステップ４１０）。所定基準以上のバラツキが発生していない場合、勾配が略一定のリンクであると判断して処理が終了される（ステップ４２０）。尚、この場合、プロセッサ１０は、勾配変化が無いことを示す情報を、補助情報として当該リンクに対応付けて空間モデルデータベース３０に格納してよい。

一方、所定基準以上のバラツキが発生している場合、プロセッサ１０は、勾配変化が存在するリンクであると判断し、当該勾配変化に関する情報を当該リンクに対応付けて空間モデルデータベース３０に格納する（ステップ４３０）。この補助情報は、例えば、勾配変化点Ｘ（図５参照）の位置（徐々に変化する場合はその変化範囲）、勾配変化前後の信号機位置のｚ方向の各座標値、信号機位置のｚ方向の各座標値のバラツキ範囲等に関する情報を含んでよい。

以上のような処理によって得られる勾配変化に関する補助情報は、同様に、所与の地図情報（地図データベース２２）には存在しない有用な情報として利用することができる。例えば、図３の上記ステップ２３０において、プロセッサ１０は、更に勾配変化情報をも考慮して、信号機認識のための探索範囲を決定してよい。この際、車両位置が勾配変化前の区間にある間は、勾配変化前の信号機位置のｚ方向の座標値に基づいて、探索範囲が決定され、勾配変化後には、勾配変化後の信号機位置のｚ方向の座標値に基づいて、探索範囲が決定されてよい。或いは、車両位置が勾配変化のあるリンクにある場合（特に、車両位置が勾配変化の生ずる区間にある間）、探索範囲の上下方向の幅が比較的広く設定されてもよい。

また、図３の上記ステップ２８０において、プロセッサ１０は、更に勾配変化情報をも考慮して、信号機認識のための探索範囲を修正してもよい。この修正処理は、例えば、修正前の探索範囲の中心を基準に探索範囲を上下方向にのみ拡大することによって実現されてよく、若しくは、修正前の探索範囲の中心を上下方向にずらすことによって実現されてもよい。

以上のように、本実施形態によれば、勾配変化を考慮して探索範囲を設定することで、勾配変化を有する道路走行時においても、小さな探索範囲で物標認識が可能となる。尚、本実施形態による処理は、他の物標（例えば、道路標識）に対しても実行されてもよい。また、本実施形態において、代替的に、交差点ノードの標高値と車両位置の標高値との関係に基づいて勾配変化が補償されてもよい。

次に、図６を参照して、本願発明者によって実行された実施例について説明する。時速６０ｋｍ／ｈで走行する車両において、前方７０ｍ先の信号機を含む撮像画像に対して２つの方法で画像処理を実施した。先ず、空間モデルデータベース３０内に補助情報が無い場合を想定して、図６（Ａ）に示すように、縦２４０ピクセル×横６４０ピクセルの範囲を探索範囲として設定して画像処理を実行した。この場合、車両前方７０ｍに位置する信号機を認識するのに要した計算時間は１００ｍｓであった。この信号機認識の結果を用いて、信号機の位置を計算した。

次に、空間モデルデータベース３０内に信号機の位置情報が存在する想定して、図６（Ｂ）に示すように、縦６０ピクセル×横８０ピクセルの範囲を探索範囲として設定して画像処理を実行した。この探索範囲は、上記信号機の位置の計算結果を用いて決定された。この場合、同一の信号機を認識するのに要した計算時間は５ｍｓであった。以上から、上記信号機の位置の計算結果を用いることで、信号機を認識するのに要する探索範囲及び計算時間を大幅に低減できることが明らかとなった。

以上、本発明の好ましい実施形態について詳説したが、本発明は、上述した実施形態に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施形態に種々の変形及び置換を加えることができる。

特に、上述した実施形態では、補助情報としての物標の位置情報（例えば、信号機の位置情報）は、撮像時の車両位置（位置検出手段１２の検出結果（３次元絶対座標値））を基準として、撮像画像中の物標位置（画素位置：車両位置に対する物標相対位置（３次元相対座標値））に基づいて、３次元座標系（極座標系を含む）の絶対座標値として算出・管理されている。しかしながら、物標の位置情報は、次回以降の通行時において画像処理により同物標を認識する際に、そのときの位置検出手段１２の検出車両位置を基準に同物標の画素位置が予測できるものであれば、如何なる態様で管理されていてもよい。

例えば、物標の位置情報は、画像中の物標位置（画素位置）として空間モデルデータベース３０内に記憶されてもよい。この場合、物標の位置情報（画素位置情報）は、当該物標位置算出時の車両位置に関連付けて記憶される。この構成であっても、次回以降の通行時において画像処理により同物標を認識する際、そのときの位置検出手段１２の検出車両位置と、記憶されている前回以前の車両位置との関係に基づいて、同物標の画素位置を予測することができる（撮像時の車両位置の相違に基づいて記憶画素位置を補正して使用する。）。

また、物標の位置情報は、図７に示すように、交差点ノードの座標値に対する相対座標値（Δｘ、Δｙ、Δｚ）として管理されてもよい。例えば、図２の上記ステップ１４５等で交差点ノードに標高値が標高情報として追加されている場合には、交差点ノードに対する相対座標値（Δｘ、Δｙ、Δｚ）は、３次元座標系の絶対座標値と同等に扱える。

また、上述した実施形態において、同様の空間モデルデータベース３０を有する他車との間の車車間通信を介して補助情報を交換し合うことで、空間モデルデータベース３０の補助情報の充実化を図ることとしてもよい。

本発明による車両周辺監視装置の一実施形態を示すシステム構成図である。 本実施形態の車両周辺監視装置により実現される空間モデル作成処理を示すフローチャートである。 本実施形態の車両周辺監視装置により実現される画像認識処理を示すフローチャートである。 本実施形態の車両周辺監視装置により実現される勾配変化情報取得処理を示すフローチャートである。 勾配変化のある道路を走行中の車両と信号機との関係を概略的に示す説明図である。 画像認識処理の一実施例が適用された撮像画像を示す図である。 交差点ノードの座標値の説明図である。

符号の説明

１０ 画像認識・モデル作成プロセッサ１０
１２ 位置検出手段
１８ 撮像手段
１９ レーダーセンサ
２２ 地図データベース
２４ 表示装置
３０ 空間モデルデータベース

Claims (5)

1. 車両位置を検出する位置検出手段と、
   車両の所定位置に搭載され、車両周辺を撮像する撮像手段と、
   撮像手段から得られる撮像画像から静止対象物を認識する画像処理手段と、
   前記画像処理手段の認識結果に基づいて、同一の静止対象物を次回以降認識するための補助情報を作成する補助情報作成手段と、
   前記作成された補助情報を記憶する記憶手段とを備え、
   前記画像処理手段は、記憶手段内の補助情報を用いて、静止対象物を認識するための画像処理領域を決定し、
   前記補助情報は、静止対象物が存在する道路に関連付けられて記憶され、該道路を次回以降走行する際に前記画像処理手段により利用されることを特徴とする、車両周辺監視装置。
2. 前記補助情報は、静止対象物の位置に関する情報であり、撮像画像の撮像時の検出車両位置と、該撮像画像中の静止対象物の画素位置とに基づいて補助情報作成手段により算出及び作成される、請求項１記載の車両周辺監視装置。
3. 前記補助情報は、静止対象物の３次元絶対座標を表す情報である、請求項１記載の車両周辺監視装置。
4. 前記補助情報は、道路の勾配変化に関する情報であり、該道路走行中の複数の時点での静止対象物の位置算出結果に基づいて補助情報作成手段により作成され、
   前記画像処理手段は、前記勾配変化に関する情報を更に考慮して前記画像処理領域決定を行う、請求項２記載の車両周辺監視装置。
5. 位置検出手段により検出された車両位置に対応する走行道路を、第１の記録媒体内の所与の道路情報に基づいて特定する道路特定手段と、
   車両の所定位置に搭載された車両周辺撮像手段の撮像画像を画像処理することにより、該撮像画像に含まれる静止対象物を認識する画像処理手段と、
   前記画像処理手段の認識結果に基づいて、同一の静止対象物を次回以降認識するための補助情報を作成する補助情報作成手段と、
   前記作成された補助情報を、前記特定された走行道路に関連付けて第２の記録媒体に記憶する記憶手段とを含み、
   前記画像処理手段は、道路特定手段により特定された走行道路に関連する補助情報が第２の記録媒体内に記憶されている場合、該補助情報を利用することによって、該補助情報が記憶されていない場合に比して小さな画像処理領域で静止対象物を認識するための画像処理を行うことを特徴とする、車両周辺監視装置用の画像処理装置。

Images