JP7005326B2

JP7005326B2 - 路側物認識装置

Info

Publication number: JP7005326B2
Application number: JP2017238208A
Authority: JP
Inventors: 昌也岡田; 俊也熊野; 巧植松; 光宏時政
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2017-12-13
Filing date: 2017-12-13
Publication date: 2022-01-21
Anticipated expiration: 2037-12-13
Also published as: JP2019106022A; US11042759B2; US20190180117A1

Description

本発明は、自車両の運転制御に利用するために、自車両の走行経路に存在する路側物を認識する技術に関する。

車両の自動運転では、自車両の走行する走路形状を認識し、認識した走路形状に沿うように走行制御が実行される。走路形状を認識するためには、カメラやレーダー等の各種の車載センサを用いて、走路形状の決定に利用可能な複数の対象物の形状が認識される。このような対象物としては、例えば、白線等の走路区画線（レーンマーカー）や、ガードレール等の路側物がある。

特許文献１には、レーダーを用いて路側物を認識する技術が記載されている。レーダーによる測定では複数の反射点が得られるので、それらの複数の反射点を順次接続することによって路側物の形状を認識できる。但し、反射点としては、路側物以外の物体からの反射点もノイズ点として存在するので、そのようなノイズ点を除外する処理が求められる。特許文献１では、レーダーによって認識された先行車と自車の間にある反射点をノイズ点として除外する技術が開示されている。

特許第５４０２９８３号公報

上記先行技術の場合、レーダーによって先行車を検出できない場合にはノイズ点を除外することができない。路側物の形状を認識するためには、種々の状況においてレーダーのノイズ点を除去できる技術が望まれる。

本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。

本発明の一形態によれば、自車両（５０）の運転制御に利用するために、前記自車両の走行経路に存在する路側物（ＲＳＯ，ＰＬ）を認識する路側物認識装置（２００）が提供される。この路側物認識装置は、電波又は光である電磁波を放射するレーダー（４１４）を用いて、前記走行経路に存在する物体からの前記電磁波の反射点で構成される反射点群を取得する反射点取得部（２２２）と；カメラ（４１２）を用いて前記走行経路の画像を取得する画像取得部（２２４）と；前記画像の画像処理によって前記路側物の反射点では無い可能性が高いと判定される反射点を前記反射点群から除外することによって、前記反射点群を修正する反射点修正部（２２６）と；修正された前記反射点群を用いて、前記路側物の形状を認識する形状認識部（２２８）と；を備える。
第１の形態では、前記反射点修正部は、前記画像において前記自車両の走行路を含む走行路領域を設定し、前記走行路領域に存在する反射点を前記反射点群から除外し、前記反射点修正部は、前記走行路領域を設定するために利用可能な複数の基準物を認識した場合には、前記複数の基準物のうちで前記走行路領域が最も広くなる基準物を使用して前記走行路領域を設定する。
第２の形態では、前記反射点修正部は、前記画像において前記自車両の走行路を含む走行路領域を設定し、前記走行路領域に存在する反射点を前記反射点群から除外し、前記反射点修正部は、前記走行路領域を設定するために利用可能な複数の基準物を認識した場合には、前記複数の基準物で設定される複数の領域の和領域を前記走行路領域として設定する。
第３の形態では、前記反射点修正部は、前記画像に暫定走行区間であることを示す区画線である暫定区画線が含まれる場合に、前記暫定区画線を含む暫定区画線領域以外の領域に存在する反射点を前記反射点群から除外し、前記暫定区画線は白線と黄線の複合線である。

この路側物認識装置によれば、走行経路の画像の画像処理から、路側物では無い可能性が高い反射点を反射点群から除外するので、ノイズ点を適切に除外することができ、路側物を誤認識する可能性を低減できる。

第１実施形態としての自動運転制御システムの構成を示すブロック図。第1実施形態における走路形状に関連する複数の対象物の例を示す説明図。カメラで撮影される画像の一例を示す説明図。路側物認識処理のフローチャート。走路区画線を利用した走行路領域の設定例を示す説明図。他車軌跡を利用した走行路領域の設定例を示す説明図。道路端を利用した走行路領域の設定例を示す説明図。走路区画線と他車軌跡を利用した走行路領域の設定例を示す説明図。修正された反射点群から路側物を認識する処理を示す説明図。認識された上方物体を利用した走行路領域の設定方法の例を示す説明図。認識された上方物体を利用した走行路領域の設定方法の他の例を示す説明図。暫定区画線を含む走行路を示す説明図。暫定区画線を利用した反射点の除外方法を示す説明図。

A. 第１実施形態：
図１に示すように、第１実施形態の車両５０は、自動運転制御システム１００を備える。自動運転制御システム１００は、自動運転ＥＣＵ２００（Electronic Control Unit）と、車両制御部３００と、前方検出装置４１０と、後方検出装置４２０と、支援情報取得部５００と、を備える。なお、本明細書において、車両５０を「自車両５０」とも呼ぶ。

自動運転ＥＣＵ２００は、ＣＰＵとメモリとを含む回路である。自動運転ＥＣＵ２００は、不揮発性記憶媒体に格納されたコンピュータプログラムを実行することによって、自動運転制御部２１０と、状況認知部２２０と、の機能をそれぞれ実現する。なお、自動運転ＥＣＵ２００の機能の一部をハードウェア回路で実現するようにしてもよい。

状況認知部２２０は、前方検出装置４１０と、後方検出装置４２０と、支援情報取得部５００と、一般センサ類３４０から提供される各種の情報や検出値を利用して、自車両５０及び他車６０の走行状況や、周囲の環境を認知する。本実施形態において、状況認知部２２０は、反射点取得部２２２と、画像取得部２２４と、反射点修正部２２６と、形状認識部２２８と、走路形状算出部２３０とを含む。このうち、反射点取得部２２２と、画像取得部２２４と、反射点修正部２２６と、形状認識部２２８とは、全体として、自車両５０の走行経路に存在する路側物を認識する路側物認識装置を構成している。換言すれば、本実施形態において、自動運転ＥＣＵ２００は、路側物認識装置として機能する。

反射点取得部２２２は、前方検出装置４１０のレーダー４１４を用いて、走行経路に存在する物体からの電磁波の反射点で構成される反射点群を取得する。画像取得部２２４は、カメラ４１２を用いて走行経路の画像を取得する。反射点修正部２２６は、カメラ４１２で撮影された画像の画像処理を行うことによって、路側物の反射点では無い可能性が高いと判定される反射点（ノイズ点）を反射点群から除外し、反射点取得部２２２で取得された反射点群を修正する。この修正内容については更に後述する。反射点修正部２２６は、更に、カメラ４１２で撮影された画像とレーザー４１４で測定された結果とを利用して、区画線や他の物体を認識する機能も有している。形状認識部２２８は、反射点修正部２２６で修正された反射点群を用いて、路側物の形状を認識する。より具体的には、形状認識部２２８は、ガードレール等の路側物の２次元的な形状を算出する。ここで、「２次元的な形状」とは、自車両５０及びその走行経路を平面視したときの形状である。

走路形状算出部２３０は、形状認識部２２８で認識された路側物の形状を使用して、自車両５０が走行すべき走路形状を算出する。但し、走路形状の算出には、路側物のみでなく、白線等の走路区画線の認識結果も使用することが好ましい。

車両制御部３００は、車両５０の運転のための各種の制御を実行する部分であり、自動運転と手動運転のいずれの場合にも利用される。車両制御部３００は、駆動部制御装置３１０と、ブレーキ制御装置３２０と、操舵角制御装置３３０と、一般センサ類３４０とを含む。駆動部制御装置３１０は、車両５０の車輪を駆動する駆動部（図示せず）を制御する機能を有する。車輪の駆動部としては、内燃機関と電動モータのうちの１つ以上の原動機を使用可能である。ブレーキ制御装置３２０は、車両５０のブレーキ制御を実行する。ブレーキ制御装置３２０は、例えば電子制御ブレーキシステム（ＥＣＢ）として構成される。操舵角制御装置３３０は、車両５０の車輪の操舵角を制御する。「操舵角」とは、車両５０の２つの前輪の平均操舵角を意味する。操舵角制御装置３３０は、例えば電動パワーステアリングシステム（ＥＰＳ）として構成される。一般センサ類３４０は、車速センサ３４２と操舵角センサ３４４とヨーレートセンサ３４６を含んでおり、車両５０の運転に必要とされる一般的なセンサ類である。一般センサ類３４０は、自動運転と手動運転のいずれの場合にも利用されるセンサを含んでいる。

前方検出装置４１０は、車載センサを使用して、自車両５０の前方に存在する物体や道路設備（車線、交差点、信号機等）等の各種の対象物に関する情報を取得する。本実施形態において、前方検出装置４１０は、カメラ４１２と、レーダー４１４とを含んでいる。カメラ４１２としては、単眼カメラや、ステレオカメラを使用可能である。また、カメラ４１２は、対象物の色（例えば白線の走路区画線と黄線の走路区画線）を区別するために、カラーカメラであることが好ましい。レーダー４１４としては、光を放射するＬＩＤＡＲ（Light Detection and Ranging）や、電波を放射するレーダー（例えばミリ波レーダー）など、電磁波を放射する各種のレーダーを使用可能である。後方検出装置４２０は、自車両５０の後方に存在する物体や道路設備等の各種の対象物に関する情報を取得する。後方検出装置４２０も、前方検出装置４１０と同様な車載センサを含むように構成可能である。

支援情報取得部５００は、自動運転のための各種の支援情報を取得する。支援情報取得部５００は、ＧＮＳＳ受信機５１０と、ナビゲーション装置５２０と、無線通信装置５３０とを含んでいる。ＧＮＳＳ受信機５１０は、ＧＮＳＳ（Global Navigation Satellite System）を構成する人工衛星から受信した航法信号に基づいて、自車両５０の現在位置（経度・緯度）を測位する。ナビゲーション装置５２０は、目的地とＧＮＳＳ受信機５１０で検出される自車位置とに基づいて、自動運転における走行予定経路を決定する機能を有する。走行予定経路の決定や修正のために、ＧＮＳＳ受信機５１０に加えて、ジャイロ等の他のセンサを利用してもよい。無線通信装置５３０は、高度道路交通システム７０（Intelligent Transport System）との無線通信によって自車両５０の状況や周囲の状況に関する状況情報を交換することが可能であり、また、他車６０との車車間通信や、道路設備に設置された路側無線機との路車間通信を行って状況情報を交換することも可能である。支援情報取得部５００は、このような無線通信を介して得られる状況情報を利用して、自車の走行状況に関する情報の一部を取得するようにしてもよい。支援情報取得部５００によって取得された各種の支援情報は、自動運転ＥＣＵ２００に送信される。

本明細書において「自動運転」とは、ドライバ（運転者）が運転操作を行うことなく、駆動部制御とブレーキ制御と操舵角制御のすべてを自動で実行する運転を意味する。従って、自動運転では、駆動部の動作状態と、ブレーキ機構の動作状態と、車輪の操舵角が、自動的に決定される。「手動運転」とは、駆動部制御のための操作（アクセルペダルの踏込）と、ブレーキ制御のための操作（ブレーキベダルの踏込）と、操舵角制御のための操作（ステアリングホイールの回転）を、ドライバが実行する運転を意味する。

自動運転制御部２１０は、状況認知部２２０で認知される各種の状況を使用して、自車両５０の自動運転の制御を実行する。具体的には、自動運転制御部２１０は、駆動部（エンジンやモータ）の動作状態を示す駆動指示値を駆動部制御装置３１０に送信し、ブレーキ機構の動作状態を示すブレーキ指示値をブレーキ制御装置３２０に送信し、車輪の操舵角を示す操舵角指示値を操舵角制御装置３３０に送信する。各制御装置３１０，３２０，３３０は、与えられた指示値に従ってそれぞれの制御対象機構の制御を実行する。なお、自動運転制御部２１０の各種の機能は、例えばディープラーニングなどの機械学習を利用した人工知能により実現可能である。

自動運転制御システム１００は、自動運転ＥＣＵ２００を含む多数の電子機器を有している。これらの複数の電子機器は、ＣＡＮ（Controller Area Network）などの車載ネットワークを介して互いに接続されている。

図２に示すように、状況認知部２２０は、自車両５０が走行経路ＳＤＲに沿って走行している際に、走路形状に関連する複数の対象物を認識することが可能である。ここでは、状況認知部２２０が認識可能な対象物として、走路の左端ＬＥと、右端ＲＥと、走路区画線ＷＬ１，ＷＬ２，ＷＬ３と、路側物ＲＳＯとが描かれている。２つの走路区画線ＷＬ１，ＷＬ３は実線の白線であり、中央の走路区画線ＷＬ２は破線の白線である。路側物ＲＳＯは、例えばガードレールである。これらの対象物は、カメラ４１２で撮影された画像や、レーダー４１４の検出結果を利用して認識することが可能である。自車両５０の前方には、先行する他車６０が走行している場合がある。このような他車６０の存在及びその走行軌跡も、カメラ４１２で撮影された画像や、レーダー４１４の検出結果を利用して認識可能である。以下では、自車両５０の走路形状を算出するための対象物として、路側物ＲＳＯを認識する処理について説明する。なお、路側物としては、ガードレールの他に、路肩の縁石やポール列などの路肩に存在する他の物体も認識することが可能である。

図３に示すように、カメラ４１２で撮影される画像には、図２に示した走路の左端ＬＥ及び右端ＲＥと、走路区画線ＷＬ１，ＷＬ２，ＷＬ３と、路側物ＲＳＯとが含まれている。この画像には、更に、自車両５０よりも上方に存在する上方物体ＵＯＢが含まれている。この例では、上方物体ＵＯＢは、道路標識である。但し、上方物体ＵＯＢとしては、オーバーパスや歩道橋などの高架が画像に含まれる可能性がある。なお、「自車両５０よりも上方」とは、自車両５０の直上に存在することは必要でなく、自車両５０よりも鉛直方向の位置が高いことを意味している。路側物ＲＳＯと上方物体ＵＯＢについては、レーダー４１４が、その電磁波の反射点を検出できる。従って、反射点取得部２２２は、路側物ＲＳＯの反射点のみでなく、上方物体ＵＯＢの反射点を含む反射点群を取得する可能性がある。

上方物体ＵＯＢの反射点は、路側物ＲＳＯを認識する際にはノイズとなるので、上方物体ＵＯＢの反射点は反射点群から除外したい。第１実施形態では、カメラ４１２で撮影した画像において、自車両５０の走行路を含む走行路領域を設定し、その走行路領域内に存在する反射点を反射点群から除外する。この処理の内容は後述する。

図４に示すように、路側物ＲＳＯを認識する処理では、まずステップＳ１１０において、反射点取得部２２２が、レーダー４１４の検出結果から反射点群を取得する。上述したように、この反射点群には、路側物ＲＳＯの反射点のみでなく、上方物体ＵＯＢの反射点を含み得る。

ステップＳ１２０では、画像取得部２２４が、カメラ４１２を用いて走行経路の画像を取得する。この画像は、例えば、前述した図３のような画像である。

ステップＳ１３０では、反射点修正部２２６が、カメラ４１２で撮影した画像の画像処理により、路側物ＲＳＯでない可能性の高い反射点を除外して反射点群を修正する。なお、レーダー４１４による測定で得られた反射点の位置は、予め定められた座標変換行列によって、カメラ４１２で撮影した画像内の位置に変換される。ステップＳ１３０の処理として、第１実施形態では、画像処理によって自車両５０の走行路を含む走行路領域を設定し、その走行路領域内に存在する反射点は、路側物ＲＳＯでない可能性が高いものと判定して反射点群から除外する。この処理では、例えば、以下に示す３つの方法のうちの１つ以上を使用可能である。

＜方法１（図５）＞走路区画線ＷＬ１～ＷＬ３を基準として自車両５０の走行路領域ＲＬＡ１を設定し、走行路領域ＲＬＡ１に存在する反射点ＲＰ８，ＲＰ９を反射点群から除外する。

＜方法２（図６）＞先行する他車６１の軌跡を基準として自車両５０の走行路領域ＲＬＡ２を設定し、走行路領域ＲＬＡ２に存在する反射点ＲＰ８，ＲＰ９を反射点群から除外する。

＜方法３（図７）＞道路端ＲＥを基準として自車両５０の走行路領域ＲＬＡ３を設定し、走行路領域ＲＬＡ３に存在する反射点ＲＰ８，ＲＰ９を反射点群から除外する。

なお、以下では、認識対象の路側物ＲＳＯが自車両５０の右側に存在する場合について、上記方法１～３の具体例を説明する。路側物ＲＳＯが自車両５０の左側に存在する場合には、以下の説明における「左」と「右」を逆にすれば同様の説明が成立する。

図５の例では、カメラ４１２で撮影された画像の画像処理によって、走路区画線ＷＬ１～ＷＬ３が認識されている。この場合には、自車両５０の右側に認識されている走路区画線のうちで最も右に存在する走路区画線ＷＬ１よりも左側の領域を走行路領域ＲＬＡ１として設定する。走行路領域ＲＬＡ１には砂目のハッチングが付されている。このとき、反射点修正部２２６は、走行路領域ＲＬＡ１に存在する反射点ＲＰ８，ＲＰ９を反射点群から除外する。こうすれば、路側物ＲＳＯの反射点ＲＰ１～ＲＰ７で構成される反射点群を正しく認識できる。

なお、図５において、自車両５０の基準位置を原点として、車幅方向をＸ軸とし、Ｘ軸に垂直な方向をＹ軸とする２次元座標系が描かれている。車幅方向Ｘを「横方向」とも呼ぶ。反射点の位置は、ＸＹ座標値で規定される。また、走路区画線ＷＬ１～ＷＬ３は、ＸＹ座標系における２次元的な形状として認識される。これは、後述する他車走行軌跡や道路端も同様である。

図６の例では、カメラ４１２で撮影された画像の画像処理によって、先行する他車６１，６２が１台以上認識されている。この場合には、自車両５０の右側に認識されている他車のうち、最も右に存在する他車６１の軌跡の右端位置よりも左側を走行路領域ＲＬＡ２として設定する。なお、「自車両５０の右側に認識されている他車６１」とは、その車両の左右の中心線が自車両５０の左右の中心線よりも右側に存在する車両を意味する。また、「他車６１の軌跡」とは、走行中の他車６１の右端ＯＶＥの軌跡であり、時系列的に撮影された複数の画像から認識される軌跡を意味する。他車６１の軌跡を用いて走行路領域ＲＬＡ２を設定する場合には、自車両５０の進行方向に沿った走行路領域ＲＬＡ２の範囲は、他車６１の後端までの位置に設定することが好ましい。反射点修正部２２６は、走行路領域ＲＬＡ２に存在する反射点ＲＰ８，ＲＰ９を反射点群から除外する。こうすれば、路側物ＲＳＯの反射点ＲＰ１～ＲＰ７で構成される反射点群を正しく認識できる。

図７の例では、カメラ４１２で撮影された画像の画像処理によって、道路端ＬＥ，ＲＥが認識されている。この場合には、自車両５０の右側に認識されている道路端ＲＥよりも左側を走行路領域ＲＬＡ３として設定する。反射点修正部２２６は、走行路領域ＲＬＡ３に存在する反射点ＲＰ８，ＲＰ９を反射点群から除外する。こうすれば、路側物ＲＳＯの反射点ＲＰ１～ＲＰ７で構成される反射点群を正しく認識できる。

図８の例では、図５（方法１）で使用された基準物である走路区画線ＷＬ１と、図６（方法２）で使用された基準物である他車６１の軌跡とが認識されている。このように、走行路領域を設定するために利用可能な基準物が複数存在する場合には、それらの複数の基準物のうちで走行路領域が最も広くなる基準物を使用して走行路領域を設定することが好ましい。すなわち、図８の例では、自車両５０の右側に認識されている走路区画線のうちで最も右に存在する走路区画線ＷＬ１よりも左側の領域（図５のＲＬＡ１）と、自車両５０の右側に認識されている他車６１のうち、最も右に存在する他車６１の軌跡より左側である領域（図６のＲＬＡ２）のうち、より広い領域を走行路領域ＲＬＡ４として設定する。この場合にも、反射点修正部２２６は、走行路領域ＲＬＡ４に存在する反射点ＲＰ８，ＲＰ９を反射点群から除外する。こうすれば、路側物ＲＳＯの反射点ＲＰ１～ＲＰ７で構成される反射点群を正しく認識できる。

各基準物に対応する走行路領域は、各基準物毎に予め定められたルールに従ってそれぞれ決定される。なお、図８の例において、複数の基準物を用いて設定される複数の走行路領域ＲＬＡ１，ＲＬＡ２のうちの最も広い領域を走行路領域ＲＬＡ４として選択する代わりに、それらの領域ＲＬＡ１，ＲＬＡ２の和領域を、反射点の除外に使用する走行路領域として設定するようにしてもよい。

上述した図５～図８では、カメラ４１２で撮影した画像の画像処理によって自車両５０の走行路を含む走行路領域を設定し、その走行路領域に存在する反射点は路側物ＲＳＯでない可能性が高いものと判定して反射点群から除外している。但し、走行路領域を設定する方法以外の方法で、路側物ＲＳＯの反射点では無い可能性が高いと判定される反射点を選択して除外するようにしてもよい。例えば、図３から理解できるように、カメラ４１２で撮影した画像の中で、路側物ＲＳＯは、画面の左辺又は右辺から画像内の消失点に向かう物体である場合が多いので、このような物体の反射点である可能性の低い反射点を反射点群から除外するようにしてもよい。

図９に示すように、反射点群ＲＰ１～ＲＰ９から不要な反射点ＲＰ８，ＲＰ９を除外することによって反射点群が修正されると、図４のステップＳ１４０において、形状認識部２２８が、修正された反射点群ＲＰ１～ＲＰ７を使用して路側物ＲＳＯの形状を認識する。具体的には、修正された反射点群ＲＰ１～ＲＰ７を順次接続することによって、路側物ＲＳＯの２次元形状を認識する。反射点群から路側物ＲＳＯの形状を認識する技術は周知なので、ここではその詳細は省略する。

ステップＳ１５０では、走路形状算出部２３０が、認識された路側物ＲＳＯを使用して走路形状を算出する。具体的には、路側物ＲＳＯや他の対象物（走路区画線ＷＬ１～ＷＬ３等）の形状から、自車両５０が走行すべき走路形状を算出する。自動運転制御部２１０は、こうして算出された走路形状を使用して、自車両５０の自動運転を実行する。

以上のように、第１実施形態では、カメラ４１２で撮影された画像の画像処理によって路側物ＲＳＯの反射点では無い可能性が高いと判定される反射点を、反射点群から除外することによって反射点群を修正し、修正された反射点群を用いて路側物ＲＳＯの形状を認識する。すなわち、第１実施形態では、走行経路の画像の画像処理の結果を用いて路側物ＲＳＯでは無い可能性が高い反射点を反射点群から除外するので、ノイズ点を適切に除去することができ、路側物ＲＳＯの形状を誤認識する可能性を低減できる。

B. 第２実施形態：
第２実施形態では、カメラ４１２で撮影された画像の画像処理によって、画像内の物体が上方物体ＵＯＢ（図３）であると認識された場合に、上述した第１実施形態の処理（図５～図８）に加えて、以下の図１０に示す処理を実行する。

なお、画像内の自車両５０の上方物体ＵＯＢを認識する方法としては、例えば、予め登録された多数の上方物体のテンプレート画像とのパターンマッチング、或いは、機械学習済の人工知能を利用して画像内の物体を認識し、その物体が画像の消失点よりも上方に存在すれば、上方物体と認識することができる。また、ＧＮＳＳ信号が検出できない場合は、オーバーパスやトンネルの天井等の上方構造物が存在する可能性が高いため、上方構造物が存在すると判定してもよい。ただし、後者の場合は、後述する通り、予め設定した距離（例えば５０ｍ～６０ｍの範囲の値）以遠の領域を上方物体領域ＵＡ１として設定することが好ましい。

図１０に示すように、画像内の物体が自車両５０の上方物体ＵＯＢであると認識された場合には、上方物体ＵＯＢが存在すると想定される上方物体領域ＵＡ１を設定し、上方物体領域ＵＡ１に存在する反射点ＲＰａ，ＲＰ８，ＲＰ９を反射点群から除外する。図１０には、図５の処理で設定された走行路領域ＲＬＡ１も示されている。図１０の処理によって反射点群から除外された３つの反射点ＲＰａ，ＲＰ８，ＲＰ９のうち、反射点ＲＰａは走行路領域ＲＬＡ１の外側にあるので、図５の処理では除外できない。この反射点ＲＰａは、例えば、図３に示す画像の上方物体ＵＯＢの柱からの電磁波の反射に相当する。このような場合にも、上方物体ＵＯＢが存在すると想定される上方物体領域ＵＡ１を設定して、上方物体領域ＵＡ１に存在する反射点ＲＰａ，ＲＰ８，ＲＰ９を反射点群から除外すれば、路側物ＲＳＯの形状をより正しく認識することが可能である。

上方物体ＵＯＢが存在すると想定される上方物体領域ＵＡ１は、種々の方法で設定可能である。第２実施形態において、上方物体領域ＵＡ１は、上方物体ＵＯＢが存在すると算出又は推定される位置以遠の領域として設定される。例えば、カメラ４１２がステレオカメラであれば、自車両５０から上方物体ＵＯＢの距離をステレオカメラの画像から算出し、算出された距離以遠の領域を上方物体領域ＵＡ１として設定することが可能である。また、カメラ４１２が単眼カメラである場合には、カメラ４１２で撮影された画像内の上方物体ＵＯＢの座標と、レーダー４１４で測定された上方物体ＵＯＢの反射点の座標及び距離から、上方物体ＵＯＢの距離を推定し、その距離以遠の領域を上方物体領域ＵＡ１として設定することが可能である。或いは、上方物体ＵＯＢが存在する位置を算出又は推定できない場合には、予め設定した距離（例えば５０ｍ～６０ｍの範囲の値）以遠の領域を上方物体領域ＵＡ１として設定してもよい。

このように、第２実施形態では、自車両５０の走行路の上方に存在すると認識される上方物体ＵＯＢ（例えば行先案内標識や高架道路）が画像に含まれる場合に、上方物体ＵＯＢが存在すると想定される上方物体領域ＵＡ１を設定し、その上方物体領域ＵＡ１に存在する反射点を反射点群から除外するので、上方物体ＯＵＢを路側物ＲＳＯと誤認識する可能性を低減できる。

C. 第３実施形態：
第３実施形態では、カメラ４１２で撮影された画像の画像処理によって、画像内の物体が上方物体ＵＯＢ（図３）であると認識された場合に、上述した第１実施形態の処理（図５～図８）に加えて、以下の図１１に示す処理を実行する。この図１１の処理は、図１０と処理と同様に、上方物体ＵＯＢが存在すると想定される上方物体領域ＵＡ２を設定し、上方物体領域ＵＡ２に存在する反射点ＲＰａ，ＲＰ８，ＲＰ９を反射点群から除外する処理である。第３実施形態が第２実施形態と異なる点は、上方物体領域ＵＡ２の設定方法である。

図１１に示すように、第３実施形態において、上方物体領域ＵＡ２は、上方物体ＵＯＢが存在すると算出又は推定される位置から予め定めた距離の範囲内の領域として設定される。例えば、カメラ４１２がステレオカメラであれば、上方物体ＵＯＢの位置をステレオカメラの画像から算出し、その位置から予め定めた距離（例えば２ｍ）の範囲内の領域を上方物体領域ＵＡ２として設定することが可能である。また、カメラ４１２が単眼カメラである場合には、カメラ４１２で撮影された画像内の上方物体ＵＯＢの座標と、レーダー４１４で測定された上方物体ＵＯＢの反射点の座標及び距離から、上方物体ＵＯＢの３次元的な位置を推定し、その位置から予め定めた距離の範囲内の領域を上方物体領域ＵＡ２として設定することが可能である。この第３実施形態によっても、第２実施形態と同様の効果を奏することが可能である。

D. 第４実施形態：
図１２に示す例では、走行経路ＳＤＲに暫定区画線ＴＬＭが含まれている。暫定区画線ＴＬＭは、その区間が暫定走行区間であることを示す区画線である。暫定区画線ＴＬＭは、例えば白線と黄線の複合線として路面に描かれる。また、暫定区画線ＴＬＭの領域内には、ポール列ＰＬが配置されることが多い。反射点修正部２２６が暫定区画線ＴＬＭを認識する際には、区画線が白線と黄色線の複合線であるという特徴の他に、他の特徴（左側が白線の実線であること、車線幅が狭いこと、縦に並んだエッジ点群（ポール列ＰＬ等の点群）が連続すること、等）を用いて認識を実行することが可能である。第４実施形態では、このポール列ＰＬを路側物として認識する場合の処理について説明する。

図１３に示す例では、レーダー４１４によって得られる反射点群に、図１２のポール列ＰＬに相当する反射点ＲＰ１１～ＲＰ１８と、他の路側物から得られる反射点ＲＰ*とが含まれている。反射点修正部２２６は、カメラ４１２で撮影された画像に暫定区画線ＴＬＭが含まれるか否かを判定し、暫定区画線ＴＬＭが含まれると判定された場合には、暫定区画線ＴＬＭを含む暫定区画線領域ＴＬＡ以外の領域ＲＬＡ７を設定する。なお、暫定区画線領域ＴＬＡは、例えば、暫定区画線ＴＬＭに外接する領域として設定することができ、或いは、暫定区画線ＴＬＭに外接する領域の外側に予め定めた幅（例えば４０ｃｍ～６０ｃｍ）のマージンを取った領域とすることも可能である。反射点修正部２２６は、この領域ＲＬＡ７に存在する反射点ＲＰ*を反射点群から除外する。

このように、カメラ４１２で撮影された画像に暫定区画線ＴＬＭが含まれる場合に、暫定区画線ＴＬＭ以外の領域ＲＬＡ７に存在する反射点ＲＰ*を反射点群から除外するようにすれば、暫定区画線ＴＬＭの領域に含まれるポール列ＰＬなどの路側物を正しく認識することが可能である。この処理は、特に、トンネル内などのように反射点のノイズが多い場所において、暫定区画線ＴＬＭの領域に含まれる路側物を正しく認識できる点での効果が顕著である。なお、第４実施形態における反射点群の修正も、画像の画像処理によって路側物の反射点では無い可能性が高いと判定される反射点を反射点群から除外する処理の一種である。

本発明は上述した実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態において実施することが可能である。

５０…自車両、２００…自動運転ＥＣＵ（路側物認識装置）、２２２…反射点取得部、２２４…画像取得部、２２６…反射点修正部、２２８…形状認識部、４１２…カメラ、４１４…レーダー

Claims

自車両（５０）の運転制御に利用するために、前記自車両の走行経路に存在する路側物（ＲＳＯ，ＰＬ）を認識する路側物認識装置（２００）であって、
電波又は光である電磁波を放射するレーダー（４１４）を用いて、前記走行経路に存在する物体からの前記電磁波の反射点で構成される反射点群を取得する反射点取得部（２２２）と、
カメラ（４１２）を用いて前記走行経路の画像を取得する画像取得部（２２４）と、
前記画像の画像処理によって前記路側物の反射点では無い可能性が高いと判定される反射点を前記反射点群から除外することによって、前記反射点群を修正する反射点修正部（２２６）と、
修正された前記反射点群を用いて、前記路側物の形状を認識する形状認識部（２２８）と、
を備え、
前記反射点修正部は、前記画像において前記自車両の走行路を含む走行路領域を設定し、前記走行路領域に存在する反射点を前記反射点群から除外し、
前記反射点修正部は、前記走行路領域を設定するために利用可能な複数の基準物を認識した場合には、前記複数の基準物のうちで前記走行路領域が最も広くなる基準物を使用して前記走行路領域を設定する、路側物認識装置。
自車両（５０）の運転制御に利用するために、前記自車両の走行経路に存在する路側物（ＲＳＯ，ＰＬ）を認識する路側物認識装置（２００）であって、
電波又は光である電磁波を放射するレーダー（４１４）を用いて、前記走行経路に存在する物体からの前記電磁波の反射点で構成される反射点群を取得する反射点取得部（２２２）と、
カメラ（４１２）を用いて前記走行経路の画像を取得する画像取得部（２２４）と、
前記画像の画像処理によって前記路側物の反射点では無い可能性が高いと判定される反射点を前記反射点群から除外することによって、前記反射点群を修正する反射点修正部（２２６）と、
修正された前記反射点群を用いて、前記路側物の形状を認識する形状認識部（２２８）と、
を備え、
前記反射点修正部は、前記画像において前記自車両の走行路を含む走行路領域を設定し、前記走行路領域に存在する反射点を前記反射点群から除外し、
前記反射点修正部は、前記走行路領域を設定するために利用可能な複数の基準物を認識した場合には、前記複数の基準物で設定される複数の領域の和領域を前記走行路領域として設定する、路側物認識装置。
請求項１又は２に記載の路側物認識装置であって、
前記反射点修正部は、前記自車両の走行路の上方に存在すると認識される上方物体が前記画像に含まれる場合には、前記上方物体が存在すると想定される上方物体領域を設定し、前記上方物体領域に存在する反射点を前記反射点群から除外する、路側物認識装置。
請求項１～３のいずれか一項に記載の路側物認識装置であって、
前記反射点修正部は、前記画像に暫定走行区間であることを示す区画線である暫定区画線が含まれる場合に、前記暫定区画線を含む暫定区画線領域以外の領域に存在する反射点を前記反射点群から除外する、路側物認識装置。
自車両（５０）の運転制御に利用するために、前記自車両の走行経路に存在する路側物（ＲＳＯ，ＰＬ）を認識する路側物認識装置（２００）であって、
電波又は光である電磁波を放射するレーダー（４１４）を用いて、前記走行経路に存在する物体からの前記電磁波の反射点で構成される反射点群を取得する反射点取得部（２２２）と、
カメラ（４１２）を用いて前記走行経路の画像を取得する画像取得部（２２４）と、
前記画像の画像処理によって前記路側物の反射点では無い可能性が高いと判定される反射点を前記反射点群から除外することによって、前記反射点群を修正する反射点修正部（２２６）と、
修正された前記反射点群を用いて、前記路側物の形状を認識する形状認識部（２２８）と、
を備え、
前記反射点修正部は、前記画像に暫定走行区間であることを示す区画線である暫定区画線が含まれる場合に、前記暫定区画線を含む暫定区画線領域以外の領域に存在する反射点を前記反射点群から除外し、
前記暫定区画線は白線と黄線の複合線である、路側物認識装置。