JP7321035B2 - 物体位置検出方法及び物体位置検出装置 - Google Patents

Description

本発明は、物体位置検出方法及び物体位置検出装置に関する。

特許文献１には、レーザレーダから得られた測距データに基づいて路面上の立体物（物体）を検出する立体物検出装置が記載されている。この立体物検出装置は、レーザレーダで計測した３次元距離データ点群を蓄積したグリッドマップを生成して路面と立体物を判定する。路面と立体物の判定は、グリッドマップ上のセルに投影された点群の高さ方向の分散に基づいて行う。その際、画像の各方位に対して最近距離に存在する物体までの距離を抽出し、グリッドマップ上で物体の手前に存在する路面領域を探索して、その路面領域に含まれる点群から路面高さを推定する。それをもとに、画像中における路面と立体物の接地点を算出して立体物の位置を検出する。

特開２０１３－１４０５１５号公報

レーザレーダによる測定点の密度は、レーザレーダ本体から離れるほど低下する。このため、レーザレーダから遠距離に存在する物体の位置検出精度が低下するという問題がある。
本発明は、遠距離の物体の検出精度を向上させることを目的とする。

本発明の一態様に係る物体位置検出方法では、自車両の周囲の撮像画像を取得し、撮像画像内において、撮像された物体に対応する領域である部分領域を抽出し、地図情報に含まれている自車両の周囲のレーンの幅方向中央をレーンに沿って延びる中央線の地図上の座標を、撮像画像の画像座標系上の座標に変換し、部分領域の下端かつ幅方向で中央に位置する中心点に最も近い中央線上の位置である近傍点を画像座標系において検出し、近傍点の地図座標系上の位置に基づいて、前記物体の位置を検出する。

本発明によれば、遠距離の物体の位置検出精度を向上させることができる。

実施形態の走行支援装置を搭載する車両の概略構成の一例を示す図である。 自車両から前方を撮像した撮像画像の模式図である。 地図情報に含まれる走行レーンのデータを、自車両前方の撮像画像の画像座標系に投影した例を示す模式図である。 図１のコントローラの機能構成の一例を示す図である。 地図座標系と画像座標系との間の座標変換の一例の説明図である。 撮像画像上の物体の検出領域と地図データとの対応付けの第１例の説明図である。 撮像画像上の物体の検出領域と地図データとの対応付けの第２例の説明図である。 第１実施形態の物体位置検出方法の一例のフローチャートである。 第２実施形態の物体位置検出方法の一例の説明図である。 第２実施形態の物体位置検出方法の一例の説明図である。 第２実施形態の変形例の説明図である。 第２実施形態の変形例の説明図である。

以下、図面を参照して、本発明の実施形態を説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付し、重複する説明を省略する。各図面は模式的なものであり、現実のものとは異なる場合が含まれる。以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、下記の実施形態に例示した装置や方法に特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。

（第１実施形態）
（構成）
自車両１は、自車両１の走行支援を行う走行支援装置１０を備える。走行支援装置１０は、自車両１の現在位置である自己位置を検出し、検出した自己位置に基づいて自車両１の走行を支援する。
例えば、走行支援装置１０は、検出した自己位置と周囲の走行環境とに基づいて、運転者が関与せずに自車両１を自動で運転する自律走行制御を行うことによって運転を支援する。なお、推定した自己位置と周囲の走行環境とに基づいて操舵角のみあるいは加減速のみを制御するなど、自車両１の走行に関わる運転動作を部分的に支援してもよい。

走行支援装置１０は、測位装置１１と、地図データベース１２と、外部センサ１３と、車両センサ１４と、ナビゲーションシステム１５と、コントローラ１６と、アクチュエータ１７を備える。なお、図面において、地図データベースを、「地図ＤＢ」と表記する。
測位装置１１は、自車両１の現在位置を測定する。測位装置１１は、例えば全地球型測位システム（ＧＮＳＳ）受信機を備えてよい。ＧＮＳＳ受信機は、例えば地球測位システム（ＧＰＳ）受信機等であり、複数の航法衛星から電波を受信して自車両１の現在位置を測定する。

地図データベース１２は、フラッシュメモリ等の記憶装置に格納され、自車両１の自己位置の推定に必要な道路形状や地物、ランドマーク等の物標の位置及び種類などの地図情報を記憶している。
地図データベース１２として、例えば、自律走行用の地図として好適な高精度地図データ（以下、単に「高精度地図」という。）を記憶してよい。高精度地図は、ナビゲーション用の地図データ（以下、単に「ナビ地図」という。）よりも高精度の地図データであり、道路単位の情報よりも詳細な走行レーン（車線）単位の情報を含む。
例えば、高精度地図は走行レーン単位の情報として、走行レーン基準線（例えば走行レーン内の幅方向で中央位置を走行レーンに沿って延びる中央線）上の基準点を示す車線ノードの情報と、車線ノード間の車線の区間態様を示す車線リンクの情報、走行レーンの幅方向端部位置に沿って延びる車線区分線の情報を含む。

車線ノードの情報は、その車線ノードの識別番号、位置座標、接続される車線リンク数、接続される車線リンクの識別番号を含む。車線リンクの情報は、その車線リンクの識別番号、走行レーンの種類、走行レーンの進行方向、走行レーンの幅員、車線境界線（車線区分線）の種類、走行レーンの形状、車線境界線（車線区分線）の形状、走行レーン基準線の形状を含む。高精度地図は更に、走行レーン上又はその近傍に存在する信号機、停止線、標識、建物、電柱、縁石、横断歩道等の地物やランドマークといった物標の種類及び位置座標と、これらの位置座標に対応する車線ノードの識別番号及び車線リンクの識別番号等の、物標の情報を含む。

また、地図データベース１２にはナビ地図が記憶されていてもよい。ナビ地図は道路単位の情報を含む。例えば、ナビ地図は道路単位の情報として、道路基準線（例えば道路の中央の線）上の基準点を示す道路ノードの情報と、道路ノード間の道路の区間態様を示す道路リンクの情報を含む。
なお、地図データベース１２は、無線通信（路車間通信、または、車車間通信でも可）等の通信システムを介して外部から地図情報を取得してもよい。この場合、地図データベース１２は、定期的に最新の地図情報を入手して、保有する地図情報を更新してもよい。また、地図データベース１２は、自車両１が実際に走行した走路を、地図情報として蓄積してもよい。

外部センサ１３は、自車両１の周囲環境についての様々な情報（周囲環境情報）、例えば自車両１の周囲の物体を検出する。外部センサ１３は、自車両１の周囲に存在する物体、自車両１と物体との相対位置、自車両１と物体との距離、物体が存在する方向等の第１車両の周囲環境を検出する。
例えば外部センサ１３は、自車両１に対する自車両１周囲の他車両や物標の相対位置を検出する。ここで、物標とは、例えば、自車両１が走行する走行路面上の線（車線区分線等）や、路肩の縁石、ガードレール等である。

外部センサ１３は、例えばフルＨＤ解像度のカラーカメラのような単眼のカメラ１８を備えてよい。カメラ１８は、自車両１の周囲環境の認識対象を含む画像を撮像し、その撮像画像を周囲環境情報としてコントローラ１６へ出力する。
また、外部センサ１３は、レーザレンジファインダ（ＬＲＦ）やレーダ、ＬｉＤＡＲ（Light Detection and Ranging）のレーザレーダなどの測距装置１９を備えてよい。測距装置１９は、例えば、自車両周囲に存在する物体との相対距離と方向により定まる相対位置を検出する。測距装置１９は、検出した測距データを周囲環境情報としてコントローラ１６へ出力する。

車両センサ１４は、自車両１から得られる様々な情報（車両情報）を検出する。車両センサ１４には、例えば、自車両１の走行速度（車速）を検出する車速センサ、自車両１が備える各タイヤの回転速度を検出する車輪速センサ、自車両１の３軸方向の加速度（減速度を含む）を検出する３軸加速度センサ（Ｇセンサ）、操舵角（転舵角を含む）を検出する操舵角センサ、自車両１に生じる角速度を検出するジャイロセンサ、ヨーレートを検出するヨーレートセンサ、自車両１のアクセル開度を検出するアクセルセンサと、運転者によるブレーキ操作量を検出するブレーキセンサが含まれる。

ナビゲーションシステム１５は、測位装置１１により自車両１の現在位置を認識し、その現在位置における地図情報を地図データベース１２から取得する。ナビゲーションシステム１５は、乗員が入力した目的地までの走行予定経路を設定し、この走行予定経路に従って乗員に経路案内を行う。
またナビゲーションシステム１５は、設定した走行予定経路の情報をコントローラ１６へ出力する。自律走行制御時にコントローラ１６は、ナビゲーションシステム１５が設定した走行予定経路に沿って自律走行するように自車両１を自動で運転（運転行動を制御）する。

コントローラ１６は、自車両１の走行支援制御を行う電子制御ユニット（ＥＣＵ：Electronic Control Unit）である。コントローラ１６は、プロセッサ２０と、記憶装置２１等の周辺部品とを含む。プロセッサ２０は、例えばＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）であってよい。
記憶装置２１は、半導体記憶装置や、磁気記憶装置、光学記憶装置等を備えてよい。記憶装置２１は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを含んでよい。
以下に説明するコントローラ１６の機能は、例えばプロセッサ２０が、記憶装置２１に格納されたコンピュータプログラムを実行することにより実現される。

なお、コントローラ１６を、以下に説明する各情報処理を実行するための専用のハードウエアにより形成してもよい。
例えば、コントローラ１６は、汎用の半導体集積回路中に設定される機能的な論理回路を備えてもよい。例えばコントローラ１６はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Field-Programmable Gate Array）等のプログラマブル・ロジック・デバイス（ＰＬＤ：Programmable Logic Device）等を有していてもよい。

コントローラ１６は、自車両１の現在位置である自己位置を検出し、自己位置と、地図データベース１２の道路の地図情報と、ナビゲーションシステム１５から出力された経路情報と、周囲環境と、自車両１の走行状態とに基づいて、自車両１を走行させる目標走行軌道を設定する。

目標走行軌道を設定する際に、コントローラ１６はカメラ１８が取得した自車両１の周囲の撮像画像（例えば自車両の前方の撮像画像）に基づいて、自車両１の周囲の物体（例えば自車両の前方の物体）の位置と姿勢を検出し、自車両１の周囲の物体の検出結果に応じて目標走行軌道を設定する。
コントローラ１６は、目標走行軌道に基づいて自車両１の自律走行制御を行い、アクチュエータ１７を駆動して自車両１の走行を制御する。

アクチュエータ１７は、コントローラ１６からの制御信号に応じて、自車両１のステアリングホイール、アクセル開度及びブレーキ装置を操作して、自車両１の車両挙動を発生させる。アクチュエータ１７は、ステアリングアクチュエータと、アクセル開度アクチュエータと、ブレーキ制御アクチュエータを備える。ステアリングアクチュエータは、自車両１のステアリングの操舵方向及び操舵量を制御する。アクセル開度アクチュエータは、自車両１のアクセル開度を制御する。ブレーキ制御アクチュエータは、自車両１のブレーキ装置の制動動作を制御する。

続いて、コントローラ１６による自車両１の周囲の物体の位置を検出する動作の概要を説明する。図２Ａを参照する。
コントローラ１６は、カメラ１８が自車両１の周囲環境を撮像して取得した撮像画像３０を受信する。コントローラ１６は、撮像画像３０上において所定の認識対象の物体を検出し、これらの物体を検出した部分領域３１を抽出する。認識対象の物体は、例えば、他車両や人間であってよい。
以下の説明において、認識対象の物体を検出した部分領域を「物体領域」と表記することがある。

撮像画像３０上の物体領域３１の抽出には、例えば非特許文献「Joseph Redmon et al, You Only Look Once: Unified, Real-Time Object Detection」に記載の技術を用いてよい。この技術によれば，１回の画像処理によって１枚の画像から複数個の認識対象の物体領域を同時に検出し、矩形領域のリストとして出力することができる。

図２Ａの物体領域３１の例は、検出した物体に接する最小の矩形領域であり、撮像画像３０の画像座標系上の矩形領域の１つの頂点の座標（ｘ，ｙ）と高さと幅からなる大きさ（ｈ，ｗ）で表現できる。
参照符号３２は、物体領域３１の下端かつ幅方向で中央に位置する中心点を示す。

図２Ｂを参照する。コントローラ１６は、地図データベース１２から自車両１の周囲の走行レーンの地図データを読み出す。コントローラ１６は、走行レーンの地図データを撮像画像３０上に投影する。すなわち、地図座標系で表現された走行レーンの地図データの座標を、撮像画像３０の画像座標系上の座標に変換する。地図データは、必ずしも撮像画像３０上に重畳する必要はなく、地図データの画像座標系上の座標が得られればよい。

地図座標系と画像座標系との間の座標変換に用いるカメラ情報２３は、図１に示す記憶装置２１に格納されている。例えばカメラ情報２３は、カメラ１８の外部パラメータ（回転行列及び平行移動ベクトル）の算出に用いる自車両１へのカメラ１８の搭載位置及び姿勢の情報と、カメラ１８の内部パラメータ（焦点距離及び画像中心）を含む。

破線３４ａ及び３４ｂは、それぞれ第１走行レーン３３ａ及び第２走行レーン３３ｂの中央線を示し、実線３５、３６及び３７は、第１走行レーン３３ａ及び第２走行レーン３３ｂの左右境界線を示す。
コントローラ１６は、第１走行レーン３３ａ及び第２走行レーン３３ｂの地図データとして、これら中央線３４ａ及び３４ｂと左右車線境界線３５～３７の地図上の座標を、撮像画像３０の画像座標系上の座標に変換する。

次にコントローラ１６は、中央線３４ａ及び３４ｂ上の点のうち、物体領域３１の中心点３２に最も近い近傍点３８を、撮像画像３０上で検出する。すなわち、画像座標系において近傍点３８を検出する。
コントローラ１６は、近傍点３８の画像座標系上の座標を地図座標系上の座標に変換し、近傍点３８の地図座標系上の座標に基づいて、検出した物体の地図座標系上の座標を検出する。例えば、近傍点３８の地図座標系上の座標を、検出した物体の地図座標系上の座標として検出する。

本実施形態によれば、撮像画像３０上で直接物体を判別して検出するので、レーザレーダでは測定点の密度が低下して物体検出が困難になる遠方でも、物体検出が可能となる。また、地図データを撮像画像３０上に投影し、検出した物体と走行レーンとを撮像画像３０上で対応付けることにより、単眼カメラの撮像画像を用いて物体の地図上の位置を検出できる。
カメラ１８及びコントローラ１６は、特許請求の範囲に記載の物体位置検出装置の一例を構成する。

次に、図３を参照して、コントローラ１６の機能構成の一例を詳述する。コントローラ１６は、物体検出部４０と、自己位置推定部４１と、物体位置推定部４２と、マップ生成部４３と、運転行動決定部４４と、走行軌道生成部４５と、走行制御部４６を備える。
物体検出部４０は、カメラ１８が自車両１の周囲環境を撮像して取得した撮像画像３０を受信する。

物体検出部４０は、撮像画像３０上において所定の認識対象の物体を検出し、これらの物体を検出した部分領域である物体領域３１を抽出する。
上述のように物体検出部４０は、検出した物体に接する最小の矩形領域を物体領域３１として抽出してよい。なお、物体領域３１の設定方法は検出した物体の画像上での位置を検出できれば矩形に限定されるものではなく、例えば平行四辺形や台形等の他の多角形であってもよい。

また例えば物体領域３１は、検出した物体に内接する最大の円径領域であってもよい。この場合、画像上の円の中心位置及び半径により円径の物体領域３１を表現してもよい。また、認識対象の物体の外縁を近似した直方体を画像座標系に投影した領域を物体領域３１として検出してもよい。

自己位置推定部４１は、外部センサ１３が検出した自車両１と物標との相対位置と、地図データベース１２に記憶されている物標の地図上の位置とに基づいて、自車両１の自己位置を推定する。
例えば、自己位置推定部４１は、自己位置を前回推定した時点からの自車両１の移動量及び移動方向を算出し、これらの移動量及び移動方向により前回検出した自己位置を更新することにより、地図上の仮の自己位置を推定する。

自己位置推定部４１は、地図上の仮の自己位置に基づいて、外部センサ１３が検出した物標の相対位置の座標を地図上の座標に変換する。自己位置推定部４１は、座標変換後の物標の位置と地図データベース１２に記憶されている物標の位置とを照合し、その誤差が最小となる自車両１の位置及び姿勢を自己位置と推定する。

物体位置推定部４２は、地図データベース１２から自車両１の周囲の走行レーンの地図データを読み出す。地図データは、例えば走行レーンの中央線及び左右境界線の地図座標系上の座標を含む。
物体位置推定部４２は、地図データベース１２から読み出した走行レーンの地図データを撮像画像３０上に投影する。すなわち、地図座標系で表現された走行レーンの地図データの座標を、撮像画像３０の画像座標系上の座標に変換する。

例えば物体位置推定部４２は、自己位置推定部４１が推定した自車両１の位置及び姿勢と、カメラ情報２３として記憶装置２１に格納されたカメラ１８の自車両１への搭載位置及び姿勢の情報とに基づいて、カメラ１８の外部パラメータである回転行列Ｒ及び平行移動ベクトルｔを算出する。

物体位置推定部４２は、カメラ情報２３として記憶装置２１に格納されたカメラ１８の内部パラメータである焦点距離ｆ及び画像中心（ｃ_ｘ，ｃ_ｙ）と、回転行列Ｒ及び平行移動ベクトルｔに基づいて、地図データの地図座標系上の座標Ｐ（Ｘ，Ｙ，Ｚ）を画像座標系上の座標（ｕ，ｖ）に変換する。
図４に示すピンホールカメラモデルの例の場合、物体位置推定部４２は、地図座標系上の座標Ｐ（Ｘ，Ｙ，Ｚ）と画像座標系上の座標（ｕ，ｖ）との間の次の関係式にしたがって、地図データの座標を変換してよい。

なお、図４においてＦｃはカメラ１８の光学中心であり、Ｘｃ、Ｙｃ及びＺｃは、光学中心Ｆｃを原点とするカメラ座標系の座標軸である。

次に、物体位置推定部４２は、物体検出部４０が抽出した物体領域３１と、画像座標系上に投影された走行レーンの地図データとを対応付ける。
このとき、物体領域３１が検出した物体が走行レーンの中央線上に接地していると仮定する。物体位置推定部４２は、中央線上の何れかの点を物体の位置として検出し、検出した中央線上の点の座標を地図座標系上の座標に変換することにより、検出した物体の地図座標系上の位置を推定する。

例えば図５に示すように、物体領域３１が矩形で表現されている場合には、矩形領域の下辺の中点を中心点３２として算出し、撮像画像３０上において走行レーン３３ａの中央線３４ａと中心点３２との間の距離ｄを評価して、距離ｄが最も短くなる中央線３４ａ上の位置を、中心点３２に最も近い近傍点３８として検出する。そして、近傍点３８の座標を地図座標系上の座標に変換することにより、検出した物体の地図座標系上の位置を推定する。物体領域３１が平行四辺形や台形で表現されている場合も同様である。

また、物体領域３１が、物体の外縁を近似する直方体を画像座標系に投影した領域である場合には、直方体の何れかの側面の下辺の中点を中心点３２として検出してもよい。
また、物体領域３１が検出した物体に内接する最大の円径領域で表現される場合には、円径の物体領域３１の最下端を中心点３２として検出してもよい。

また、検出した物体が走行レーンを走行する車両である場合には、物体が道路構造に拘束されて移動することが明らかである。すなわち、物体は走行レーンの交通規則で定められた進行方向（以下、走行レーンの進行方向）に沿って走行することが明らかである。
したがって物体位置推定部４２は、物体領域３１が対応付けられた走行レーンの進行方向の情報を地図データベース１２から読み出し、近傍点３８における走行レーンの進行方向に基づいて検出した物体の姿勢を推定する。

なお、物体領域３１と走行レーンの地図データとの対応付けは、上記の方法に限定されるものではなく、中心点３２に最も近い中央線上の位置である近傍点３８が検出する様々な方法を採用することができる。
例えば図６に示すように、物体位置推定部４２は、物体領域３１の下辺の線分と、撮像画像３０上で走行レーンの左右境界線３５及び３６で囲まれた領域ａ（ハッチングされた領域）との重なりを算出し、最も重なりの大きな走行レーン３３ａを撮像画像３０に対応する走行レーンとして選択する。物体位置推定部４２は、選択した走行レーン３３ａの中央線３４ａとの交点を近傍点３８として選択してもよい。

図３を参照する。物体位置推定部４２は、推定した自車両１の周囲の物体の位置及び姿勢の情報をマップ生成部４３へ出力する。
マップ生成部４３は、物体位置推定部４２が推定した自車両１の周囲の物体の位置及び姿勢と、周囲環境情報と、高精度地図とに基づいて、自車両１の周辺の経路や物体の有無を表現する経路空間マップと、走行場の危険度を数値化したリスクマップを生成する。

運転行動決定部４４は、ナビゲーションシステム１５により設定された走行予定経路と、経路空間マップ及びリスクマップに基づいて、走行予定経路上を自動で自車両１に走行させるための運転行動計画を生成する。
運転行動計画とは、自車両を走行させる走行レーン（車線）と、この走行レーンを走行させるのに要する運転行動とを定めた、中長距離の範囲におけるレーンレベル（車線レベル）での運転行動の計画である。

運転行動決定部４４によって決定される運転行動には、停止線での停止や、交差点の右折、左折、直進や、所定曲率以上のカーブ路での走行、車線幅変化地点の通過、合流区間や複数車線を走行する際の車線変更が含まれる。
例えば運転行動決定部４４は、物体位置推定部４２が推定した他車両の位置に基づいて、他車両が存在する走行レーンとその進行方向を判定し、自車両１の走行レーンと交差するレーンを走行する他車両が自車両に近づいているか否かを判定してよい。他車両が自車両に接近していると判定した場合には、自車両を停止、又は減速し、若しくは回避操舵を伴う運転行動計画を生成する。

走行軌道生成部４５は、運転行動決定部４４が生成した運転行動計画、自車両１の運動特性、経路空間マップに基づいて、自車両１を走行させる走行軌道及び速度プロファイルの候補を生成する。
走行軌道生成部４５は、リスクマップに基づいて各候補の将来リスクを評価して、最適な走行軌道及び速度プロファイルを選択し、自車両１に走行させる目標走行軌道及び目標速度プロファイルとして設定する。
走行制御部４６は、走行軌道生成部４５が生成した目標速度プロファイルに従う速度で自車両１が目標走行軌道を走行するように、アクチュエータ１７を駆動することにより、自車両1が走行予定経路に沿って自動で走行するように自車両1の運転行動を制御する。

（動作）
次に、図７を参照して第１実施形態における物体位置検出方法の一例を説明する。
ステップＳ１においてカメラ１８は、自車両１の周囲の撮像画像（例えば自車両の前方の撮像画像）３０を取得する。
ステップＳ２において物体検出部４０は、撮像画像３０上において所定の認識対象の物体を検出し、これらの物体を検出した部分領域である物体領域３１を抽出する。

ステップＳ３において物体位置推定部４２は、地図データベース１２から読み出した走行レーンの地図データを撮像画像３０上に投影する。すなわち、地図座標系で表現された走行レーンの地図データの座標を、撮像画像３０の画像座標系上の座標に変換する。
ステップＳ４において物体位置推定部４２は、物体検出部４０が抽出した物体領域３１と、画像座標系上に投影された走行レーンの地図データとを対応付ける。すなわち、物体位置推定部４２は、画像座標系上において物体領域（部分領域）３１と地図データとの対応を評価する。

具体的には、画像座標系上に投影された走行レーンの中央線上の点のうち、物体領域３１の下端かつ幅方向で中央に位置する中心点３２に最も近い近傍点３８を検出する。
ステップＳ５において物体位置推定部４２は、近傍点３８の地図座標系上の位置に基づいて、物体の位置を検出する。
具体的には、例えば、検出した近傍点３８の地図座標系上の座標を物体の地図座標系上の座標と推定する。なお、近傍点３８の地図座標系上の座標を例えば車両座標系等の地図座標系以外の他の座標系に変換して、物体の他の座標系上の位置を推定しても良く、近傍点３８からどのような座標系における物体の位置を推定するかは適宜変更可能である。
また、物体位置推定部４２は、走行レーンの進行方向の情報を地図データベース１２から読み出し、近傍点３８における走行レーンの進行方向に基づいて検出した物体の姿勢を推定する。

（第１実施形態の効果）
（１）カメラ１８は、自車両１の周囲の撮像画像３０を取得する。物体検出部４０は、撮像画像３０内において物体を検出した部分領域３１を抽出する。物体位置推定部４２は、地図データベース１２の地図情報に含まれている自車両１の周囲の走行レーンの中央線の地図上の座標を、撮像画像の画像座標系上の座標に変換し、部分領域３１の下端かつ幅方向で中央に位置する中心点３２に最も近い中央線上の近傍点３８を画像座標系において検出し、近傍点３８の地図座標系上の位置に基づいて物体の位置を検出する。

これにより、撮像画像３０上で直接物体を判別して検出するので、レーザレーダでは測定点の密度が低下して物体検出が困難になる遠方でも、物体検出が可能となる。また、地図データを撮像画像３０上に投影し、検出した物体と走行レーンとを撮像画像３０上で対応付けることにより、単眼カメラの撮像画像を用いて物体の地図上の位置を検出できる。

（２）物体位置推定部４２は、近傍点３８における走行レーンの進行方向に基づいて、検出した物体の姿勢を推定してよい。
これにより、道路構造に拘束されて移動することが明らかな車両等の物体の姿勢を推定することができる。

（３）物体位置推定部４２は、矩形や、平行四辺形、台形などである部分領域３１の下辺の中央点を中心点３２として検出してよい。または、円形の部分領域３１の最下端を中心点３２として検出してもよい。
これにより、検出した物体が走行レーンの中央に存在し、且つ接地していると仮定した場合に、走行レーンの中央線に最も近くなる蓋然性が高い点を部分領域３１から検出できる。

（４）物体位置推定部４２は、画像座標系における部分領域３１の下辺と中央線との交点を近傍点３８として検出してもよい。これにより、検出した物体が接地していると仮定した場合に、中央線上にある物体の位置を特定できる。
このとき、物体位置推定部４２は、走行レーンの左右境界３５及び３６の地図上の座標を画像座標系上の座標に各々変換し、左右境界３５及び３６に囲まれた画像座標系上の領域と部分領域３１の下辺との重複を算出し、複数の走行レーンのうち重複が最も大きな走行レーンの中央線と、部分領域３１の下辺との交点を近傍点３８として検出してよい。これにより、検出した物体の周囲に複数の走行レーンがあっても、物体がどの走行レーンにいるかを判定できる。

（第２実施形態）
次に、第２実施形態を説明する。検出した物体が移動している場合には、カメラ１８が時系列で撮像した複数の撮像画像３０において物体を追跡することにより、撮像画像３０上における同一物体の移動軌跡（移動履歴）を算出できる。
図８Ａを参照する。参照符号３１ａ、３１ｂ及び３１ｃは、撮像画像３０上において時系列順の時刻ｔａ、ｔｂ及びｔｃにおいて同一物体を検出した物体領域を示す。

この場合、物体位置推定部４２は、物体領域３１ａ、３１ｂ及び３１ｃの各々で検出した中心点３２ａ、３２ｂ及び３２ｃを追跡することにより、向きを持った移動軌跡５０ａ及び５０ｂを算出できる。以下、物体領域３１ａ～３１ｃ、中心点３２ａ～３２ｃ、移動軌跡５０ａ及び５０ｃをそれぞれ「物体領域３１」、「中心点３２」、「軌跡５０」と総称することがある。
中心点３２の軌跡５０の代わりに、物体領域３１自体の軌跡を算出してもよい。例えば、物体領域３１が矩形である場合には、特定の頂点の軌跡を物体領域３１の移動軌跡として算出してよい。物体領域３１が円径である場合には、中心点の移動軌跡を物体領域３１の移動軌跡として算出してよい。

物体位置推定部４２は、中心点３２の軌跡５０の向き（移動方向）と、走行レーンの進行方向とを考慮して、物体領域３１と画像座標系上に投影された走行レーンの地図データとを対応付けることができる。
具体的には図８Ｂに示すように、物体位置推定部４２は、第１走行レーン３３ａ及び第２走行レーン３３ｂの進行方向に基づいて、中央線３４ａ及び３４ｂに対して撮像画像３０上の向きを設定する。
次に、物体位置推定部４２は、中央線３４ａ及び３４ｂの向きと中心点３２の軌跡５０の向きとに基づいて、中央線３４ａ及び３４ｂの何れかを選択する。

例えば、物体位置推定部４２は、中央線３４ａ及び３４ｂの向きと軌跡５０の向きとの差が、両者が略一致すると判定可能な程度の予め設定した所定の範囲内である中央線３４ａを選択する。
なお、上記に説明した形態においては第１走行レーン３３ａ及び第２走行レーン３３ｂの進行方向に基づいて、中央線３４ａ及び３４ｂに対して撮像画像３０上の向きを設定したが、必ずしも中央線３４ａ及び３４ｂに対して向きを設定する必要は無い。例えば、第１走行レーン３３ａ及び第２走行レーン３３ｂのうち、画像座標系上で軌跡５０の向きと進行方向との差が略一致する走行レーン３３aを選択し、選択した走行レーン３３aの中央線３４ａを選択するようにしても良い。すなわち、画像座標系上で軌跡５０の向きに対して進行方向が略一致する走行レーンの中央線が選択できれば、中央線の選択方法は上記に限定されない。物体位置推定部４２は、選択した中央線３４ａ上の点のうち最新の中心点３２ｃに最も近い近傍点３８を算出する。

なお、図９Ａに示すように、検出対象の物体５１の周囲に同一の進行方向の複数の走行レーン３３ａ及び３３ｂと、３３ｃ及び３３ｄとが存在する場合には、物体位置推定部４２は、軌跡５０の向きとの差が所定の範囲内である複数の中央線候補３４ａ及び３４ｂを選択してよい。
その後に物体位置推定部４２は、図９Ｂに示すように、複数の中央線候補３４ａ及び３３ｂ上の点のうち、最新の中心点３２に最も近い中央線上の点を近傍点３８として検出してよい。

（第２実施形態の効果）
物体位置推定部４２は、時系列で撮像された複数の撮像画像３０で検出された中心点３２又は物体領域３１の軌跡５０を算出し、複数の走行レーンのうちで画像座標系上の進行方向と軌跡５０の方向との差が予め定めた所定の範囲内である走行レーンの中央線を選択し、選択した中央線上の近傍点を算出する。
これにより、自車両１の周囲の物体から近い距離に複数の走行レーンが存在し、さらに検出誤差によって物体領域３１の検出位置が安定しない場合であっても、物体が存在するレーンをより頑健に認識することができる。

１…自車両、１０…走行支援装置、１１…測位装置、１２…地図データベース、１３…外部センサ、１４…車両センサ、１５…ナビゲーションシステム、１６…コントローラ、１７…アクチュエータ、１８…カメラ、１９…測距装置、２０…プロセッサ、２１…記憶装置、２３…カメラ情報、４０…物体検出部、４１…自己位置推定部、４２…物体位置推定部、４３…マップ生成部、４４…運転行動決定部、４５…走行軌道生成部、４６…走行制御部

Claims (6)

1. 自車両の周囲の撮像画像を取得する処理と、
   前記撮像画像内において、撮像された物体に対応する領域である部分領域を抽出する処理と、
   地図情報に含まれている前記自車両の周囲のレーンの幅方向中央を前記レーンに沿って延びる中央線の地図上の座標を、前記撮像画像の画像座標系上の座標に変換する処理と、
   前記部分領域の下端かつ幅方向で中央に位置する中心点に最も近い前記中央線上の位置である近傍点を前記画像座標系において検出する処理と、
   前記近傍点の地図座標系上の位置に基づいて、前記物体の位置を検出する処理と、
   をコントローラが実行する物体位置検出方法であって、
   前記コントローラは、
   前記レーンの左右境界線の地図上の座標を前記画像座標系上の座標に各々変換し、
   前記左右境界線に囲まれた前記画像座標系上の領域と前記部分領域の下辺との重複を算出し、
   複数の前記レーンのうち前記重複が最も大きな前記レーンの前記中央線と、前記部分領域の下辺と、の交点を前記近傍点として検出する、
   ことを特徴とする物体位置検出方法。
2. 前記コントローラは、前記近傍点における前記レーンの交通規則に応じた進行方向に基づいて、前記物体の姿勢を推定することを特徴とする請求項１に記載の物体位置検出方法。
3. 前記部分領域は多角形であって、
   前記コントローラは、前記部分領域の下辺の中央点を前記中心点として検出することを特徴とする請求項１又は２に記載の物体位置検出方法。
4. 前記部分領域は円形であって、
   前記コントローラは、円形の前記部分領域の最下端を前記中心点として検出することを特徴とする請求項１又は２に記載の物体位置検出方法。
5. 前記部分領域は多角形であって、
   前記コントローラは、前記部分領域の下辺と前記中央線との交点を前記近傍点として検出することを特徴とする請求項１又は２に記載の物体位置検出方法。
6. 自車両の周囲の撮像画像を取得するカメラと、
   前記撮像画像内において、撮像された物体に対応する領域である部分領域を抽出し、地図情報に含まれている前記自車両の周囲のレーンの幅方向中央を前記レーンに沿って延びる中央線の地図上の座標を、前記撮像画像の画像座標系上の座標に変換し、前記部分領域の下端かつ幅方向で中央に位置する中心点に最も近い前記中央線上の位置である近傍点を前記画像座標系において検出し、前記近傍点の地図座標系上の位置に基づいて前記物体の位置を検出するコントローラと、
   を備え、
   前記コントローラは、
   前記レーンの左右境界線の地図上の座標を前記画像座標系上の座標に各々変換し、
   前記左右境界線に囲まれた前記画像座標系上の領域と前記部分領域の下辺との重複を算出し、
   複数の前記レーンのうち前記重複が最も大きな前記レーンの前記中央線と、前記部分領域の下辺と、の交点を前記近傍点として検出することを特徴とする、ことを特徴とする物体位置検出装置。

Images