WO2023188262A1 - 地図生成装置 - Google Patents

Abstract

地図生成装置(60)は、自車両の周囲の状況を検出する車載検出器(1a)で検出された検出情報から特徴点を抽出する抽出部(171)と、抽出部(171)で抽出された複数の特徴点から算出部(173)で算出に用いる特徴点を選択する選択部(172)と、複数の検出情報に基づいて、車載検出器(1a)の位置および姿勢を用いて、複数の検出情報に含まれる同一の特徴点の３次元位置を、選択部(172)で選択された複数の異なる特徴点に対してそれぞれ算出する算出部(173)と、算出部(173)で算出された複数の異なる特徴点の３次元位置を用いて、各３次元位置の情報を含む地図を生成する生成部(174)と、を備え、選択部(172)は、所定の地物の特徴点を除く特徴点を選択し、生成部(174)は、選択部(172)で選択しない特徴点に対応する点の情報を、生成した地図に追加する。

Description

地図生成装置

　本発明は、自車両の位置の推定に用いられる地図を生成する地図生成装置に関する。

　この種の装置として、従来、走行中の車両に搭載されたカメラにより取得された撮像画像から抽出した特徴点を用いて地図を作成するように構成された装置が知られている（例えば特許文献１参照）。

特開２０１９－１７４９１０号公報

　従来の技術では、車両の走行を重ねて地図を修正すると、地図内の情報の正確さが損なわれる場合があった。

　本発明の一態様である地図生成装置は、自車両の周囲の状況を検出する車載検出器で検出された検出情報から特徴点を抽出する抽出部と、抽出部で抽出された複数の特徴点から後記算出部で算出に用いる特徴点を選択する選択部と、複数の検出情報に基づいて、車載検出器の位置および姿勢を用いて、複数の検出情報に含まれる同一の特徴点の３次元位置を、選択部で選択された複数の異なる特徴点に対してそれぞれ算出する算出部と、算出部で算出された複数の異なる特徴点の３次元位置を用いて、各３次元位置の情報を含む地図を生成する生成部と、を備え、選択部は、所定の地物の特徴点を除く特徴点を選択し、生成部は、選択部で選択しない特徴点に対応する点の情報を、生成した地図に追加する。

　本発明によれば、安全な車両制御に必要な地図を適切に生成することが可能になる。

発明の実施の形態に係る車両制御システムの全体構成を概略的に示すブロック図。 実施の形態に係る地図生成装置の要部構成を示すブロック図。 カメラ画像の一例を示す図。 抽出された特徴点を例示する図。 選択された特徴点を例示する図。 コントローラで実行されるプログラムによる処理の一例を説明するフローチャート。 コントローラで実行されるプログラムによる処理の一例を説明するフローチャート。 ステップＳ７０の処理が終了した時点の環境地図に含まれる情報を説明する模式図。 ステップＳ８０の処理が終了した時点の環境地図に含まれる情報を説明する模式図。

　以下、図面を参照して発明の実施の形態について説明する。
　発明の実施の形態に係る地図生成装置は、自動運転機能を有する車両、すなわち自動運転車両に適用することができる。なお、本実施の形態に係る地図生成装置が適用される車両を、他車両と区別して自車両と呼ぶことがある。自車両は、内燃機関（エンジン）を走行駆動源として有するエンジン車両、走行モータを走行駆動源として有する電気自動車、エンジンと走行モータとを走行駆動源として有するハイブリッド車両のいずれであってもよい。自車両は、ドライバによる運転操作が不要な自動運転モードでの走行だけでなく、ドライバの運転操作による手動運転モードでの走行も可能である。

　まず、自動運転に係る自車両の概略構成について説明する。図１は、実施の形態に係る地図生成装置を有する自車両の車両制御システム１００の全体構成を概略的に示すブロック図である。図１に示すように、車両制御システム１００は、コントローラ１０と、コントローラ１０にそれぞれ通信可能に接続された外部センサ群１と、内部センサ群２と、入出力装置３と、測位ユニット４と、地図データベース５と、ナビゲーション装置６と、通信ユニット７と、走行用のアクチュエータＡＣとを主に有する。

　外部センサ群１は、自車両の周辺情報である外部状況を検出する複数のセンサ（外部センサ）の総称である。例えば外部センサ群１には、自車両の全方位の照射光に対する散乱光を測定して自車両から周辺の障害物までの距離を測定するライダ、電磁波を照射し反射波を検出することで自車両の周辺の他車両や障害物等を検出するレーダ、自車両に搭載され、ＣＣＤやＣＭＯＳ等の撮像素子（イメージセンサ）を有して自車両の周辺（前方、後方および側方）を撮像するカメラ等が含まれる。

　内部センサ群２は、自車両の走行状態を検出する複数のセンサ（内部センサ）の総称である。例えば内部センサ群２には、自車両の車速を検出する車速センサ、自車両の前後方向の加速度および左右方向の加速度（横加速度）をそれぞれ検出する加速度センサ、走行駆動源の回転数を検出する回転数センサ、自車両の重心の鉛直軸回りの回転角速度を検出するヨーレートセンサ等が含まれる。手動運転モードでのドライバの運転操作、例えばアクセルペダルの操作、ブレーキペダルの操作、ステアリングホイールの操作等を検出するセンサも内部センサ群２に含まれる。

　入出力装置３は、ドライバから指令が入力されたり、ドライバに対し情報が出力されたりする装置の総称である。例えば入出力装置３には、操作部材の操作によりドライバが各種指令を入力する各種スイッチ、ドライバが音声で指令を入力するマイク、ドライバに表示画像を介して情報を提供するディスプレイ、ドライバに音声で情報を提供するスピーカ等が含まれる。

　測位ユニット（ＧＮＳＳユニット）４は、測位衛星から送信された測位用の信号を受信する測位センサを有する。測位衛星は、ＧＰＳ衛星や準天頂衛星等の人工衛星である。測位ユニット４は、測位センサが受信した測位情報を利用して、自車両の現在位置（緯度、経度、高度）を測定する。

　地図データベース５は、ナビゲーション装置６に用いられる一般的な地図情報を記憶する装置であり、例えばハードディスクや半導体素子により構成される。地図情報には、道路の位置情報、道路形状（曲率等）の情報、交差点や分岐点の位置情報が含まれる。なお、地図データベース５に記憶される地図情報は、コントローラ１０の記憶部１２に記憶される高精度な地図情報とは異なる。

　ナビゲーション装置６は、ドライバにより入力された目的地までの道路上の目標経路を探索するとともに、目標経路に沿った案内を行う装置である。目的地の入力および目標経路に沿った案内は、入出力装置３を介して行われる。目標経路は、測位ユニット４により測定された自車両の現在位置と、地図データベース５に記憶された地図情報とに基づいて演算される。外部センサ群１の検出値を用いて自車両の現在位置を測定することもでき、この現在位置と記憶部１２に記憶される高精度な地図情報とに基づいて目標経路を演算するようにしてもよい。

　通信ユニット７は、インターネット網や携帯電話網等に代表される無線通信網を含むネットワークを介して図示しない各種サーバと通信し、地図情報、走行履歴情報および交通情報等を定期的に、あるいは任意のタイミングでサーバから取得する。走行履歴情報を取得するだけでなく、通信ユニット７を介して自車両の走行履歴情報をサーバに送信するようにしてもよい。ネットワークには、公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Bluetooth（登録商標）等も含まれる。取得した地図情報は、地図データベース５や記憶部１２に出力され、地図情報がアップデート（update）される。

　アクチュエータＡＣは、自車両の走行を制御するための走行用アクチュエータである。走行駆動源がエンジンである場合、アクチュエータＡＣには、エンジンのスロットルバルブの開度（スロットル開度）を調整するスロットル用アクチュエータが含まれる。走行駆動源が走行モータである場合、走行モータがアクチュエータＡＣに含まれる。自車両の制動装置を作動するブレーキ用アクチュエータと転舵装置を駆動する転舵用アクチュエータもアクチュエータＡＣに含まれる。

　コントローラ１０は、電子制御ユニット（ＥＣＵ）により構成される。より具体的には、コントローラ１０は、ＣＰＵ（マイクロプロセッサ）等の演算部１１と、ＲＯＭ，ＲＡＭ等の記憶部１２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。なお、エンジン制御用ＥＣＵ、走行モータ制御用ＥＣＵ、制動装置用ＥＣＵ等、機能の異なる複数のＥＣＵを別々に設けることができるが、図１では、便宜上、これらＥＣＵの集合としてコントローラ１０が示される。

　記憶部１２には、高精度の詳細な地図情報（高精度地図情報と呼ぶ）が記憶される。高精度地図情報には、道路の位置情報、道路形状（曲率等）の情報、道路の勾配の情報、交差点や分岐点の位置情報、白線等の道路の区画線の種別やその位置情報、車線数の情報、車線の幅員および車線毎の位置情報（車線の中央位置や車線位置の境界線の情報）、地図上の目印としてのランドマーク（建物、信号機、標識等）の位置情報、路面の凹凸等の路面プロファイルの情報が含まれる。実施の形態では、中央線、車線境界線、車道外側線等を総称して道路の区画線と呼ぶ。
　記憶部１２に記憶される高精度地図情報には、通信ユニット７を介して自車両の外部から取得した地図情報（外部地図情報と呼ぶ）と、外部センサ群１による検出値あるいは外部センサ群１と内部センサ群２との検出値を用いて自車両自体で作成される地図（内部地図情報と呼ぶ）とが含まれる。

　外部地図情報は、例えばクラウドサーバを介して取得した地図（クラウド地図と呼ぶ）の情報であり、内部地図情報は、例えばＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いてマッピングにより生成される３次元の点群データからなる地図（環境地図と呼ぶ）の情報である。外部地図情報は、自車両と他車両とで共有されるのに対し、内部地図情報は、自車両の独自の地図情報（例えば自車両が単独で有する地図情報）である。自車両で未走行の道路、新設された道路等においては、自車両自らによって環境地図が作成される。なお、内部地図情報を、通信ユニット７を介してサーバ装置や他車両に提供するようにしてもよい。
　記憶部１２は、上述した高精度地図情報の他に、自車両の走行軌跡情報、各種制御のプログラム、およびプログラムで用いられる閾値等の情報も記憶する。

　演算部１１は、機能的構成として、自車位置認識部１３と、外界認識部１４と、行動計画生成部１５と、走行制御部１６と、地図生成部１７とを有する。

　自車位置認識部１３は、測位ユニット４で得られた自車両の位置情報および地図データベース５の地図情報に基づいて、地図上の自車両の位置（自車位置）を認識（推定と呼んでもよい）する。
　記憶部１２に記憶された高精度地図情報と、外部センサ群１が検出した自車両の周辺情報とを用いて自車位置を認識（推定）してもよく、これにより自車位置を高精度に認識することができる。
　内部センサ群２の検出値に基づいて自車両の移動情報（移動方向、移動距離）を算出し、これにより自車位置を認識することもできる。なお、道路上や道路脇の外部に設置されたセンサで自車位置を測定可能であるとき、そのセンサと通信ユニット７を介して通信することにより、自車位置を認識することもできる。

　外界認識部１４は、ライダ、レーダ、カメラ等の外部センサ群１からの信号に基づいて自車両の周囲の外部状況を認識する。例えば自車両の周辺を走行する周辺車両（前方車両や後方車両）の位置、速度や加速度、自車両の周囲に停車または駐車している周辺車両の位置、および他の物体の位置や状態等を認識する。他の物体には、標識、信号機、道路の区画線や停止線等の標示、建物、ガードレール、電柱、看板、歩行者、自転車等が含まれる。他の物体の状態には、信号機の色（赤、青、黄）、歩行者や自転車の移動速度や向き等が含まれる。他の物体のうち静止している物体の一部は、地図上の位置の指標となるランドマークを構成し、外界認識部１４は、ランドマークの位置と種別も認識する。

　行動計画生成部１５は、例えばナビゲーション装置６で演算された目標経路と、記憶部１２に記憶された高精度地図情報と、自車位置認識部１３で認識された自車位置と、外界認識部１４で認識された外部状況とに基づいて、現時点から所定時間先までの自車両の走行軌道（目標軌道）を生成する。目標経路上に目標軌道の候補となる複数の軌道が存在するときには、行動計画生成部１５は、その中から法令を順守し、かつ効率よく安全に走行する等の基準を満たす最適な軌道を選択し、選択した軌道を目標軌道とする。そして、行動計画生成部１５は、生成した目標軌道に応じた行動計画を生成する。行動計画生成部１５は、先行車両を追い越すための追い越し走行、走行車線を変更する車線変更走行、先行車両に追従する追従走行、走行車線を逸脱しないように車線を維持するレーンキープ走行、減速走行または加速走行等に対応した種々の行動計画を生成する。行動計画生成部１５は、目標軌道を生成する際に、まず走行態様を決定し、走行態様に基づいて目標軌道を生成する。

　走行制御部１６は、自動運転モードにおいて、行動計画生成部１５で生成された目標軌道に沿って自車両が走行するように各アクチュエータＡＣを制御する。より具体的には、走行制御部１６は、自動運転モードにおいて道路勾配等により定まる走行抵抗を考慮して、行動計画生成部１５で算出された単位時間毎の目標加速度を得るための要求駆動力を算出する。そして、例えば内部センサ群２により検出された実加速度が目標加速度となるようにアクチュエータＡＣをフィードバック制御する。すなわち、自車両が目標車速および目標加速度で走行するようにアクチュエータＡＣを制御する。なお、手動運転モードでは、走行制御部１６は、内部センサ群２により取得されたドライバからの走行指令（ステアリング操作等）に応じて各アクチュエータＡＣを制御する。

　地図生成部１７は、手動運転モードで走行しながら、外部センサ群１により検出された検出値を用いて、自車両が走行した道路周辺の環境地図を、内部地図情報として生成する。例えば、カメラにより取得された複数フレームのカメラ画像から、画素ごとの輝度や色の情報に基づいて物体の輪郭を示すエッジを抽出するとともに、そのエッジ情報を用いて特徴点を抽出する。特徴点は例えばエッジの交点であり、建物の角や道路標識の角等に対応する。地図生成部１７は、ＳＬＡＭ技術のアルゴリズムにしたがって、複数フレームのカメラ画像間で同一の特徴点が１点に収束するようにカメラの位置と姿勢を推定しながら、その特徴点について３次元位置を算出する。この算出処理を複数の特徴点に対してそれぞれ行うことにより、３次元の点群データからなる環境地図を生成する。
　なお、カメラに代えて、レーダやライダにより取得されたデータを用いて自車両の周囲の物体の特徴点を抽出し、環境地図を生成するようにしてもよい。
　また、地図生成部１７は、環境地図を生成する際に、上記３次元位置の算出に用いなかった特徴点を有する所定の地物（例えば道路の区画線、信号機、標識等）がカメラ画像に含まれていることをパターンマッチング処理等により判定すると、カメラ画像に基づく地物の特徴点に対応する点の位置情報を環境地図に追加し、記憶部１２に記録する。

　自車位置認識部１３は、地図生成部１７による地図作成処理と並行して、自車両の位置認識処理を行う。すなわち、特徴点の時間経過に伴う位置の変化に基づいて、自車位置を推定する。地図作成処理と位置認識（推定）処理とは、ＳＬＡＭ技術のアルゴリズムにしたがって同時に行われる。地図生成部１７は、手動運転モードで走行するときだけでなく、自動運転モードで走行するときにも同様に環境地図を生成することができる。既に環境地図が生成されて記憶部１２に記憶されている場合、地図生成部１７は、新たに取得されたカメラ画像から新たに抽出された特徴点（新特徴点と呼んでもよい）に基づき、環境地図をアップデートしてもよい。

　ところで、ＳＬＡＭ技術を用いた環境地図の生成に用いる特徴点は、他の特徴点と区別しやすいユニークな特徴点であることが必要とされる。これに対し、実際の車両制御では、例えば道路の区画線のような地物の情報が環境地図に含まれていることが必要とされる。実施の形態では、以下の（１）から（３）の処理を行う地図生成装置を構成することにより、車両制御に必要な情報を含む環境地図を適切に生成する。

（１）環境地図の生成に用いる特徴点は、カメラ画像から抽出される特徴点のうち他の特徴点と区別しやすいユニークな特徴点を選択する。特徴点がユニークでないと、複数フレームのカメラ画像間で同一の特徴点の追跡が困難となるからである。そのため、建物の窓枠等のエッジ情報に基づくユニークな特徴点を優先的に選択する一方で、複数フレームのカメラ画像間で同一の特徴点の追跡が困難な道路の区画線、標識および信号等の所定の地物のエッジ情報に基づく特徴点の選択を避ける。

（２）環境地図に対し、自車位置の認識（推定）に有用な情報を後付けする。上記（１）により、自車位置の認識に必要な道路の区画線等の情報が環境地図に含まれないため、区画線等の情報を後から環境地図に追加（埋込みと呼んでもよい）する。

（３）環境地図を修正した場合に、上記（２）で後付けした情報を追加し直す。一般に、ＳＬＡＭ技術では自車両が移動しながら自車位置を認識するため誤差が蓄積する。例えば、自車両がロの字に閉じた道路を周回する場合、蓄積誤差によって始点と終点の位置が一致しなくなる。そこで、自車両が走行する位置が過去の走行軌跡上にあると認識した場合に、過去と同じ走行地点で新たに取得したカメラ画像から抽出した特徴点（新特徴点と呼ぶ）を用いて認識した自車両の位置と、過去の走行時に取得したカメラ画像から抽出した特徴点を用いて過去に認識した自車両の位置とを同じ座標とするループクロージング（Loop Closing）処理を行う。実施の形態では、ループクロージング処理を環境地図の修正と呼び、環境地図に含まれている３次元位置の情報を修正する。このとき、上記（２）で追加した情報を削除し、修正後の環境地図に改めて追加する。

　上記（１）から（３）の処理を行う地図生成装置について、さらに詳細に説明する。
　図２は、実施の形態に係る地図生成装置６０の要部構成を示すブロック図である。地図生成装置６０は、自車両の走行動作の制御に用いるものであり、図１の車両制御システム１００の一部を構成する。図２に示すように、地図生成装置６０は、コントローラ１０と、カメラ１ａと、レーダ１ｂと、ライダ１ｃとを有する。

　カメラ１ａは、図１の外部センサ群１の一部を構成する。カメラ１ａは単眼カメラでもステレオカメラでもよく、自車両の周囲を撮像する。カメラ１ａは、例えば自車両の前部の所定位置に取り付けられ、自車両の前方空間を所定のフレームレートで連続的に撮像し、検出情報としてのフレーム画像データ（単にカメラ画像と呼ぶ）を逐次コントローラ１０に出力する。
　図３Ａは、カメラ１ａで取得されたあるフレームのカメラ画像の一例を示す図である。カメラ画像ＩＭには、自車両の前方を走行する他車両Ｖ１、自車両の右側レーンを走行する他車両Ｖ２、自車両の周辺の信号機ＳＧ、歩行者ＰＥ、交通標識ＴＳ１、ＴＳ２、自車両の周辺の建物ＢＬ１、ＢＬ２、ＢＬ３、車道外側線ＯＬ、車線境界線ＳＬ等が含まれている。

　図２のレーダ１ｂは、自車両に搭載され、電磁波を照射し反射波を検出することで自車両の周辺の他車両や障害物等を検出する。レーダ１ｂは、検出情報としての検出値（検出データ）をコントローラ１０に出力する。ライダ１ｃは、自車両に搭載され、自車両の全方位の照射光に対する散乱光を測定して自車両から周辺の障害物までの距離を検出する。ライダ１ｃは、検出情報としての検出値（検出データ）をコントローラ１０に出力する。

　コントローラ１０は、演算部１１および記憶部１２を含む。演算部１１は、機能的構成として、情報取得部１４１と、抽出部１７１と、選択部１７２と、算出部１７３と、生成部１７４と、判定部１７５と、自車位置認識部１３とを有する。
　情報取得部１４１は、例えば図１の外界認識部１４に含まれる。抽出部１７１、選択部１７２、算出部１７３、生成部１７４および判定部１７５は、例えば図１の地図生成部１７に含まれる。
　また、記憶部１２は、地図記憶部１２１および軌跡記憶部１２２を含む。

　情報取得部１４１は、記憶部１２（地図記憶部１２１）から、自車両の走行動作の制御に用いる情報を取得する。より詳細には、情報取得部１４１は、地図記憶部１２１から環境地図に含まれるランドマーク情報を読み出し、さらに、ランドマーク情報から自車両が走行する道路の区画線の位置と、それらの区画線の延在方向とを示す情報（以下、区画線情報と呼ぶ）を取得する。
　なお、区画線情報に区画線の延在方向を示す情報が含まれないとき、情報取得部１４１は、区画線の位置に基づいてそれらの区画線の延在方向を算出してもよい。また、地図記憶部１２１に記憶された道路地図情報や白線地図（白色、黄色等の区画線の位置を示す情報）等から、自車両が走行する道路の区画線の位置および延在方向を示す情報を取得してもよい。

　抽出部１７１は、カメラ１ａで取得されたカメラ画像ＩＭ（図３Ａに例示）から物体の輪郭を示すエッジを抽出するとともに、そのエッジ情報を用いて特徴点を抽出する。上述したように、特徴点は例えばエッジの交点である。図３Ｂは、図３Ａのカメラ画像ＩＭに基づいて抽出部１７１で抽出された特徴点を例示する図である。図中の黒丸は、特徴点を表している。

　選択部１７２は、抽出部１７１で抽出した特徴点の中から３次元位置を算出する特徴点を選択する。実施の形態では、他の特徴点と区別しやすいユニークな特徴点として、所定の地物（例えば道路の区画線、信号機、交通標識等）を除く地物に含まれる特徴点を選ぶ。図３Ｃは、図３Ｂに基づき選択部１７２で選択された特徴点を例示する図である。図中の黒丸は、特徴点を表している。例示した所定の地物は一例であって、少なくとも一つを除外してもよい。

　算出部１７３は、複数フレームのカメラ画像ＩＭ間で同一の特徴点が１点に収束するようにカメラ１ａの位置と姿勢を推定しながら、その特徴点について３次元位置を算出する。算出部１７３は、選択部１７２で選択された複数の異なる特徴点の３次元位置をそれぞれ算出する。

　生成部１７４は、算出部１７３で算出された複数の異なる特徴点の３次元位置を用いて、各３次元位置の情報を含む３次元の点群データからなる環境地図を生成する。

　判定部１７５は、生成部１７４で生成された環境地図の完成の成否を判定する。判定の詳細については後述するが、判定部１７５は、カメラ１ａで新たに取得されたカメラ画像ＩＭに基づいて抽出された上記所定の地物の新特徴点の位置と、地図記憶部１２１に記憶されている環境地図に追加されている点の位置との差に基づいて、生成部１７４で生成された地図の完成の成否を判定する。

　自車位置認識部１３は、地図記憶部１２１に記憶されている環境地図に基づいて、環境地図上の自車位置を推定する。
　先ず、自車位置認識部１３は、自車両の車幅方向の位置を推定する。詳細には、自車位置認識部１３は、機械学習（ＤＮＮ（Deep Neural Network）等）技術を用いて、カメラ１ａで新たに取得されたカメラ画像ＩＭに含まれる道路の区画線を認識する。自車位置認識部１３は、地図記憶部１２１に記憶されている環境地図に含まれるランドマーク情報から取得した区画線情報に基づいて、カメラ画像ＩＭに含まれる区画線の環境地図上の位置や延在方向を認識する。そして、自車位置認識部１３は、区画線の環境地図上の位置や延在方向に基づいて、自車両と区画線との車幅方向における相対的な位置関係（環境地図上の位置関係）を推定する。このようにして、環境地図上の自車両の車幅方向の位置が推定される。

　次いで、自車位置認識部１３は、自車両の進行方向の位置を推定する。詳細には、自車位置認識部１３は、カメラ１ａで新たに取得されたカメラ画像ＩＭ（図３Ａ）からパターンマッチング等の処理によりランドマーク（例えば建物ＢＬ１）を認識するとともに、抽出部１７１で抽出された特徴点の中からそのランドマーク上の特徴点を認識する。さらに、自車位置認識部１３は、カメラ画像ＩＭにおいて写るランドマークの特徴点の位置に基づいて、自車両からランドマークまでの進行方向における距離を推定する。なお、自車両からランドマークまでの距離は、レーダ１ｂやライダ１ｃの検出値に基づいて算出されてもよい。

　自車位置認識部１３は、地図記憶部１２１に記憶されている環境地図の中で、上記ランドマークに対応する特徴点を探す。換言すると、新たに取得されたカメラ画像ＩＭから認識されたランドマークの特徴点とマッチする特徴点を、環境地図を構成する複数の特徴点（点群データ）の中から認識する。
　次いで、自車位置認識部１３は、ランドマークの特徴点に対応する環境地図上の特徴点の位置と、自車両からランドマークまでの進行方向における距離とに基づいて、環境地図上の自車両の進行方向における位置を推定する。
　以上説明したように、自車位置認識部１３は、環境地図上の自車両の車幅方向および進行方向における推定位置に基づいて、環境地図上の自車両の位置を認識する。

　地図記憶部１２１は、生成部１７４で生成された環境地図の情報を記憶する。
　軌跡記憶部１２２は、自車両の走行軌跡を示す情報を記憶する。走行軌跡は、例えば自車位置認識部１３で走行中に認識された、環境地図上の自車位置として表される。

＜フローチャートの説明＞
　あらかじめ定められたプログラムにしたがって図２のコントローラ１０で実行される処理の一例について、図４Ａおよび図４Ｂのフローチャートを参照して説明する。図４Ａは、環境地図が作成される前の処理を示すものであり、例えば手動運転モードで開始され、所定周期で繰り返される。図４Ｂは、図４Ａの地図作成処理と並行して行われる処理を示す。また、図４Ｂは、環境地図が作成された後に、例えば自動運転モードで開始され、所定周期で繰り返される。

　図４ＡのステップＳ１０において、コントローラ１０は、カメラ１ａから検出情報としてのカメラ画像ＩＭを取得してステップＳ２０へ進む。

　ステップＳ２０において、コントローラ１０は、抽出部１７１によりカメラ画像ＩＭから特徴点を抽出してステップＳ３０へ進む。

　ステップＳ３０において、コントローラ１０は、選択部１７２により特徴点を選択してステップＳ４０へ進む。上述したように、道路の区画線、信号機、交通標識等を除く地物に含まれる特徴点を選ぶことにより、他の特徴点と区別しやすいユニークな特徴点を選択することが可能になる。

　ステップＳ４０において、コントローラ１０は、算出部１７３により、複数の異なる特徴点の３次元位置をそれぞれ算出してステップＳ５０へ進む。

　ステップＳ５０において、コントローラ１０は、生成部１７４により、複数の異なる特徴点の各３次元位置の情報を含む３次元の点群データからなる環境地図を生成してステップＳ６０へ進む。

　ステップＳ６０において、コントローラ１０は、ステップＳ２０で抽出した特徴点のうちステップＳ３０で選択しなかった特徴点を有する地物、換言すると、上記所定の地物（道路の区画線、信号機、交通標識等）の位置情報（自車両から当該地物までの距離）を取得してステップＳ７０へ進む。この位置情報は、カメラ画像ＩＭにおいて写る地物の特徴点の位置に基づいて、自車両から地物までの距離を推定して得る。なお、自車両から地物までの距離は、レーダ１ｂやライダ１ｃの検出値に基づいて取得してもよい。

　ステップＳ７０において、コントローラ１０は、上記地物の特徴点に対応する点の情報を、環境地図の点群データに追加してステップＳ８０へ進む。このように構成したので、区画線等の地物の情報が環境地図に埋込まれる。環境地図に区画線、信号機、交通標識の情報が追加されることにより、環境地図の情報に基づいて推定した自車位置から見える区画線、信号機、交通標識の位置の情報を、環境地図の情報に基づいて自車両へ提供することが可能になる。

　ステップＳ８０において、コントローラ１０は、自車両が走行する位置が過去の走行軌跡上にあると認識した場合に、上述したループクロージング処理により、環境地図に含まれている３次元位置の情報を修正してステップＳ９０へ進む。

　ステップＳ９０において、コントローラ１０は、環境地図の情報を記憶部１２の地図記憶部１２１に記録して図４Ａによる処理を終了する。

　図４ＢのステップＳ２１０において、コントローラ１０は、カメラ１ａから検出情報としてのカメラ画像ＩＭを取得してステップＳ２２０へ進む。

　ステップＳ２２０において、コントローラ１０は、抽出部１７１によりカメラ画像ＩＭから新特徴点を抽出してステップＳ２３０へ進む。なお、図４Ｂの処理において抽出する特徴点は、図４Ａの処理において抽出した特徴点と同じ物体上の点の場合でも新特徴点と呼ぶ。

　ステップＳ２３０において、コントローラ１０は、選択部１７２により新特徴点を選択してステップＳ２４０へ進む。ステップＳ２３０では、所定の地物（道路の区画線、標識および信号等）のエッジ情報に基づく新特徴点、および、所定の地物でない建物等のエッジ情報に基づく新特徴点を選択する。

　ステップＳ２４０において、コントローラ１０は、自車位置認識部１３により、環境地図に基づいて自車位置を認識（推定）してステップＳ２５０へ進む。

　ステップＳ２５０において、コントローラ１０は、位置差を算出してステップＳ２６０へ進む。位置差は、ステップＳ２３０において選択した所定の地物の新特徴点の位置と、ステップＳ７０において環境地図に追加されている、所定の地物の特徴点に対応する点の位置との差である。所定の地物の新特徴点の位置情報は、例えばカメラ画像ＩＭにおいて写る区画線等の位置に基づいて、自車両から区画線等までの距離を推定して得る。なお、自車両から区画線等までの距離は、レーダ１ｂやライダ１ｃの検出値に基づいて取得してもよい。

　ステップＳ２６０において、コントローラ１０は、環境地図が完成したか否かを判断する。コントローラ１０は、位置差が所定の許容値以下である場合にステップＳ２６０を肯定判定してステップＳ２７０へ進む。この場合は、図４Ｂの処理中に走行したエリアに関して環境地図が完成したとみなし、このエリアにおける自動運転での車両制御に環境地図を使用可能とする。
　一方、コントローラ１０は、位置差が所定の許容値を超える場合にステップＳ２６０を否定判定してステップＳ２８０へ進む。この場合は、図４Ｂの処理中に走行したエリアに関して環境地図が未完成であると判断し、このエリアにおける自動運転での車両制御に環境地図を使用不可とする。

　ステップＳ２８０において、コントローラ１０は、ステップＳ７０において環境地図に追加した情報を削除するとともに、ステップＳ２３０において選択した所定の地物の新特徴点の位置情報を環境地図に追加し直してステップＳ２７０へ進む。

　以上説明した実施の形態によれば、以下のような作用効果が得られる。
（１）地図生成装置６０は、自車両の周囲の状況を検出する車載検出器としてのカメラ１ａで検出された検出情報としてのカメラ画像ＩＭから特徴点を抽出する抽出部１７１と、抽出部１７１で抽出された複数の特徴点から算出部１７３で算出に用いる特徴点を選択する選択部１７２と、複数フレームのカメラ画像ＩＭに基づいて、カメラ１ａの位置および姿勢を用いて、複数フレームのカメラ画像ＩＭに含まれる同一の特徴点の３次元位置を、選択部１７２で選択された複数の異なる特徴点に対してそれぞれ算出する算出部１７３と、算出部１７３で算出された複数の異なる特徴点の３次元位置を用いて、各３次元位置の情報を含む環境地図を生成する生成部１７４と、を備え、選択部１７２は、所定の地物の特徴点を除く特徴点を選択し、生成部１７４は、選択部１７２で選択しない特徴点に対応する点の情報を、生成した環境地図に追加する。
　このように構成したので、複数フレームのカメラ画像ＩＭ間で追跡しやすいユニークな特徴点（例えば、建物の窓枠等のエッジ情報に基づく特徴点）を優先的に選択するとともに、複数フレームのカメラ画像ＩＭ間で追跡が困難な特徴点（例えば、道路の区画線、標識および信号等の所定の地物のエッジ情報に基づく特徴点）の選択を避けることによって、環境地図の生成に用いる特徴点の数を抑えつつ、自車位置の認識（推定）に有用な区画線等の情報を環境地図に含めることが可能になる。
　このように、安全な車両制御に必要な環境地図を適切に生成することが可能になる。

（２）上記（１）の地図生成装置６０は、生成した環境地図を記憶する地図記憶部１２１と、カメラ１ａで新たに検出されたカメラ画像ＩＭから抽出部１７１で抽出した新特徴点を、地図記憶部１２１に記憶された環境地図内の特徴点に照合することにより、自車両の位置を推定する位置推定部としての自車位置認識部１３と、自車両の過去の走行軌跡を記憶する軌跡記憶部１２２と、をさらに備え、生成部１７４は、自車両が走行する位置が軌跡記憶部１２２に記憶されている走行軌跡上にある場合に、新特徴点を用いて自車位置認識部１３で推定された自車両の位置と、過去の走行時に自車位置認識部１３で推定された自車両の位置とを合わせるように、環境地図の情報を修正する。
　このように構成したので、ループクロージング処理を適切に行って、環境地図に含まれる情報を修正することができる。この結果、安全な車両制御に必要な環境地図を適切に生成することが可能になる。

（３）上記（２）の地図生成装置６０において、カメラ１ａで新たに検出されたカメラ画像ＩＭに基づいて取得された、所定の地物としての道路の区画線、標識および信号等の新特徴点の位置と、地図記憶部１２１に記憶された環境地図に追加されている、選択部１７２で選択しない特徴点（区画線、標識および信号等の特徴点）に対応する点の位置との差に基づいて、環境地図が完成しているか否かを判定する判定部１７５をさらに備える。
　このように構成したので、コントローラ１０は、環境地図が完成しているか否かを適切に判断することが可能になる。この理由について、図５Ａおよび図５Ｂを参照して説明する。

　図５Ａは、ステップＳ７０の処理が終了した時点の環境地図に含まれる情報を説明する模式図であり、図５Ｂは、ステップＳ８０の処理が終了した時点の環境地図に含まれる情報を説明する模式図である。図５Ａにおいて符号ＦＰ１～ＦＰ１２で示す丸印は、環境地図を構成する特徴点を示し、符号Ｔ１～Ｔ８で示す図形は、ステップＳ７０の処理において環境地図に追加された点（カメラ画像ＩＭにおける区画線に対応する点）を示す。

　ステップＳ８０の修正処理により、環境地図を構成する特徴点のうち図５Ａにおいて符号ＦＰ５～ＦＰ７で示される特徴点がそれぞれ、図５Ｂにおいて符号ＦＰ５～ＦＰ７の位置へ移動されたものとする。最寄りの特徴点ＦＰ５～ＦＰ７の位置を基準位置として追加された、区画線に対応する点Ｔ３およびＴ４は、特徴点ＦＰ５～ＦＰ７の位置が移動されたことに伴い、図５Ｂにおいて符号Ｔ３およびＴ４で示される位置へそれぞれ移動する。
　区画線に対応する点Ｔ３およびＴ４の位置が、あらかじめ定めた許容範囲を超えて移動した場合、判定部１７５は、生成部１７４で生成された環境地図は完成していないと判断する。この場合、カメラ画像ＩＭに基づいて新たに取得された区画線に対応する点Ｔ３´およびＴ４´を、移動後の特徴点ＦＰ５～ＦＰ７の位置を基準位置として改めて追加し直す必要がある。
　一方、区画線に対応する点Ｔ３およびＴ４の位置が、あらかじめ定めた許容範囲内の位置へ移動した場合、判定部１７５は、生成部１７４で生成された環境地図は完成していると判断する。この場合、カメラ画像ＩＭに基づいて新たに取得された区画線に対応する点Ｔ３´およびＴ４´を、移動後の特徴点ＦＰ５～ＦＰ７の位置を基準位置として改めて追加し直す必要はない。
　以上説明したように、コントローラ１０は、環境地図が完成しているか否かを適切に判断することが可能になる。

（４）上記（３）の地図生成装置６０において、判定部１７５で環境地図が完成していないと判定されると（ステップＳ２６０を否定）、生成部１７４は、選択部１７２で選択しない特徴点（区画線、標識および信号等の特徴点）に対応する点（Ｔ３およびＴ４）の情報に代えて、所定の地物としての道路の区画線、標識および信号等の新特徴点に対応する点（Ｔ３´およびＴ４´）の情報を修正後の地図に追加する。
　このように構成したので、環境地図の情報の修正によって移動する特徴点ＦＰ５～ＦＰ７の位置の移動に伴って区画線に対応する点Ｔ３およびＴ４がそれぞれ許容範囲を超えて移動した場合には、カメラ画像ＩＭに基づいて新たに取得された区画線に対応する点Ｔ３´およびＴ４´を、改めて環境地図に追加することが可能になる。これにより、修正後の環境地図の情報に基づいて推定した自車位置から見える区画線、信号機、交通標識の位置の情報を、修正後の環境地図の情報に基づいて自車両へ提供することが可能になる。

（５）上記（１）から（４）の地図生成装置６０において、選択部１７２は、道路の区画線、信号機、および交通標識のうち少なくとも一つの特徴点を選択しない。
　このように構成したので、複数フレームのカメラ画像ＩＭ間で追跡しやすいユニークな特徴点（例えば、建物の窓枠等のエッジ情報に基づく特徴点）を優先的に選択するとともに、複数フレームのカメラ画像ＩＭ間で追跡が困難な道路の区画線、交通標識および信号等のエッジ情報に基づく特徴点の選択を避けることによって、環境地図の生成に用いる特徴点の数を抑えつつ、自車位置の認識（推定）に有用な区画線等の情報を環境地図に含めることが可能になる。

　上記実施の形態は、種々の形態に変形することができる。以下、変形例について説明する。
（変形例１）
　選択部１７２がカメラ画像ＩＭに基づく特徴点を選択しない所定の地物の例として、道路の区画線、交通標識および信号機等を例示したが、複数フレームのカメラ画像ＩＭ間で追跡が困難な対象物であれば、上記地物以外の他の地物についても、特徴点を選択しない構成としてよい。

（変形例２）
　実施の形態では、わかりやすく説明するために、便宜上図４Ａに示す処理を環境地図が作成される前の処理として説明した。しかしながら、環境地図が作成された後（環境地図の完成が判断された後）でも図４Ａに示す処理を図４Ｂの自車位置認識処理と並行して行ってよい。環境地図の完成後にも行うことにより、例えば道路環境に変化があった場合等に、その情報を適切に環境地図に加えていくことが可能になる。

　以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施の形態および変形例により本発明が限定されるものではない。上記実施の形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。

１ａ　カメラ、１ｂ　レーダ、１ｃ　ライダ、１０　コントローラ、１１　演算部、１２　記憶部、１３　自車位置認識部、１４　外界認識部、１７　地図生成部、６０　地図生成装置、１２１　地図記憶部、１２２　軌跡記憶部、１７１　抽出部、１７２　選択部、１７３　算出部、１７４　生成部、１７５　判定部、ＢＬ１～ＢＬ３　建物、ＦＰ１～ＦＰ１２　特徴点、ＩＭ　カメラ画像、ＯＬ　車道外側線、ＳＧ　信号機、ＳＬ　車線境界線、Ｔ１～Ｔ８，Ｔ３´，Ｔ４´　点、ＴＳ１，ＴＳ２　交通標識、Ｖ１，Ｖ２　他車両

Claims (5)

1. 　自車両の周囲の状況を検出する車載検出器で検出された検出情報から特徴点を抽出する抽出部と、
   　前記抽出部で抽出された複数の前記特徴点から後記算出部で算出に用いる特徴点を選択する選択部と、
   　複数の前記検出情報に基づいて、前記車載検出器の位置および姿勢を用いて、複数の前記検出情報に含まれる同一の前記特徴点の３次元位置を、前記選択部で選択された複数の異なる前記特徴点に対してそれぞれ算出する算出部と、
   　前記算出部で算出された複数の異なる前記特徴点の３次元位置を用いて、各前記３次元位置の情報を含む地図を生成する生成部と、を備え、
   　前記選択部は、所定の地物の前記特徴点を除く前記特徴点を選択し、前記生成部は、前記選択部で選択しない前記特徴点に対応する点の情報を、前記生成した地図に追加することを特徴とする地図生成装置。
2. 　請求項１に記載の地図生成装置において、
   　前記生成した地図を記憶する地図記憶部と、
   　前記車載検出器で新たに検出された検出情報から前記抽出部で抽出した新特徴点を、前記地図記憶部に記憶された前記地図内の前記特徴点に照合することにより、前記自車両の位置を推定する位置推定部と、
   　前記自車両の過去の走行軌跡を記憶する軌跡記憶部と、をさらに備え、
   　前記生成部は、前記自車両が走行する位置が前記軌跡記憶部に記憶されている前記走行軌跡上にある場合に、前記新特徴点を用いて前記位置推定部で推定された前記自車両の位置と、過去の走行時に前記位置推定部で推定された前記自車両の位置とを合わせるように、前記地図の情報を修正することを特徴とする地図生成装置。
3. 　請求項２に記載の地図生成装置において、
   　前記車載検出器で新たに検出された検出情報に基づいて取得された、前記所定の地物の新特徴点の位置と、前記地図記憶部に記憶された前記地図に追加されている、前記選択部で選択しない前記特徴点に対応する点の位置との差に基づいて、前記地図が完成しているか否かを判定する判定部をさらに備えることを特徴とする地図生成装置。
4. 　請求項３に記載の地図生成装置において、
   　前記判定部で前記地図が完成していないと判定されると、前記生成部は、前記選択部で選択しない前記特徴点に対応する点の情報に代えて、前記所定の地物の新特徴点に対応する点の情報を前記修正後の地図に追加することを特徴とする地図生成装置。
5. 　請求項１に記載の地図生成装置において、
   　前記選択部は、道路の区画線、信号機、および交通標識のうち少なくとも一つの前記特徴点を選択しないことを特徴とする地図生成装置。

Images