JP6766798B2 - 道路地図生成システム及び道路地図生成方法 - Google Patents

Description

本発明は、車載カメラが搭載された複数台の車両から、それら車両の走行中の道路状況を撮影したカメラ画像データを収集し、それらカメラ画像データに基づいて道路地図データを生成する道路地図生成システム及び道路地図生成方法に関する。

従来、車載ナビゲーション装置に利用されるデジタル道路地図の生成方法として、例えば特許文献１に記載された技術が知られている。この特許文献１に記載された道路地図の生成方法は、車両の走行によってＧＰＳから経時的に得られた車両の位置データを、移動軌跡データとして取得し、複数の移動軌跡データを収集してデータベースを生成する。そして、それら移動軌跡データから統計的手法を用いて車線中心線を求めることに基づき、地図データを生成するようになっている。また、この特許文献１では、カーブ等における車線中心線を求める場合には、スプライン曲線を使用して地図の生成が行われる。

特開第５０６４８７０号公報

近年、自動車の自動運転技術に対する実現の気運が高まっており、そのための高精度の道路地図データを整備したい要望がある。しかしながら、上記特許文献１の技術では、ＧＰＳを利用した車両の走行軌跡を用いるため、ＧＰＳ電波の受信しにくい場所、例えばトンネル内やビル街等において、位置のばらつきが大きくなる事情がある。そのため、現実との乖離が大きくなり、十分に高精度の道路地図が得られないのが実情であった。また、カーブにおいても、スプライン曲線を用いているため、変換誤差が大きくなっていた。

本発明は上記事情に鑑みてなされたものであり、その目的は、車載カメラのカメラ画像データを収集することに基づいて道路地図データを生成するものにあって、高精度の道路地図データの生成を可能とすることができる道路地図生成システム及び道路地図生成方法を提供するにある。

上記目的を達成するために、本発明の道路地図生成システム（１）は、車載カメラ（４）が搭載された複数台の車両から、それら車両の走行中の道路を撮影したカメラ画像データを収集し、それらカメラ画像データに基づいて道路地図データを生成する道路地図生成システムであって、前記撮影された道路の路面状態を判断する判断手段（１４）と、前記路面状態に基づいて前記道路の車両走行レーンの走行中心線を求めるレーン中心線算出手段（１４）とを備えている（請求項１の発明）。

これによれば、車両の走行中の道路状況を撮影したカメラ画像データが複数台の車両から収集されると、判断手段（１４）により、撮影された道路の路面状態が判断される。そして、レーン中心線算出手段（１４）により、前記路面状態に基づいて前記道路の車両走行レーンの走行中心線が求められる。このとき、実際に車両が走行した際の道路状況を撮影したカメラ画像データに対し、車両が実際に走行した路面状態に基づいて、道路の車両走行レーンの走行中心線が求められる。カーブについても、車両が実際に走行した走行中心線を求めることができる。

従って、ＧＰＳ電波の受信状況に関わりなく、車両走行レーン及び走行中心線のデータを得ることができ、走行中心線を高精度に検出することが可能となる。この結果、車載カメラのカメラ画像データを収集することに基づいて道路地図データを生成するものにあって、高精度の道路地図データの生成を可能とすることができるという優れた効果を奏する。ひいては、自動運転用の高精度の道路地図データの整備に貢献することができる。
尚、ここでいう「走行中心線」とは、実際にその車両走行レーンを走行した車両について、最も多くの車両が通った（最も頻度の高い）車両中心の軌跡に相当する。

本発明の第１の実施形態を示すもので、システムの全体構成を模式的に示す図 車載装置の構成を概略的に示すブロック図 データセンタの要部構成を概略的に示すブロック図 処理制御装置が実行する地図データの生成の処理の手順を概略的に示すフローチャート カメラ画像の例を示す図 車両走行レーン内の轍及び走行中心線の例を示す平面図 第２の実施形態を示すもので、カメラ画像の例を示す図 第３の実施形態を示すもので、温度センサの取付位置を示す斜視図 第４の実施形態を示すもので、カメラ画像の例を示す図 雪道におけるレーン取りの様子を示す図

（１）第１の実施形態
以下、本発明を具体化した第１の実施形態について、図１から図６を参照しながら説明する。図１は、本実施形態に係る道路地図生成システム１の全体構成を概略的に示している。ここで、道路地図生成システム１は、カメラ画像データを収集、分析し、道路地図データを生成するデータセンタ２と、道路上を走行する複数台の車両Ａ群とから構成される。具体的には、車両Ａ群は、乗用車やトラック等、一般の自動車全体を含んでいる。

前記各車両Ａには、道路地図生成システム１を実現するための車載装置３が搭載されている。図２に示すように、車載装置３は、車載カメラ４、位置検出部５、各種車載センサ６、地図データベース７、通信部８、画像データ記憶部９、操作部１０、制御部１１を備えている。そのうち車載カメラ４は、例えば車両Ａの前部に設けられ少なくとも走行方向前方の道路状況を撮影するように構成されている。前記位置検出部５は、周知のＧＰＳ受信機の受信データ等に基づいて、自車位置を検出するものである。前記各種車載センサ６は、自車の速度情報や走行方向（向き）の情報等を検出するものである。尚、前記車載カメラ４は、車両Ａの前後及び左右に設けることができる。また、車載カメラ４の種類としては、広角カメラを採用することができ、特に前方カメラについては２眼式以上のカメラを採用することが望ましい。

前記地図データベース７は、例えば全国の道路地図情報を記憶している。前記通信部８は、移動体通信網を介して或いは路車間通信等を用いて、前記データセンタ２との間での通信を行うものである。前記画像データ記憶部９には、前記車載カメラ４が撮影したカメラ画像データが、その時の自車位置や走行速度、走行方向、撮影日時等のデータを付されて記憶されるようになっている。前記操作部１０は、図示しないスイッチや表示部を有し、車両Ａのユーザ（ドライバ）により必要な操作がなされる。

前記制御部１１は、コンピュータを含んで構成され、車載装置３全体を制御する。この場合、制御部１１は、車両Ａの走行中に、前記車載カメラ４により、常時前方の道路状況を撮影し、そのカメラ画像データを自車位置データ等と共に前記画像データ記憶部９に記憶させる。そして、定期的に、例えば１日１回、前記通信部８により、前記データセンタ２に対して、画像データ記憶部９に記憶されているカメラ画像データを送信させるようになっている。

一方、前記データセンタ２は、図３に示すように、通信部１２、入力操作部１３、処理制御装置１４、カメラ画像データベース１５、轍追加画像データベース１６、レーン中心線データベース１７、道路地図データベース１８を備えている。そのうち前記通信部１２は、各車両Ａの通信部８との間の通信により、前記カメラ画像データを受信する。前記入力操作部１３は、オペレータが必要な入力操作を行うためのものである。

前記処理制御装置１４は、コンピュータを主体として構成され、データセンタ２全体の制御を行う。これと共に、後に詳述するように、処理制御装置１４は、道路地図データの生成処理等の処理を実行する。前記カメラ画像データベース１５には、各車両Ａから送信されたカメラ画像データが収集され、記憶される。このとき、例えば日本全国を走行する一般の車両Ａから、膨大なカメラ画像データが収集されるようになる。

また、前記処理制御装置１４の実行する道路地図データの生成処理において、前記轍追加画像データベース１６には、轍を追加した画像のデータが記憶され、レーン中心線データベース１７には、求められたレーンの走行中心線のデータが記憶される。更に、道路地図データベース１８には、生成された高精度の道路地図データが記憶される。

さて、後の作用説明（フローチャート説明）でも述べるように、本実施形態では、前記データセンタ２の処理制御装置１４は、道路地図データの生成処理を行うにあたって、次の処理を実行する。即ち、まず、処理制御装置１４は、前記カメラ画像データベース１５に記憶されているカメラ画像データを画像処理し、道路の車両走行レーンを抽出すると共に、道路の路面状態を判断する処理（判断工程）を実行する。そして、処理制御装置１４は、上記判断工程において判断された路面状態に基づいて道路の車両走行レーンの走行中心線を求めるレーン中心線算出の処理（レーン中心線算出工程）を実行する。

このとき、本実施形態では、処理制御装置１４は、判断工程において、カメラ画像データから道路の路面状態として車両（特に四輪車）の走行した跡を検出する。より具体的には、車両の走行した跡として、車輪の通った轍を検出する。上記レーン中心線算出工程では、検出された走行した跡この場合轍から、左右の幅の中心位置をつないでいくことにより、車両走行レーンの走行中心線が求められる。但し、本実施形態では、トレッド幅の相違する複数種類の車両の走行した跡が存在する場合、それらの平均的な中心が求められて車両走行レーンの走行中心線とされる。また、バイク等の二輪車の轍については検出から除外される。

これにて、求められた車両走行レーンの走行中心線に基づいて最新の高精度の道路地図データが生成され、道路地図データベース１８に記憶される。尚、図示はしないが、本実施形態の道路地図生成システム１においては、データセンタ２は、生成した最新の道路地図データ等の外部に提供することが可能に構成されている。例えば、データセンタ２から動的情報センタに交通情報を提供したり、地図サプライヤやカーメーカ等に、自動運転用の高精度の道路地図データを提供したりするようになっている。

次に、上記構成の道路地図生成システム１の作用について、図４から図６も参照して述べる。図４のフローチャートは、主としてデータセンタ２の処理制御装置１４が実行する、道路地図データの生成処理の手順を示している。即ち、図４において、まずステップＳ１では、各車両Ａの車載装置３において、車載カメラ４により走行中の道路状況が撮影され、次のステップＳ２にて、各車両Ａにおいて撮影されたカメラ画像のデータがデータセンタ２に収集されてカメラ画像データベース１５に書込まれる。このときのカメラ画像の例を図５に示す。

この場合、前記ステップＳ１の処理は、各車両Ａにおいて制御部１０の制御により実行される。また、ステップＳ２の処理では、各車両Ａから通信部８によりカメラ画像データがデータセンタ２に送信され、データセンタ２において、通信部１２を介して受信したカメラ画像データが処理制御装置１４の制御によりカメラ画像データベース１５に書込まれる。この場合、全国の道路を走行している多数台の一般の車両Ａから、全国の道路の最新のカメラ画像データが収集されるようになる。

ステップＳ３〜Ｓ６は、処理制御装置１４の実行する画像処理の工程であり、ステップＳ３では、カメラ画像データベース１５からカメラ画像が読込まれ、各フレーム画像から、道路（走行レーン）並びに道路上の轍の位置の抽出（特定）の処理が行われる。ここで、道路の路面に凹凸があると、その凹凸によって光の反射の状態が異なってくるので、轍部分は、カメラ画像における色（明暗）が他の部分と異なるものとなる。これにより、轍を抽出・特定することが可能となる。

このとき、図５、図６に例示するように、道路上の白線標示（境界線や中央線等）により、車両走行レーンＬが特定され、その車両走行レーンＬ中に、左右一対の轍Ｒ（図６参照）が特定される。但し、例えば、大型車、小型車といった車両の種類により、左右の車輪間の幅寸法（トレッド幅）が異なってくるので、図５に示すように、一つ車両走行レーンＬに、普通車等の小型車の轍Ｒ１と、トラック等の大型車の轍Ｒ２とが存在し、それら２種類の轍Ｒ１、Ｒ２が特定されるといったケースも生ずる。このようにして轍Ｒ（Ｒ１、Ｒ２）の位置の特定が行われると、ステップＳ４にて、特定された轍Ｒ（Ｒ１、Ｒ２）の位置データが、轍追加画像データベース１６に書込まれる。

次のステップＳ５では、轍追加画像データベース１６から轍Ｒの位置データが読込まれ、図６に示すように、実際にその車両走行レーンＬを車両Ａが走行した走行中心線Ｃを算出する処理が実行される。この場合、上記したように、複数種類の轍Ｒ１、Ｒ２が存在するような場合には、各轍Ｒ１、Ｒ２から求められる中心の平均を算出することにより、走行中心線Ｃが求められる。ステップＳ６では、求められた各車両走行レーンＬの走行中心線Ｃの位置データが、レーン中心線データベース１７に書込まれる。

この後、ステップＳ７では、求められた走行中心線Ｃなどに基づいて道路地図データが生成され、ステップＳ８にて、道路地図データベース１８に書込まれる。以上の処理により、最新かつ高精度の道路地図データが生成されるようになる。この場合、道路地図データを自動運転用のデータとして採用する場合、車両はカーブ等も含めて走行中心線Ｃに沿って走行するものとなる。尚、道路地図データの生成の手法についての詳しい説明は省略するが、例えば、カメラ画像データを画像処理し、フレーム画像を真上からの正射画像に変換すると共に、複数の正射画像を道路に沿って連結配置して連結画像を生成することに基づいて道路地図データを生成するといった、周知の方法を採用することができる。

以上のように、本実施形態の道路地図生成システム１によれば、次のような優れた効果を得ることができる。即ち、本実施形態においては、実際に車両Ａが走行した際の道路状況を撮影したカメラ画像データに対し、車両Ａが実際に走行した路面状態に基づいて、道路の車両走行レーンＬの走行中心線Ｃが求められる。カーブについても、車両Ａが実際に走行した走行中心線Ｃを求めることができる。従って、本実施形態によれば、従来のようなＧＰＳを利用した車両の走行軌跡を用いるものと異なり、ＧＰＳ電波の受信状況に関わりなく、車両走行レーンＬ及び走行中心線Ｃのデータを得ることができ、走行中心線Ｃを高精度に検出することが可能となる。

この結果、車載カメラ４のカメラ画像データを収集することに基づいて道路地図データを生成するものにあって、高精度の道路地図データの生成を可能とすることができる。ひいては、自動運転用の高精度の道路地図データの整備に貢献することができる。また、本実施形態の道路地図生成システム１においては、全国の道路を走行する一般の多数台の車両Ａの車載カメラ４によるカメラ画像データを収集することに基づいて、地図データを生成することができるので、専用の車両を走行させてデータを得るものと異なり、安価なコストで高精度の地図データを生成できるといった利点も得ることができる。

このとき、本実施形態では、判断工程において、カメラ画像データから道路の路面状態として車両Ａの走行した跡を検出し、レーン中心線算出工程において、走行跡から車両走行レーンＬの走行中心線Ｃを求めるように構成した。これにより、カメラ画像データから車両Ｃの走行軌跡を確実に判断することができる。そして、車両走行レーンＬの走行中心線Ｃを確実に求めることができる。特に本実施形態では、車両Ａの走行した跡として、車輪の通った轍Ｒを検出する構成としたので、検出が比較的容易であり、車両Ａの走行軌跡を容易且つ確実に検出することができる。

更に、本実施形態では、トレッド幅の相違する複数種類の車両Ａが走行した跡（轍Ｒ１、Ｒ２）が存在する場合、レーン中心線算出工程において、それらの平均的な中心を求めて車両走行レーンＬの走行中心線Ｃとするように構成した。これにより、小型車、大型車といった種類の異なる車両Ａのいずれかに偏るといったことのない、有効な走行中心線Ｃを求めることが可能となる。

（２）第２〜第４の実施形態、その他の実施形態
次に、図７〜図１０を参照しながら、第２〜第４の実施形態について順に述べる。尚、以下に述べる第２〜第４の実施形態においては、上記第１の実施形態と同一部分には、同一符号を付して新たな図示や繰り返しの説明を省略する。

図７は、第２の実施形態を示すものであり、上記第１の実施形態とは次の点で異なる。即ち、処理制御装置１４は、判断工程において、カメラ画像から、車両Ａの走行した跡として路面上に付けられたタイヤ痕Ｔを検出するようになっている。この場合、タイヤ痕Ｔは、そこだけ路面の色が黒くなるので、他の部分と色が異なることに基づいて抽出・特定することができる。これによっても、上記第１の実施形態と同様に、カメラ画像データから、路面上に付けられたタイヤ痕Ｔを比較的容易に検出することができ、轍Ｒと同等の車両Ａの走行軌跡を容易且つ確実に検出することができる。この結果、上記第１の実施形態と同様に、高精度の道路地図データの生成を可能とすることができる。

図８は、第３の実施形態を示すものであり、上記第１の実施形態とは次の点で異なる。即ち、車両Ａには、走行中（車載カメラ４により撮影中）の道路（走行レーンＬ）の、路面温度分布を検出する温度センサ２１が設けられている。この温度センサ２１は、例えば赤外線放射型の温度センサ（サーモグラフィー）からなり、路面上の車両Ａの進行方向に直交する方向、つまり道路の幅方向の温度分布を検出し、熱分布画像を得ることができる。検出された熱分布画像は、カメラ画像データと共に、データセンタ２に送信される。

そして、データセンタ２の処理制御装置１４は、路面温度分布に基づいて車両Ａの走行した跡を検出するようになっている。この場合、車両Ａが走行する道路においては、路面と車輪（タイヤ）との間の摩擦により、路面の温度がそこだけ上昇する。従って、路面の轍Ｒやタイヤ痕Ｔが画像上で検出しにくいような場合でも、温度センサ２１により撮影中の道路の路面温度分布を検出することに基づき、轍Ｒと同等の車両Ａの走行軌跡を検出することが可能となる。この結果、上記第１の実施形態等と同様に、高精度の道路地図データの生成を可能とすることができる。

図９及び図１０は、第４の実施形態を示すものであり、上記第１の実施形態等とは、以下の点で異なる。即ち、処理制御装置１４は、判断工程において、カメラ画像から、車両Ａの走行した跡として雪道における走行跡（雪解け跡）Ｓを特定するようになっている。この走行跡Ｓが、轍Ｒに相当することは勿論である。これによっても、上記第１の実施形態と同様に、カメラ画像データから、路面上に付けられた雪道における走行跡Ｓを比較的容易に検出することができ、車両Ａの走行軌跡を容易且つ確実に検出し、高精度の道路地図データの生成を可能とすることができる。

これと共に、本実施形態では、処理制御装置１４は、片側複数の車両走行レーンを有する道路に関して、該道路の各区間において車両が各車両走行レーンを走行する頻度情報を取得する処理（頻度情報取得工程）を実行すると共に、その頻度情報に基づいて推奨するレーン取り情報を生成する処理（推奨レーン情報工程）を実行する。具体例をあげると、図１０に示すように、例えば片側２車線の車両走行レーンＬ１、Ｌ２を有する道路においては、車両走行レーンＬ１、Ｌ２のどちらを走行することも可能である。ところが、左の車両走行レーンＬ１は、未だ誰も走行しておらず、雪が積もったままで走行跡Ｓが存在しない。これに対して、右の車両走行レーンＬ２は、車両Ａが相応する頻度が高く、はっきりとした走行跡Ｓが付いている。つまり、車両Ａが各車両走行レーンＬ１、Ｌ２を走行する頻度が偏っている。

このような場合、雪道では、走行跡Ｓのついている車両走行レーンＬ２を走行することが、より走りやすいということができる。未だ誰も走行していない車両走行レーンＬ１は、走行しにくいものとなる。従って、処理制御装置１４は、車両Ａが各車両走行レーンＬ１、Ｌ２を走行する頻度の情報に基づいて、推奨するレーン取り情報、つまりどちらの車両走行レーンＬ１、Ｌ２を走行すれば良いかの情報を生成することができる。これにより、単に道路地図データの生成だけでなく、それに加えて、推奨レーン情報という有効な情報を付加することができる。

尚、上記各実施形態では、データセンタ２における各種処理（工程）を、コンピュータからなる処理制御装置１４が自動で行う構成としたが、オペレータからの入力指示を含めて、いわゆる半自動で処理を実行する構成としても良い。これによれば、例えば車両の走行跡としての、轍やタイヤ痕、雪道の走行跡の特定を行うにあたって、カメラ画像データを表示装置に表示させ、表示されたカメラ画像上で、オペレータが走行跡の位置を指定するといった手法を採用することにより、実際の画像から、容易に走行跡の抽出・特定を行うことができる。

また、上記第４の実施形態では、雪道に関して推奨するレーン取り情報を生成するようにしたが、雪道に限らず、複数車線の道路全般において、頻度情報に基づいてレーン取り情報を生成することが可能である。更に、上記各実施形態では、車両Ａから無線通信によりカメラ画像データを収集するようにしたが、例えばＳＤカード等の記憶媒体を介してカメラ画像データを収集する構成とすることもできる。その他、車両（車載装置）やデータセンタのハードウエア構成等についても様々な変更が可能である。

本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

図面中、１は道路地図生成システム、２はデータセンタ、３は車載装置、４は車載カメラ、８は通信部、１１は制御部、１２は通信部、１４は処理制御装置（判断手段、レーン中心線算出手段、推奨レーン情報生成手段、頻度情報取得手段、推奨レーン情報生成手段）、１５はカメラ画像データベース、２１は温度センサ（温度検出手段）、Ａは車両、Ｌ、Ｌ１、Ｌ２は車両走行レーン、Ｃは走行中心線、Ｒ、Ｒ１、Ｒ２は轍（走行した跡）、Ｔはタイヤ痕（走行した跡）、Ｓは雪道における走行跡を示す。

Claims (12)

1. 車載カメラ（４）が搭載された複数台の車両から、それら車両の走行中の道路を撮影したカメラ画像データを収集し、それらカメラ画像データに基づいて道路地図データを生成する道路地図生成システム（１）であって、
   前記撮影された道路の路面状態を判断する判断手段（１４）と、
   前記路面状態に基づいて前記道路の車両走行レーンの走行中心線を求めるレーン中心線算出手段（１４）とを備える道路地図生成システム。
2. 前記判断手段（１４）は、前記カメラ画像データから道路の路面状態として車両の走行した跡を検出し、
   前記レーン中心線算出手段（１４）は、前記走行した跡から車両走行レーンの走行中心線を求める請求項１記載の道路地図生成システム。
3. 前記判断手段（１４）は、前記車両の走行した跡として、車輪の通った轍、路面上に付けられたタイヤ痕、雪道における走行跡のいずれかを検出する請求項２記載の道路地図生成システム。
4. 前記車両は、撮影中の道路の路面温度分布を検出する温度検出手段（２１）を備え、
   前記判断手段（１４）は、前記路面温度分布に基づいて前記車両の走行した跡を検出する請求項１から３のいずれか一項に記載の道路地図生成システム。
5. 前記レーン中心線算出手段（１４）は、トレッド幅の相違する複数種類の車両の走行した跡が存在する場合、それらの平均的な中心を求めて車両走行レーンの走行中心線とする請求項１から４のいずれか一項に記載の道路地図生成システム。
6. 片側複数の車両走行レーンを有する道路に関して、該道路の各区間において車両が各車両走行レーンを走行する頻度情報を取得する頻度情報取得手段（１４）と、
   前記頻度情報に基づいて推奨するレーン取り情報を生成する推奨レーン情報生成手段（１４）とを備える請求項１から５のいずれか一項に記載の道路地図生成システム。
7. 車載カメラ（４）が搭載された複数台の車両から、それら車両の走行中の道路を撮影したカメラ画像データを収集し、それらカメラ画像データに基づいて道路地図データを生成する道路地図生成方法であって、
   前記撮影された道路の路面状態を判断する判断工程と、
   前記路面状態に基づいて前記道路の車両走行レーンの走行中心線を求めるレーン中心線算出工程とを含む道路地図生成方法。
8. 前記判断工程は、前記カメラ画像データから道路の路面状態として車両の走行した跡を検出し、
   前記レーン中心線算出工程は、前記走行した跡から車両走行レーンの走行中心線を求める請求項７記載の道路地図生成方法。
9. 前記判断工程は、前記車両の走行した跡として、車輪の通った轍、路面上に付けられたタイヤ痕、雪道における走行跡のいずれかを検出する請求項８記載の道路地図生成方法。
10. 前記車両は、撮影中の道路の路面温度分布を検出する温度検出手段（２１）を備え、
    前記判断工程においては、前記路面温度分布に基づいて前記車両の走行した跡を検出する請求項７から９のいずれか一項に記載の道路地図生成方法。
11. 前記レーン中心線算出工程は、トレッド幅の相違する複数種類の車両の走行した跡が存在する場合、それらの平均的な中心を求めて車両走行レーンの走行中心線とする請求項７から１０のいずれか一項に記載の道路地図生成方法。
12. 片側複数の車両走行レーンを有する道路に関して、該道路の各区間において車両が各車両走行レーンを走行する頻度情報を取得する頻度情報取得工程と、
    前記頻度情報に基づいて推奨するレーン取り情報を生成する推奨レーン情報生成工程とを有する請求項７から１１のいずれか一項に記載の道路地図生成方法。

Images