[実施形態]
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
<システムの概要>
図1は、本発明の一実施形態に係る情報処理システム1の構成の一例を示す図である。図1に示す情報処理システム1は、MMS(Mobile Mapping System)計測を搭載する計測車両(以下、「車両」とも称す。)10と、情報処理装置20と、GNSS(Global Navigation Satellite System)において利用される測位衛星30と、衛星画像を取得可能な観測衛星40とを含み、これらはネットワークNを介して相互にデータの送受信をすることが可能である。また、車両10や情報処理装置20の数は1つ以上あってもよい。
車両10は、MMSによる3次元計測を行う車両であり、移動しながら、周辺の地形について3次元計測を実行する。また、車両10は、GNSSの測位衛星30から信号を受信し、自車両の位置情報を検出可能である。位置情報は、緯度、経度、高度の3次元位置情報、又は緯度、経度の2次元位置情報を含む。また、車両10は、各種センサを搭載し、各種センサにより検出されるデータを取得する。各種センサには、車載カメラ、車速センサ、加速度センサなどが含まれる。
測位衛星30は、位置情報の計測に必要な信号を送信する衛星である。観測衛星40は、例えばSAR(Synthetic Aperture Radar)センサ等を用いて地球を観測し、撮影することで衛星画像を取得する。
情報処理装置20は、例えばサーバであり、車両10から、MMSにより計測されたデータや、各種センサにより検知されたデータ等を取得する。また、情報処理装置20は、各衛星30、40から信号や画像を取得する。情報処理装置20は、車両10や各衛星30、40から取得したデータ等を用いて、地図データを生成する。なお、情報処理装置20は、複数の情報処理装置から構成されてもよい。
<地図データの概要>
ここで、本実施形態で用いられる地図データの概要について説明する。本実施形態で用いる地図データは、例えば、自動運転等に用いられる高精度な3次元地図のデータである。具体例としては、この地図データは、周辺車両の情報や交通情報といった、より動的な情報が付加されたリアルタイムに提供されるダイナミックマップと呼ばれる地図のデータである。本実施形態で用いられる地図データは、例えば4つの階層に分類される。
図2は、本発明の一実施形態に係る地図データの階層構造の一例を示す図である。図2に示す例では、地図データは、静的情報SI1、準静的情報SI2、準動的情報MI1、動的情報MI2に分類される。
静的情報SI1は、3次元の高精度な基盤的地図データ(高精度3次元地図データ)であって、路面情報、車線情報、3次元構造物等を含み、地物を示す3次元位置座標や線形ベクトルデータから構成される。準静的情報SI2、準動的情報MI1及び動的情報MI2は、時々刻々と変化する動的データであって、位置情報を基に静的情報に重畳されるデータである。
準静的情報SI2は、交通規制情報、道路工事情報、広域気象情報などを含む。準動的情報MI1は、事故情報、渋滞情報、狭域気象情報などを含む。動的情報MI2は、ITS(Intelligent Transport System)情報を含み、周辺車両、歩行者、信号情報などを含む。
ダイナミックマップの実現には、静的情報SI1に対応する高精度3次元地図データの構築が重要になる。高精度3次元地図データの構築は、次の4つの工程により行われる。
(1.測位工程)
車両10は、複数の測位衛星30からの信号を受けて安定した位置情報を取得し、位置補正技術を用いて自己位置情報を割り出す。また、車両10は、測位衛星30を利用することで、cmクラスでの位置情報の測位が可能となる。
(2.計測工程)
車両10は、高精度な3次元データを生成するために、MMSに含まれるGPS(Global Positioning System)、カメラ、レーザスキャナ、IMU(Inertial Measurement Unit)などを搭載した車両である。車両10は、移動しながら周辺の地形や地物等を計測する。情報処理装置20は、MMSにより取得された画像と3次元の点群データから、建物・道路の形状・標識・ガードレール・路面文字・マンホール等の道路周辺の3次元位置情報を、高精度で効率的に取得する。
(3.図化工程)
情報処理装置20は、MMSにより生成された高精度な3次元データから、基盤となる地図をベクトルデータとして抽出する。情報処理装置20は、路肩縁、区画線、停止線、横断歩道などの実在地物、車線中心線を表現する車線リンクなどの仮想地物を検出し、地物データを生成し、これらをベクトル化する。情報処理装置20は、点群データからの自動図化技術の評価を行う。
(4.統合工程)
情報処理装置20は、図化工程で整備された地物データの関連付け(構造化処理)、マップとして利用しやすいフォーマットへの変換を行い、高精度3次元地図データを生成する。なお、情報処理装置20は、観測衛星40から取得した衛星画像を、車両10の位置補正又は地物検出等に利用してもよい。
以上の工程により、高精度3次元地図データ(以下、「HD(High Definition)マップ」とも称する。)が生成される。HDマップは自動運転等で利用されるため、自動運転の精度向上等に寄与するためのHDマップを生成することが期待されている。以下、本実施形態に係る、利用側の処理の精度向上等に寄与するHDマップを生成するのに用いられる車両10や情報処理装置20等について説明する。
<車両の構成>
図3は、本発明の一実施形態に係る車両10の構成の一例を示す図である。図1に示す例では、車両10は、MMSを用いて計測地域を走行し、走行した道路周辺の地物の3次元の座標値を計測する。この3次元座標値を計測するため、車両10は、GNSS受信機101と、IMU102と、レーザスキャナ103と、カメラ104とを備える。例えば、これらの機器は、車両10の天部に設けられた天板100に取り付けられる。
また、車両10は、車輪に走行距離計105が取り付けられ、車載器としてプロセッサ106と、各種センサ107と、通信装置108とを備える。
GNSS受信機101は、GNSSの測位衛星30から測位信号を受信するアンテナを備える。GNSS受信機101は、アンテナによって受信した測位信号に基づいて測位衛星30との疑似距離、測位信号を搬送した搬送波の位相および三次元の座標値を算出する。
IMU102は、3軸方向の角速度を計測するジャイロセンサと、加速度を計測する加速度センサを備える。IMU102は、これらのセンサによって自車両の姿勢データを取得する。
レーザスキャナ103は、車両10の幅方向において、放射角度を変更させながらレーザ光を放射し、放射先に位置する地物に反射したレーザ光を受光する。レーザスキャナ103は、レーザ光を放射してから受光するまでの時刻を計測し、地物との距離を算出する。
カメラ104は、車両10の外部、例えば前方等を撮像する。また、走行距離計105は、車両10の走行距離を計測する。
プロセッサ106は、車両10の運転制御等を行い、又は、外部の装置とのデータの送受信を制御する。各種センサ107は、車載カメラ、車速センサ、加速度センサを含む。通信装置108は、外部の装置とデータの送受信を行う。例えば、通信装置108は、MMSにより取得されたデータを情報処理装置20に送信する。
<情報処理装置の構成>
図4は、本発明の一実施形態に係る情報処理装置20の構成の一例を示す図である。情報処理装置20は、1つ又は複数の処理装置(CPU:Central Processing Unit)210、1つ又は複数のネットワーク通信インタフェース220、記憶装置230、ユーザインタフェース250及びこれらの構成要素を相互接続するための1つ又は複数の通信バス270を含む。なお、ユーザインタフェース250は必ずしも必要ではない。
記憶装置230は、例えば、DRAM、SRAM、他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、1つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよく、また、コンピュータ読み取り可能な非一時的な記録媒体でもよい。
また、記憶装置230の他の例として、CPU210から遠隔に設置される1つ又は複数の記憶装置でもよい。ある実施形態において、記憶装置230はCPU210により実行されるプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。
記憶装置230は、情報処理システム1により用いられるデータを記憶する。例えば、記憶装置230は、HDマップの生成に関するデータを記憶する。具体例としては、ダイナミックマップ、HDマップ、地物データなどが記憶装置230に記憶される。
図5は、本発明の一実施形態に係るデータベースの一例を示す図である。図5に示す例では、記憶装置230はダイナミックマップデータを高精度地図データベースとして記憶する。上述したように、ダイナミックマップデータは、静的情報SI1と、準静的情報SI2と、準動的情報MI1と、動的情報MI2とを含み、それぞれの情報が関連付けられている。
ダイナミックマップデータに含まれる静的情報SI1は、高精度3次元地図データを含み、高精度3次元地図データは、地物データを含む。この地物データは、アプリケーションがダイナミックマップを利用する際に基本となる情報であり、アプリケーションがダイナミックマップを利用する際の性能向上等に貢献ができる情報である。したがって、地物データにどんな情報を含めるかが重要となる。例えば、ダイナミックマップの利用先として自動運転システムがあるが、自動運転システムの性能向上に寄与するように、多数の情報の中から適切な情報が検出され、検出された情報が、本実施形態に係る地物データに含められる。
図4に戻り、本実施形態に係る地物データを生成する処理を実行するCPU210について説明する。CPU210は、記憶装置230に記憶されるプログラムを実行することで、地図制御部212、送受信部213、取得部214、検出部215、特定部216、生成部217を構成する。
CPU210は、後述する各部の処理を制御し、地図データの生成に関する処理を実行する。
地図制御部212は、各種データを用いて、地図データの生成を制御する。例えば、地図制御部212は、高精度3次元地図データの生成を制御し、高精度3次元地図データに含まれる地物データの生成についても制御する。
送受信部213は、外部装置に対して、ネットワーク通信インタフェース220を介してデータの送受信を行う。例えば、送受信部213は、車両10や各衛星30、40からデータや信号等を受信する受信部として構成され、車両10や各衛星30、40にデータや信号等を送信する送信部としても構成される。具体例として、送受信部213は、車両10から、MMSにより計測された各種データや、車両10に搭載される各種センサ等にセンシングされた各種データを受信し、観測衛星40から、所定位置を含む衛星画像を受信する。
取得部214は、地図データの生成に用いる計測素材に関する素材情報、及び、車両10により計測される情報であって、衛星測位システムを用いる測位に関する測位情報と車両10に搭載される撮像装置により撮像される画像情報とを含む計測情報の少なくとも1つを取得する。例えば、取得部214は、車両10が移動しながら計測する場合、車両10が移動した位置を含む衛星画像を観測衛星40から取得したり、及び/又は、車両10により計測された計測情報を取得したりする。計測情報は、MMSにより計測される情報や、車載カメラを用いて取得される画像情報等を含む。
検出部215は、取得部214により取得された計測情報に含まれる点群データや車両10外部の画像情報等を用いて、地物を検出する。検出部215は、物体認識等を用いて、例えば、路肩縁、区画線、停止線、横断歩道などの実在地物、車線中心線を表現する車線リンクなどの仮想地物などを検出する。仮想地物は、実在地物に基づいて検出される。例えば、車線リンクは、車道の両サイドの白線の中心線をトレースすることで形成される。また、検出部215は、航空画像や衛星画像から物体認識等を用いて、地物を検出してもよい。
特定部216は、素材情報に基づく計測素材を識別可能な素材識別情報、測位情報に基づく衛星測位状態を識別可能な測位状態情報、及び、画像情報に基づく計測車両の上方の状態を識別可能な上方状態情報の少なくとも1つを特定する。例えば、取得部214により素材情報が取得される場合、特定部216は、素材情報に基づいて、地図データの生成における地物の位置を計測するための計測素材を特定し、この計測素材を識別可能な識別情報を特定する。
例えば、計測素材として、MMSによる計測や、衛星画像を用いる計測等のいずれかの計測素材が特定されると、この計測素材を識別する情報(ID)が特定される。計測素材は、地図データの位置の精度に関しており、例えば、計測素材によって、10~30cmクラスの誤差があるのか、50cm以上の誤差があるのか等の位置精度が変わる。すなわち、計測素材を特定することで、アプリケーション側は、使用する地図データにおいて、その計測素材が使用された所定範囲内の位置の精度を把握することが可能になる。
また、取得部214により計測情報が取得される場合、特定部216は、計測情報に含まれる測位情報に基づいて、計測中の車両10が測位衛星30から信号を受信する状態に関する衛星測位状態を特定し、この衛星測位状態を識別可能な測位状態情報を特定する。
例えば、衛星測位状態として、未測位、マルチパス環境下、通常測位等のいずれかの測位状態が特定されると、この測位状態を識別する情報(ID)が特定される。衛星測位状態は、地図データの位置の精度に関しており、例えば、マルチパス環境下で測定誤差が生じやすい環境下での地図データなのか、トンネル等での未測位により他の情報を用いて測位された地図データなのかにより、地図データ内の所定領域の位置精度が異なる。すなわち、衛星測位状態を特定することで、アプリケーション側は、使用する地図データにおいて、その測位状態で測位された所定範囲内の位置の精度を把握することが可能になる。
また、取得部214により計測情報が取得される場合、特定部216は、計測情報に含まれる、車載カメラ等により車両10外部(例えば前方)が撮像された画像情報に基づいて、計測中の車両10の上方が閉鎖されていないか等の状態を特定し、この上方状態を識別可能な上方状態情報を特定する。
例えば、上方状態として、上方の所定領域が閉鎖しているか、閉鎖していないか等のいずれかの上方状態が特定されると、この上方状態を識別する情報(ID)が特定される。上方状態は、地図データの位置の精度に関しており、例えば、上方が閉鎖された状態で、衛星測位の信号を受信できない環境下の地図データなのか、上方がオープンな状態で、衛星測位の信号が適切に受信できる環境下の地図データなのかにより、地図データ内の所定領域の位置精度が異なる。すなわち、上方状態を特定することで、アプリケーション側は、使用する地図データにおいて、その上方状態で計測された所定範囲内の位置の精度を把握することが可能になる。
生成部217は、特定部216により特定された情報を、素材情報又は計測情報を用いて検出される地物に関連付けて地物データを生成する。例えば、生成部217は、素材識別情報、測位状態情報、及び、上方状態情報の少なくとも1つを、検出部215により検出された地物に関連付けて、地物データを生成する。
以上の処理により、地物データを生成する際に、素材識別情報、測位状態情報、及び、上方状態情報の少なくとも1つを地物データに含めることで、利用側の処理の精度向上等に寄与することが可能になる。また、地物データを利用するアプリケーションは、位置の精度に関する素材識別情報、測位状態情報、及び、上方状態情報の少なくとも1つを取得することで、地図の所定領域内の位置の精度を把握することができる。例えば、アプリケーションとして自動運転システムが用いられる場合、自動運転システムが地図データの位置の精度に応じて、運転制御を変更することが可能になり、運転精度の向上に貢献することが可能になる。
また、生成部217は、地物データが各地物に共通の共通情報と、地物に固有の固有情報とを含む場合、特定部216により特定された情報を共通情報に設定することを含んでもよい。例えば、生成部217は、素材識別情報、測位状態情報、及び、上方状態情報の少なくとも1つを共通情報の所定のフィールド(又はレコード)に設定する。
これにより、地物データは、共通情報と固有情報とを含むことで、各地物に対して共通の情報は、共通のフィールド等に設定し、地物毎に固有の情報は、固有のフィールド等に設定すればよく、地物データのデータ量を効率化することが可能になる。また、位置データの精度に関する素材識別情報、測位状態情報、及び、上方状態情報の少なくとも1つは、共通情報に設定されることで、アプリケーション側は各地物データの所定のフィールドを参照することで、素材識別情報、測位状態情報、又は、上方状態情報を把握することが可能になる。
また、特定部216は、計測情報が撮像装置の制御情報を含む場合、制御情報に基づく撮像装置の制御状態を識別可能な撮像制御情報を特定することを含んでもよい。例えば、特定部216は、計測情報にMMSに搭載されるカメラの制御情報、例えば絞り値等を特定し、車載カメラの制御情報を地図データに関連付ける。この場合、生成部217は、撮像制御情報を共通情報に設定することを含んでも良い。
これにより、カメラの制御情報を地物データの共通情報に含めることにより、地物データを取得したアプリケーション側は、撮像制御情報に含まれるパラメータに基づいて地物を撮像することができ、より適切に地物を検出することが可能になる。また、地物データの共通情報に撮像制御情報が含まれることで、アプリケーション側は、各地物データに共通のフィールドを参照することで、撮像制御情報を取得することが可能になる。
また、生成部217は、地物が車線を含む場合、この地物に、この車線の走行に関する車線関連情報を関連付けて、車線の地物データを生成することを含んでもよい。例えば、生成部217は、車線関連情報として、相互通行、対面通行、一方通行などの車線属性、車線幅に関する形状属性、車線が変更可能かを示す車線変更可能状態情報などを、車線の地物データに設定してもよい。また、生成部217は、車線関連情報を地物データの固有情報に設定してもよい。また、生成部217は、その車線の先にある地物(例えば、ショッピングモールの入口、右折又は左折専用レーンなど)等の情報を含む車線先情報、路面が補修済みか否か、区画線等の補修が必要か否か(例えば劣化状況)の情報を含む補修状態情報、停車可能か否かの情報を含む停車可否情報、大雨などの災害時に水没するか等を含む災害状態情報などを車線又は車道の地物データに設定してもよい。すなわち、生成部217は、車線単位でのルーティング、又は車線単位での動的な経路案内等に利用可能なデータを、車線又は車道の地物データに設定してもよい。
これにより、車線関連情報を含む地物データを取得するアプリケーションは、車線の走行に関しての各情報を取得することができ、アプリケーションの実行に利用することができる。例えば、自動運転システムが、この地物データを利用することで、走行中の車線の属性や、車線変更可能か否かの情報や、車線幅等を取得することができるため、この地物データは、自動運転の精度向上に寄与することが可能になる。また、自動運転システム等は、車線先情報を参照することで、その車線をそのまま走行して良いか他の車線に変更した方がよいかを判定することが可能になる。また、自動運転システム等は、補修状態情報を参照することで、綺麗な路面を走行することや、区画線の劣化状況を把握したりすることが可能になる。また、自動運転システム等は、停車可否情報を参照することで、信号停止等の際に、車線の所定位置に停車可能か否かを判断することが可能になる。また、自動運転システム等は、災害状態情報を参照することで、大雨などの災害時に走行可能な車線か否かを判定したりすることが可能になる。
また、生成部217は、地物が路上のオブジェクトを含む場合、この地物に、このオブジェクトの数に関するオブジェクト情報と、このオブジェクトに対する障害物に関する障害物情報とを関連付けて、オブジェクトの地物データを生成することを含んでもよい。例えば、生成部217は、地物が路上の信号の標識や路肩縁等のオブジェクトの場合、このオブジェクトが単一のものか、複数のオブジェクトを含む複合のものかを示すオブジェクト情報と、このオブジェクトに樹木、雑草などの障害物があるか否かを示す障害物情報とをオブジェクトに関連付けて、地物データを生成してもよい。また、生成部217は、オブジェクト情報と障害物情報とを地物データの固有情報に設定してもよい。
これにより、オブジェクト情報や障害物情報を含む地物データを取得するアプリケーションは、路上のオブジェクトの各情報を取得することができ、アプリケーションの実行に利用することができる。例えば、自動運転システムが、この地物データを利用することで、走行中の車線の先にある標識の状態(単一か複合か)や、路肩やガードレールが障害物で覆われていないか等を認識し、各種センサによる地物の検出をアシストすることができるため、この地物データは、自動運転の精度向上に寄与することが可能になる。
また、生成部217は、地物が車道を含む場合、この地物に、この車道の走行に関する車道関連情報を関連付けて、地物データを生成することを含んでもよい。例えば、生成部217は、車道関連情報として、車線数を含む車線数情報、経路数を含む経路数情報などを車道に関連付けて、車道の地物データを生成してもよい。また、生成部217は、車道関連情報を地物データの固有情報に設定してもよい。経路数とは、或る車道から他の車道に移動する場合に、渋滞緩和や道路増設等により複数の経路がある場合があり、その経路数を示す。
これにより、車道関連情報を含む地物データを取得するアプリケーションは、車道の車線数や経路数等の各情報を取得することができ、アプリケーションの実行に利用することができる。例えば、自動運転システムが、この地物データを利用することで、走行中の車道の車線数を認識することで、車線変更等に利用し、経路数を認識することで、適切な経路を選択することができるため、この地物データは、自動運転の精度向上に寄与することが可能になる。
また、生成部217は、地物が交差点を含む場合、この地物に、この交差点に関する交差点関連情報を関連付けて、交差点の地物データを生成することを含んでもよい。例えば、生成部217は、交差点関連情報として、交差点領域の種別に関する領域種別情報や、進入側ネットワーク(車道又は車線)の接続数に関する情報や、退出側ネットワークの接続数に関する情報などを交差点に関連付けて、交差点の地物データを生成してもよい。また、生成部217は、交差点関連情報を、地物データの固有情報に設定してもよい。
これにより、交差点関連情報を含む地物データを取得するアプリケーションは、交差点の種別、例えばJCT(Junction)分岐、JCT合流等の種別や、交差点の進入又は退出のネットワーク数等の各情報を取得することができ、アプリケーションの実行に利用することができる。例えば、自動運転システムが、この地物データを利用することで、走行中の車道の先にある交差点の情報を取得することができるため、この地物データは、自動運転の精度向上に寄与することが可能になる。
また、特定部216は、素材情報により示される、衛星画像を用いる計測、航空画像又はLiDARを用いる計測、移動計測飛行体による計測、計測車両による計測、及び定点計測の少なくとも1つの計測素材に基づいて、素材識別情報を特定することを含んでもよい。例えば、特定部216は、地図データの位置の精度に関する、衛星画像、航空画像又はLiDAR画像、移動計測飛行体(ドローン、飛行機等)による撮像される画像、車両10により計測される画像、定点計測により撮像される画像のいずれかに基づいて、地図データが生成されるかを特定し、計測素材の素材識別情報を特定してもよい。
これにより、アプリケーション側は、地物データに含まれる素材識別情報を取得することで、使用する地図データの所定領域における計測素材を認識することができるため、その地図データの所定領域内の位置の精度を把握することが可能になる。また、例えば、自動運転システムが、この地物データに含まれる素材識別情報を利用することで、走行中の所定領域内の位置の精度を認識することができるため、自動運転の精度向上に寄与することが可能になる。
また、特定部216は、測位情報により示される、未測位、2次元測位、3次元測位、ディファレンシャル測位方式による測位、干渉測位方式による測位、及びデッドレコニング測位を用いる測位の少なくとも1つの測位状態に基づいて、測位状態情報を特定することを含んでもよい。例えば、特定部216は、地図データの位置の精度に関する、MMSによる測位信号の受信状態を用いて、測位状態を特定し、この測位状態を識別する測位状態情報を特定してもよい。
これにより、アプリケーション側は、地物データに含まれる測位状態情報を取得することで、使用する地図データの所定領域における測位衛星30からの測位状態を認識することができるため、その地図データの所定領域内の位置の精度を把握することが可能になる。また、例えば、自動運転システムが、この地物データに含まれる測位状態情報を利用することで、走行中の所定領域内の位置での測位状態に応じた自車位置の推定処理を変更することができるため、自動運転の精度向上に寄与することが可能になる。
また、特定部216は、車両10外部が撮像された画像情報に基づいて、車両10の上方の所定範囲が未閉鎖か、一部閉鎖されているか、及び全て閉鎖されているかの少なくとも1つを含む上方状態に基づいて、上方状態情報を特定することを含んでもよい。例えば、特定部216は、衛星測位信号の受信状態に関する、上方の所定範囲が閉鎖されている状態(トンネル、ダブルデッキなどのクローズド)、交差、横断路などの一部の領域が閉鎖されている状態(一部オープンスカイ)、上方の所定領域が閉鎖されていない状態(オープンスカイ)を物体認識等により特定し、上方の状態に応じた上方状態情報を特定してもよい。
これにより、アプリケーション側は、地物データに含まれる上方状態情報を取得することで、使用する地図データの所定領域における上方の状態に基づき測位衛星30からの測位状態を推定することができるため、その地図データの所定領域内の位置の精度を把握することが可能になる。また、例えば、自動運転システムが、この地物データに含まれる上方状態情報を利用することで、走行中の所定領域内の位置での上方状態に応じた自車位置の推定処理を変更することができるため、自動運転の精度向上に寄与することが可能になる。
なお、生成部217により地物データに各情報を設定するタイミングは、各情報に応じて異なってもよい。例えば、各情報は、以下のタイミングで地物データに設定される。なお、各情報は、後工程で付与されるほど信頼性が高くなる。
・MMSによる計測時、複数の情報(MMSや衛星画像等)をマージする際、図化時
素材識別情報
・MMSによる計測時、複数の情報をマージする際
測位状態情報、上方状態情報、撮像制御情報、障害物情報
・MMSによる計測時、図化時
オブジェクト情報
・図化時、統合時(構造化時)
車道関連情報、車線関連情報、
なお、図化時に設定される各情報について、特定部216は、図化工程において生成される図化データを用いて、車道又は車線の地物データの固有情報に含まれる各情報を特定してもよい。生成部217は、図化時に特定される情報を、地物データに含めてもよい。これにより、生成部217は、適切なタイミングで生成された情報を地物データに含めることができる。また、生成部217は、後工程において特定された情報を用いて、地物データに設定された、対応する情報を更新することで、その情報の信頼性を上げていくことが可能になる。
<データ例>
次に、上述した処理で生成される地物データの例について図6~11を用いて説明する。図6は、本発明の一実施形態に係る地物コードの一例を示す図である。地物コードは、地物の識別に関するデータであり、例えば、地物データの共通情報に含められるデータである。地物コードは、地物名に関連付けられる。
図6に示す例において、地物コード「01」は、地物名「車線リンク(交差点外車線リンク)」を示し、地物コード「02」は、地物名「車線リンク(交差点内車線リンク)」を示し、地物コード「11」は、地物名「車道リンク」を示す。
また、地物コードの最初の一桁の数字により、地物の種類は判別可能である。例えば、地物コードの最初の一桁が「0」であれば、地物は車線リンクに関する地物である。最初の一桁が「1」であれば、地物は車道リンクに関する地物である。最初の一桁が「2」であれば、路上にペイント等された地物(区画線、多重区画線、路肩縁、トンネル境界縁等)である。最初の一桁が「3」であれば、地物は交差点及び道路標示(規制標示、指示標示、その他標示等)である。最初の一桁が「4」であれば、地物は道路標識(案内標識、警戒標識、規制標識、指示標識、その他標識、識別不能標識等)である。最初の一桁が「5」であれば、地物は車両信号機(本体、補助信号、矢印等)である。
図7は、本発明の一実施形態に係る地物データの共通情報の一例を示す図である。図7に示す例では、地物データの共通情報は、使用目的情報、地物コード、素材識別情報、測位状態情報、上方状態情報、撮像制御情報等を含む。
使用目的情報は、AD(Autonomous Driving)/ADAS(Advanced Driver Assistance System)を自専道で使用するか、一般道で使用するかを特定する情報を含む。自専道とは、分岐、合流区画などで並走状態として車両の横方向への移動が行われる道路等を示す。地物コードは、図6に示すコードのいずれかを含む。
素材識別情報、測位状態情報、及び上方状態情報は、上述したように、特定部216により特定される情報である。特定部216により特定された各情報の少なくとも1つが、生成部217により、図7に示す地物データの所定のフィールド(図7に示すLN(Line Number)のフィールド)に含められる。図7では、素材識別情報、測位状態情報、及び上方状態情報の全てが地物データに含められる例を示す。
図7に示す素材識別情報は、MMSによる計測、ドローン計測、定点計測、航空LiDARによる計測、衛星画像/SARの画像により計測のいずれかを特定するための情報を含む。測位状態識別情報は、未測位、マルチパス環境下、通常測位(単独測位)、通常測位(サブm級)、高精度測位(cm級)のいずれかを特定するための情報を含む。上方状態情報は、クローズド、一部オープンスカイ、オープンスカイのいずれかを特定するための情報を含む。
撮像制御情報は、特定部216により特定される情報である。図7に示す例では、撮像された画像の画素値のヒストグラムを用いて、白飛び、黒つぶれなどが特定される。また、撮像制御情報として、絞り値、ISO値、シャッタースピードなどを含んでもよい。地物データに撮像制御情報が含まれることで、車載カメラは撮像制御情報に基づき、適切なパラメータを用いて地物を撮像し、適切に地物を検出することが可能になる。
図8は、本発明の一実施形態に係る交差点領域の地物データの一例を示す図である。図8に示す例では、地物データのうち、LN1~6の情報は図7に示す共通情報を含み、LN7以降の情報は、交差点領域固有の固有情報を含む。
図8に示す交差点領域の地物データにおける固有情報は、交差点の領域種別情報、進入側情報、退出側情報、道路管理者No、施設管理者No等を含む。交差点の領域種別情報は、JCTの分岐か合流か、IC(Inter Change)の分岐が合流か、SA(Service Area)/PA(Parking Area)の分岐が合流か、バス停の分岐か合流か、トールプラザ(料金所前の車列整理エリア)、交差点かを識別する情報が含まれる。
進入側情報は、交差点領域に進入する側のネットワーク数(車線又は車道数)を示し、退出側情報は、交差点領域から退出する側のネットワーク数(車線又は車道数)を示す。道路管理者Noは、この道路を管理する会社等の識別情報を含み、施設管理者Noは、交差点領域に存在する施設(例えば料金ゲート等)を管理する会社等の識別情報を含む。
図9は、本発明の一実施形態に係る車道の地物データの一例を示す図である。図9に示す例では、地物データのうち、LN1~6の情報は図7に示す共通情報を含み、LN7以降の情報は、車道固有の固有情報を含む。
図9に示す車道の地物データにおける固有情報は、進入側の交差点ID、退出側の交差点ID、経路No、総車線数、総接続数を含む。進入側の交差点IDは、LN1~6の共通情報を除き、進入側の交差点を識別するための情報を示し、退出側の交差点IDは、LN1~6の共通情報を除き、退出側の交差点を識別するための情報を示す。経路Noは、或る車道から他の車道へ行く経路が複数ある場合に、その経路を特定するための情報である。総車線数は、車道が有する車線数を示し、総接続数は、接続する構成点間のリンクの数を示す。
図10は、本発明の一実施形態に係る車線の地物データの一例を示す図である。図10に示す例では、地物データのうち、LN1~6の情報は図7に示す共通情報を含み、LN7以降の情報は、車線固有の固有情報を含む。
図10に示す車線の地物データにおける固有情報は、進入側の交差点ID、退出側の交差点ID、経路No、車線No、接続No、接続車線情報、変更可能情報、車線属性情報、形状属性情報などを含む。このうち、進入側の交差点ID、退出側の交差点ID、経路Noは、図9に示す同名称の情報と同様である。
車線Noは、その車線を特定するための情報を示し、接続Noは、その車線の構成点間を接続するリンクを特定するための情報を示す。接続車線情報は、その車線の分岐/合流がない、分岐、合流のいずれかを特定するための情報を含む。変更可能情報は、左右車線変更不可、右車線変更不可、左車線変更不可、左右車線変更可のいずれかを特定するための情報を含む。車線属性情報は、相互通行(中央分離あり)、対面通行、一方通行、交互通行、リバーシブルレーンのいずれかを特定するための情報を含む。形状属性情報は、一定車線幅以上、一定車線幅未満のいずれかを特定するための情報を含む。
図11は、本発明の一実施形態に係るその他の地物データの一例を示す図である。図11に示す例では、地物データのうち、LN1~6の情報は図7に示す共通情報を含み、LN7以降の情報は、その他の地物固有の固有情報を含む。
図11に示すその他の地物データにおける固有情報は、障害物情報、オブジェクト情報、仮想情報、道路管理者No、施設管理者No等を含む。道路管理者No、施設管理者Noは、図8に示す同名称の情報と同様である。
障害物情報及びオブジェクト情報は、上述したように特定部216により特定され、生成部217により地物データの固有情報に含められる。仮想情報は、実在する地物(例えば標識等)であるか、仮想的に整備されたものかのいずれかを特定する情報を含む。仮想的に整備された地物とは、MMSによる計測時に、オクルージョン(並走する車両等)により取得できなかった地物(車道の区画線等)について仮想的に生成される地物を含む。
図6~11に示す地物データに関する各情報は、MMSにより計測される情報や衛星画像等から、物体認識等の処理により特定部216により特定され、生成部217により共通情報か固有情報かが分類されて地物データに含められる。また、生成部217は、地物データのLNの情報を順に連結して数字列にし、この数字列をその地物データの識別情報(ID)としてもよい。地物データのIDの前半には共通データが含まれており、地物コードを参照することで、固有情報には何が含まれるかを特定することが可能になる。
また、図7~11に示す地物データは、Descriptionとして数字を用いて、各数字にそれぞれの意味づけを行い、これらを例えばBITフィールドとして固定域に設定する。これにより、各種センサが、地物データを参照する際に、詳細情報や関連情報を取得しなくても、地物データの情報を取得、把握することが可能になる。例えば、自動運転システムが、この地物データを取得することで、詳細情報や関連情報を取得しなくても自車近傍の状況を把握することができるようになる。
次に、地物データに含められる各データの具体例について説明する。図12は、本発明の一実施形態に係る素材情報を説明する図である。図12に示す例では、生成部217は、複数の計測、測量素材による素材情報に基づいてHDデータの生成だけではなく、これらの素材を複数融合してHDマップを生成するなど、素材情報の取得元の広域/狭域、高密度/低密度を有効に活用してHDマップを生成する。
図12に示す例では、レベル1では、観測衛星40に搭載される光学センサ、SAR等から取得される衛星画像を用いて広域かつ連続性のある地図データが生成可能になる。また、レベル1では、例えば都道府県レベルでの計測を含み、光学・レーダ衛星スポットライト撮像により特定エリアを高密度化する。
レベル2では、航空機のLiDAR、SAR、熱センサ等により地上の地物等について、より狭域に計測が可能になる。レベル2では、例えば市町村レベルの計測を含み、航空機スポットSARによる特定エリアの高密度化を含む。
レベル3では、MMSや飛行体MMS等により地物等を高密度に計測する。また、レベル3では、例えばMMSのLiDARや全方位カメラ等で計測された高密度の形状を取得することが可能になる。
図13は、本発明の一実施形態に係る上方状態情報を説明する図である。図13に示す例では、オープンスカイは、車両10の上方の所定領域を閉鎖するオブジェクトがない状態のことを意味する。一部クローズドは、上方の所定領域の一部を閉鎖するオブジェクト、例えば立体交差路や横断路などの下方に車両10がいる状態のことを意味する。クローズドは、上方の所定領域がほぼ閉鎖されている状態、例えばトンネルやダブルデッキ等の下方に車両10がいる状態のことを意味する。
図14は、本発明の一実施形態に係る障害物情報を説明する図である。図14に示す例では、道路の脇から樹木や草木などが路肩等を覆い、少なくとも1部の区画線、路肩縁、標識などが、各種センサ等では認識されない状態である。図14に示す例では、MMS等により地物の形状等が取得される際に、適切に地物を検出できないなどの影響を与える障害物の一例を示す。
図15は、本発明の一実施形態に係るオブジェクト情報を説明する図である。図15に示す例では、オブジェクトは、単一オブジェクトと、複合オブジェクトとを含む。単一オブジェクトは、例えば1つの標識を示し、複合オブジェクトは、所定距離以内に連結している2つ以上の標識を示す。オブジェクト状態は、単一か複合かについての情報であり、各種センサがオブジェクト情報を参照することで、検出対象の地物の取得、把握を容易にすることが可能になる。
図16は、本発明の一実施形態に係る測位状態と上方状態との関係を説明する図である。図16に示す状態ST1では、上方状態情報は、トンネル内なのでクローズドを示し、測位状態情報は、不可視を示す。状態ST2では、上方状態はオープンスカイを示し、測位状態情報は、未測位又は推定測定を示す。状態ST3では、状態ST1同様、トンネル内なのでクローズドを示し、測位状態情報は、不可視を示す。
図16に示す例において、トンネルが連続するような区間においては、上方がオープンスカイであっても、測位にかかる時間までは衛星測位における位置推定は困難である。そのため、車両10の速度やオープンスカイの距離によっては、オープンスカイ環境下の車両10による測位は、トンネル内部と同じ状態になりえる。
したがって、測位状態情報と上方状態情報との両方を地物データに含めることで、例えば自動運転システムが、これら2つの情報を取得して両情報の関係を把握する。これにより、自動運転システムは、オープンスカイであっても衛星測位が可能か否かを判断し、不可能であれば、例えば衛星測位を利用しないデッドレコニング測位等に切り替えるなどして、自車位置を推定するようにする。その結果、地物データは、自動運転システムの運転精度を向上させることに寄与することができる。
次に、車道リンクと車線リンクとの関係について説明する。図17Aは、本発明の一実施形態に係る車道リンクと車線リンクの一例を示す図である。図17Bは、本発明の一実施形態に係る車線リンクの地物データの一部の例を示す図である。
図17Aに示す例では、車道内の車線数は3、接続リンク数は7である。車道リンクの地物データのIDは、LN9以前の情報は「XXXXX0123456789」で表し、図9に示すLN10の総車線数をM、LNの総接続数をNNNで表すとする。図17に示す車道リンクのIDは、「XXXXX0123456789MNNN・・・」と表される。このときM=3、NNN=007である。
図17Aに示す車道リンクのIDがある場合、車線リンクのIDについては、図17Bに示す例で表される。図17Bに示す例では、Mの位置に、図10に示すLN10の車線No、NNNの位置に、図10に示すLN11の接続Noが挿入される。すなわち、車道リンクIDを基準にして車線リンクIDが形成される。
自動運転システムが、これらの車線リンクIDを用いる場合、現在走行中の車線リンクが2車線目(車線No=2)の3つ目の接続リンク(接続No=003)であるとすると、この車線リンクIDは「XXXXX01234567892003・・・」である。これによれば、同車線の次の車線リンクIDは、「XXXXX01234567892004・・・」であり、同接続リンクの右隣りの車線の車線リンクIDは、「XXXXX01234567893003・・・」である。
よって、自動運転システムは、車線リンクIDのみで、移動先の車線リンクIDを容易に把握することが可能であり、毎時現在位置を用いて地図データとの突合処理等をする必要がなく、自動運転システムの制御負荷を軽減することができる。また、車道リンクを構成する車線リンクについて、車道リンクIDを基準にして車線リンクIDを形成することで、例えばLN10及びLN11において、車道リンクから車線リンクを引き受け可能な形態とすることができる。
<動作>
次に、情報処理システム1の地図データ生成に関する各処理について説明する。図18は、本発明の一実施形態に係る地図データ生成に関する処理の一例を示すフローチャートである。図18に示す処理は、車両10と情報処理装置20とで協働して実行される処理である。
ステップS102において、車両10は、衛星測位による位置補正処理を実行する。例えば、車両10は、複数の測位衛星30からの信号を受けて安定した位置情報を取得し、位置補正技術を用いて自己位置情報を割り出す。また、車両10は、測位衛星30を利用することでcmクラスでの位置情報の測位が可能となる。
ステップS104において、車両10は、移動しながら周辺の地形や地物等を計測する。情報処理装置20は、計測により取得されたデータを用いて計測により点群データの生成処理を実行する。例えば、情報処理装置20は、MMSにより取得された画像と3次元の点群データから、建物・道路の形状・標識・ガードレール・路面文字・マンホール等の道路周辺の3次元位置情報を、高精度で効率的に取得する。
ステップS106において、情報処理装置20は、図化による地物化処理を実行する。例えば、情報処理装置20は、MMSにより生成された高精度な3次元位置情報等から、基盤となる地図をベクトルデータとして抽出する。情報処理装置20は、路肩縁、区画線、停止線、横断歩道などの実在地物、車線中心線を表現する車線リンクなどの仮想地物を検出し、地物データを生成し、これらをベクトル化する。情報処理装置20は、点群データからの自動図化技術の評価を行う。
ステップS108において、情報処理装置20は、統合によるデータ統合処理を実行する。例えば、情報処理装置20は、図化工程で整備された地物データの関連付け(構造化処理)、マップとして利用しやすいフォーマットへの変換を行い、高精度3次元地図データを生成する。
図19は、本発明の一実施形態に係る地物データ生成に関する処理の一例を示すフローチャートである。図19に示す例では、情報処理装置20が、地物データを生成するために実行する処理を説明する。
ステップS202において、取得部214は、地図データの生成に用いる計測素材に関する素材情報、及び、車両10により計測される情報であって、衛星測位システムを用いる測位に関する測位情報と車両10に搭載される撮像装置により撮像される画像情報とを含む計測情報の少なくとも1つを取得する。
ステップS204において、検出部215は、取得部214により取得された計測情報に含まれる点群データや車両10外部の画像情報等を用いて、地物を検出する。
ステップS206において、特定部216は、素材情報に基づく計測素材を識別可能な素材識別情報、測位情報に基づく衛星測位状態を識別可能な測位状態情報、及び、画像情報に基づく計測車両の上方の状態を識別可能な上方状態情報の少なくとも1つを特定する。
ステップS208において、生成部217は、特定部216により特定された情報を、素材情報又は計測情報を用いて検出される地物に関連付けて地物データを生成する。また、生成部217は、地物データに含まれる情報を順に連結することで、この地物データのIDを生成してもよい。
以上の処理によれば、利用側の処理の精度向上等に寄与することが可能な地物データを生成する。また、この地物データを含む地図データを用いるアプリケーション側で、上述した地物データを参照することにより、地図データの位置精度等を所定領域に応じて把握することが可能になる。例えば、自動運転システムは、この地図データを用いて自動運転を制御する場合、地図データの位置精度を把握することで、位置精度に応じた運転制御を実行し、自動運転の精度向上等に寄与することが可能になる。
以上、本発明の一実施形態について詳述したが、上記実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。例えば、本発明は、情報処理装置20が実行する処理について、一部の処理を、他の情報処理装置に移行したり、複数の情報処理装置を適宜統合したりしてもよい。
変形例において、特定部216は、計測情報に、車両10の移動中に受信した電波の受信強度等が含められる場合、この受信強度を特定し、生成部217は、特定された受信強度情報を地物データに含めるようにしてもよい。これにより、地図データの各位置に対し、受信強度を関連付けることができるようになる。また、上述した地図データの利用側ととして、自動運転システムを例に挙げたが、これに限らず、ゲームアプリケーションや、広告の提示するアプリケーションや、VR(Virtual Reality)やAR(Augmented Reality)を処理するアプリケーション等でも利用することが可能である。