JP7440005B2

JP7440005B2 - 高精細地図の作成方法、装置、デバイス及びコンピュータプログラム

Info

Publication number: JP7440005B2
Application number: JP2022541610A
Authority: JP
Inventors: シア、デグオ; フアン、ジジョウ; ワン、ハイフェン
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2021-06-08
Filing date: 2021-11-17
Publication date: 2024-02-28
Anticipated expiration: 2041-11-17
Also published as: CN113409459A; JP2023533625A; EP4174786A1; EP4174786A4; CN113409459B; KR20220166779A; WO2022257358A1

Description

本開示は、コンピュータ応用技術の分野に関し、特に人工知能技術の分野における自動運転及びディープラーニング技術に関する。
［関連出願の相互参照］
本出願は、出願日が２０２１年０６月０８日、出願番号が２０２１１０６３７７９１．９、発明名称が「高精細地図の作成方法、装置、デバイス及びコンピュータ記憶媒体」である中国特許出願の優先権を主張している。

高精細地図は自動運転システムにおける重要な一環として、自動運転の発展を推進する重要な要素の一つである。従来の地図は精度が低く、道路レベルの経路計画しか提供できなかった。高精細地図は、高精度測位、車線レベルのルート計画能力、豊富な道路要素情報を提供することで、事前に位置情報を知り、走行ルートを正確に計画し、路面の複雑な情報を予知し、潜在的なリスクをよりよく回避することなどに寄与する。そのため、高精細地図の作成をいかに実現するかが早急な解決を要する問題となっている。

これに鑑みて、本発明は、高精細地図の作成方法、装置、デバイス及びコンピュータ記憶媒体を提供する。

本開示の第１の態様によれば、採集装置が各位置点でそれぞれ採集した点群データ及び正面画像データを取得して点群シーケンス及び正面画像シーケンスを得、前記点群シーケンス及び正面画像シーケンスに対して正面画像と点群データのレジストレーションを行い、前記レジストレーションの結果に基づいて前記正面画像シーケンスを平面図に変換して前記平面図における各画素の座標情報を決定し、前記平面図に対して地図要素の認識を行って高精細地図データを得ることを含む高精細地図の作成方法が提供される。

本開示の第２の態様によれば、採集装置が各位置点でそれぞれ採集した点群データ及び正面画像データを取得して点群シーケンス及び正面画像シーケンスを得る取得部と、前記点群シーケンス及び正面画像シーケンスに対して正面画像及び点群データのレジストレーションを行うレジストレーション部と、前記レジストレーションの結果に基づいて、前記正面画像シーケンスを平面図に変換して前記平面図における各画素の座標情報を決定する変換部と、前記平面図に対して地図要素の認識を行って高精細地図データを得る認識部とを備える高精細地図の作成装置が提供される。

本開示の第３の態様によれば、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備え、前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに上述した方法を実行させる電子デバイスが提供される。

本開示の第４の態様によれば、コンピュータに上述した方法を実行させるためのコンピュータコマンドを記憶した非一時的なコンピュータ可読記憶媒体が提供される。

本開示の第５の態様によれば、プロセッサにより実行されると、上述した方法を実現するコンピュータプログラムを含むコンピュータプログラム製品が提供される。

理解すべきなのは、本セクションで説明される内容は、本開示の実施形態の重要な又は肝心な特徴を標識することでもなく、本開示の範囲を制限することでもない。本開示の他の特徴は、以下の明細書により容易に理解されるであろう。

図面は、本技術案をより良く理解するためのものであり、本願に制限されない。
本開示の実施形態により提供される高精細地図の作成方法のフローチャートである。本開示の実施形態により提供される好適なレジストレーション処理のフローチャートである。本開示の実施形態により提供されるフレームごとに点群データをレジストレーションする方法のフローチャートである。正面画像の一例を示す図である。平面図の一例を示す図である。本開示の実施形態により提供される高精細地図の作成装置の構成図である。本発明の実施形態を実現するための電子デバイスのブロック図である。

以下、図面に基づいて、本開示の例示的な実施例を説明する。理解を容易にするために、本開示の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本開示の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

現在、いくつかの高精細地図の作成が存在しているが、主に点群技術に基づいている。すなわち、レーザレーダ装置によって大量の稠密な点群データを収集し、点群データを処理・識別した後、道路や地上標識などの情報を得、さらにこれらのデータを人工的に修正し、最終的に高精細な地図データを生成する。しかし、この従来の方法は点群データに強く依存している。都市部の道路空間の構造が複雑であるため、高精細地図の精度を保証するために、大量の人力をかけてレジストレーション作業を行う必要がある結果、高精細地図の作成効率が低く、人件費が高く、作業員の専門技能が厳しく要求され、最終的に高精細地図の大規模作成に影響を与える。

これに鑑みて、本開示は、上記従来の方法とは異なる高精細地図の作成方法を提供する。本開示で提供される方法は、実施形態に関連して以下に詳細に説明される。

図１は本開示の実施形態により提供される高精細地図の作成方法のフローチャートである。この方法の実行主体は、推奨装置であってよい。この装置は、ローカル端末に配置されたアプリケーションであってもよく、ローカル端末に配置されたアプリケーションにおけるプラグイン又はソフトウェア開発キット（ＳｏｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＫｉｔ；ＳＤＫ）のような機能ユニットであってもよく、サーバ側に配置されてもよく、本発明の実施形態は特に限定しない。図１に示されるように、この方法は以下のことを含んで良い。

１０１では、採集装置が各位置点でそれぞれ取得した点群データ及び正面画像データを取得し、点群シーケンス及び正面画像シーケンスを得る。

１０２では、点群シーケンス及び正面画像シーケンスに対して正面画像と点群データとのレジストレーションを行う。

１０３では、レジストレーション結果に基づいて、正面画像シーケンスを平面図に変換し、平面図における各画素の座標情報を決定する。

１０４では、平面図に対して地図要素の認識を行って高精細地図データを得る。

以上の技術案からわかるように、本開示の考え方は画像採集装置で採集した画像データとレーザレーダ装置で採集した点群データを統合することにより、相互統合された自動化のレジストレーションを実現し、レジストレーション結果に基づいて最終的な高精細地図を生成することである。この方式は人工によるレジストレーションを行うために余分に多くの労力を費やす必要がなく、作成効率が向上し、人件費及び作業者への専門技能の要求が低減され、高精細地図の大規模作成の基礎を提供する。

以下、上記実施形態の各ステップについて詳細に説明する。

まず、上記ステップ１０１、即ち「採集装置が各位置点でそれぞれ取得した点群データ及び正面画像データを取得して点群シーケンス及び正面画像シーケンスを得る」について、実施形態に関連して詳細に説明する。

このステップに係わる採集装置は、主に、例えばカメラ、レコーダーなどのように定刻に、或いはトリガにより画像採集を実行可能な画像採集装置と、定刻に或いはトリガによりレーザ光を照射してスキャンすることにより、周囲環境の表面の反射点の集合のデータ、すなわち点群データを取得可能なレーザレーダ装置と、の二種類の装置を含む。これらの点群データには、通常にレーザレーダ装置の座標系における座標である点の座標情報が含まれる。

また、例えばＧＮＳＳ（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ、全球測位衛星システム）装置のような、位置情報の採集を担う測位機能を有する装置を含むこともできる。

本開示では、移動可能なデバイス（例えば採集車）を用いて上記採集装置を搬送し、そして移動可能なデバイスが移動する過程において、各採集装置が一定の頻度でデータ採集を行うか、同じ位置点でトリガされてデータ採集を行って良い。

例えば、画像採集装置が一定の採集頻度で採集した正面画像により正面画像シーケンス

を構成する。ここで、Ｉ_ｉは、時刻ｔ_ｉで採集された１フレームの正面画像である。

レーザレーダ装置が一定の採集頻度で採集した点群データにより点群シーケンス

を構成する。ここで、Ｐ_ｉは時刻ｔ_ｉで採集された１フレームの点群データである。各フレームの点群データはＭ個点の座標情報を含み、即ち１フレームの点群データに含まれる座標情報は

である。ここで、ｐ_ｊはｊ点目の座標情報である。

位置採集装置が一定の採集頻度で採集した位置データにより位置シーケンス

を構成する。ここで、Ｌ_ｉは時刻ｔ_ｉで採集された位置データである。

上記Ｎは、採集装置がデータ採集を行った回数であり、すなわち採集装置の種類ごとに得られたデータの数である。

好ましい実施形態として、データの同期化及び後続のレジストレーション処理を確保するために、採集装置に対してクロック同期化及び／又はジョイントキャリブレーションを事前に行うことができる。

ここで、採集装置間のクロック同期を行う際には、ミリメートルレベルを達成する必要があることが好ましい。具体的な同期方式としては、ＧＰＳベースの「ＰＰＳ（ＰｕｌｓｅＰｅｒＳｅｃｏｎｄ、１秒間のパルス数）＋ＮＭＥＡ（ＮａｔｉｏｎａｌＭａｒｉｎｅＥｌｅｃｔｒｏｎｉｃｓＡｓｓｏｃｉａｔｉｏｎ、米国国家海洋電子協会）」、又はイーサネット（登録商標）ベースのＩＥＥＥ１５８８（又はＩＥＥＥ８０２．１ＡＳ）クロック同期プロトコルが選択できる。

採集装置に対してジョイントキャリブレーションを行うことは、主に採集装置のうち画像採集装置の内、外参照情報、レーザレーダ装置の外参照情報、レーザレーダ座標系から画像採集装置の座標系への変換及び平行移動行列Ｍ_１、及び画像採集装置の内参照情報行列Ｍ_２を得るためである。

ジョイントキャリブレーションの方式は主に１つのキャリブレーションテンプレートを予め設定し、レーザレーダ装置と画像採集装置を調整してキャリブレーションテンプレートに対して写真撮影と点群捕捉を行う。次に、少なくとも３つの対応する画像における２次元点と点群の３次元点を探し、すなわち３点対を構成する。この３点対を用いてＰＮＰ（Ｐｅｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ）求解を行うことにより、レーザレーダ装置の座標系と画像採集装置の座標系との変換関係を導出することができる。

デバイス間のクロック同期とジョイントキャリブレーションは、現在の比較的成熟した技術を用いることができるため、ここでは詳述しない。

以上のステップ１０２、即ち「点群シーケンス及び正面画像シーケンスに対して正面画像及び点群データとのレジストレーションを行う」について、実施形態に関連して詳細に説明する。

本ステップでは、点群シーケンス及び正面画像シーケンスに対して正面画像及び点群データとのレジストレーションを行うことは、正面画像シーケンスにおける隣接画像をまずレジストレーションして隣接画像における対応する画素からなる集合を得、次にその集合に点群データを投影して集合における各画素の座標情報を得ることが考えられる。レジストレーションのプロセスは、実際には、一方では、より正確な画素を特定し、他方では、その画素部分の座標情報を特定することである。以下で好適な実施形態を説明する。図２は本開示の実施形態により提供される好適なレジストレーション処理のフローチャートである。図２に示すように、当該フローは以下のステップを含むことができる。

２０１では、正面画像シーケンスにおける隣接画像をレジストレーションして隣接画像における対応する画素の集合を得る。

画像採集装置では、一定の頻度で画像採集が行われるため、隣接する２つのフレームの画像は異なる。本ステップの目的は、隣接する画像中のどの画素点が対応しているかを導出することである。

レジストレーションを行う際には、特徴に基づく方法やディープラーニング方法などを用いることができる。ここで、特徴に基づく方法は、主に、２つのフレームの画像における、例えばＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｔｒａｎｓｆｏｒｍ）を採用可能な各画素の特徴を決定し、次に類似度の方式に基づいて特徴マッチングを行って対応する画素点を得ることを含む。例えば、特徴間の類似度が予め設定された類似度閾値を超える２つの画素点間でマッチングが成功する。

ディープラーニング方法は主に、畳み込みニューラルネットワーク、ＶＧＧ（ＶｉｓｕａｌＧｅｏｍｅｔｒｙＧｒｏｕｐＮｅｔｗｏｒｋ）層などを用いて各画素の特徴ベクトル表現を生成し、次に２フレームの画像における各画素の特徴ベクトル表現に基づいて特徴マッチングを行って対応する画素点を得ることを含む。例えば、特徴ベクトル表現間の類似度が予め設定された類似度閾値を超える２つの画素点間でマッチングが成功する。

２０２では、点群データを採集したレーザレーダ装置が１回転する運動量に応じて、点群データに対して歪み補正を行う。

このステップは好適に実行されており、後続のレジストレーションプロセスにおける点群データの精度を向上させることに寄与する。

画像採集装置はグローバルシャッタを採用しており、瞬時に得られたものと考えられる。一方、レーザレーダ装置は瞬間的に得られるものではなく、通常は送受信機を１周、すなわち３６０度回転させた後に採集される。仮に１回転を１００ｍｓとすると、１回の採集周期内に形成された１フレームの点群データでは、最初の点と最後の点の間に１００ｍｓの差があり、さらにレーザレーダ装置が移動中に採集されるため、点群データには歪みがあり、ある時点の実際の環境をリアルに反映できない。画像データと点群データとをより良くレジストレーションするために、このステップでは、点群データに対して歪み補正を行う。

レーザレーダはレーザ点座標を算出する際に、レーザ光を受けた時点におけるレーザレーダ自身の座標系に基づいているため、レーザレーダの移動中にレーザ点の列ごとに基準座標系が異なる。ただし、これらは同じフレームの点群内にあるため、歪み補正を行う際には同じ座標系に統一する必要がある。

歪み補正の考え方は、採集中のレーザレーダの動きを計算し、そして回転と平行移動の補正を含めて、各フレームの点群上でこの動き量を補正することである。まずは１フレームの点群内の最初のレーザ点を決定し、後続のレーザ点は最初のレーザ点に対する回転角度と平行移動量を決定し、その後に回転してから平行移動することである補正変換を行うことにより、補正後のレーザ点の座標情報を得ることができる。

さらに、ステップ２０２の後に、隣接画像における対応する点群の集合を決定することもできる。

具体的には、まず、画像採集装置の内部参照情報行列、画像採集装置の座標系から画像平面への回転行列、及びレーザレーダ座標系から画像採集装置の座標系への変換及び平行移動行列に基づいて、点群から画像への投影行列を得、次に投影行列を用いて点群データを画像上に投影して良い。投影を行った後、隣接画像における対応する点群の集合を決定することができる。連続された２フレームの画像ｘ^Ｉと画像ｙ^Ｉが上記の投影により、画像ｘ^Ｉに投影されたＫ_１個の点からなる集合と画像ｙ^Ｉに射影されたＫ_２個の点からなる集合を得ると仮定する。これら２つの集合に対して積集合を導出すると、画像ｘ^Ｉと画像ｙ^Ｉにおける対応する点群からなる集合となる。この集合の用途は、後続の実施形態に関連する。

２０３では、点群シーケンスにおける基準点群を決定する。

具体的には、点群シーケンスにおける最初のフレームを基準点群として使用することができる。

しかし、実際には、点群シーケンスにおける最初のフレームの点群が最も正確ではない場合がある。したがって、本開示は、基準点群を決定するための好ましい方法を提供する。具体的には、点群シーケンスにおける最初のフレームを基準として、フレームごとに他の点群データに対してレジストレーションを行い、点群画像シーケンスのうち、前後２フレームの点群データとのレジストレーション点が占める割合が最も高い１フレームの点群を基準点群とすることができる。

ここで、フレームごとに他の点群データに対してレジストレーションを行う際に、図３のような方法を使用して、次の手順を実行することができる。

３０１では、基準となる点群と、レジストレーションされていない隣接点群とから、２つのフレームの点群間の変換行列を学習する。

最初のフレームから点群を基準とすると、最初のフレームの点群と２番目のフレームの点群を決定し、この２つのフレームの点群から両方の変換行列を学習する。

隣接する２つのフレームの点群は、実際には回転と平行移動の関係にあるため、最初のフレームの点群を回転と平行移動すると、理論的には２番目のフレームの点群が得られる。一方、実際の場合に、採集装置が走行中に揺れたりして多少のずれが生じる可能性があるため、例えばＩＣＰ（ＩｔｅｒａｔｉｖｅＣｌｏｓｅｓｔＰｏｉｎｔ）などの方法を用いて変換行列の学習を行うことができる。たとえば、回転行列をＲ、平行移動行列をｔと表すと、Ｒとｔを学習する際に、損失関数は、基準となる点群における各点が変換行列によって変換された各変換点と、隣接点群における各変換点とのうち最も近い点の間の距離平均値又は加重平均値とすることができる。

たとえば、次のような損失関数を使用できる。

ここで、Ｅ（Ｒ，ｔ）は損失関数を示し、ｘ_ｉは基準となる点群、例えば最初のフレームの点群における点を示し、Ｒ（ｘ_ｉ）＋ｔは変換行列によるｘ_ｉに対する変換を示し、

はｘ_ｉに対して変換した後に隣接する点群、例えば２番目のフレームの点群においてマッチングされた最近点を示す。ｎはマッチング可能な点の数である。点ごとに学習を行った後、上記損失関数を最小化することを目標として、最終的に変換行列Ｒとｔを学習することができる。

さらに、例えば、次のような損失関数を用いることもできる。

上記式（１）とは異なることは、基準となる点群における点が対応する点群からなる集合Ｐ^ｘ，ｙに属するか否かによって決定される加重係数ｗ_ｉが付加されている。たとえば、次のような式を採用可能である。

ここで、α≧１である。例えば、α＝１．５又はα＝２．０を取ることができる。

上記のＩＣＰ方法に加えて、ＤＧＲ（ＤｅｅｐＧｌｏｂａｌＲｅｇｉｓｔｒａｔｉｏｎ）などのディープ特徴学習に基づく方法を用いることもできる。

３０２では、この変換行列を用いて基準となる点群を変換してレジストレーションされた隣接点群を得る。

例えば、最初のフレームの点群における各点を上記変換行列Ｒとｔを用いて変換した後、２番目のフレームの点群においてレジストレーションされた各点を得る。

３０３では、レジストレーションされていない隣接点群が点群シーケンスに存在するか否かを判定し、肯定の場合にステップ３０４を実行し、否定の場合に現在のレジストレーションプロセスを終了する。

３０４では、隣接点群を新たな基準としてステップ３０１へ進む。

例えば、続いてレジストレーションされた２番目のフレームの点群を新たな基準として３番目のフレームの点群に対して上記手順を実行してレジストレーションしてレジストレーションされた各点を得る。次に、レジストレーションされた３番目のフレームを新たな基準として、４番目のフレームの点群に対して上記手順を実行してレジストレーションし、これによって類推すれば良い。

点群シーケンスにおけるすべてのフレーム点群のレジストレーションが完了した後、点群画像シーケンスのうち、前後２フレームの点群データとのレジストレーション点が占める割合が最も高い１フレームの点群を基準点群とする。ここで、ｊ番目のフレームの点群Ｐ_ｊのレジストレーション点の割合Ａ_ｊは、次の式で決定され得る。

ここで、ｍａｔｃｈ（）は前後２フレームの点群におけるレジストレーション可能な点の積集合を示し、１フレームの点群を変換行列に従って変換して得られた各点と、他の１フレームの点群における各点との積集合として表現することができる。

は集合内の点の数を示す。たとえば、｜Ｐ_ｊ－１｜はｊ－１番目のフレームの点群内の点の数を示す。

図２に進む。２０４では、基準点群を基準として、フレーム毎に他の点群データをレジストレーションする。

基準点群が決定されると、図３に示すような方法で、基準点群を基準としてフレーム毎に他の点群データをレジストレーションする。基準点群が最初のフレームである場合、次のフレームの点群が順番にレジストレーションされる。基準点群が最初のフレームでない場合に、基準点群を基準として各フレーム点群を前後へレジストレーションする。最終的に、レジストレーションされた点群シーケンスが得られる。

２０５では、ステップ２０１で得られた集合にレジストレーションされた点群データを投影して集合における各画素の座標情報を得る。

具体的には、点群データの座標を集合に投影して正面画像における画素に対応する点群の座標情報を得、レーザレーダ座標系から画像採集装置の座標系への変換及び平行移動行列に基づいて、正面画像における画素に対応する点群の座標情報を画素の座標情報に変換することを含んで良い。

ここで、上記の集合は、実際には、隣接画像のレジストレーションによって得られた対応する画素である。点群データをそれぞれ画像上に投影し、上記の集合に入る点（すなわちレーザ点）を取ることにより、正面画像におけるこれらの集合内の各画素に対応する点群の座標情報を得ることができる。点群データの画像への投影方式については、先の実施形態の記載を参照でき、ここでは言及しない。

正面画像における画素に対応する点群の座標情報を取得した後、レーザレーダ装置の座標系と画像採集装置の座標系が異なるため、点群の座標情報を画素の座標情報に変換し、すなわち画像採集装置の座標系に変換する必要がある。

以上のステップ１０３、即ち「レジストレーション結果に基づいて、正面画像シーケンスを平面図に変換し、平面図における各画素の座標情報を決定する」について、以下で実施形態と併せて詳細に説明する。

このステップでは、まず、逆透視変換に基づいて、正面図シーケンスにおける各フレームの正面画像を平面図に変換し、次に正面画像における画素の座標情報に基づいて平面図においてマッチングを行って平面図における各画素の座標情報を決定して良い。

ここで、逆透視変換は、現在に画像投影変換を行う常用方式である。その本質は、画像採集装置によって採集された正面画像を世界座標系におけるｚ＝０平面に変換することである。

正面図における画素の座標情報が（ｕ，ｖ）で表されると仮定すると、世界座標系における座標（ｘ，ｙ，ｚ）に変換する必要がある。ジョイントキャリブレーションプロセスにおいて、次のパラメータを取得することができる。
γ：画像採集装置の光軸ｏのｚ＝０平面への投影とｙ軸の角度、
θ：画像採集装置の光軸ｏのｚ＝０平面からのずれの角度、
２α：画像採集装置の視角、
Ｒ_ｘ：画像採集装置の水平方向の解像度、
Ｒ_ｙ：画像採集装置の垂直方向の解像度。

逆透視変換モデルは以下のように表すことができる。

ここで、ｈは画像採集装置の地面からの高さ、ｃｏｔ（）はコタンジェント関数である。

以上の逆透視変換により、例えば図４ａに示すような正面画像を、図４ｂに示すような平面図に変換することができる。

上述の逆透視変換理論に従って、実際に正面図シーケンスにおける各フレームの正面画像をそれぞれ１枚の平面図に変換することができる。Ｎフレームの正面画像が存在すれば、Ｎ枚の平面図を得ることができる。これらの平面図は実際には互いに重なり合っており、特に隣接する２つの平面図は、殆どの領域が重なり合っている。以上の手順では、平面視における画素の座標情報を得ることができるため、各平面視における画素の位置情報に基づいて、１枚ずつのスプライシングを行い、最終的に高精細地図を得ることができる。

以上のステップ１０４、即ち「平面図に対して地図要素の認識を行って高精細地図データを得る」について、以下で実施形態と併せて詳細に説明する。

このステップでは、ステップ１０３で得られた平面図に対して道路情報の認識を行い、次に認識された道路情報を平面図に重ねて表示することにより、高精細地図データを得ることができる。

ここで、道路情報は、車線ライン、車線ラインタイプ（例えば、白色の実線、シングル黄色の実線、ダブル黄色の実線、黄色の点実線、導流ライン、黄色の駐車禁止ライン等）、色、車線の案内矢印情報、車線タイプ（例えば本線、バスレーン、潮流車線等）等を含むことができる。

以上の認識を行う際には、ディープニューラルネットワークに基づく語義分割モデル、たとえばＤｅｅｐＬａｂＶ３を用いて道路情報を分割することができる。上述した道路情報は、例えばＦａｓｔｅｒ－ＲＣＮＮ（ＲｅｇｉｏｎｓｗｉｔｈＣＮＮｆｅａｔｕｒｅｓ）のようなディープニューラルネットワークに基づく画像認識技術を用いて識別することもできる。

説明すべきなのは、上記の平面図に基づく認識は、主に地面要素の認識、すなわち、主に道路情報の認識である。一方、交通標識や建物などの他の地図要素の認識については、正面画像から認識する。この部分は、従来技術における方式を採用することができ、本開示では限定されない。

識別された道路情報を平面図に重ねて表示した後、作業者は平面図のデータに直接に基づいて重ねた道路情報と比較し、問題のあるデータを修正し、最終的な高精細地図データを作成することができる。

以上は、本開示で提供される方法の詳細な説明である。以下は、本開示で提供される装置について実施形態に関連して詳細に説明する。

図５は、本開示の実施形態により提供される高精細地図の作成装置の構成図である。図５に示されるように、当該装置５００は、取得部５１０と、レジストレーション部５２０と、変換部５３０と、認識部５４０とを備えてよい。これらの構成要素の主な機能は以下のとおりである。

取得部５１０は、採集装置が各位置点でそれぞれ取得した点群データ及び正面画像データを取得し、点群シーケンス及び正面画像シーケンスを得る。

ここで、前記採集装置は、少なくとも、正面画像を取得する画像採集装置と、点群データを取得するレーザレーダ装置とを含む。

好ましい実施形態の一つとして、データの同期化及び後続のレジストレーション処理を確保するために、採集装置に対してクロック同期化及び／又はジョイントキャリブレーションを事前に行うことができる。

レジストレーション部５２０は、点群シーケンス及び正面画像シーケンスに対して正面画像及び点群データのレジストレーションを行う。

変換部５３０は、レジストレーション結果に基づいて、正面画像シーケンスを平面図に変換し、平面図における各画素の座標情報を決定する。

認識部５４０は、平面図に対して地図要素を認識して高精細地図データを得る。

具体的には、レジストレーション部５２０は、第１レジストレーションサブユニット５２１及び投影サブユニット５２２を備えてよく、更に校正サブユニット５２３と、基準サブユニット５２４と、第２レジストレーションサブユニット５２５と、第３レジストレーションサブユニット５２６とを備えてよい。

ここで、第１レジストレーションサブユニット５２１は、正面画像シーケンスにおける隣接画像をレジストレーションして隣接画像における対応する画素からなる集合を得る。

投影サブユニット５２２は、点群データを集合に投影して集合における各画素の座標情報を得る。

好ましい実施形態の一つとして、校正サブユニット５２３は、点群データを採集したレーザレーダ装置が１回転する運動量に応じて、点群データを歪み補正して投影サブユニット５２２に供給する。

別の好ましい実施形態の一つとして、基準サブユニット５２４は、点群シーケンスにおける基準点群を決定する。

第２レジストレーションサブユニット５２５は、基準点群を基準として他の点群データをフレーム毎にレジストレーションし、レジストレーションされた点群データを投影サブユニット５２２に供給する。

例えば、校正サブユニット５２３を用いて点群データの歪み補正を行い、次に基準サブユニット５２４により基準点群を決定し、第２レジストレーションサブユニット５２５によりレジストレーションするように、上記２つの方法を組み合わせることができる。

基準サブユニット５２４は、点群シーケンスにおける最初のフレームの点群を基準点群とすることができる。しかし、好ましい実施形態の一つとして、基準サブユニット５２４は、具体的に、点群シーケンスにおける最初のフレームを第２レジストレーションサブユニット５２５に提供して基準として、フレーム毎に他の点群データをレジストレーションし、第２レジストレーションサブユニット５２５からレジストレーション結果を取得し、点群シーケンスのうち、前後２フレームの点群データとのレジストレーション点が占める割合が最も高い１フレームの点群を基準点群とする。

第２レジストレーションサブユニット５２５は、基準となる点群と、レジストレーションされていない隣接点群とから２つのフレームの点群間の変換行列を学習し、基準となる点群を変換行列を用いて変換してレジストレーションされた隣接点群を得、点群画像シーケンスにおけるすべての点群データのレジストレーションが完了するまで、隣接点群を新たな基準として、基準となる点群と、レジストレーションされていない隣接点群とから２つのフレームの点群間の変換行列を学習する処理に移行する。

実現可能な方式として、第２レジストレーションサブユニット５２５は、基準となる点群とレジストレーションされていない隣接点群とから２フレームの点群間の変換行列を学習する際に、具体的に、反復最近接点ＩＣＰアルゴリズムを用いて、基準となる点群及び隣接点群から２フレームの点群間の変換行列を学習する。ここで、ＩＣＰアルゴリズムの損失関数は、基準となる点群における各点を変換行列により変換して得られた各変換点と、隣接点群における各変換点とのうち最も近い点の間の距離平均値又は加重平均値である。

好ましい実施形態の一つとして、第３レジストレーションサブユニット５２６は、隣接画像における対応する点群からなる集合を決定する。

第２レジストレーションサブユニット５２５は、加重平均値を決定する際に、基準となる点群における点が対応する点群からなる集合に属するか否かに応じて、各距離に用いる重みを決定する。

投影サブユニット５２２は、具体的に、点群データの座標を集合に投影して正面画像における画素に対応する点群の座標情報を得、レーザレーダ座標系から画像採集装置の座標系への変換及び平行移動行列に基づいて、正面画像における画素に対応する点群の座標情報を画素の座標情報に変換する。

変換部５３０は、具体的に、逆透視変換に基づいて、正面図シーケンスにおける各フレームの正面画像を平面図に変換し、正面画像における画素の座標情報に基づいて平面視においてマッチングを行って平面視における各画素の座標情報を決定する。

認識部５４０は、具体的に、平面図に対して道路情報の認識を行い、認識された道路情報を平面図に重ねて表示することにより、高精細地図データを得る。

ここで、道路情報は、車線ライン、車線ラインタイプ（例えば、白色の実線、シングル黄色の実線、ダブル黄色の実線、黄色の点実線、導流ライン、黄色の駐車禁止ライン等）、色、車線の案内矢印情報、車線タイプ（例えば、本線、バスレーン、潮流車線等）等を含むことができる。

本明細書における様々な実施形態は、漸進的に説明されており、様々な実施形態の間の同じ／類似する部分は互いに参照されて良く、各実施形態は、他の実施形態との相違点に焦点を当てて説明されている。特に、装置の実施形態については、方法の実施形態と実質的に類似しているので、説明は比較的簡単であり、関連部分について方法の実施形態の一部の説明を参照すればよい。

本開示の実施形態によれば、電子デバイス、可読記憶媒体、及びコンピュータプログラム製品も提供される。

図６は、本開示の実施形態による高精細地図の作成方法の電子デバイスのブロック図である。電子デバイスは、ラップトップ、デスクトップコンピュータ、ワークベンチ、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータのような、様々な形態のデジタルコンピュータを表す。電子デバイスは更に、ＰＤＡ、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。本明細書に示す構成要素、それらの接続及び関係、ならびにそれらの機能は、単なる一例であり、本明細書に記載及び／又は要求された本開示の実現を制限することではない。

図６に示すように、デバイス６００は、読み取り専用メモリ（ＲＯＭ）６０２に記憶されたコンピュータプログラム、又は記憶手段６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラムに従って、様々な適切な動作及び処理を実行することができる演算手段６０１を含む。ＲＡＭ６０３には、デバイス６００の動作に必要な各種のプログラムやデータが記憶されてもよい。演算手段６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を介して接続されている。入出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。

例えばキーボード、マウス等の入力手段６０６と、例えば様々なタイプのディスプレイ、スピーカ等の出力手段６０７と、例えば磁気ディスク、光ディスク等の記憶手段６０８と、例えばネットワークカード、モデム、無線通信トランシーバなどの通信手段６０９を含むデバイス６００の複数の構成要素は、Ｉ／Ｏインターフェース６０５に接続される。通信手段６０９は、デバイス６００が例えばインターネットのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。

演算手段６０１は、処理能力及び演算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってよい。演算手段６０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）演算チップ、機械学習モデルアルゴリズムを実行する様々な演算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。演算手段６０１は、上述した様々な方法及び処理、例えば高精細地図の作成方法を実行する。例えば、幾つかの実施形態では、高精細地図の作成方法は、例えば記憶手段６０８のような機械可読媒体に物理的に組み込まれたコンピュータソフトウェアプログラムとして実装されてもよい。

幾つかの実施形態では、コンピュータプログラムの一部又は全部は、ＲＯＭ６０２及び／又は通信手段６０９を介してデバイス６００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ６０３にロードされ、演算手段６０１により実行されると、上述した高精細地図の作成方法の１つ又は複数のステップを実行することができる。代替的に、他の実施形態では、演算手段６０１は、車両制御方法を実行するように、他の任意の適切な方法で（例えば、ファームウェアを介する）構成されてもよい。

本明細書で前述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、ロードプログラマブル論理デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせにおいて実装されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含んで良い。当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈することができる。当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであって、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置にデータ及び命令を転送することができる。

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせを用いて記述することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供することにより、プログラムコードがプロセッサ又はコントローラにより実行されると、フローチャート及び／又はブロック図に指定された機能／動作を実行するようにすることができる。プログラムコードは、全てがマシン上で実行されても良く、一部がマシン上で実行されても良く、スタンドアロンパッケージとして一部的にマシン上で実行され且つ一部的にリモートマシン上で実行され、或いは全てがリモートマシン又はサーバ上で実行されても良い。

本開示の文脈では、機械可読媒体は、有形の媒体であって、命令実行システム、装置又はデバイスにより使用され、或いは命令実行システム、装置又はデバイスと合わせて使用されるプログラムを含むか記憶することができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってよい。機械可読媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体的なシステム、装置又はデバイス、あるいはこれらの任意の適切な組み合わせを含んで良いが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又はこれらの任意の適切な組み合わせを含む。

ユーザとのインタラクションを提供するために、本明細書に記載されたシステム及び技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザにより入力をコンピュータに提供するキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）と備えるコンピュータ上に実施されてよい。他の種類の装置は、ユーザとのインタラクションを提供するためにも使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であって良く、ユーザからの入力を任意の形式（音声入力、音声入力、又は触覚入力を含む）で受信して良い。

本明細書に記載されたシステム及び技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

コンピュータシステムは、クライアントとサーバーを含み得る。クライアントとサーバーは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント－サーバの関係を有するコンピュータプログラムによって生じる。サーバはクラウドサーバ、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、従来の物理ホストと仮想専用サーバ（ＶＰｓ；ＶｉｒｔｕａｌＰｒｉｖａｔｅＳｅｒｖｅｒ）サービスにおいて管理が難しく、ビジネスの拡張性が弱いという欠点を解決するクラウドコンピューティングサービスシステムのホスト製品の１つであって良い。サーバは、分散システムのサーバであっても良く、ブロックチェーンを組み合わせたサーバであってもよい。

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本開示に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本開示で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

上記の具体的な実施形態は本開示の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本開示の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本開示の保護範囲内に含まれるべきである。

Claims

採集装置が各位置点でそれぞれ採集した点群データ及び正面画像データを取得し、点群シーケンス及び正面画像シーケンスを取得することと、
前記点群シーケンス及び前記正面画像シーケンスに対して正面画像及び点群データのレジストレーションを行うことであって、前記正面画像及び点群データのレジストレーションは、点群データのフレーム毎のレジストレーション、正面画像の画素ベースの特徴ベクトル表現のレジストレーション、及び、正面画像及び点群データの統合のレジストレーションを含む、ことと、
前記レジストレーションの結果に基づいて、前記正面画像シーケンスを平面図に変換し、前記平面図における各画素の座標情報を決定することと、
前記平面図に対して地図要素の認識を行って高精細地図データを得ることと、
を含み、
前記レジストレーションの結果に基づいて前記正面画像シーケンスを平面図に変換し、前記平面図における各画素の座標情報を決定することは、
逆透視変換に基づいて、前記正面画像シーケンスにおける各フレームの正面画像を各平面図に変換し、
正面画像における画素の座標情報に基づいて対応する平面視においてマッチングを行って平面視における画素の座標情報を決定し、
前記平面図における画素の座標情報に基づいて、前記各平面図に対してスプライシング処理を行って最終的な平面図を得る、
ことを含む、高精細地図の作成方法。
前記点群シーケンス及び前記正面画像シーケンスに対して前記正面画像及び前記点群データのレジストレーションを行うことは、
前記正面画像シーケンスにおける隣接画像をレジストレーションして前記隣接画像における対応する画素からなる集合を得、
前記点群データを前記集合に投影して前記集合における各画素の座標情報を得る、
ことを含む請求項１に記載の高精細地図の作成方法。
前記点群データを前記集合に投影することの前に、
前記点群データを採集したレーザレーダ装置の１回転分の運動量に基づいて、前記点群データの歪み補正を行う、
ことをさらに含む請求項２に記載の高精細地図の作成方法。
前記点群データを前記集合に投影することの前に、
前記点群シーケンスにおける基準点群を決定し、
前記基準点群を基準として他の点群データをフレーム毎にレジストレーションする、
ことをさらに含む請求項２に記載の高精細地図の作成方法。
前記点群シーケンスにおける基準点群を決定することは、
前記点群シーケンスにおける最初のフレームを基準として、前記フレーム毎に他の点群データをレジストレーションし、
前記点群シーケンスにおける、前後２フレームの点群データとのレジストレーション点が占める割合が最も高い１フレームの点群を基準点群とする、
ことを含む請求項４に記載の高精細地図の作成方法。
前記フレーム毎に他の点群データをレジストレーションすることは
基準となる点群と、レジストレーションされていない隣接点群とから２つのフレームの点群間の変換行列を学習し、
前記基準となる点群を前記変換行列を用いて変換してレジストレーションされた前記隣接点群を得、
前記点群シーケンスにおけるすべての点群データのレジストレーションが完了するまで、前記隣接点群を新たな基準として、前記基準となる点群と、レジストレーションされていない隣接点群とから２つのフレームの点群間の変換行列を学習する処理に移行する、
ことを含む請求項４又は５に記載の高精細地図の作成方法。
前記基準となる点群とレジストレーションされていない隣接点群とから２つのフレームの点群間の変換行列を学習することは、
反復最近接点（ＩＣＰ）アルゴリズムを使用して、前記基準となる点群及び前記隣接点群から２つのフレームの点群間の変換行列を学習することを含み、
前記ＩＣＰアルゴリズムの損失関数は、前記基準となる点群における各点を変換行列に基づいて変換して得られた各変換点と、前記隣接点群における各変換点とのうち最も近い点の間の距離平均値である、
請求項６に記載の高精細地図の作成方法。
前記基準となる点群とレジストレーションされていない隣接点群とから２つのフレームの点群間の変換行列を学習することは、
反復最近接点（ＩＣＰ）アルゴリズムを使用して、前記基準となる点群及び前記隣接点群から２つのフレームの点群間の変換行列を学習することを含み、
前記ＩＣＰアルゴリズムの損失関数は、前記基準となる点群における各点を変換行列に基づいて変換して得られた各変換点と、前記隣接点群における各変換点とのうち最も近い点の間の加重平均値である、
請求項６に記載の高精細地図の作成方法。
前記点群シーケンスにおける前記基準点群を決定することの前に、
前記隣接画像における対応する点群からなる集合を決定し、
前記加重平均値を決定する際に、基準となる点群における点が前記対応する点群からなる集合に属するか否かに応じて、各距離に採用される重み値を決定する、
ことをさらに含む請求項８に記載の高精細地図の作成方法。
前記点群データを前記集合に投影して、前記集合における各画素の座標情報を得ることは、
前記点群データの座標を前記集合に投影して、正面画像における画素に対応する点群の座標情報を得、
レーザレーダの座標系から画像採集装置の座標系への変換及び平行移動行列に基づいて、前記正面画像における画素に対応する点群の座標情報を画素の座標情報に変換する、
ことを含む請求項２に記載の高精細地図の作成方法。
前記平面図に対して地図要素の認識を行って高精細地図データを得ることは、
前記平面図に対して道路情報の認識を行い、
認識された前記道路情報を平面図に重ねて表示することにより、高精細地図データを得る、
ことを含む請求項１に記載の高精細地図の作成方法。
採集装置が各位置点でそれぞれ採集した点群データ及び正面画像データを取得し、点群シーケンス及び正面画像シーケンスを得る取得部と、
前記点群シーケンス及び前記正面画像シーケンスに対して正面画像及び点群データのレジストレーションを行うレジストレーション部であって、前記正面画像及び点群データのレジストレーションは、点群データのフレーム毎のレジストレーション、正面画像の画素ベースの特徴ベクトル表現のレジストレーション、及び、正面画像及び点群データの統合のレジストレーションを含む、レジストレーション部と、
前記レジストレーションの結果に基づいて、前記正面画像シーケンスを平面図に変換し、前記平面図における各画素の座標情報を決定する変換部と、
前記平面図に対して地図要素の認識を行って高精細地図データを得る認識部と、
を備え、
前記変換部は、逆透視変換に基づいて前記正面画像シーケンスにおける各フレームの正面画像を各平面図に変換し、正面画像における画素の座標情報に基づいて対応する平面視においてマッチングを行って平面視における画素の座標情報を決定し、前記平面図における画素の座標情報に基づいて、前記各平面図に対してスプライシング処理を行って最終的な平面図を得る、
高精細地図の作成装置。
前記レジストレーション部は、
前記正面画像シーケンスにおける隣接画像をレジストレーションして前記隣接画像における対応する画素からなる集合を得る第１レジストレーションサブユニットと、
前記点群データを前記集合に投影して前記集合における各画素の座標情報を得る投影サブユニットと、
を備える請求項１２に記載の高精細地図の作成装置。
前記レジストレーション部は、
前記点群データを採集したレーザレーダ装置の１回転分の運動量に応じて、前記点群データの歪み補正を行って前記投影サブユニットに供給する校正サブユニットをさらに備える請求項１３に記載の高精細地図の作成装置。
前記レジストレーション部は、
前記点群シーケンスにおける基準点群を決定する基準サブユニットと、
前記基準点群を基準として、他の点群データをフレーム毎にレジストレーションしてレジストレーションされた点群データを前記投影サブユニットに供給する第２レジストレーションサブユニットと、
をさらに備える請求項１３に記載の高精細地図の作成装置。
前記基準サブユニットは、前記点群シーケンスにおける最初のフレームを基準として前記第２レジストレーションサブユニットに提供し、前記フレーム毎に他の点群データをレジストレーションし、前記第２レジストレーションサブユニットからレジストレーション結果を取得し、前記点群シーケンスにおける、前後２フレームの点群データとのレジストレーション点が占める割合が最も高い１フレームの点群を基準点群とする、
請求項１５に記載の高精細地図の作成装置。
前記第２レジストレーションサブユニットは、
基準となる点群と、レジストレーションされていない隣接点群とから２つのフレームの点群間の変換行列を学習し、
前記基準となる点群を前記変換行列を用いて変換してレジストレーションされた前記隣接点群を得、
前記点群シーケンスにおけるすべての点群データのレジストレーションが完了するまで、前記隣接点群を新たな基準として、前記基準となる点群と、レジストレーションされていない隣接点群とから２つのフレームの点群間の変換行列を学習する処理に移行する、
請求項１５又は１６に記載の高精細地図の作成装置。
前記第２レジストレーションサブユニットは、前記基準となる点群とレジストレーションされていない隣接点群とから２つのフレームの点群間の変換行列を学習する際に、
反復最近接点（ＩＣＰ）アルゴリズムを使用して、前記基準となる点群及び前記隣接点群から２つのフレームの点群間の変換行列を学習し、
前記ＩＣＰアルゴリズムの損失関数は、前記基準となる点群における各点を変換行列に基づいて変換して得られた各変換点と、前記隣接点群における各変換点とのうち最も近い点の間の距離平均値である、
請求項１７に記載の高精細地図の作成装置。
前記第２レジストレーションサブユニットは、前記基準となる点群とレジストレーションされていない隣接点群とから２つのフレームの点群間の変換行列を学習する際に、
反復最近接点（ＩＣＰ）アルゴリズムを使用して、前記基準となる点群及び前記隣接点群から２つのフレームの点群間の変換行列を学習し、
前記ＩＣＰアルゴリズムの損失関数は、前記基準となる点群における各点を変換行列に基づいて変換して得られた各変換点と、前記隣接点群における各変換点とのうち最も近い点の間の加重平均値である、
請求項１７に記載の高精細地図の作成装置。
前記レジストレーション部は、前記隣接画像における対応する点群からなる集合を決定する第３レジストレーションサブユニットを更に備え、
前記第２レジストレーションサブユニットは、前記加重平均値を決定する際に、基準となる点群における点が前記対応する点群からなる集合に属するか否かに応じて、各距離に採用される重み値を決定する、
請求項１９に記載の高精細地図の作成装置。
前記投影サブユニットは、前記集合に前記点群データの座標を投影して、正面画像における画素に対応する点群の座標情報を得、レーザレーダの座標系から画像採集装置の座標系への変換及び平行移動行列に基づいて、前記正面画像における画素に対応する点群の座標情報を画素の座標情報に変換する、
請求項１３に記載の高精細地図の作成装置。
前記認識部は、前記平面図に対して道路情報の認識を行い、認識された前記道路情報を前記平面図に重ねて表示することにより、高精細地図データを得る、
請求項１２に記載の高精細地図の作成装置。
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備え、
前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１～１１のいずれか１項に記載の高精細地図の作成方法を実行させる電子デバイス。
コンピュータに請求項１～１１のいずれか１項に記載の高精細地図の作成方法を実行させるためのコンピュータコマンドを格納する非一時的なコンピュータ可読記憶媒体。
プロセッサにより実行されると、請求項１～１１のいずれか１項に記載の高精細地図の作成方法を実現するコンピュータプログラム。