JP6975513B2 - カメラベースの自動化された高精度道路地図の生成システム及び方法 - Google Patents

Description

本文書で開示される様々な実施形態等は、カメラをベースに、自動的に高精度道路地図を生成及び更新する技術と関連する。

自律走行車両は、安全な自律走行のために、車両の周辺環境と車両の位置を認知し、認知された情報に基づいて車両が安全で効率的に走行できる経路を生成することができる。 また、自律走行車両は、生成された経路に沿って車両の操向及び速度を制御することができる。

自律走行車両は、搭載されたセンサー（例えば、カメラ、レーザースキャナ、レーダ、GNSS(Global Navigation Satellite System)、IMU(Inertial Measurement Unit)など）を利用して、車両の周辺環境（例えば、車線と信号灯のような道路施設物やランドマーク）を認識し、認識された周辺環境に基づいて経路を生成することができる。上記の周辺環境認識基盤の経路生成方法は、周辺環境を認識しにくい環境、例えば、車線が存在しなかったり、複雑な道路環境では経路を生成することができない。

高精度道路地図は、正確な車線情報と自動車運行に必要な各種の情報等、例えば、信号灯の位置や停止線の位置、車線変更が可能かどうか、左折が許可されている交差点であるかどうかなどの詳細な道路情報と、3次元の精密位置情報を一緒に提供する地図である。このような高精度道路地図のおかげで、自律走行自動車はより安定した自律走行が可能になる。自律走行車の制御に活用される高精度道路地図(HD MAP)は、自律走行のために、センチメートル(cm)水準の精密度を備えた3D(3次元)立体地図である。一般1/1000の数値地形図（デジタル地図）の正確度が70cmであれば、高精度道路地図は25cm以内で、より精密度が高い。1~2.5メートルの正確度を持つナビゲーションマップの10倍である。

また、高精度道路地図は、前方衝突への警告、車線逸脱への警告などの安全機能を持つダッシュボード用のカメラを通じて、正確な位置情報に基づいた道路上のイベント情報を収集する場合にも活用できる。加えて、カメラを装着したコネクテッドカー（Connected Car）の情報交換や、カメラを装着した多様な法人所有の車両を利用して、道路の各種施設物、イベント情報を収集する場合の正確な位置決定に活用できる。

現在、高精度道路地図の構築には、移動型測量システムである「MMS(Mobile Mapping System、移動地図製作システム)」装備が使用される。車両などの移動体に 搭載されるMMSは、デジタルカメラ、3次元のレーザスキャナシステム（LiDAR、ライダー）、衛星航法装置（GNSS（Global Navigation Satellite System））、慣性測定装置（IMU（Inertial Measurement Unit））などが結合された「移動型3次元 空間情報システム」である。時速40~100kmで運行する車両で、360度の全方位撮影ができる。MMSは、尖端技術を備えただけに、通常一台当たり10億もする高価な装備である。このようなMMSの装備では、高精度道路地図の構築や更新に、非常に多い人手やコストがかかる。特に、道路の状態に変化が生じた場合、高精度道路地図を迅速に更新できず、高精度道路地図に依存して自律走行をする車には、かえって安全を阻害する要因になることがある。
したがって、高精度道路地図を生成することにおいて、装置コストと通信負荷を下げることができる新しい技術が求められている状況である。

韓国公開特許第10−2014−0072763号「映像情報と航空写真データを比較して、対象オブジェクトを決定し、カメラの取得情報を利用して対象オブジェクトの3次元座標を取得する数値地図製作システム」

更に、高精度道路地図生成システムは、道路の変化によるリアルタイムの高精度道路地図を更新するために、多数のプローブ車両を必要とするため、維持コストも高くなる。また、MMSは時間当たりの収集データ量が多いため、多数のプローブ車両から受信されるデータをリアルタイムで受信及び処理し、高精度道路地図を更新することは難しい。

本文書に開示される様々な実施形態等は、高精度道路地図の生成のためのプローブ車両の実装コストを削減することができる、カメラベースの自動化された高精度道路地図の生成システム及び方法を提供することができる。

本文書に開示される一実施形態に係るカメラベースの自動化された高精度道路地図生成システムは、プローブ車両に固定されたカメラで撮影された道路施設物オブジェクトの画像を含む道路映像を利用して、高精度道路地図を生成する少なくとも一つ以上の地図生成装置を含むシステムであり、上記の地図生成装置は、GCP(ground control point)オブジェクト及び一般オブジェクトのうち、少なくとも一つを含む道路施設物 オブジェクトと属性を上記の道路映像のフレームごとに認識するオブジェクト認識部と、上記の道路映像で少なくとも一つ以上の道路施設物オブジェクトの特徴点を抽出する特徴点抽出部と、上記の特徴点を上記の道路映像の連続的なプレームでマッチングしてトラッキングする特徴点トラッキング部と、上記のトラッキングされた特徴点から予測されるカメラのポーズ情報及び計算されたカメラのポーズ情報の差が最小化されるように、上記の特徴点の相対空間座標を取得する座標決定部、及び上記のGCPオブジェクトが認識されると、絶対空間座標値をすでに知っている上記のGCPオブジェクトの座標点を基準に、上記の特徴点の相対空間座標を補正し、上記の特徴点の絶対空間座標を取得する補正部を含むことを特徴とする。

上記のシステムは、少なくとも一つ以上の地図生成装置から各道路施設物オブジェクトの属性と特徴点の絶対空間座標を収集し、高精度道路地図を生成する地図生成サーバをさらに含むことができる。

上記の地図生成装置は、上記の道路映像の連続的なフレーム間で、上記の特徴点の相対空間座標が基準範囲以上に移動した場合のフレームをキーフレームに決定し、上記のキーフレームでのみ上記の座標決定部が演算を行うように制御するキーフレーム決定部をさらに含むことができる。

上記のキーフレーム決定部は、複数の上記のキーフレームで同時に存在する同一の特徴点をダイポイント(Tie Point)に決定し、上記の決定されたタイポイントを除いた特徴点を削除することができる。

上記のシステムは、新規GCPオブジェクトが認識されると、上記の決定された空間座標を、上記の新規GCPオブジェクトの空間座標を基に補正する補正部をさらに含むことができる。

上記の補正部は、上記のプローブ車両が過去に通過した地域を再通過すると、上記のプローブ車両が過ぎた経路でループ（loop）経路を検出し、再通過する地域で過去に決定された上記の特徴点の絶対空間座標と現在に決定された上記の特徴点の絶対空間座標との差に基づいて、上記のループ経路に存在する道路施設物オブジェクトの特徴点の絶対空間座標を補正することができる

上記の地図生成サーバは、少なくとも二つ以上のプローブ車両が通過した経路を分析して、経路と方向が重畳される重畳経路を検出し、各プローブ車両によって決定された上記の特徴点の絶対空間座標の差に基づいて、上記の重畳経路に存在する道路施設物オブジェクトの特徴点の空間座標を補正することができる。

上記の道路施設物オブジェクトは、路面に位置した路面オブジェクト及び空中に位置した空中オブジェクトのうちいずれかであり、上記の座標決定部は、上記の道路施設物オブジェクトの属性で路面オブジェクトであるかどうかを判断し、路面オブジェクトについては、空間座標を既に知っている少なくとも四つの座標点にホモグラフィ変換を利用して、道路映像の各フレームで路面オブジェクトの絶対空間座標を取得することができる。

上記のGCPオブジェクトは、マンホールの蓋、消火栓、道路施設物の端部や継手、路面上の排水構造物のうち少なくとも一つ以上を含むことができる。

また、本発明に係るカメラベースの自動化された高精度道路地図の生成方法は、プローブ車両に固定されたカメラで撮影された道路施設物オブジェクトの画像を含む道路映像を利用して高精度道路地図を生成する方法であり、(a) GCP(ground control point)オブジェクト及び一般オブジェクトのうち、少なくとも一つを含む道路施設物オブジェクトと属性を上記の道路映像のフレームごとに認識する段階と、(b)上記の道路映像から少なくとも一つ以上の道路施設物オブジェクトの特徴点を抽出する段階と、 (c)上記の特徴点を上記の道路映像の連続的なフレームでマッチングしてトラッキングする段階と、(d)上記のトラッキングされた特徴点から予測されたカメラのポーズ情報及び計算されたカメラのポーズ情報の差が最小化されるように、上記の特徴点の相対空間座標を取得する段階、及び(e)上記のGCPオブジェクトが認識されると、絶対空間座標値を既に知っている上記のGCPオブジェクトの座標点を基準に、上記の特徴点の相対空間座標を補正して上記の特徴点の絶対空間座標を取得する段階を含むことができる。

本発明によれば、道路施設物オブジェクトを認識し、認識されたオブジェクトに該当する特徴点とGCP情報のみを用いて高精度道路地図を生成することにより、迅速で正確に高精度道路地図を生成すると同時に、プローブ車両の実装コストを下げて、高精度道路地図の生成コストを削減することができる。この他に、本文書を通じて直接または間接に把握される様々な効果が提供できる。

カメラベースの自動化された高精度道路地図の生成システムを例示する説明図 本発明に係る地図生成装置を示すブロック図 本発明に係る地図生成装置で地図生成部を示すブロック図 本発明に係る地図生成サーバを示すブロック図 本発明に係る地図生成サーバの地図補正部を示すブロック図 本発明に係るカメラベースの自動化された高精度道路地図の生成方法を示す流れ図 本発明の他の実施形態に係るカメラベースの自動化された高精度道路地図の生成方法を示す流れ図 地図生成装置と地図生成サーバにおける情報の流れを示す説明図

図面の説明に関連して、同一または類似した構成要素については、同一または類似した参照符号が使用されることができる。

まず、本発明における用語について整理する。

道路施設物オブジェクトとは、精密地図に含まれている施設物として、路面表示、注意表示、規制表示、指示表示、補助表示、表示板、信号灯、街灯、支柱、マンホール、縁石、中央分離帯、消火栓、及び建物のうち、少なくとも一つを含む。 このような道路施設物オブジェクトは、道路の路面上に固定されたり、表示されることができ、また信号灯、建物の一部特徴点、または看板のように空中に浮いている施設物や、その施設物に表示されることもある。

即ち、道路施設物オブジェクトとは、精密地図に含まれる全ての種類の施設物を意味し、各種路面表示、注意表示、規制表示、指示表示、補助表示、表示板、信号灯、街灯、支柱、マンホール、縁石、中央分離帯、消火栓、建物、建物の看板などを含む概念であり、本発明では、これらのオブジェクトのうち、少なくとも一つ以上が活用できる。 例えば、道路の路面上に表記されている中央線、実線、破線、左折矢印、直進矢印、徐行表示菱形、速度制限区域など、道路路面に表示できるすべての表示が施設物オブジェクトに含まれ、道路や地上に設置された街灯、支柱、マンホール、消火栓、縁石、中央分離帯、表示板などの構造物とその構造物上の各種表示、そして信号灯に設置された各種の表示板と表示、建物などもすべて含まれる。

地上基準点(GCP、Ground Control Point)は、絶対標定に使用される既存の 正確な座標が知られている座標点を意味する。本発明では、道路施設物オブジェクトのうち、マンホールの蓋、消火栓、道路施設物の端部や継手、路面上の排水構造物がGCPオブジェクトとして使われることができる。

高精度道路地図は、各道路施設物オブジェクトに対して、当該オブジェクトの属性及び当該オブジェクトの特徴点の空間座標情報がデータベース化された地図情報であり、道路地図に含まれる各道路施設物オブジェクトの特徴点は、当該特徴点の空間座標情報と一対一に対応している。ここで、道路施設物オブジェクトの特徴点(feature point)とは、道路施設物の特徴的な地点を意味するもので、道路施設物オブジェクトの画像で色や明るさの変化がはっきりしていて、境界が明確に区分される内部または外部の頂点や外郭線のうち、はっきりと区分できる点が特徴点となりえる。結局、道路施設物オブジェクトの特徴点は、道路施設物オブジェクトの頂点や角の任意の点となることができる。

このような、高精度道路地図は、車両の自律走行に必要なすべての道路施設物オブジェクトに対する情報を精密に製作した電子地図であり、自律走行車、コネクテッドカー、交通管理、道路のメンテナンスなどに活用される。
図1は、カメラベースの自動化された高精度道路地図の生成システムを例示する図である。

図1を参照すると、カメラベースの自動化された高精度道路地図の生成システムは、少なくとも一つ以上の地図生成装置(100_1~100_n)及び地図生成サーバ(200)を含む。

地図生成装置(100_1~100_n)は、プローブ車両に装着され高精度道路地図を生成する装置として、プローブ車両に固定されたカメラで撮影された道路施設物オブジェクトの画像を含む道路映像を利用して高精度道路地図を生成する。

地図生成装置(100_1~100_n)で生成された高精度道路地図に対する情報は、地図生成サーバ(200)に伝送され、地図生成サーバ(200)は、各地図生成装置(100_1~100_n)から収集した高精度道路地図に対する情報を集めて結合し、最終的に全体地域に対する高精度道路地図を完成する。

地図生成装置（100_1~100_n）は、最初の開始点でカメラの位置を把握するために、最初の開始点付近でGCPオブジェクトまたは特定の道路施設物オブジェクトの空間座標を知っている必要がある。

特定区域やGCPオブジェクトがある区域を航空写真で撮影して正射画像を作り、RTK(real time kinematic)測定技法に基づいて航空映像に含まれた地上基準点を基準に、正射画像に含まれた全てのピクセルの空間座標を決定する方式で、特定区域やGCPオブジェクトがある区域でGCPオブジェクト周辺の各道路施設物オブジェクトに対する絶対空間座標を与えることができる。このとき、絶対空間座標値が与えられた道路施設物 オブジェクトの特徴点を、以下では座標点と定義することとする。

地図生成装置(100)は、道路映像内でGCP(地上基準点、Ground Control Point)に該当する道路施設物オブジェクト、または空間座標を既に知っている一般オブジェクト(例えば、GCPオブジェクトの周辺のオブジェクト)を少なくとも一つ以上抽出して認識し、認識された少なくとも一つ以上の道路施設物オブジェクトの属性及び座標点の空間座標を確認し、道路施設物オブジェクトの座標点の空間座標に基づいて、上記の道路映像を撮影した時点のカメラの位置(空間座標)を決定することができる。

地図生成装置(100)は、決定された位置に基づいて、道路映像内のすべての道路施設物オブジェクトの属性と特徴点の空間座標を決定し、すべての道路施設物オブジェクトの属性と特徴点の空間座標をデータベース化することにより、高精度道路地図を生成していくことができる。

続いて、カメラを装着したプローブ車両が一定距離ほど走行した後、カメラは車両の走行方向を撮影し、少なくとも一つ以上の道路施設物オブジェクト画像を含む後続道路映像を生成する。このとき、後続道路映像には、以前の画像を通じて空間座標が決まった道路施設物オブジェクトの一部が含まれるようにする。

地図生成装置(100)は、カメラから後続道路映像を受信して取得することができる。上記の後続道路映像は、以前の撮影位置で、少なくとも一定距離ほど走行した車両で走行方向に対する道路を撮影した映像であることができる。 上記の後継道路映像は、例えば、少なくとも一つ以上の基準道路施設物オブジェクト又は道路画像で、特徴点の空間座標を知っている道路施設物オブジェクトのうち、少なくとも一つ以上の画像を含む映像であることができる。

地図生成装置(100)は、後続道路映像内で基準道路施設物オブジェクトや空間座標を既に知っている道路施設物オブジェクトの特徴点の空間座標に基づいて、カメラの撮影の位置(車両の位置)を確認することができる。

このとき、地図生成装置（100）は、GCPオブジェクトや空間座標を既に知っている道路施設物オブジェクトの特徴点の空間座標に基づいて、後続道路映像に含まれるすべての道路施設物オブジェクトの特徴点の空間座標を決定し、これをデータベース化することにより、高精度道路地図を続けて生成することができる。

地図生成装置（100）は、空間座標を既に知っている道路施設物オブジェクトに基づいて、他の道路施設物オブジェクトの属性と特徴点の空間座標を決定し、決定されたオブジェクトの属性とオブジェクトの空間座標をデータベース化することにより、高精度道路地図を生成することができ、また、このような過程等を一定距離ほど走行して続けて繰り返すことにより、最終的に広い地域、ひいては全国に対する高精度道路地図を生成することができる。これにより、地図生成装置（100）は、高価なMMS無しに、カメラを搭載した車両を利用して、高精度道路地図の生成、又は更新のためのデータを確保することができる。
図2は、本発明に係る地図生成装置を示すブロック図である。

図2を参照すると、一実施形態に係る地図生成装置（100）は、地図生成部（110）を含み、さらに、カメラ（120）、通信部（130）、GNSS受信機（140）及び保存部（150）のうち、少なくとも一つをさらに含むことができる。図面に図示されてないが、本発明に係る地図生成装置(100)は、IMU(Inertial Measurement Unit)をさらに含むことができる。
地図生成部（110）は、カメラで撮影された道路施設物オブジェクトの画像を含む道路の画像を利用して、高精度道路地図を生成する役割を遂行する。

カメラ(120)はプローブ車両に固定されて装着され、車両の前方を撮影して道路施設物オブジェクトの画像を含む道路映像を生成する。生成された道路映像は地図生成装置(100)に伝送される。

通信部（130）は、地図生成サーバ（200）と通信する役割を遂行し、地図生成装置（100）で生成された高精度道路地図及びカメラ（120）で撮影された道路映像を地図生成サーバ（200）に伝送する。後述するが、道路映像からキーフレームのみ抽出された映像が地図生成サーバ（200）に伝送されることもある。

GNSS受信機（140）は、定期的にGNSS位置情報を取得する役割を遂行しており、特に、カメラ（120）の撮影時点と同期化された時点のカメラ（120）の撮影位置に対するGNSS位置情報を取得することができる。GNSS（Global Navigation Satellite System）は、人工衛星を利用して位置を確認するシステムであり、一般的にGPS（Global Positioning System）が利用されることができる。
保存部（150）は、カメラ（120）で撮影された道路映像及び地図生成装置（100）で生成された高精度道路地図を保存する。
図3は、本発明に係る地図生成装置で地図生成部を示すブロック図である。

図3を参照すると、本発明に係る地図生成装置（100）は、オブジェクト認識部（111）、特徴点抽出部（112）、特徴点トラッキング部（113）、座標決定部（115）及び補正部（116）を含み、加えてキーフレーム決定部（114）を更に含むことができる。

オブジェクト認識部（111）は、道路映像の各フレームでGCP（ground control point）オブジェクト及び一般オブジェクトのうち、少なくとも一つを含む道路施設物オブジェクトとその属性を認識する。オブジェクト認識部（111）は、ディープラーニングを含むマシンラーニング又は様々な映像処理技法を通じて、道路映像から道路施設物オブジェクト及びその属性を認識する。

一方、オブジェクト認識部（111）は、道路映像のレンズによる歪みを補正して、道路映像から車両、二輪車や人などの移動オブジェクトを検出し、これを除去及び排除することにより、地上や空中に固定されている道路施設物オブジェクトを効果的に認識することができる。

特徴点抽出部（112）は、道路映像で少なくとも一つ以上の道路施設物オブジェクトの特徴点を抽出する。このとき、特徴点抽出部（112）は、オブジェクト認識部（111）を通じて認識された道路施設物オブジェクトの数多い特徴点等を抽出する。

特徴点トラッキング部（113）は、道路映像の各フレームから抽出された道路施設物オブジェクトの特徴点を、道路映像の連続する各フレーム上で相互にマッチング（matching）してトラッキング（tracking）する。

キーフレーム決定部（114）は、座標決定部（115）の演算量を減らすために、道路映像の各フレームでキーフレームを決定し、決定されたキーフレームでのみポーズ取得部及び空間座標決定部の演算が実行されるように制御することができる。

このため、キーフレーム決定部（114）は、道路映像の各フレームの特徴点を分析して、各フレーム間で特徴点の相対空間座標が基準範囲以上移動した場合のフレームをキーフレームに決定する。 キーフレームとは、道路映像の各画像フレームの中で変化が大きく発生するフレームを意味するので、特徴点の相対空間座標が基準範囲以上移動した場合は、キーフレームに決定することができる。 特徴点の相対空間座標が基準範囲以上移動した場合とは、車両が一定距離以上を移動することになり、道路映像で特徴点の位置変化が基準範囲以上移動されたことを意味する。車両が停止していたり、非常に低速で移動する場合のように、変化がほとんどない道路映像の特徴点をトラッキングすることはあまり意味がないので、車両が一定距離以上移動した後のフレームをキーフレームに決定し、キーフレームだけを利用して、特徴点をトラッキングすることにより、演算量を軽減することができる。

また、キーフレーム決定部（114）は、複数のキーフレームに同時に存在する同一特徴点をタイポイントと決定し、決定されたタイポイントを除いた特徴点を削除して演算量をさらに軽減することができる。

座標決定部（115）は、トラッキングされた特徴点から予測されたカメラのポーズ情報及び計算されたカメラのポーズ情報の差が最小化されるように特徴点の相対空間座標を取得する。このとき、座標決定部（115）は、道路映像の各フレームごとに道路施設物オブジェクトの特徴点の相対空間座標または絶対空間座標を決定することができる。

補正部（116）は、GCPオブジェクトが認識されると、空間座標を既に知っているGCPオブジェクトの座標点を基準に、特徴点の相対空間座標を補正し、特徴点の絶対空間座標を取得する。

道路施設物オブジェクトは、地面及び空中のいずれかに固定されているオブジェクトなので、道路映像に存在する道路施設物も路面に位置したり、空中に浮いたりすることができる。

座標決定部（115）は、道路施設物オブジェクトの属性により、道路映像に含まれている道路施設物オブジェクトが路面に位置している路面オブジェクトであるか、あるいは、空中に浮いている空中オブジェクトであるかどうかを区分することができる。

道路施設物オブジェクトの位置が判別されると、座標決定部（115）は、次の二つの方式で道路施設物オブジェクトの特徴点の空間座標を決定することができる。

一つ目の方式は、路面オブジェクト及び空中オブジェクトの空間座標をすべて決定できる方式であり、道路映像の各フレームで、カメラのポーズ情報で空間座標を知らない各オブジェクトの空間座標を決定する方式である。

道路映像の連続するフレームまたはキーフレームで各特徴点をトラッキングすると、各映像フレームの対応関係を追跡し、各特徴点の位置やカメラのポーズ情報が予測できる。

このとき、映像フレームの対応関係から予測された特徴点の位置やカメラのポーズ情報と、実際の道路映像の各フレームで計算された各特徴点の位置やカメラのポーズ情報には差が発生する可能性があり、これらの値の差を最小化する過程で、道路映像の各フレームで各特徴点の相手空間座標及びカメラの相手ポーズ情報が取得できる。

ただし、取得した特徴点の空間座標とポーズ情報は、基準位置や基準ポーズに対する相対的な値で表現できるので、ある時点である特徴点の絶対空間座標やカメラの正確なポーズ情報を知ると、取得した特徴点の相手空間座標とカメラの相手ポーズ情報が正確な値に補正できる。

GCPオブジェクトには、すでに絶対空間座標を知っている座標点等が 存在し、このようなGCPオブジェクトの属性やGCPオブジェクトで絶対空間座標が分かる座標点に対する情報は、あらかじめ地図生成装置に保存されている。

したがって、GCPオブジェクトが認識されると、座標決定部（115）は、すでに空間座標を知っている、少なくとも四つの座標点を検出し、検出された少なくとも四つの座標点からピンホールカメラモデル（pin hole camera model）を利用して、カメラのポーズ情報を取得する。

カメラのポーズ情報は、カメラの位置と姿勢に対する情報であり、カメラの空間座標とロール(roll)、ピッチ(pitch)、及びヨー(yaw)に対する情報を含む。
次の[数式1]は、ピンホールカメラモデルを通じて、カメラの外部パラメータを取得することを示した数式である。

（数式1）で、Kはカメラの内部パラメータ(intrinsic parameter)を、[R|T]はカメラの外部パラメータを、Pwは3D空間座標を、Pcは3D空間座標に対応する2Dカメラ座標を、sは画像蓄積係数を示す。カメラの外部パラメータは2Dカメラ座標系と3Dワールド座標系の間の変換関係を説明するパラメータとして、カメラの設置位置及びカメラの姿勢(roll、pitch、yaw)に対する情報を含めており、両座標系の間の回転行列Rと平行移動変換行列Tで表現される。

[数式1]は、次の[数式2]のように表現することができる。

ここで、（x、y、z）はワールド座標系の3D空間座標であり、fxはx軸方向の焦点距離、fyはy軸方向の焦点距離、（u、v）はカメラ座標系の2Dカメラ座標であり、γは非対称係数（skew coefficient）としてイメージセンサーセルアレイ(image sensor cell array)のy軸方向に傾いた程度であり、（u0、v0）は、カメラの主点（principal point）のカメラ座標である。

道路映像のフレームで少なくとも四つのポイントの絶対空間座標を知っており、カメラの内部パラメータ（intrinsic parameter）と画像蓄積係数を知ることができるので、上記の数学式を通じて、カメラのポーズ情報を取得することができる。

補正部（116）は、このように取得されたカメラのポーズ情報を基準に、当該フレームで各特徴点の相対空間座標を補正して、絶対空間座標を取得することができる。後述するが、補正部（116）は、他の方式を利用して特徴点の空間座標を補正することができるのはもちろんである。

そして、二つ目の方式は、路面に位置した路面オブジェクトの空間座標を決定するものであり、ホモグラフィ変換を通じて道路映像の各フレームで、空間座標を知らない各路面オブジェクトの空間座標を決定する方式である。

ホモグラフィ(Homography)は、路面オブジェクトの空間座標とプローブ車両の測位に利用することができる。 一つの平面を他の平面に投影させると、投影された対応点等の間には一定の変換関係が成立するが、このような変換関係をホモグラフィと呼ぶ。

ホモグラフィ変換関数は、各次元映像と一つの絶対座標系(絶対空間座標)との関係を定義した関数でありうるため、ホモグラフィ変換関数はカメラの映像座標を絶対座標系の空間座標に変換することができる。 このような変換関係を利用してあらかじめ空間座標を知っている四つの地点の空間座標と当該地点のカメラ座標から残りの路面のすべての地点の空間座標の計算が可能である。

前述したように、補正部（116）は、道路映像の各フレームごとに収集された道路施設物のオブジェクトの特徴点及びカメラのポーズ情報に対する補正の過程を通じて、最終的に道路施設物オブジェクトの絶対空間座標を補正する役割を遂行する。
道路施設物オブジェクトの空間座標を補正する方式には、四つの方式が使用される。

第一に、各フレームごとのカメラのポーズ情報を束ねて実際の計算値と予測値との比較を通じて補正するローカルバンドル調整(LBA, local bundle adjustment)方式が 利用される。

第二に、道路映像から最初の開始点以降に新しいGCPオブジェクトが発見された場合には、決定されてきた特徴点の空間座標を新しいGCPオブジェクトの絶対空間座標値を基準に補正する方式が利用されることができる。座標決定部（115）を通じて決定された空間座標値と新たに認識されたGCPオブジェクトの絶対空間座標値の誤差に基づいて、既存に取得された特徴点の空間座標が一括して補正することができる。

第三に、プローブ車両が走行を開始した後、ある瞬間、過去に通過した地域を再通過する場合には、プローブ車両が過ぎた経路でループ（loop）を形成するループ経路を決定し、過去に決定された道路施設物オブジェクトの特徴点の絶対空間座標と現在に決定された特徴点の絶対空間座標との差に基づいて、ループ経路に存在する道路施設物オブジェクトの特徴点の絶対空間座標を補正する方式が利用されることができる。

第四に、少なくとも二つ以上のプローブ車両が通過した経路を分析し、経路と方向が重なる重畳経路を検出し、各プローブ車両によって決定された空間座標の差に基づいて、重畳経路に存在する道路施設物オブジェクトの特徴点の空間座標を補正する方式が利用されることができる。このような第四の方式は、複数の地図生成装置（100）で生成された高精度道路地図で車両の通過経路を分析する必要がするため、主に地図生成サーバ（200）で利用される。

本発明では、上記の四つの方式のうち少なくとも一つの方式を利用して、道路施設物オブジェクトの特徴点の空間座標が補正されることができ、後述するが、このような空間座標の補正は、車両に搭載された地図生成装置（100）で実行される可能性もあり、地図生成サーバ（200）で生成されることもできる。

図4は、本発明に係る地図生成サーバを示すブロック図である。
図4を参照すると、地図の生成サーバ（200）は、情報収集部（210）、座標演算部（220）、座標補正部（230）、地図生成部（240）、および高精度道路地図データベース（250）のうち、少なくとも一つを含む。

情報収集部（210）は、各地図生成装置（100_1~100_n）から道路映像及び高精度道路地図に対する情報を収集する役割を遂行する。ここで、高精度道路地図に対する情報とは、各道路施設物オブジェクトの属性と特徴点の絶対空間座標を含む。情報収集部（220）は、演算量削減のために、前述したキーフレームだけで構成された道路映像を受信したり、タイポイントを除いた特徴点を削除した道路映像を受信することもできるのはもちろんである。

座標演算部（220）は、各地図生成装置（100_1~100_n）から受信した道路映像から各道路施設物オブジェクトの空間座標を演算する役割を遂行する。地図の生成サーバ（200）は、各地図生成装置（100_1~100_n）から高精度道路地図を受信して保存することもあるが、各地図生成装置（100_1~100_n）から道路映像を受信し、受信した道路映像から、各道路施設物オブジェクトの空間座標を演算することもできる。

図面に図示されてはいないが、このために座標演算部（230）は、図3の地図生成装置（100）のオブジェクト認識部（111）、特徴点抽出部（112）、特徴点トラッキング部（113）、キーフレーム決定部（114）、座標決定部（115）と同一機能を行う構成要素を含むことができる。

座標補正部（230）は、座標演算部（220）によって演算された道路施設物オブジェクトの空間座標または各地図生成装置（100_1~100_n）から受信された各道路施設物オブジェクトの空間座標を補正する役割を遂行する。座標補正部（230）は、前述した四つの空間座標補正方式を利用できるのはもちろんである。

地図生成部（240）は、各地図生成装置（100_1~100_n）から収集した高精度道路地図に対する情報をすべて結合し、最終的に全体の高精度道路地図を完成していく役割を遂行する。
地図生成部（240）によって結合された高精度道路地図に対する情報は、すべてデータベース化されて高精度道路地図データベース（250）に保存される。

図5は、本発明に係る地図生成サーバの地図補正部を示すブロック図である。
道5を参照すると、地図生成サーバ(200)の座標補正部(230)は、経路分析部(231)、重畳経路検出部(232)、および重畳経路補正部(233)のうち少なくとも一つを含む。

経路分析部(231)は、少なくとも二つ以上の地図生成装置(100_1~100_n)を装着したプローブ車両が通過した経路を分析し、重畳経路検出部(232)は、経路と方向が重畳される重畳経路を検出し、重畳経路補正部(233)は、各地図生成装置(100_1~100_n)によって決定された特徴点の絶対空間座標の差に基づいて検出された重畳経路に存在する道路施設物オブジェクトの特徴点の空間座標を補正する。

一方、検出された重畳経路に存在する道路施設物オブジェクトの特徴点の空間座標が補正されると、座標補正部(230)は、重畳経路を通過したすべての地図生成装置を抽出して、重畳経路における補正された空間座標を基に、各地図生成装置が通過してきた全体経路に対する補正を行うこともある。

以下では、本発明に係るカメラベースの自動化された高精度道路地図の生成方法について説明する。本発明に係るカメラベースの自動化された高精度道路地図の生成 方法は、本発明に係るカメラベースの自動化された高精度道路地図の生成システム及び地図生成装置によって実行される方法であって、実質的に同一の発明であるため、重なる部分の説明は省略する。

図6は、本発明に係るカメラベースの自動化された高精度道路地図の生成方法を示す流れ図である。
まず、地図生成装置（100）は、道路映像の各フレームでGCP（ground control point）オブジェクト及び一般オブジェクトのうち、少なくとも一つを含む道路施設物オブジェクトと属性を道路映像のフレームごとに認識する（S110）。道路施設物オブジェクトを認識するために、ディープラーニングを含むマシンラーニング又は様々な映像処理技法が利用されることができる。
そして、地図生成装置（100）は、道路映像から少なくとも一つ以上の道路施設物オブジェクトの特徴点を抽出する（S120）。

その後、地図生成装置（100）は、道路映像の各フレームから抽出されたすべての道路施設物オブジェクトの特徴点を、道路映像の連続的な各フレームで相互にマッチングしてトラッキングする（S130）。

特徴点をマッチングした後、地図生成装置（100）は、トラッキングされた特徴点から予測されたカメラのポーズ情報及び計算されたカメラのポーズ情報の差が最小化されるように、上記の特徴点の相対空間座標を取得する（S140）。

そして、地図生成装置（100）は、GCPオブジェクトが認識されると、上記GCPオブジェクトの周辺で絶対空間座標値を既に知っている座標点を基準に、特徴点の相対空間座標を補正して上記特徴点の絶対空間座標を取得する（S150）

一方、各道路施設物オブジェクトの属性と特徴点の補正された空間座標は、地図生成サーバ（200）に伝送され、道路映像もまた、地図生成サーバ（200）に伝送されることができる。

地図生成サーバ（200）は、少なくとも一つ以上の地図生成装置（100）から各道路施設物オブジェクトの属性及び特徴点の補正された空間座標を収集して結合し、全体の高精度道路地図を完成する（S160）

図7は、本発明の他の実施形態に係る高精度道路地図の生成方法を示す流れ図である。
各地図生成装置（100）に装着されたカメラは、車両の前方を撮影して少なくとも一つ以上の道路施設物オブジェクトの画像を含む道路映像を生成する（S200）。生成された道路映像は地図生成装置（100）に伝達される。

地図生成装置（100）は、道路映像の各フレームを分析して、現在のフレームが新規フレームである場合（S201）、現在のフレームの映像の歪みを補正する（S202）。新規フレームではない場合は、地図生成装置（100）、引き続き道路映像を受信する。

地図生成装置（100）は、道路映像の現在のフレームでGCP（ground control point）オブジェクト及び一般オブジェクトのうち、少なくとも一つを含む道路施設物オブジェクトとその属性を認識する（S203）

これと同時に、地図生成装置（100）は、道路映像の現在のフレームから車両、二輪車や人などの移動オブジェクトを検出し、これを除去する（S204）。

そして、地図生成装置（100）は、道路映像の現在のフレームから少なくとも一つ以上の道路施設物オブジェクトの特徴点を抽出する（S205）。

その後、地図生成装置（100）は、現在のフレームから抽出されたすべての道路施設物オブジェクトの特徴点を、道路映像の以前のフレームの特徴点とお互いにマッチングしてトラッキングする（S206）。

このとき、地図生成装置（100）は、現在のフレームと以前のフレームでの特徴点を分析し、現在のフレームがキーフレームであるかどうかを判断する（S207）。以前のフレームと当該フレームの特徴点の相対空間座標が基準範囲以上に移動したと判断された場合、地図生成装置（100）は、現在のフレームをキーフレームとして決定する。

現在のフレームがキーフレームと判断された場合、地図生成装置（100）は、トラッキングされた特徴点から予測されたカメラのポーズ情報及び道路映像から実際に計算されたカメラのポーズ情報の差が最小化されるように特徴点の相対空間座標を決定する。
このとき、道路施設物オブジェクトが路面オブジェクトであるか空中オブジェクトであるかによって、空間座標を決定する方式が異なることがある。

地図生成装置（100）は、道路施設物オブジェクトの属性として道路映像に含まれている道路施設物オブジェクトが路面オブジェクトであるか空中オブジェクトであるかを判断する（S208）。

道路施設物オブジェクトが路面オブジェクトである場合、地図生成装置（100）は、道路映像の当該フレームで空間座標を既に知っている少なくとも四つの座標点にホモグラフィ変換を適用して、空間座標を知らない各路面オブジェクトの空間座標を決定する（S209）。

道路施設物オブジェクトが空中オブジェクトである場合、地図生成装置（100）は、映像フレームの対応関係から予測されたカメラのポーズ情報と実際の道路映像のフレームで計算されたカメラのポーズ情報の差が最小化されるようにして、道路映像の当該フレームで各特徴点の空間座標を決定する（S210）。

道路映像の連続的なフレームごとに、S201過程ないしS210過程が繰り返され、それによって、道路映像の各フレームごとに、道路施設物オブジェクトの特徴点の空間座標が決定される。

そして、地図生成装置（100）は、GCPオブジェクトが認識されると、GCPオブジェクトの周辺で空間座標を既に知っている座標点を基準に特徴点の空間座標を補正する（S211）。前述したように、特徴点の空間座標を補正する方式は、上記の方式の他にも、様々な方式が存在するのはすでに説明されている。

道路施設物オブジェクトの属性と特徴点の補正された空間座標は、地図生成サーバ（200）に伝送され、地図の生成サーバ（200）は、受信した情報を収集及び結合して、全体の高精度道路地図を完成する（S212）。

図8は、地図生成装置と地図生成サーバにおける情報の流れを示す図である。
各地図生成装置(100_1~100_n)は、プローブ車両に装着されて高精度道路地図を生成する装置であり、プローブ車両に固定されたカメラで撮影された道路施設物オブジェクトの画像を含む道路映像を利用して高精度道路地図を生成する。

道路映像生成(S100)、道路施設物オブジェクト及び属性の認識(S110)、特徴点抽出(S120)、特徴点マッチング及びトラッキング(S130)、特徴点の空間座標の決定(S140)、特徴点の空間座標の補正(S150)は、各地図生成装置(100_1~100_n)で独立的に行われる。当該の過程は前述の過程と同一であるため、詳しい説明は省略する。

各地図生成装置(100_1~100_n)で生成された道路映像及び高精度道路地図に対する情報は、地図生成サーバ(200)に伝送される(S160)。 ここで、高精度道路地図に関する情報とは、認識された各道路施設物オブジェクトの属性及び各道路施設物オブジェクトの特徴点の補正された空間座標を含む。

地図生成サーバ(200)は、各地図生成装置(100_1~100_n)から道路の映像及び高精度道路地図に対する情報を収集する(S310)。

そして、地図生成サーバ(200)は、少なくとも二つ以上の地図生成装置(100_1~100_n)が通過した経路を分析する(S320)。
地図生成サーバ(200)は、分析した経路から経路と方向が重畳される重畳経路を検出する(S330)。

地図生成サーバ(200)は、重畳経路で各地図生成装置によって決定された特徴点の空間座標の差に基づいて検出された重畳経路に存在する道路施設物オブジェクトの特徴点の空間座標を補正する(S340)。

最後に、地図生成サーバ(200)は、各道路施設物オブジェクトの属性及び特徴点の補正された空間座標を収集して結合し、全体の高精度道路地図を完成する(S350)。

本文書の様々な実施形態等及びこれに使用される用語等は、本文書に記載された技術的特徴等を特定の実施形態等に限定しようとするものではなく、当該実施形態の様々な変更、均等物、または代替物を含む。

図面の説明に関連して、類似又は関連する構成要素については、類似の参照符号が使用される。アイテムに対応する名詞の単数形は、関連する文脈上、明らかに異なる指示をしない限り、上記のアイテム一個または複数個を含むことができる。 本文書において、「A又はB」、「A及びBのうち少なくとも一つ」、「A又はBのうち少なくとも一つ」、「A、B又はC」、「A、B及びCのうち少なくとも一つ」及び「A、B、又はCのうち少なくとも一つ」といった文句等それぞれは、その文句等のうち、該当する文句と一緒に並べられた項目等のいずれか、又はそれらのすべての可能な組み合わせを含むことができる。「第1」、「第2」、または「一つ目」または「二つ目」のような 用語等は、単純に当該構成要素を他の当該構成要素と区別するために使われることができ、当該構成要素等を他の側面(例えば、重要性又は手順)で限定しない。ある(例えば、第1)構成要素が他の(例えば、第2)構成要素に、「機能的に」または「通信的に」という用語と一緒に、又はこのような用語無しに、「カップルド」または「コネクテッド」と言及された場合、それは上記のある構成要素が上記の他の構成要素に、直接的に（例えば、有線で）、無線で、又は第３構成要素を通じて繋がることができるのを意味する。

本文書の様々な実施形態等は、機器(machine)(例えば、電子装置(1401))によって読める記憶媒体(storage medium)(例えば、内蔵メモリ(1436)、または外付けメモリ(1438))に保存された一つ以上の命令語等を含むソフトウェア(例えば、プログラム(1440))として実装されることができる。 例えば、機器(例えば、電子装置(1401))の制御部(例えば、制御部(1420))は、記憶媒体から保存された一つ以上の命令語等のうち少なくとも一つの命令を呼び出し、それを実行することができる。 これは、機器が上記の呼び出された少なくとも一つの命令語に従って、少なくとも一つの機能を実行するように運営されることを可能にする。 上記の一つ以上の命令語は、コンパイラによって生成されたコード、またはインタプリタによって実行できるコードを含むことができる。機器で読み取れる記憶媒体は、非一時的（non-transitory）記録媒体の形で提供されることができる。ここで、「非一時的」とは、記憶媒体が実在（tangible）する装置であり、信号（signal）（例えば、電磁波）を含まないことを意味するだけであり、この用語は、データが記憶媒体に半永久的に保存される場合と、臨時的に保存される場合を区別しない。

一実施形態によれば、本文書に開示された様々な実施形態等に係る方法は、コンピュータプログラム製品（computer program product）に含まれて提供されることが できる。コンピュータプログラム製品は、商品として販売者と購入者との間で取引されることができる。コンピュータプログラム製品は、機器で読める記憶媒体（例えば、 compact disc read only memory（CD-ROM））の形で配布されたり、又はアプリケーションストア（例えば、プレイストアTM）を通じて、または二つのユーザ装置等（例えば、スマートフォン等）の間で直接、オンラインで配布（例えば、ダウンロードまたはアップロード）されることがある。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、メーカーのサーバ、アプリケーションストアのサーバ、または中継サーバのメモリのような機器で読み取れる記憶媒体に少なくとも一時保存されたり、臨時的に生成されることができる。

様々な実施形態等によると、上述した構成要素等のそれぞれの構成要素（例えば、モジュールまたはプログラム）は、単数または複数の個体を含むことができる。 様々な実施形態等によると、前述した当該構成要素等のうち、一つ以上の構成要素等または動作等が省略されたり、又は一つ以上の他の構成要素等または動作等が追加されることがある。大体に、または追加的に、複数の構成要素等(例えば、モジュール又はプログラム)は、一つの構成要素として統合されることができる。 このような場合には、統合された構成要素は、上記の複数の構成要素等それぞれの構成要素の一つ以上の機能を、上記の統合以前に上記の複数の構成要素等のうち、当該構成要素によって遂行されるものと同一又は類似して行うことができる。 様々な実施形態等によると、モジュール、プログラム、または他の構成要素によって実行される動作等は、順次に、並列に、繰り返しに、又はヒューリスティックに実行されたり、上記の動作等のうち一つ以上が他の順序で実行されたり、省略されたり、又は一つ以上の他の動作等が追加されることがある。

110. 110_1〜110_n : 地図生成装置
200 : 地図生成サーバ
111 : オブジェクト認識部
112 : 特徴点抽出部
113 : 特徴点トラッキング部
114 : キーフレーム決定部
115 : 座標決定部
116 : 補正部

Claims (14)

1. プローブ車両に固定されたカメラで撮影された道路施設物オブジェクトの画像を含む道路映像を利用して、高精度道路地図を生成する少なくとも一つ以上の地図生成装置を含むシステムであって、
   上記の地図生成装置は、
   GCP（ground control point）オブジェクト及び一般オブジェクトのうち、少なくとも一つを含む道路施設物オブジェクトと属性を上記の道路映像のフレームごとに認識するオブジェクト認識部と、
   上記の道路映像から少なくとも一つ以上の道路施設物オブジェクトの特徴点を抽出する特徴点抽出部と、
   上記の特徴点を上記の道路映像の連続的なフレームでマッチングしてトラッキングする特徴点トラッキング部と、
   上記のトラッキングされた特徴点から予測されたカメラのポーズ情報及び計算されたカメラのポーズ情報の差が最小化されるように、上記の特徴点の相対空間座標を取得する座標決定部と、及び
   上記のGCPオブジェクトが認識されると、絶対空間座標値を既に知っている上記のGCPオブジェクトの座標点を基準に、上記の特徴点の相対空間座標を補正し、上記の特徴点の絶対空間座標を取得する補正部と、を含み、
   上記の道路施設物オブジェクトは、路面に位置した路面オブジェクト及び空中に位置した空中オブジェクトのうちいずれかであり、
   上記の座標決定部は、
   上記の道路施設物オブジェクトの属性として道路映像に含まれている道路施設物オブジェクトが、路面オブジェクトであるか空中オブジェクトであるかを判断し、
   次いで、道路施設物オブジェクトが路面オブジェクトであると判断された場合には、道路映像の当該フレームで空間座標を既に知っている少なくとも四つの座標点にホモグラフィ変換を適用して、空間座標を知らない路面オブジェクトの空間座標を決定し、道路施設物オブジェクトが空中オブジェクトであると判断された場合には、映像フレームの対応関係から予測されるカメラのポーズ情報と実際の道路映像のフレームで計算されたカメラのポーズ情報の差が最小になるようにして、道路映像の当該フレームで各特徴点の空間座標を決定する
   ことを特徴とするカメラベースの自動化された高精度道路地図生成システム。
2. 上記のシステムは、
   少なくとも一つ以上の上記の地図生成装置から各道路施設物オブジェクトの属性と特徴点の絶対空間座標を収集して高精度道路地図を生成する地図生成サーバをさらに含む
   請求項１に記載のカメラベースの自動化された高精度道路地図生成システム。
3. 上記の地図生成装置は、
   上記の道路映像の連続的なフレーム間で、上記の特徴点の相対空間座標が基準範囲以上移動した場合のフレームをキーフレームに決定し、上記のキーフレームでのみ上記の座標決定部の演算を行うように制御するキーフレーム決定部をさらに含む
   請求項１に記載のカメラベースの自動化された高精度道路地図生成システム。
4. 上記のキーフレーム決定部は、
   複数の上記のキーフレームに同時に存在する同一の特徴点をタイポイントと決定し、上記のタイポイント以外の特徴点を削除する
   請求項３に記載のカメラベースの自動化された高精度道路地図生成システム。
5. 上記の補正部は、
   上記のプローブ車両が過去に通過した地域を再通過すると、上記のプローブ車両が過ぎた経路でループ（loop）経路を検出し、再び通過する地域で過去に決定された上記の特徴点の絶対空間座標と現在に決定された上記の特徴点の絶対空間座標との差に基づいて、上記のループ経路に存在する道路施設物オブジェクトの特徴点の絶対空間座標を補正する
   請求項１に記載のカメラベースの自動化された高精度道路地図生成システム。
6. 上記の地図生成サーバは、
   少なくとも二つ以上のプローブ車両が通過した経路を分析して経路と方向が重畳される重畳経路を検出し、各プローブ車両によって決定された上記の特徴点の絶対空間座標の差に基づいて、上記の重畳経路に存在する道路施設物オブジェクトの特徴点の空間座標を補正する
   請求項２に記載のカメラベースの自動化された高精度道路地図生成システム。
7. 上記GCPオブジェクトは、
   マンホールの蓋、消火栓、道路施設物の端部や継手、路面上の排水構造物のうち、少なくとも一つを含む
   請求項１に記載のカメラベースの自動化された高精度道路地図生成システム。
8. プローブ車両に固定されたカメラで撮影された道路施設物オブジェクトの画像を含む道路映像を利用して、地図生成装置によって高精度道路地図を生成する方法であって、
   地図生成装置は、オブジェクト認識部と特徴点抽出部と特徴点トラッキング部と座標決定部と補正部とを含み、
   （a）オブジェクト認識部によって、GCP（ground control point）オブジェクト及び一般オブジェクトのうち、少なくとも一つを含む道路施設物オブジェクトと属性を上記の道路映像のフレームごとに認識する段階と、
   （b）特徴点抽出部によって、上記の道路映像から少なくとも一つ以上の道路施設物オブジェクトの特徴点を抽出する段階と、
   （c）特徴点トラッキング部によって、上記の特徴点を上記の道路映像の連続的なフレームでマッチングしてトラッキングする段階と、
   （d）座標決定部によって、上記のトラッキングされた特徴点から予測されたカメラのポーズ情報及び計算されたカメラのポーズ情報の差が最小化されるように、上記の特徴点の相対空間座標を取得する段階と、及び
   （e）補正部によって、上記のGCPオブジェクトが認識されると、絶対空間座標値を既に知っている上記のGCPオブジェクトの座標点を基準に、上記の特徴点の相対空間座標を補正して上記の特徴点の絶対空間座標を取得する段階と、を含み、
   上記の道路施設物オブジェクトは、路面に位置した路面オブジェクト及び空中に位置した空中オブジェクトのうちいずれかであり、
   上記の座標決定部は、
   上記の道路施設物オブジェクトの属性として道路映像に含まれている道路施設物オブジェクトが、路面オブジェクトであるか空中オブジェクトであるかを判断し、
   次いで、道路施設物オブジェクトが路面オブジェクトであると判断された場合には、道路映像の当該フレームで空間座標を既に知っている少なくとも四つの座標点にホモグラフィ変換を適用して、空間座標を知らない路面オブジェクトの空間座標を決定し、道路施設物オブジェクトが空中オブジェクトであると判断された場合には、映像フレームの対応関係から予測されるカメラのポーズ情報と実際の道路映像のフレームで計算されたカメラのポーズ情報の差が最小になるようにして、道路映像の当該フレームで各特徴点の空間座標を決定する
   ことを特徴とするカメラベースの自動化された高精度道路地図生成方法。
9. 上記の方法は、
   （f）地図生成サーバによって、少なくとも一つ以上のプローブ車両から各道路施設物オブジェクトの属性と特徴点の絶対空間座標を収集し、高精度道路地図を生成する段階をさらに含む
   請求項８に記載のカメラベースの自動化された高精度道路地図生成方法。
10. 上記の方法は、
    上記の地図生成装置のキーフレーム決定部によって、
    上記の道路映像の連続的なフレーム間で、上記の特徴点の相対空間座標が基準範囲以上移動した場合のフレームをキーフレームに決定し、上記のキーフレームでのみ、上記の（d）段階及び（e）段階を実行する
    請求項８に記載のカメラベースの自動化された高精度道路地図生成方法。
11. 上記の方法は、
    上記のキーフレーム決定部によって、複数の上記のキーフレームに同時に存在する同一の特徴点をタイポイントと決定し、上記のタイポイント以外の特徴点を削除する
    請求項１０に記載のカメラベースの自動化された高精度道路地図生成方法。
12. 上記の方法は、
    上記の補正部によって、上記のプローブ車両が過去に通過した地域を再通過すると、上記のプローブ車両が過ぎた経路でループ（loop）経路を検出し、再び通過する地域で過去に決定された上記の特徴点の絶対空間座標と現在決定された上記の特徴点の絶対空間座標との差に基づいて上記のループ経路に存在する道路施設物オブジェクトの特徴点の絶対空間座標を補正する段階をさらに含む
    請求項８に記載のカメラベースの自動化された高精度道路地図生成方法。
13. 上記の（f）段階は、
    上記の地図生成サーバによって、少なくとも二つ以上のプローブ車両が通過した経路を分析して経路と方向が重畳する重畳経路を検出し、各プローブ車両によって決定された上記の特徴点の絶対空間座標の差に基づいて、上記の重畳経路に存在する道路施設物オブジェクトの特徴点の空間座標を補正する段階をさらに含む
    請求項８に記載のカメラベースの自動化された高精度道路地図生成方法。
14. 上記のGCPオブジェクトは、
    マンホールの蓋、消火栓、塘路施設物の端部や継手、路面上の排水構造物のうち、少なくとも一つを含む
    請求項８に記載のカメラベースの自動化された高精度道路地図生成方法。

Images