JP6976641B2 - 高精度道路地図の更新のためのオブジェクトの変化検知システム及びその制御方法 - Google Patents

Description

本発明は、高精度道路地図の更新のためのオブジェクトの変化検知システム及びその方法に関するものであり、高精度道路地図の品質を維持するために、プローブ車両が道路上の道路施設物オブジェクトの変化を認識する電子地図の更新過程で、カメラをベースにオブジェクト変化を検知して装置コストと通信負荷を下げることができる高精度道路地図の更新のためのオブジェクトの変化検知システム及びその方法に関するものである。

自律走行車両は、安全な自律走行のために、車両の周辺環境と車両の位置を認知し、認知された情報に基づいて、車両が安全で効率的に走行できる経路を生成することができる。 また、自律走行車両は、生成された経路に沿って車両の操向及び速度を制御することができる。

自律走行車両は、搭載されたセンサー（例えば、カメラ、レーザースキャナ、レーダ、GNSS(Global Navigation Satellite System)、IMU(Inertial Measurement Unit)など）を利用して、車両の周辺環境（例えば、車線と信号灯のような道路施設物やランドマーク）を認識し、認識された周辺環境に基づいて経路を生成することができる。上記の周辺環境認識基盤の経路生成方法は、周辺環境を認識しにくい環境、例えば、車線が存在しなかったり、複雑な道路環境では経路を生成することができない。

高精度道路地図は、正確な車線情報と自動車運行に必要な各種の情報等、例えば、信号灯の位置や停止線の位置、車線変更が可能かどうか、左折が許可されている交差点であるかどうかなどの詳細な道路情報と、3次元の精密位置情報を一緒に提供する地図である。このような高精度道路地図のおかげで、自律走行自動車はより安定した自律走行が可能になる。自律走行車の制御に活用される高精度道路地図(HD MAP)は、自律走行のために、センチメートル(cm)水準の精密度を備えた3D(3次元)立体地図である。一般1/1000の数値地形図（デジタル地図）の正確度が70cmであれば、高精度道路地図は25cm以内で、より精密度が高い。1〜2.5メートルの正確度を持つナビゲーションマップの10倍である。

また、高精度道路地図は、前方衝突への警告、車線逸脱への警告などの安全機能を持つダッシュボード用のカメラを通じて、正確な位置情報に基づいた道路上のイベント情報を収集する場合にも活用できる。加えて、カメラを装着したコネクテッドカー（Connected Car）の情報交換や、カメラを装着した多様な法人所有の車両を利用して、道路の各種施設物、イベント情報を収集する場合の正確な位置決定に活用できる。

現在、高精度道路地図の構築には、移動型測量システムである「MMS(Mobile Mapping System、移動地図製作システム)」装備が使用される。車両などの移動体に搭載されるMMSは、デジタルカメラ、3次元のレーザスキャナシステム（LiDAR、ライダー）、衛星航法装置（GNSS（Global Navigation Satellite System））、慣性測定装置（IMU（Inertial Measurement Unit））などが結合された「移動型3次元空間情報システム」である。時速40~100kmで運行する車両で、360度の全方位撮影ができる。MMSは、尖端技術を備えただけに、通常一台当たり10億もする高価な装備である。このようなMMSの装備では、高精度道路地図の構築や更新に、非常に多い人手やコストがかかる。特に、道路の状態に変化が生じた場合、高精度道路地図を迅速に更新できず、高精度道路地図に依存して自律走行をする車には、かえって安全を阻害する要因になることがある。

したがって、高精度道路地図の基本情報が構築されている状態で、当該高精度道路地図に含まれているオブジェクト情報の変化を検出し、これを更新しようとする目的に適合すると同時に、装置コストと通信負荷を下げることができる新しい技術が求められている状況である。

韓国公開特許第10−2014−0072763号「映像情報と航空写真データを比較して、対象オブジェクトを決定し、カメラの取得情報を利用して対象オブジェクトの3次元座標を取得する数値地図製作システム」

自律走行のための高精度道路地図の測定のため、ライダを含む高価なセンサーを含む様々なセンサ等と高解像度の映像情報を生成するカメラを利用して，大容量のデータをローカル記憶装置（車両内）に保存したり、サーバに伝送する方式で動作する既存のMMS（Mobile Mapping System）は、随時に変更される道路関連の隣接オブジェクト等の変化を検知し、既に生成された高精度道路地図を更新するための目的としては、過度なコストとネットワーク負荷を発生させる。 従って、本発明の実施形態等の目的は、すでに作成された高精度道路地図で随時に変化する道路関連の隣接オブジェクト等の変化をカメラの映像を通し検知するが、過度なネットワーク負荷を発生させる全体センシング情報の代わりに、オブジェクトの変化に関連して検知された結果だけサーバに伝送されることにより、オブジェクトの変化検知のための装置コストを下げ、ネットワーク負荷を最小化し、運用負担を減らせるようにした高精度道路地図の更新のためのオブジェクトの変化検知システム及びその方法を提供するものである。

本発明の一実施形態に係る高精度道路地図の更新のためのオブジェクトの変化検知システムは、車両に固定されたカメラで撮影された道路映像の道路施設物オブジェクトと高精度道路地図を比較して、オブジェクトの変化を検知する少なくとも一つ以上の変化検知装置を含むシステムであり、上記の変化検知装置は、地図更新サーバから各道路施設物オブジェクトの属性と特徴点の空間座標を含む高精度道路地図を受信して保存する地図情報保存部と、 上記の道路映像から少なくとも一つ以上の道路施設物オブジェクトを認識し、認識されたオブジェクトの属性と特徴点の空間座標を取得するオブジェクト座標取得部と、及び上記の認識されたオブジェクトの属性及び特徴点の空間座標を上記の高精度道路地図のオブジェクトと相互に比較して、変化オブジェクトが検知された場合、上記の変化オブジェクトの属性と特徴点の空間座標と変化オブジェクトの映像を含むオブジェクト変化情報を上記の地図更新サーバに伝送する変化オブジェクト探知部を含むが、上記の変化オブジェクトは、オブジェクト属性の変更、新規オブジェクトの生成、及び既存オブジェクトの削除のうち、いずれかであることを特徴とする。

上記のオブジェクト座標取得部は、GCP（ground control point）オブジェクト及び一般オブジェクトのうち少なくとも一つを含む道路施設物オブジェクトと属性を上記の道路映像のフレームごとに認識するオブジェクト認識部と、上記の道路映像で少なくとも一つ以上の道路施設物オブジェクトの特徴点を抽出する特徴点抽出部と、上記の特徴点を上記の道路映像の連続的なフレームでマッチングしてトラッキングする特徴点トラッキング部と、上記のトラッキングされた特徴点から予測されたカメラのポーズ情報及び計算されたカメラのポーズ情報の差が最小化されるように、上記の特徴点の相対空間座標を取得する座標決定部及び、上記のGCPオブジェクトが認識されると、絶対空間座標値を既に知っている上記のGCPオブジェクトの座標点を基準に、上記の特徴点の相対空間座標を補正して上記の特徴点の絶対空間座標を取得する補正部を含むことができる。

上記の地図更新サーバは、上記の少なくとも一つ以上の変化検知装置から上記のオブジェクト変化情報を収集し、上記のオブジェクト変化情報の変化オブジェクトを候補者とする候補グループ情報を生成し、上記の変化検知装置に配布する候補グループ生成部を含み、上記の変化検知装置は、上記の候補グループ情報に含まれている候補者のいずれかに近付くと、上記の候補者に対する候補者映像を上記の地図更新サーバに伝送することができる。

上記の地図更新サーバは、上記の候補者映像の候補者が障害物によって遮られていない場合にのみ、本当の変化オブジェクトであるかどうかを確認する候補者確認部、及び本当の変化オブジェクトと確認されると、確認された変化オブジェクトに対して、上記の高精度道路地図を更新する地図更新部をさらに含み、上記の更新された高精度道路地図は、上記の少なくとも一つ以上の変化検知装置に配布されることができる。

上記の候補グループ情報は、特定の候補者に対する映像の伝送を保留させる非活性化リストを含み、上記の地図更新サーバは、同一候補者に対して、少なくとも二つ以上の変化検知装置から収集した候補者映像で、上記の同一候補者が障害物に遮られて全く認識されていない場合は、上記の同一候補者を事前に設定された時間の間、上記の非活性化リストに含めることができる。

上記の変化検知部は、上記の道路映像の各フレームごとに認識されたオブジェクトの属性及び特徴点の空間座標を上記の高精度道路地図のオブジェクトと相互に比較するが、少なくとも一つ以上のフレームでオブジェクトが一致すると判断されると、オブジェクトに変化がないと判断することができる。

また、本発明の一実施形態に係る高精度道路地図の更新のためのオブジェクトの変化検知方法は、少なくとも一つ以上の変化検知装置によって実行される方法であって、（a）地図更新サーバから各道路施設物オブジェクトの属性と特徴点の空間座標を含む高精度道路地図を受信して保存する段階と、（b）車両に固定されたカメラで撮影された道路施設物オブジェクトの画像を含む道路映像で、少なくとも一つ以上の道路施設物オブジェクトを認識し、上記の認識されたオブジェクトの属性と特徴点の空間座標を取得する段階、及び（c）上記の認識されたオブジェクトの属性及び特徴点の空間座標と上記の高精度道路地図のオブジェクトを相互に比較して、変化オブジェクトが検知された場合、上記の変化オブジェクトの属性と特徴点の空間座標と変化オブジェクトの映像を含むオブジェクト変化情報を上記の地図更新サーバに伝送する段階を含み、上記の変化オブジェクトは、オブジェクト属性の変更、新規オブジェクトの生成、及び既存オブジェクトの削除のうち、いずれかであることを特徴とする。

本発明は、既に製作された高精度道路地図で道路施設物オブジェクト等の変化を低価なセンサ等を通じて検知するが、過度なネットワーク負荷を発生させる全体センシング情報の代わりに、オブジェクトの変化に関連して、プローブ車両に装着された装置で処理された結果のみサーバに伝送することによって、オブジェクト変化検知のための装置コストを下げ、ネットワークの負荷を最小化し、運用負担を減らすことができるため、自律走行の普及と商用化を促進させる効果がある。

また、本発明は、映像情報で既に高精度道路地図に存在する精密空間座標の属性を持つオブジェクト等を区分し、それらを基準に関心オブジェクトに対する空間位置を算出するようにするが、累積測定情報を利用して、オブジェクトの変化を確認することにより、新規オブジェクトと既存オブジェクトの変化を比較的低い精度を持つセンサーを利用しながらも信頼できるレベルの品質管理が可能になり、低いコストでも信頼性の高い高精度道路地図を持続的に提供することができる効果がある。

本発明に係る高精度道路地図の更新のためのオブジェクトの変化検知システムを例示する説明図 本発明に係る変化検知装置の構成を示すブロック図 本発明に係る変化検知装置で変化検知部の構成を示すブロック図 図3におけるオブジェクト座標取得部を示すブロック図 本発明に係る地図更新サーバの構成を示すブロック図 本発明に係る高精度道路地図の更新のためのオブジェクト変化検知の方法を示す流れ図 図6におけるオブジェクト座標を取得する過程を示す流れ図

まず、本発明における用語について整理する。
道路施設物オブジェクトとは、精密地図に含まれている施設物として、路面表示、注意表示、規制表示、指示表示、補助表示、表示板、信号灯、街灯、支柱、マンホール、縁石、中央分離帯、消火栓、及び建物のうち、少なくとも一つを含む。 このような道路施設物オブジェクトは、道路の路面上に固定されたり、表示されることができ、また信号灯、建物の一部特徴点、または看板のように空中に浮いている施設物や、その施設物に表示されることもある。

即ち、道路施設物オブジェクトとは、精密地図に含まれる全ての種類の施設物を意味し、各種路面表示、注意表示、規制表示、指示表示、補助表示、表示板、信号灯、街灯、支柱、マンホール、縁石、中央分離帯、消火栓、建物、建物の看板などを含む概念であり、本発明では、これらのオブジェクトのうち、少なくとも一つ以上が活用できる。 例えば、道路の路面上に表記されている中央線、実線、破線、左折矢印、直進矢印、徐行表示菱形、速度制限区域など、道路路面に表示できるすべての表示が施設物オブジェクトに含まれ、道路や地上に設置された街灯、支柱、マンホール、消火栓、縁石、中央分離帯、表示板などの構造物とその構造物上の各種表示、そして信号灯に設置された各種の表示板と表示、建物などもすべて含まれる。

地上基準点(GCP、Ground Control Point)は、絶対標定に使用される既存に正確な座標が知られている座標点を意味する。 本発明では、道路施設物オブジェクトのうち、マンホールの蓋、消火栓、道路構造物の端部及び継手、路面の排水構造物がGCPオブジェクトとして使われることができる。

高精度道路地図は、各道路施設物オブジェクトに対して、当該オブジェクトの属性及び当該オブジェクトの特徴点の空間座標情報がデータベース化された地図情報であり、道路地図に含まれる各道路施設物オブジェクトの特徴点は、当該特徴点の空間座標情報と一対一に対応している。ここで、道路施設物オブジェクトの特徴点(feature point)とは、道路施設物の特徴的な地点を意味するもので、道路施設物オブジェクトの画像で色や明るさの変化がはっきりしていて、境界が明確に区分される内部または外部の頂点や外郭線のうち、はっきりと区分できる点が特徴点となりえる。結局、道路施設物オブジェクトの特徴点は、道路施設物オブジェクトの頂点や角の任意の点となることができる。

このような、高精度道路地図は、車両の自律走行に必要なすべての道路施設物オブジェクトに対する情報を精密に製作した電子地図であり、自律走行車、コネクテッドカー、交通管理、道路のメンテナンスなどに活用される。

図1は、本発明に係る高精度道路地図の更新のためのオブジェクトの変化検知システムを例示する図である。
図1を参照すると、高精度道路地図の更新のためのオブジェクトの変化検知システムは、少なくとも一つ以上の変化検知装置（100_1〜100_n）及び地図更新サーバ（200）を含む。

変化検知装置（100_1〜100_n）は、プローブ車両に装着され道路を撮影した映像から、道路路面や空中に浮いている道路施設物オブジェクトの属性と空間座標を取得し、取得された道路施設物オブジェクトの属性と空間座標を高精度道路地図と相互に比較し、オブジェクトの変化を検知して検出する装置である。

ここで、オブジェクトの変化とは、i）道路施設物オブジェクトの属性が変更された場合、ii）既存になかった道路施設物オブジェクトが新たに生じる場合、及びiii）既存に存在した道路施設物オブジェクトがなくなる場合のうちいずれかを意味する。たとえば、既存になかった車線ができたり、既存の車線種類が変更されたり、信号灯の位置が変更されるなど、様々な場合がある。

変化検知装置（100_1〜100_n）で検知された道路施設物オブジェクトの変化に対する情報は地図更新サーバ（200）に伝送され、地図更新サーバ（200）は、各変化検知装置（100_1〜100_n）からオブジェクトの変化に対する情報を収集して分析し、最終的に高精度道路地図に含まれている道路施設物オブジェクトに変化があるかどうかを判断する。道路施設物オブジェクトに変化があると判断されれば、地図更新サーバ（200）は、高精度道路地図を新たに更新し、更新された高精度道路地図を全ての変化検知装置（100_1〜100_n）に配布する

多数のプローブ車両にそれぞれ変化検知装置（100_1〜100_n）を装着し、変化検知装置（100_1〜100_n）が、プローブ車両が走行する間に撮影された道路映像で連続的に認識される各道路施設物オブジェクトの属性と特徴点の空間座標を高精度道路地図の各オブジェクトと比較する過程を繰り返すことで、高精度道路地図に含まれている道路施設物オブジェクトの変化を効果的に検知し、更新することができるだけでなく、多数の変化検知装置を利用して、広いエリアの高精度道路地図も迅速に更新することができる。

図2は、本発明に係る変化検知装置の構成を示すブロック図である。
図2を参照すると、本発明に係る変化検知装置（100）は、変化検知部（110）を含み、加えて、カメラ（120）、通信部（130）、GNSS受信機（140）及び保存部（150）のうち、少なくとも一つをさらに含むことができる。図面に図示されてないが、本発明に係る変化検知装置(100)は、IMU(Inertial Measurement Unit)をさらに含むことができる。

変化検出部（110）は、プローブ車両に固定されたカメラで撮影された道路映像から道路施設物オブジェクトと属性を認識し、認識された情報と高精度道路地図のオブジェクトを相互に比較して、道路施設物オブジェクトの変化を検知する役割を遂行する。

カメラ（120）は、プローブ車両に固定装着され、車両の前方を撮影して、道路施設物オブジェクトの画像を含む道路映像を生成する。生成された道路映像は変化検知部（110）に伝達される。

通信部（130）は、地図更新サーバ（200）と通信する役割を遂行し、地図更新サーバ（200）から高精度道路地図を受信し、地図更新サーバ（200）で道路施設物オブジェクトが変化された場合、変化されたオブジェクトの属性と変化されたオブジェクトの特徴点の空間座標と変化されたオブジェクトの映像を含むオブジェクト変化情報を伝送する。後述するが、地図更新サーバ（200）から変化オブジェクトの候補者に対する候補グループ情報も受信する。

GNSS受信機（140）は、定期的にGNSS位置情報を取得する役割を遂行し、特にカメラ（120）の撮影時点と同期化された時点のカメラ（120）の撮影位置に対するGNSS位置情報を取得することができる。GNSS（Global Navigation Satellite System）は、人工衛星を利用して位置を確認するシステムであり、一般的にGPS（Global Positioning System）が利用される。

保存部（150）は、高精度道路地図、カメラ（120）で撮影された道路映像、及び変化オブジェクトに対するオブジェクト変化情報を保存することができる。

図3は、本発明に係る変化検知装置で変化検知部の構成を示すブロック図である。
図3を参照すると、変化検知部（110）は、地図情報保存部（111）、オブジェクト座標取得部（112）、変化オブジェクト検知部（113）、候補者グループ受信部（114）及び候補者映像収集部（115）のうち、少なくとも一つを含む。

地図情報保存部（111）は、各道路施設物オブジェクトの属性と特徴点の空間座標を含む高精度道路地図を地図更新サーバ（200）から受信して保存する。地図更新サーバ（200）は、高精度道路地図が新たに構築されたり、道路施設物オブジェクトの変更により高精度道路地図が更新されるたびに、高精度道路地図を各変化検知装置（100_1〜100_n）に配布し、各変化検知装置（100_1〜100_n）は、更新された高精度道路地図を受信し、地図情報保存部（111）に保存する。

オブジェクト座標取得部（112）は、道路映像から少なくとも一つ以上の道路施設物オブジェクトを認識し、認識されたオブジェクトの属性と特徴点の空間座標を取得する役割を遂行し、詳細な内容は後述するようにする。

変化オブジェクト検知部（113）は、認識されたオブジェクトの属性及び特徴点の空間座標を上記の高精度道路地図のオブジェクトと相互に比較して、変化オブジェクトが検知された場合、上記の変化オブジェクトの属性と変化オブジェクトの特徴点の空間座標と変化オブジェクトの映像を含むオブジェクトの情報を地図更新サーバ（200）に伝送する役割を遂行する。

オブジェクト座標取得部（112）で認識された道路施設物オブジェクトの特徴点の空間座標と高精度道路地図のオブジェクトの特徴点の空間座標は正確に一致しないため、変化オブジェクト検知部（113）は、認識された道路施設物オブジェクトの特徴点の空間座標とそれに対応する高精度道路地図におけるオブジェクトの特徴点の空間座標の差が限界範囲以下の場合、道路施設物オブジェクトの空間座標が一致すると判断する。

一方、前述したように、オブジェクトの変化は、i）道路施設物オブジェクトの属性が変更された場合、ii）既存になかった道路施設物オブジェクトが新たに生じる場合、及びiii）既存に存在していた道路施設物オブジェクトがなくなった場合のうち、いずれかを意味する。

従って、変化オブジェクト検知部（113）は、すべての認識された道路施設物オブジェクトの属性及び特徴点の空間座標を高精度道路地図におけるオブジェクトと対応させ、オブジェクトの有無、属性が変更したかどうか、オブジェクト特徴点の空間座標が変化したかどうかを確認して、オブジェクトが変化したかどうかを判断する。

また、変化オブジェクト検知部（113）は、道路映像の各フレームごとに認識されたオブジェクトの属性及び特徴点の空間座標を高精度道路地図のオブジェクトと相互に比較するが、少なくとも一つ以上のフレームでオブジェクトが一致すると判断されると、当該オブジェクトに変化がないと判断することができる。いくつかの理由で道路映像の一部のフレームで、道路施設物オブジェクトが認識されないことがある。結局、少なくとも一つ以上の道路映像フレームから、道路施設物オブジェクトの属性及び特徴点の空間座標が認識され、認識されたオブジェクトが高精度道路地図のオブジェクトと一致すると判断されると、当該オブジェクトに変化がないと判断される。

候補グループ受信部（114）は、地図更新サーバ（200）から、各オブジェクト変化情報の変化オブジェクトを候補者とする候補グループ情報を受信する。一方、後述するが、候補グルーム情報は、特定の候補者に対する映像の伝送を保留させる非活性化リストを含むことができる。

候補者映像収集部（115）は、候補グループ情報に含まれている候補者のいずれかに近付くと、当該候補者に対する候補者映像を地図更新サーバ（200）に伝送する。このとき、候補グループ情報に非活性化リストが含まれている場合は、非活性化リストに含まれている候補者に対しては事前に設定された時間の間、映像の伝送が保留されることがある。

図4は、図3におけるオブジェクト座標取得部を示すブロック図である。
図3を参照すると、オブジェクトの座標取得部（112）は、オブジェクト認識部（1121）、特徴点抽出部（1122）、特徴点トラッキング部（1123）、キーフレーム決定部（1124）、座標決定部（1125）と補正部（1126）のうち少なくとも一つを含むことができる。

オブジェクト認識部（1121）は、道路映像の各フレームでGCP（ground control point）オブジェクト及び一般オブジェクトのうち、少なくとも一つを含む道路施設物オブジェクトとその属性を認識する。オブジェクト認識部（1121）は、ディープラーニングを含むマシンラーニング又は様々な映像処理技法を通じて、道路映像から道路施設物オブジェクト及びその属性を認識する。

一方、オブジェクト認識部（1121）は、道路映像のレンズによる歪みを補正して、道路映像から車両、二輪車や人などの移動オブジェクトを検出し、これを除去及び排除することにより、地上や空中に固定されている道路施設物オブジェクトを効果的に認識することができる。

特徴点抽出部（1122）は、道路映像で少なくとも一つ以上の道路施設物オブジェクトの特徴点を抽出する。このとき、特徴点抽出部（1122）は、オブジェクト認識部（1121）を通じて認識された道路施設物オブジェクトの数多い特徴点を抽出する。特徴点を検出するのにFAST（Features from Accelerated Segment Test）アルゴリズムやORB（Oriented FAST and Rotated BRIEF）アルゴリズムをはじめ、SIFT（Scale-Invariant Feature Transform）、AGAST（Adaptive and Generic Accelerated Segment Test）、SURF（Speeded-Up Robust Features）、BRIEF（Binary Robust Independent Elementary Features）、Harris corner、Shi-Tomasi cornerなどの様々なアルゴリズムが適用されることができる。

特徴点トラッキング部（1123）は、道路映像の各フレームから抽出された道路施設物オブジェクトの特徴点を、道路映像の連続的な各フレーム上で相互にマッチング（matching）してトラッキング（tracking）する。

キーフレーム決定部（1124）は、座標決定部（1125）の演算量を減らすために、道路映像の各フレームでキーフレームを決定し、決定されたキーフレームでのみ、ポーズ取得部及び空間座標決定部の演算が実行されるように制御することができる。

このため、キーフレーム決定部（1124）は、道路映像の各フレームの特徴点を分析して、各フレーム間で特徴点の相対空間座標が基準範囲以上移動した場合のフレームをキーフレームに決定する。 キーフレームとは、道路映像の各画像フレームの中で変化が大きく発生するフレームを意味するので、特徴点の相対空間座標が基準範囲以上移動した場合が、キーフレームに決定されることができる。 特徴点の相対空間座標が基準範囲以上移動した場合とは、車両が一定距離以上を移動することになり、道路映像で特徴点の位置変化が基準範囲以上移動されたことを意味する。車両が停止していたり、非常に低速で移動する場合のように、変化がほとんどない道路映像の特徴点をトラッキングすることはあまり意味がないので、車両が一定距離以上移動した後のフレームをキーフレームに決定し、キーフレームだけを利用して、特徴点をトラッキングすることにより、演算量を軽減することができる。

また、キーフレーム決定部（1124）は、複数のキーフレームに同時に存在する同一特徴点をタイポイントと決定し、決定されたタイポイントを除いた特徴点を削除して演算量をさらに軽減することができる。

座標決定部（1125）は、トラッキングされた特徴点から予測されたカメラのポーズ情報及び計算されたカメラのポーズ情報の差が最小化されるように、特徴点の相対空間座標を取得する。このとき、座標決定部（1125）は、道路映像の各フレームごとに、道路施設物オブジェクトの特徴点の相対空間座標または絶対空間座標を決定することができる。

補正部（1126）は、GCPオブジェクトが認識されると、空間座標を既に知っているGCPオブジェクトの座標点を基準に、特徴点の相対空間座標を補正し、特徴点の絶対空間座標を取得する。

道路施設物オブジェクトは、地面及び空中のいずれかに固定されているオブジェクトなので、道路映像に存在する道路施設物も路面に位置したり、空中に浮いたりすることができる。

座標決定部（1125）は、道路施設物オブジェクトの属性から、道路映像に含まれている道路施設物オブジェクトが路面に位置している路面オブジェクトであるか、あるいは、空中に浮いている空中オブジェクトであるかどうかを区分することができる。

道路施設物オブジェクトの位置が判別されると、座標決定部（1125）は、次の二つの方式で道路施設物オブジェクトの特徴点の空間座標を決定することができる。

一つ目の方式は、路面オブジェクト及び空中オブジェクトの空間座標をすべて決定できる方式であり、道路映像の各フレームでカメラのポーズ情報で空間座標を知らない各空中オブジェクトの空間座標を決定する方式である。

道路映像の連続するフレームまたはキーフレームで各特徴点をトラッキングすると、各映像フレームの対応関係を追跡し、各特徴点の位置やカメラのポーズ情報が予測できる。

このとき、映像フレームの対応関係から予測された特徴点の位置やカメラのポーズ情報と、実際の道路映像の各フレームで計算された各特徴点の位置やカメラのポーズ情報には差が発生することができ、これらの値の差を最小化する過程で、道路映像の各フレームで各特徴点の相手空間座標及びカメラの相手ポーズ情報が取得できる。

ただし、取得した特徴点の空間座標とポーズ情報は、基準位置や基準ポーズに対する相対的な値で表現できるので、ある時点である特徴点の絶対空間座標やカメラの正確なポーズ情報を知ると、取得した特徴点の相手空間座標とカメラの相手ポーズ情報が正確な値に補正できる。

GCPオブジェクトには、すでに絶対空間座標を知っている座標店が存在し、このようなGCPオブジェクトの属性及びGCPオブジェクトで絶対空間座標が分かる座標点に対する情報は、あらかじめ地図生成装置に保存されている。

従って、GCPオブジェクトが認識されると、座標決定部（1125）は、すでに空間座標を知っている、少なくとも四つの座標点を検出し、検出された少なくとも四つの座標点からピンホールカメラモデル（pin hole camera model）を利用して、カメラのポーズ情報を取得する。

カメラのポーズ情報は、カメラの位置と姿勢に対する情報であり、カメラの空間座標とロール(roll)、ピッチ(pitch)、及びヨー(yaw)に対する情報を含む。
次の[数式1]は、ピンホールカメラモデルを通じて、カメラの外部パラメータを取得することを示した数式である。

(数式1)で、Kはカメラの内部パラメータ(intrinsic parameter)を、[R|T]はカメラの外部パラメータを、Pwは3D空間座標を、Pcは3D空間座標に対応する2Dカメラ座標を、sは画像蓄積係数を示す。 カメラの外部パラメータは、2Dカメラ座標系と3Dワールド座標系の間の変換関係を説明するパラメータとして、カメラの設置位置及び姿勢(roll、pitch、yaw)に対する情報を含めており、両座標系の間の回転行列Rと平行移動変換行列Tで表現される。

(数式1)は、次の[数式2]のように表現されることができる。

ここで、（x、y、z）はワールド座標系の3D空間座標であり、fxはx軸方向の焦点距離、fyはy軸方向の焦点距離、（u、v）はカメラ座標系の2Dカメラ座標であり、γは非対称係数（skew coefficient）としてイメージセンサーセルアレイ(image sensor cell array)のy軸方向に傾いた程度であり、（u0、v0）は、カメラの主点（principal point）のカメラ座標である。

道路映像のフレームで少なくとも四つの地点の絶対空間座標を知っており、カメラの内部パラメータ（intrinsic parameter）と画像蓄積係数を知ることができるので、上記の数学式を通じて、カメラのポーズ情報を取得することができる。

補正部（116）は、このように取得されたカメラのポーズ情報を基準に、当該フレームで各特徴点の相対空間座標を補正して、絶対空間座標を取得することができる。後述するが、補正部（1126）は、他の方式を利用して特徴点の空間座標を補正することができるのはもちろんである。

そして、二つ目の方式は、路面に位置した路面オブジェクトの空間座標を決定するものであり、ホモグラフィ変換を通じて道路映像の各フレームで、空間座標を知らない各路面オブジェクトの空間座標を決定する方式である。

ホモグラフィ(Homography)は、路面オブジェクトの空間座標とプローブ車両の測位に利用されることができる。 一つの平面を他の平面に投影させると、投影された対応点等の間には一定の変換関係が成立するが、このような変換関係をホモグラフィと呼ぶ。

ホモグラフィ変換関数は、各次元映像と一つの絶対座標系(絶対空間座標)との関係を定義した関数でありうるため、ホモグラフィ変換関数はカメラの映像座標を絶対座標系の空間座標に変換することができる。 このような変換関係を利用して、あらかじめ空間座標を知っている四つの地点の空間座標と当該地点のカメラ座標から残りの路面のすべての地点の空間座標の計算が可能である。

前述したように、補正部（1126）は、道路映像の各フレームごとに収集された道路施設物オブジェクトの特徴点、及びカメラのポーズ情報に対する補正の過程を通じて、最終的に道路施設物オブジェクトの絶対空間座標を補正する役割を遂行する。
道路施設物オブジェクトの空間座標を補正する方式には、四つの方式が利用される。

第一に、各フレームごとのカメラのポーズ情報を束ねて実際の計算値と予測値の比較を通じて補正するローカルバンドル調整(LBA, local bundle adjustment)方式が利用されることができる。

第二に、道路映像から最初の開始点以後に新しいGCPオブジェクトが発見された場合には、決定されてきた特徴点の空間座標を新しいGCPオブジェクトの絶対空間座標値を基準に補正する方式が利用されることができる。座標決定部（1125）を通じて決定された空間座標値と新たに認識されたGCPオブジェクトの絶対空間座標値の誤差に基づいて、既存に取得された特徴点の空間座標が一括して補正されることができる。

第三に、プローブ車両が走行を開始した後、ある瞬間、過去に通過した地域を再通過する場合、プローブ車両が過ぎた経路でループ（loop）を形成するループ経路を決定し、過去に決定された道路施設物オブジェクトの特徴点の絶対空間座標と現在に決定された特徴点の絶対空間座標の差に基づいて、ループ経路に存在する道路施設物オブジェクトの特徴点の絶対空間座標を補正する方式が使用されることができる。
本発明では、上記の四つの方式のうち少なくとも一つの方式を利用して、道路施設物オブジェクトの特徴点の空間座標が補正されることができる。

図5は、本発明に係る地図更新サーバの構成を示すブロック図である。
図5を参照すると、地図更新サーバ（200）は、地図配布部（210）、候補グループ生成部（220）、候補者確認部（230）、及び地図更新部（240）のうち少なくとも一つを含む。

地図配布部（210）は、高精度道路地図が新しく構築されたり、道路施設物オブジェクトの変更により高精度道路地図が更新されるたびに高精度道路地図を各変化検知装置（100_1〜100_n）に配布する役割を遂行する。

候補グループ生成部（220）は、各変化検知装置（100_1〜100_n）から道路施設物オブジェクトの変化に対するオブジェクト変化情報を収集し、オブジェクト変化情報の変化オブジェクトを候補者に含む候補グループ情報を生成する。生成された候補グループ情報は、各変化検知装置（100_1〜100_n）に配布される。

一方、前述したように、各変化検知装置（100_1〜100_n）は、候補グループ情報に含まれる候補者のいずれかに近付くと、当該候補者に対する候補者映像を撮影して地図更新サーバ（200）に伝送する。

候補者確認部（230）は、各変化検知装置（100_1〜100_n）から受信した候補者映像を分析して、候補者映像に含まれた候補者が障害物によって遮られていない場合にのみ、候補者が本当の変化オブジェクトであるかどうかを確認することになる。

候補者確認部（230）は、ディープラーニングを含むマシンランニング、又は様々な映像処理技法を通じて候補者映像から障害物の属性を判断し、候補者が障害物によって遮られたかどうかを判断する。もし候補者オブジェクトがあるべき場所に車、二輪車、人など、様々な特定の障害物があって、候補者映像から候補オブジェクトが全く見えない場合は、候補者確認部（230）は、障害物があると判断し、それに応じて候補者オブジェクトが障害物によって遮られたものと判断する。候補者オブジェクトが障害物に遮られたと判断される場合には、候補者確認部（230）は、候補グループ情報を変更せずにそのまま置いて、他の変化検知装置から当該候補者映像を受信するまで待つ。

万が一、候補者映像から、障害物によって遮られていない映像フレームが検出されると、候補者確認部（230）は、当該映像フレームから候補者オブジェクトの属性、候補者オブジェクトの存在有無、候補者オブジェクトの特徴点の空間座標をそれに対応する高精度道路地図のオブジェクトと比較して、最終的に候補者オブジェクトに変化があるかどうかを判断することになる。

最終的に候補者オブジェクトに変化があると判断されれば、地図更新部（240）は、既存の高精度道路地図を当該変化内容に基づいて更新する。地図更新部（240）は、既存のオブジェクトの属性が変更されると、当該オブジェクトの属性を更新して、既存にあったオブジェクトがなくなれば、当該オブジェクトを高精度道路地図から削除し、新しい新規オブジェクトが表示されたら、新規オブジェクトを高精度道路地図に生成する方式で高精度道路地図を更新する。もちろん、候補者オブジェクトに変化があると判断されれば、候補者確認部（230）は、高精度道路地図を更新した後、候補グループ情報から候補者オブジェクトに対する情報を削除する。

一方、最終的に候補者オブジェクトに変化がないと判断されれば、候補者確認部（230）は、候補グルーム情報から当該候補者オブジェクトに対する情報を削除する。
一方、交通渋滞や道路工事などの理由で、特定の道路施設物オブジェクトが長時間障害物によって遮られることがある。

このような場合、当該道路施設物オブジェクトは、常にないと判断されて候補グループ情報に長時間含まれ、それによって各変化検知装置（100_1〜100_n）が当該道路施設物オブジェクトに近付くたびに、当該道路施設物オブジェクトを撮影した映像を地図更新サーバ（200）に伝送し、地図更新サーバ（200）は、それに対する分析を続けて行うことになる。

このような場合を防ぐために、候補者確認部（230）は、少なくとも二つ以上の変化検知装置から収集した候補者映像で、同一候補者が障害物に遮られて全く認識されない場合、当該候補者を事前に設定された時間の間、非活性化リストに含めることができる。

地図更新サーバ（200）は、候補グループ情報が更新されるたびに更新された候補グループの情報を、各変化検知装置（100_1〜100_n）に配布する。非活性化リストは候補グループ情報に含まれるので、非活性化リストに変更が生じるたびに更新された非活性化リストもまた、各変化検知装置（100_1〜100_n）に配布される。

各変化検知装置（100_1〜100_n）は、候補グループ情報に含まれている非活性化リストを参照して、非活性化にリストに含まれている候補者に対しては、映像撮影を保留する。

以下では、本発明に係る高精度道路地図の更新のためのオブジェクトの変化検知方法について説明する。本発明に係る高精度道路地図の更新のためのオブジェクトの変化検知方法は、本発明に係る高精度道路地図の更新のためのオブジェクトの変更検知システム及び変化検知装置によって行われる方法であり、実質的に同一の発明であるため、重複する説明は省略する。
図6は、本発明に係る高精度道路地図の更新のためのオブジェクトの変化検知方法を示した流れ図である。

まず、地図更新サーバ（200）は、高精度道路地図が新たに構築されたり、道路施設物オブジェクトの変更によって高精度道路地図が更新されるたびに、高精度道路地図を各変化探知装置（100_1〜100_n）に配布する（S100）。

変化検知装置（100_1〜100_n）は、道路映像から少なくとも一つ以上の道路施設物オブジェクトを認識し、認識されたオブジェクトの属性と特徴点の空間座標を取得する（S200）

そして、変化検知装置（100_1〜100_n）は、認識されたオブジェクトの属性及び特徴点の空間座標を地図更新サーバ（200）から受信した高精度道路地図のオブジェクトと相互に比較して、変化オブジェクトが検知された場合、当該変化オブジェクトの属性と特徴点の空間座標を含むオブジェクト変化情報を生成する（S300）。
変化オブジェクトに対する情報であるオブジェクト変化情報は、生成されるたびに地図更新サーバ（200）に伝送される（S350）。

地図更新サーバ（200）は、変化検知装置（100_1〜100_n）から受信した各変化オブジェクトのオブジェクト変化情報を含む候補グループ情報を更新して（S400）、更新された候補グループ情報を変化検知装置（100_1〜100_n）に配布する。

変化検知装置（100_1〜100_n）は、候補グループ情報に含まれている候補者のうちいずれかに近付くと、当該候補者を撮影して候補者の映像を生成し（S500）、これを地図更新サーバ（200）に伝送する（S550）。このとき、候補グループ情報に非活性化リストが含まれている場合、非活性化リストに含まれている候補者に対しては、事前に設定された時間の間、映像の伝送が保留されることができる。

地図更新サーバ（200）は、変化検知装置（100_1〜100_n）から受信した候補者の映像を分析して、候補者映像に含まれている候補者が遮られたかどうかを判断する（S600）。

もし、候補者オブジェクトがあるべき場所に自動車、二輪車、人など、様々な特定の障害物があって、候補者映像のどんなフレームでも候補者オブジェクトが全く見えない場合、地図更新サーバ（200）は、障害物があると判断し、それに応じて候補者オブジェクトが障害物によって遮られたものと判断する。候補者オブジェクトが障害物に遮られたと判断される場合、地図更新サーバ（200）は、候補グループ情報を変更せずにそのまま置いて、他の変化検知装置から当該候補者に対する映像を受信するまで待つ（S650）。

候補者映像で、障害物によって遮られていない映像フレームが検出されると、地図更新サーバ（200）は、当該映像フレームで候補者オブジェクトの属性、候補者オブジェクトの存在有無、候補者オブジェクトの特徴点の空間座標をそれに対応する高精度道路地図のオブジェクトと比較し、候補者オブジェクトに変化があって、最終的に高精度道路地図の更新が必要かどうかを判断する（S700）。

候補者オブジェクトに変化があり、最終的に高精度道路地図の更新が必要なものと判断されると、地図更新サーバ（200）は、既存の高精度道路地図を当該変化内容に基づいて更新する（S800）。地図更新サーバ（200）はオブジェクトの属性が変更されると、当該オブジェクトの属性を更新して、オブジェクトがなくなると、当該オブジェクトを高精度道路地図から削除し、新しいオブジェクトが表示されたら、そのオブジェクトを高精度道路地図に生成する。
その後、地図更新サーバ（200）は、更新された高精度道路地図をすべての変化検知装置（100_1〜100_n）に配布する（S850）

高精度道路地図が更新され配布されると、地図更新サーバ（200）は、候補グループ情報で、候補オブジェクトに対する情報を削除更新する（S900）。更新された候補グループ情報は、またすべての変化検知装置（100_1〜100_n）に配布される（S450）。

一方、候補オブジェクトに変化がなく、最終的に高精度道路地図の更新が必要ないと判断されれば、地図更新サーバ（200）は、候補グルーム情報から当該候補オブジェクトに対する情報を削除更新する（S900）。更新された候補グループ情報は、すべての変更検知装置（100_1〜100_n）に配布される（S450）。

図7は、図6におけるオブジェクト座標を取得する過程を示す流れ図である。
まず、変化検知装置（100）は、道路映像の各フレームでGCP（ground control point）オブジェクトと一般オブジェクトのうち、少なくとも一つを含む道路施設物オブジェクトと属性を道路映像のフレームごとに認識する（S210）。道路施設物オブジェクトを認識するためにディープラーニングを含むマシンラーニング及び様々な映像処理技法が利用されることができる。

そして、変化検知装置（100）は、道路映像から少なくとも一つ以上の道路施設物オブジェクトの特徴点を抽出する（S220）。

その後、変化検知装置（100）は、道路映像の各フレームから抽出されたすべての道路施設物オブジェクトの特徴点を、道路映像の連続的な各フレーム上で相互にマッチングしてトラッキングする（S230）。

特徴点をマッチングした後、変化検知装置（100）は、トラッキングされた特徴点から予測されたカメラのポーズ情報と計算されたカメラのポーズ情報の差が最小化されるように特徴点の相対空間座標を取得する（S240）。

そして、変化検知装置（100）は、GCPオブジェクトが認識されると、絶対空間座標値を既に知っているGCPオブジェクトの座標点を基準に、特徴点の相対空間座標を補正して特徴点の絶対空間座標を取得する（S250）

このように取得された道路施設物オブジェクトの属性及び特徴点の空間座標は、対応する高精度道路地図のオブジェクトと比較することに使われる。

本文書の様々な実施形態等及びこれに使用される用語等は、本文書に記載された技術的特徴等を特定の実施形態等に限定しようとするものではなく、当該実施形態の様々な変更、均等物、または代替物を含むものと理解されるべきである。

図面の説明に関連して、類似又は関連する構成要素については、類似の参照符号が使われる。 アイテムに対応する名詞の単数形は、関連する文脈上、明らかに異なる指示をしない限り、上記のアイテムの一個または複数個を含むことができる。 本文書において、 「A又はB」、「A及びBのうち少なくとも一つ」、「A又はBのうち少なくとも一つ」、「A、B又はC」、「A、B及びCのうち少なくとも一つ」及び「A、B、又はCのうち少なくとも一つ」といった文句等それぞれは、その文句等のうち、該当する文句と一緒に並べられた項目等のいずれか、又はそれらのすべての可能な組み合わせを含むことができる。「第1」、「第2」、または「一つ目」または「二つ目」のような用語等は、単純に当該構成要素を他の当該構成要素と区別するために使われることができ、当該構成要素等を他の側面(例えば、重要性又は手順)に限定しない。 ある(例えば、第1)構成要素が他の(例えば、第2)構成要素に、「機能的に」または「通信的に」という用語と一緒に、又はこのような用語無しに、「カップルド」または「コネクテッド」と言及された場合、それは上記のある構成要素が上記の他の構成要素に、直接的に（例えば、有線で）、無線で、又は第３構成要素を通じて繋がることができるのを意味する。

本文書の様々な実施形態等は、機器(machine)(例えば、電子装置(1401))によって読める記憶媒体(storage medium)(例えば、内蔵メモリ(1436)、または外付けメモリ(1438))に保存された一つ以上の命令語等を含むソフトウェア(例えば、プログラム(1440))として実装されることができる。 例えば、機器(例えば、電子装置(1401))の制御部(例えば、制御部(1420))は、記憶媒体から保存された一つ以上の命令語等のうち、少なくとも一つの命令を呼び出し、それを実行することができる。 これは、機器が上記の呼び出された少なくとも一つの命令語に従って、少なくとも一つの機能を実行するように運営されることを可能にする。 上記の一つ以上の命令語等は、コンパイラによって生成されたコード、またはインタプリタによって実行できるコードを含むことができる。機器で読み取れる記憶媒体は、非一時的（non-transitory）記録媒体の形で提供されることができる。ここで、「非一時的」とは、記憶媒体が実在（tangible）する装置であり、信号（signal）（例えば、電磁波）を含まないことを意味するだけであり、この用語は、データが記憶媒体に半永久的に保存される場合と、臨時的に保存される場合を区別しない。

一実施形態によれば、本文書に開示された様々な実施形態等に係る方法は、コンピュータプログラム製品（computer program product）に含まれて提供されることができる。コンピュータプログラム製品は、商品として販売者と購入者との間で取引されることができる。 コンピュータプログラム製品は、機器で読める記憶媒体（例えば、compact disc read only memory（CD-ROM））の形で配布されたり、又はアプリケーションストア（例えば、プレイストアTM）を通じて、又は二つのユーザ装置等（例えば、スマートフォン等）の間で直接、オンラインで配布（例えば、ダウンロードまたはアップロード）されることがある。 オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、メーカーのサーバ、アプリケーションストアのサーバ、または中継サーバのメモリのような、機器で読み取れる記憶媒体に少なくとも一時保存されたり、臨時的に生成されることができる。

様々な実施形態等によると、上述した構成要素等のそれぞれの構成要素（例えば、モジュールまたはプログラム）は、単数または複数の個体を含むことができる。 様々な実施形態等によると、前述した当該構成要素等のうち、一つ以上の構成要素等または動作等が省略されたり、又は一つ以上の他の構成要素等または動作等が追加されることがある。大体に、または追加的に、複数の構成要素等(例えば、モジュール又はプログラム)は、一つの構成要素として統合されることができる。 このような場合には、統合された構成要素は、上記の複数の構成要素等それぞれの構成要素の一つ以上の機能を、上記の統合以前に上記の複数の構成要素等のうち、当該構成要素によって遂行されるものと同一又は類似して行うことができる。 様々な実施形態等によると、モジュール、プログラム、または他の構成要素によって実行される動作等は、順次に、並列に、繰り返しに、又はヒューリスティックに実行されたり、上記の動作等のうち一つ以上が他の順序で実行されたり、省略されたり、又は一つ以上の他の動作等が追加されることがある。

100, 100_1〜100_n 変化検知装置
110 変化検知部
120 カメラ
130 通信部
140 GNSS 受信機
150 保存部
200 地図更新サーバ
210 地図配布部
220 候補グループ生成部
230 候補者確認部
240 地図更新部

Claims (6)

1. 車両に固定されたカメラで撮影された道路映像の道路施設物オブジェクトと高精度道路地図を比較して、オブジェクトの変化を検知する少なくとも一つ以上の変化検知装置を含むシステムであって、
   上記の変化検知装置は、
   地図更新サーバから各道路施設物オブジェクトの属性と特徴点の空間座標を含む高精度道路地図を受信して保存する地図情報保存部と、
   上記の道路映像から少なくとも一つ以上の道路施設物オブジェクトを認識し、認識されたオブジェクトの属性と特徴点の空間座標を取得するオブジェクト座標取得部と、及び
   上記の認識されたオブジェクトの属性及び特徴点の空間座標を上記の高精度道路地図のオブジェクトと相互に比較して、変化オブジェクトが検知された場合、上記の変化オブジェクトの属性と特徴点の空間座標と変化オブジェクトの映像を含むオブジェクト変化情報を上記の地図更新サーバへ伝送する変化オブジェクト探知部を含むが、
   上記の変化オブジェクトは、オブジェクト属性の変更、新規オブジェクトの生成、及び既存オブジェクトの削除のうちいずれかであり、
   更に、上記の地図更新サーバは、
   上記の少なくとも一つ以上の変化検知装置から上記のオブジェクト変化情報を収集し、上記のオブジェクト変化情報の変化オブジェクトを候補者とする候補グループ情報を生成し、上記の変化検知装置に配布する候補グループ生成部を含み、
   上記の変化検知装置は、上記の候補グループ情報に含まれている候補者のうちいずれかに近付くと、上記の候補者に対する候補者映像を撮影して、上記の地図更新サーバに伝送し、
   また、上記の地図更新サーバは、
   上記の候補者映像の候補者が障害物によって遮られていない場合にのみ、本当の変化オブジェクトであるかどうかを確認する候補者確認部と、
   本当の変化オブジェクトであると確認されると、本当の変化オブジェクトに対して、上記の高精度道路地図を更新する地図更新部をさらに含み、
   上記の更新された高精度道路地図は、上記の少なくとも一つ以上の変化検知装置に配布され、
   上記の候補グループ情報は、特定の候補者に対する映像の伝送を保留させる非活性化リストを含み、
   また、上記の地図更新サーバは、同じ候補者に対して、少なくとも二つ以上の変化検知装置から収集した候補者映像で上記の同じ候補者が障害物に遮られて全く認識されていない場合は、上記の同じ候補者を事前に設定された時間の間、上記の非活性化リストに含める
   ことを特徴とする高精度道路地図の更新のためのオブジェクト変化検知システム。
2. 上記のオブジェクト座標取得部は、
   GCP（ground control point）オブジェクトと一般オブジェクトのうち少なくとも一つを含む道路施設物オブジェクトと属性を上記の道路映像のフレームごとに認識するオブジェクト認識部と、
   上記の道路映像の少なくとも一つ以上の道路施設物オブジェクトの特徴点を抽出する特徴点抽出部と、
   上記の特徴点を上記の道路映像の連続的なフレームでマッチングしてトラッキングする特徴点トラッキング部と、
   上記のトラッキングされた特徴点から予測されたカメラのポーズ情報及び計算されたカメラのポーズ情報の差が最小化されるように、上記の特徴点の相対空間座標を取得する座標決定部と、及び
   上記のGCPオブジェクトが認識されると、絶対空間座標値を既に知っている上記のGCPオブジェクトの座標点を基準に、上記の特徴点の相対空間座標を補正して上記の特徴点の絶対空間座標を取得する補正部を含む
   請求項1に記載のオブジェクト変化検知システム。
3. 上記の変化検知部は、
   上記の道路映像の各フレームごとに認識されたオブジェクトの属性及び特徴点の空間座標を、上記の高精度道路地図のオブジェクトと相互に比較するが、少なくとも一つ以上のフレームでオブジェクトが一致すると判断されると、オブジェクトに変化がないと判断する
   請求項１に記載の高精度道路地図の更新のためのオブジェクト変化検知システム。
4. 車両に固定されたカメラで撮影された道路映像の道路施設物オブジェクトと高精度道路地図を比較して、オブジェクトの変化を検知する少なくとも一つ以上の変化検知装置を含むシステムの制御方法であって、
   （a）地図更新サーバから各道路施設物オブジェクトの属性と特徴点の空間座標を含む高精度道路地図を受信して保存する段階と、
   （b）車両に固定されたカメラで撮影された道路施設物オブジェクトの画像を含む道路映像で、少なくとも一つ以上の道路施設物オブジェクトを認識し、上記の認識されたオブジェクトの属性と特徴点の空間座標を取得する段階、及び
   （c）上記の認識されたオブジェクトの属性及び特徴点の空間座標と上記の高精度道路地図のオブジェクトを相互に比較して、変化オブジェクトが検知された場合、上記の変化オブジェクトの属性と特徴点の空間座標と変化オブジェクトの映像を含むオブジェクト変化情報を上記の地図更新サーバに伝送する段階を含み、
   上記の変化オブジェクトは、オブジェクトの属性の変更、新規オブジェクトの生成、及び既存オブジェクトの削除のうち、いずれかであり、
   更に、上記の地図更新サーバが、上記の少なくとも一つ以上の変化検知装置から上記のオブジェクト変化情報を収集し、上記のオブジェクト変化情報の変化オブジェクトを候補者とする候補グループ情報を生成し、上記の変化検知装置に配布する段階と、
   上記の変化検出装置が、上記の候補グループ情報に含まれている候補者のうちいずれかに近付くと、上記の候補者に対する候補者映像を撮影して、上記の地図更新サーバに伝送する段階をさらに含み、
   また、上記の地図更新サーバが、上記の候補者画像の候補者が障害物によって遮られていない場合にのみ、本当の変化オブジェクトであるかどうかを確認する段階と、
   本当の変化オブジェクトで確認されると、上記の地図更新サーバが上記の本当の変化オブジェクトに対して、上記の高精度道路地図を更新する段階をさらに含み、
   上記の更新された高精度道路地図は、上記の少なくとも一つ以上の変化検知装置に配布され、
   上記の候補グループ情報は、候補者に対する映像の伝送を保留させる非活性化リストを含み、
   また、上記の地図更新サーバが、同一候補者に対して、少なくとも二つ以上の変化検知装置から収集した候補者映像で、上記の同一候補者が障害物に遮られて全く認識されない場合は、上記の同一候補者を事前に設定された時間の間、上記の非活性化リストに含める
   ことを特徴とする高精度道路地図の更新のためのオブジェクト変化検知システムの制御方法。
5. 上記の（b）段階は、
   GCP（ground control point）オブジェクト及び一般オブジェクトのうち、少なくとも一つを含む道路施設物オブジェクトと属性を上記の道路映像のフレームごとに認識する段階と、
   上記の道路映像で少なくとも一つ以上の道路施設物オブジェクトの特徴点を抽出する段階と、
   上記の特徴点を上記の道路映像の連続的なフレームでマッチングしてトラッキングする段階と、
   上記のトラッキングされた特徴点から予測されたカメラのポーズ情報及び計算されたカメラのポーズ情報の差が最小化されるように、上記の特徴点の相対空間座標を取得する段階、及び
   上記のGCPオブジェクトが認識されると、絶対空間座標値を既に知っている上記のGCPオブジェクトの座標点を基準に、上記の特徴点の相対空間座標を補正して上記の特徴点の絶対空間座標を取得する段階を含む
   請求項４に記載の高精度道路地図の更新のためのオブジェクト変化検知システムの制御方法。
6. 上記の（c）段階は、
   上記の道路映像の各フレームごとに認識されたオブジェクトの属性及び特徴点の空間座標を上記の高精度道路地図のオブジェクトと相互に比較するが、少なくとも一つ以上のフレームでオブジェクトが一致すると判断されると、オブジェクトに変化がないと判断する
   請求項４に記載の高精度道路地図の更新のためのオブジェクト変化検知システムの制御方法。
   

Images