JP7460660B2 - 航空写真を利用して三次元地図を生成する装置及びその方法 - Google Patents

航空写真を利用して三次元地図を生成する装置及びその方法 Download PDF

Info

Publication number
JP7460660B2
JP7460660B2 JP2021571489A JP2021571489A JP7460660B2 JP 7460660 B2 JP7460660 B2 JP 7460660B2 JP 2021571489 A JP2021571489 A JP 2021571489A JP 2021571489 A JP2021571489 A JP 2021571489A JP 7460660 B2 JP7460660 B2 JP 7460660B2
Authority
JP
Japan
Prior art keywords
map
graph
coordinates
point
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021571489A
Other languages
English (en)
Other versions
JP2022535033A (ja
Inventor
チェ,ソンウク
イ,ジンハン
キム,キソン
イ,ウンヒ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Labs Corp
Original Assignee
Naver Labs Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190087758A external-priority patent/KR102115004B1/ko
Application filed by Naver Labs Corp filed Critical Naver Labs Corp
Publication of JP2022535033A publication Critical patent/JP2022535033A/ja
Priority to JP2024005820A priority Critical patent/JP2024032805A/ja
Application granted granted Critical
Publication of JP7460660B2 publication Critical patent/JP7460660B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/004Map manufacture or repair; Tear or ink or water resistant maps; Long-life maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Description

本開示は、地図生成分野に係り、さらに具体的には、三次元地図を生成する装置及びその方法に関する。
一般的な三次元地図は、高価のMMS(mobile mapping system)装備を利用した地上測量に基づいて作製されている。それらMMS装備は、GPS(global positioning system)/INS(inertial navigation system)に基づく三次元走行経路において、LiDAR(light detection and ranging)またはカメラから得たポイントの三次元座標などを融合して三次元地図を作り出す。
また、該三次元地図の精度を高めるために、地上の補正点を活用し、三次元地図を最適化させる。従って、GPS/INSの測定結果が良好ではない場合、地図の信頼性も下がってしまうという問題が生じる。
一方、最近、低コストで迅速に広い地域の地図を作製する方法として、航空写真に基づく地図作製方法が提案された。当該方法は、高精密航空写真から、車線情報及び道路標示情報を図化する方式によって作製され、約10cm以内誤差を有する地図を迅速に作製することができる効率的な方法である。しかし、航空写真基盤の地図は、効率的に迅速に作製することが可能であるが、航空写真上で隠れた領域の図化が不可能であり、道路周辺の三次元情報などを獲得することができないという問題がある。
一実施形態による地図生成装置、及びそれによる三次元地図の生成方法は、高精度の三次元地図を低コストで迅速に生成することを技術的課題にする。
一実施形態による地図生成装置、及びそれによる三次元地図の生成方法は、航空写真だけでは識別することができない三次元情報を提供する三次元地図を生成することを技術的課題にする。
一実施形態による地図生成装置、及びそれによる三次元地図の生成方法は、航空レベルで獲得したデータ、及び地上レベルで獲得されたデータそれぞれの不足した部分を相互補完し、三次元地図を生成することにより、低コストで精度が高い三次元地図を生成することを技術的課題にする。
一実施形態による三次元地図の生成方法は、ノード、及び移動体に対するセンシングデータと係わる拘束ファクタを含む第1グラフを生成する段階と、前記生成された第1グラフに基づき、第1の三次元地図を生成する段階と、前記第1の三次元地図内の少なくとも1つのポイントの座標を、前記ポイントにマッチングされる航空地図内のポイントの座標に対応させる補正値を決定する段階と、前記第1グラフに、前記決定された補正値と係わる拘束ファクタが追加された第2グラフを決定する段階と、前記第2グラフに基づき、第2の三次元地図を生成する段階と、を含むものでもある。
一実施形態による地図生成装置、及びそれによる三次元地図の生成方法は、高精度の三次元地図を低コストで迅速に生成することができる。
一実施形態による地図生成装置、及びそれによる三次元地図の生成方法は、航空写真で識別することができない部分の三次元情報を提供する三次元地図を生成することができる。
一実施形態による地図生成装置、及びそれによる三次元地図の生成方法は、航空レベルで獲得したデータ、及び地上レベルで獲得されたデータそれぞれの不足した部分を相互補完し、三次元地図を生成することにより、低コストで精度が高い三次元地図を生成することができる。
ただし、一実施形態による地図生成装置、及びそれによる三次元地図の生成方法が達成することができる効果は、以上で言及したところに制限されるものではなく、言及されていない他の効果は、以下の記載から、本開示が属する技術分野において当業者であるならば、明確に理解することができるであろう。
本明細書で引用される図面をさらに十分に理解するために、各図面の簡単な説明が提供される。
一実施形態による、移動体及び地図生成装置を示す図面である。 一実施形態による、三次元地図の生成方法について説明するためのフローチャートである。 一実施形態による第1グラフを図示する図面である。 第1グラフ内に含まれたそれぞれのノードに対応する三次元サブ地図を図示する例示的な図面である。 一実施形態による第2グラフを図示する図面である。 一実施形態による、ポイントツーポイントマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、ポイントツーラインマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、ポイントツーラインマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、ラインツーラインマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、ラインツーラインマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、マーカーマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、マーカーマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、テンプレートマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、地図生成装置の構成を図示するブロック図である。
一実施形態による、三次元地図の生成方法は、ノード、及び移動体に対するセンシングデータと係わる拘束(constraint)ファクタを含む第1グラフを生成する段階と、前記生成された第1グラフに基づき、第1の三次元地図を生成する段階と、前記第1の三次元地図内の少なくとも1つのポイントの座標を、前記ポイントにマッチングされる航空地図内のポイントの座標に対応させる補正値を決定する段階と、前記第1グラフに、前記決定された補正値と係わる拘束ファクタが追加された第2グラフを決定する段階と、前記第2グラフに基づき、第2の三次元地図を生成する段階と、を含むことにもなる。
他の実施形態による地図生成装置は、プロセッサと、少なくとも1つのインストラクションを保存するメモリと、を含むものの、前記プロセッサは、前記少なくとも1つのインストラクションにより、ノード、及び移動体に対するセンシングデータと係わる拘束ファクタを含む第1グラフを生成し、前記生成された第1グラフに基づき、第1の三次元地図を生成し、前記第1の三次元地図内の少なくとも1つのポイントの座標を、前記ポイントにマッチングされる航空地図内のポイントの座標に対応させる補正値を決定し、前記第1グラフに、前記決定された補正値と係わる拘束ファクタが追加された第2グラフを決定し、前記第2グラフに基づき、第2の三次元地図を生成することができる。
本開示は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、それらについて、詳細な説明を介して説明する。しかし、それらは、本開示を特定の実施形態に限定するものではなく、本開示の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むものであると理解されなければならない。
本実施形態に係わる説明において、関連公知技術に係わる具体的な説明が、要旨を不必要に不明瞭にしてしまうと判断される場合、その詳細な説明を省略する。また、本実施形態の説明過程で利用される数(例えば、第1、第2など)は、1つの構成要素を他の構成要素と区分するための識別記号に過ぎない。
また、本明細書において、一構成要素が他の構成要素と「連結される」としたり、「接続される」としたりして言及されたときには、前記一構成要素が、前記他の構成要素と直接連結されるか、あるいは直接接続されもするが、特別に反対となる記載が存在しない以上、中間に他の構成要素を媒介して連結されるか、あるいは接続されもするということが理解されなければならないであろう。
また、本明細書において、「~部(ユニット)」、「モジュール」などに表現される構成要素は、2個以上の構成要素が1つの構成要素に合わされるか、あるいは1つの構成要素がさらに細分化された機能別に、2個以上に分化されもする。また、以下で説明する構成要素それぞれは、自体が担当する主機能以外にも、他の構成要素が担当する機能のうち、一部または全部の機能を追加して遂行することもでき、該構成要素それぞれが担当する主機能のうち一部機能が、他の構成要素によって専用担当されても遂行されるということは、言うまでもない。
また、本明細書において「グローバル(global)座標」は、不変の原点を基準にした所定客体の位置を示し、「絶対座標」とも参照される。所定客体のグローバル座標は、常時一定である。
また、本明細書において「ローカル(local)座標」は、可変の原点を基準にした所定客体の位置を示し、「相対座標」とも参照される。所定客体のローカル座標は、原点をどこに決定するかということによっても異なる。
以下、本開示の技術的思想による実施形態について順に詳細に説明する。
図1は、一実施形態による、移動体100及び地図生成装置200を示す図面である。
移動体100は、車両、ロボットまたはドローンなどでもある。図1を参照すれば、移動体100は、少なくとも1つのセンサを含んでもよい。該少なくとも1つのセンサを利用し、移動体100の移動によるセンシングデータが生成されうる。例えば、移動体100は、少なくとも1つのセンサとして、IMU(inertial measurement unit)センサ101、GPS(global positioning system)センサ102、ホイールエンコーダセンサ103、LiDAR(light detection and ranging)センサ104などを含んでもよい。ただし、移動体100に含まれるセンサは、それらに限定されるものではなく、それら以外にも、多様な種類のセンサが移動体100に含まれたり、図1に図示されたセンサのうち一部が、移動体100に含まれなかったりもする。少なくとも1つのセンサは、移動体100の内部または外部に位置することができる。
IMUセンサ101は、慣性測定手段として、加速度センサ及びジャイロセンサ(ジャイロスコープ)を含んでもよい。例えば、IMUセンサ101は、移動体100の回転角として、前進方向(ロール(roll)軸方向)、前進方向の右側方向(ピッチ(pitch)軸方向)、重力方向(ヨー(yaw)軸方向)それぞれの角速度増分値や、移動体100の速度増分値のようなセンシングデータを生成することができる。また、IMUセンサ101は、センシングデータを利用し、IMUオドメトリ(odometry)を生成することができる。すなわち、初期条件から、加速度と角速度との変化量を測定し、移動体100の移動方向及び移動距離などをIMUオドメトリとして提供することも可能である。
GPSセンサ102は、衛星と通信し、移動体100の指標上座標をセンシングデータに提供することができる。例えば、GPSセンサ102は、WGS84座標系の測地座標として、緯度、経度及び楕円体高などを提供することができる。
ホイールエンコーダセンサ103は、移動体100に具備されたホイール(wheel)の回転数を測定する。ホイールエンコーダセンサ103を利用すれば、移動体100の移動距離や移動速度などを測定することができる。
LiDARセンサ104は、レーザパルスなどを周辺に放射した後、反射して戻ってくる時間を測定し、移動体100周辺のポイントに係わるデプス情報を生成することができる。ここで、LiDARセンサ104を利用し、移動体100の回転量を測定したり、LiDARオドメトリ(LiDAR odometry)を生成したりすることもできる。従って、LiDARセンサ104を利用すれば、移動体100の移動方向、移動距離などを測定することができる。LiDARセンサ104として、SICKのMLS-511、VelodyneのVLP-16などを利用することができるが、それらに限定されるものではない。
さらには、移動体100は、カメラなどをさらに含んでもよく、該カメラを利用し、移動体100の移動に対応する映像を撮影することも可能である。その場合、該カメラから、移動体100のビジュアルオドメトリを生成することができる。
地図生成装置200は、移動体100に含まれたセンサによって生成されたセンシングデータを受信し、それを基に、第1グラフを生成する。ここで、該第1グラフは、後述する航空地図によって更新される前のグラフを意味する。グラフを活用すれば、移動体100の自由度値、例えば、6自由度値でもって、移動体100の座標値と姿勢値とを正確に予測することが可能である。
移動体100の座標値は、三次元座標上における位置を示すが、例えば、x軸上、y軸上及びz軸上の座標値を含んでもよい。また、移動体100の姿勢値は、移動体100のピッチ値、ロール値及びヨー値を含んでもよい。
地図生成装置200は、移動体100に結合され、移動体100と共に移動することができ、あるいは移動体100と分離され、移動体100から、センシングデータを有無線通信方法を介して受信することもできる。
図2は、一実施形態による、三次元地図の生成方法について説明するためのフローチャートである。
S210段階において、地図生成装置200は、ノード、及び移動体100に係わるセンシングデータと係わる拘束ファクタを含む第1グラフを生成する。該第1グラフによれば、ノードそれぞれに対応する移動体100の自由度値を予測することができる。以下において、該自由度値は、例えば、三次元座標上における位置値(x軸上、y軸上及びz軸上の座標値)と姿勢値(ピッチ値、ロール値及びヨー値)とを含む6自由度値を意味しうるが、それらに限定されるものではない。例えば、該自由度値は、x軸上の座標値、y軸上の座標値、z軸上の座標値、ピッチ値、ロール値及びヨー値のうち一部の値のみを含んでもよい。
まず、図3を参照し、第1グラフについて説明する。
図3は、一実施形態による第1グラフ300を図示する図面である。
地図生成装置200は、基準周期により、ノードを生成することができ、該基準周期と同期化されたセンシングデータを基に、ノードに対する拘束ファクタを設定し、グラフを生成することができる。ここで、地図生成装置200は、センシングデータのうちいずれか一つを基準データに設定することができ、該基準データの生成周期を、基準周期に設定することができる。すなわち、該基準データの生成周期によってノードを生成し、グラフに含めることができる。また。地図生成装置200は、該基準周期と同期化されたセンシングデータを、ノードの拘束ファクタとしてグラフに含めることができる。一実施形態において、IMUセンサ101のIMUオドメトリが基準データとしても決定される。
前述の例においては、基準データが決定された生成周期を有する場合の例を挙げて説明したが、他の例によれば、該基準データは、決定された距離間隔によっても収集される。その場合、地図生成装置200は、基準距離間隔ごとに収集される基準データそれぞれに対応するノードを生成し、グラフに含めることができる。地図生成装置200は、基準距離間隔ごとに生成されたノードのセンシング時点に同期化されたセンシングデータを、ノードの拘束ファクタとしてグラフに含めることができる。
センシングデータと係わる拘束ファクタは、単項(unary)ファクタと二項(binary)ファクタとにも区別される。ここで、単項ファクタは、センシングデータの生成時点における測定結果を示し、GPSセンサ102で測定した座標値などを含む。例えば、地図生成装置200は、GPSセンサ102によって生成された特定時点の移動体100の緯度座標値及び経度座標値を、ノードの単項ファクタとして追加することができる。
二項ファクタは、互いに異なるノードとの関係を拘束するファクタでもある。例えば、二項ファクタは、センシングデータの測定開始時点と測定終了時点との関係情報を測定結果として示すものであり、IMUセンサ101のIMUオドメトリなどがそれに該当する。すなわち、特定時点における加速度値ではなく、測定開始時点と測定終了時点との加速度変化量を利用した移動方向や移動距離などの情報が、二項ファクタに該当しうる。そのような情報は、相対的なポーズ(位置及び姿勢)情報とも表現される。
図3に図示されているように、地図生成装置200は、t=0時点において、まず第1ノード310を生成することができ、第1ノード310の初期条件を、第1ノード310の単項ファクタ311として設定することができる。その、t=5の時点において、第2ノード320を生成することができ、第1ノード310と第2ノード320とを連結する二項ファクタ315を設定することができる。ここで、基準周期は、5でもあり、t=0とt=5とのIMUオドメトリを二項ファクタとして設定することができる。そのように、基準周期ごとに、移動体100に対応するノードを新規生成し、それぞれのノードに、センシングデータに対応する拘束ファクタを設定し、移動体100に係わる第1グラフ300を生成することができる。
一実施形態において、t=0とt=5とに対応するノード310,320それぞれを生成した後、t=4の時点に対応する非同期センシングデータが地図生成装置200に入力される場合もある。ここで、第1グラフ300は、すでにt=5の時点まで生成された状態であるので、t=4の時点に対応する非同期センシングデータを反映させるためには、グラフを修正する必要がある。図3に図示されているように、地図生成装置200は、非同期センシングデータが生成されたt=4に対応する第3ノード330を新規生成することができ、t=4に対応する第3ノード330に、非同期センシングデータに対応する単項ファクタ331を設定することができる。そして、第2ノード320と第3ノード330との間に、二項ファクタ325を設定することができる。例えば、t=4に生成された非同期センシングデータがGPS座標である場合、t=4のGPS座標と、t=5におけるGPS座標とを比較した後、t=4のGPS座標からt=5のGPS座標まで進むためのホイールエンコーダ値などでもって、二項ファクタ325が設定されうる。
再び、図2を参照すれば、S220段階において、地図生成装置200は、第1グラフに基づき、第1の三次元地図を生成する。第1の三次元地図は移動体100が移動しながら、LiDARセンサ104などで確認したポイントの座標を含んでもよい。そこにおける座標は、三次元のグローバル座標でもある。すなわち、地図生成装置200は、第1グラフに基づき、ノードそれぞれに対応する移動体100の自由度値を算出し、移動体100を中心にセンシングされたポイントのローカル座標を、移動体100の自由度値により、グローバル座標に変更させることにより、第1の三次元地図を生成することができる。
地図生成装置200は、第1グラフに基づき、移動体100の自由度値を正確に予測するために、該第1グラフを最適化させることができる。
それについて具体的に説明すれば、n個のノードを有するグラフは、X=[X ,X ,…,X と示すことができる。該ノードは、特定の拘束ファクタによって連結関係を有し、それら拘束ファクタで構成されたグラフのエラーを最小化させるノードの自由度値が算出されうる。ノード間の連結関係は、グラフの構成要素のうち、エッジ(edge)に該当しうる。
グラフ最適化のために、下記数式1が利用されうる。
Figure 0007460660000001
前記数式1で、X及びXそれぞれは、時間i,jにおけるノードを意味し、センサから測定したノードの自由度値と、グラフ上におけるノードの自由度値との誤差がeijと表現される。グラフの最適化は、誤差eijを最小化させるグラフを算出するものである。ここで、Ωijは、センシングデータの情報マトリックス(information matrix)である。グラフの最適化は、ガウス・ニュートン法(Gauss-Newton Method)またはレーベンバーグ・マルカート)法(Levenberg-Marquardt Method)のような非線形最適化方法を介しても行われる。
図4は、第1グラフ内に含まれたそれぞれのノードに対応する三次元サブ地図(submap)を図示する例示的な図面であり、それぞれのノードに対応する時点において、LiDARセンサ104などから獲得したセンシングデータを基に、各ノードに対応する三次元サブ地図が生成されうる。このとき、ノードとノードとの間の特定時点に係わる移動体100の自由度値は、補間(interpolation)を介しても算出される。図4に図示されたサブ地図を累積し、グローバル地図が算出されうる。
再び図2を参照すれば、S230段階において、地図生成装置200は、第1の三次元地図内の少なくとも1つのポイントの座標と、航空地図内の少なくとも1つのポイントの座標に対応させる補正値を決定することができる。例えば、地図生成装置200は、第1の三次元地図内のポイントの座標を、航空地図内のポイントの座標に一致させるための補正値を決定することができる。該航空地図は、ドローン、人工衛星、飛行機のような飛行体によって獲得されたデータ、例えば、写真から生成された地図を含んでもよい。
第1の三次元地図と航空地図は、さまざまなポイントによってもなるが、各ポイントは、それに対応する座標、具体的には、グローバル座標を有する。前述のように、該第1の三次元地図は、グラウンドレベルにおいて、移動体100によってセンシングされたセンシングデータを基に生成されたものであるが、該グラウンドレベルにおいては、周辺障害物の影響により、衛星基盤測位データ(例えば、GPS)の信頼度が低いために、該第1の三次元地図内のポイント座標が不正確でもある。しかし、該グラウンドレベルより高い航空レベルにおいては、衛星基盤測位データの信頼度が該グラウンドレベルより高い。従って、一実施形態においては、座標の信頼度が高い航空地図を基準に、高精度の三次元地図を生成するための補正値を決定するのである。
該補正値は、第1グラフに基づいて算出されるノードの自由度値を補正するためのものであり、該補正値も、自由度値を含んでもよい。そのような補正値は、第1の三次元地図と航空地図とにおいて、互いにマッチングされる整合ポイントの座標間誤差に基づいても決定される。実空間において特定可能な対象、例えば、道路上に描かれたマーカー(marker)(車線、停止線、横断歩道、交通記号)などが、整合ポイントに、手動的あるいは自動的に指定されうる。
該補正値は、第1の三次元地図と航空地図とのポイントツーポイント(point to point)マッチング、ポイントツーライン(point to line)マッチング、ラインツーライン(line to line)マッチング、マーカーマッチングまたはテンプレート(template)マッチングなどを介しても算出されるが、それらについては、図6ないし図12を参照して後述する。
S240段階において、地図生成装置200は、補正値と係わる拘束ファクタを、第1グラフに追加することにより、第2グラフを決定する。ここで、該第2グラフは、第1グラフに拘束ファクタが新たに含まれることによって決定されたグラフを意味する。
一実施形態において、地図生成装置200は、補正値を、第1グラフに含まれた少なくとも1つのノードの単項ファクタとして、第1グラフに追加することができる。地図生成装置200は、該補正値が、どのサブ地図で決定されたものであるかということを考慮し、該第1グラフのノードのうち、単項ファクタと連結されるノードを選択することができる。例えば、該補正値が、図4のMtサブ地図で決定されたものであるならば、地図生成装置200は、補正値を、Xノードの単項ファクタとして、第1グラフに追加することができる。
また、一実施形態において、地図生成装置200は、第1グラフに含まれた少なくとも1つのノードの自由度値に、前記補正値を反映させた値を、少なくとも1つのノードの単項ファクタとして、第1グラフに追加することができる。地図生成装置200は、補正値が、どのサブ地図で決定されたものであるかということを考慮し、第1グラフのノードのうち、単項ファクタと連結されるノードを選択することができる。例えば、該補正値が、図4のMサブ地図で決定されたものであるならば、地図生成装置200は、Xノードの自由度値に該補正値を反映させた値を、Xノードの単項ファクタとして、第1グラフに追加することができる。
また、一実施形態において、地図生成装置200は、少なくとも1つのノードの座標と、第1の三次元地図内の整合ポイントの座標とに基づき、少なくとも1つのノードと、整合ポイントとの距離を算出し、算出された距離に反比例する信頼度を、少なくとも1つのノードの単項ファクタの一要素として、第1グラフに追加することもできる。前記第1の三次元地図内の整合ポイントは、航空地図とのマッチング過程を介して決定される。
一実施形態において、地図生成装置200は、図4に図示されたMサブ地図内において、整合ポイントが決定されれば、当該整合ポイントの座標に基づき、Xノードに、単項ファクタを追加することができる。該単項ファクタは、補正値と信頼度とを含んでもよい。例えば、該単項ファクタは、次のようにも表現される。
Unary_factor(symbol_id(X_t), pose, reliability)
ここで、symbol_id(x_t)は、単項ファクタが連結されるノードの情報に該当し、poseは、補正値に該当し、reliabilityは、信頼度に該当する。
該補正値は、Xノードの座標を補正するための値である。例えば、第1の三次元地図内の第1整合ポイントと、航空地図内の第2整合ポイントとが、実際に同一対象(例:車線)であると予想され、互いにマッチングされた状況を仮定する。このとき、該補正値は、第1整合ポイントの座標Aが第2整合ポイントの座標Bと同じになるように、Xノードの座標に、B-Aを加えるように設定された値でもある。第1の三次元地図内のポイントのグローバル座標は、ノードのグローバル座標、及びノードを基準にする各ポイントのローカル座標によって計算されるために、各ポイントのグローバル座標を補正するために、ノードのグローバル座標を補正する方式を選ぶことができるのである。
もし当該補正値により、100%満足されるようにグラフが最適化される場合(一般的には、拘束ファクタの数が多いために、1つのファクタにより、グラフが完全に最適化される可能性は高くない)、Xノードのグローバル座標がB-Aほど移動するならば、Xノードを基準に計算される第1整合ポイントの座標(グローバル座標)は、A+(B-A)=Bになり、マッチングされる航空地図内の第2整合ポイントのグローバル座標Bと一致することになる。
該信頼度は、グラフを最適化させるとき、当該単項ファクタの拘束力を、いかほど強く与えるかということを示す要素でもある。一例によれば、該信頼度は、補正値計算の基になる整合ポイントと、当該単項ファクタが連結されたノードとの距離に反比例するようにも設定される。それによれば、地図生成装置200は、第1の三次元地図内の第1整合ポイントの座標と、航空地図内の第2整合ポイントの座標との差に基づく補正値と、第1整合ポイントとXノードとの距離に反比例する信頼度と、を決定し、そのような補正値と信頼度とを含む単項ファクタを、Xノードの単項ファクタとして第1グラフに追加することができる。該信頼度は、前述の距離の長いほど小さい値を有することができるが、それは、ノードから遠く位置する整合ポイントを利用して計算した補正値であればあるほど、正確度が低いと見なし、グラフ最適化時、ノードに及ぼす影響力を低くするためである。
一例による信頼度を計算する方法は、下記数式2によっても表される。
Figure 0007460660000002
前記数式2において、Pは、ノード(X)の補正値決定の基になる第1の三次元地図内の第1整合ポイントの座標であり、P’は、第1整合ポイントにマッチングされる航空地図内の第2整合ポイントの座標であり、ms()は、PとP’とのマッチングスコア関数であり、d()は、ノード(X)と整合ポイント(P)とのユークリジアン距離であり、nは、整合ポイント数である。
マッチングスコアは、2つの整合ポイントがどれほど正確にマッチングされているかということを示す指標でもある。該マッチングスコアは、統計における残差(residual)のような役割を行う値でもある。例えば、第1整合ポイントと第2整合ポイントとの距離差が大きいほど、該マッチングスコアは、低く計算されうる。他の例によれば、第1整合ポイントと第2整合ポイントとのパターンの一致する程度が高いほど、該マッチングスコアは、高く計算されうる。該マッチングスコアの計算方法は、それらに限定されるものではない。
数式2によれば、信頼度(reliability)は、ノードXと第1整合ポイントとの距離の平均に反比例し、マッチングスコアに比例するように計算される。従って、平均距離が大きいほど、信頼度は低くなり、平均マッチングスコアが大きいほど、信頼度が高くなる。ρは、当該信頼度値のスケールを調整するための値である。
一例によれば、第1整合ポイントの座標Pと第2整合ポイントの座標P’との差が大きくないという仮定下において、前記数式2のd(X-P)は、d(X-P’)またはd(X-P”)にも代替されるのである。Pi”は、PとP’とを利用して計算されたさらに他の値、例えば、平均値でもある。
後述するように、第1の三次元地図内において、複数の整合ポイントが決定された場合、少なくとも1つのノードと、それぞれの整合ポイントとの距離の平均値に反比例する信頼度が、少なくとも1つのノードの単項ファクタの一要素にも設定される。また、第1の三次元地図内において、整合ラインが決定された場合、整合ラインに含まれたポイントそれぞれと、少なくとも1つのノードとの距離の平均値に反比例する信頼度が、少なくとも1つのノードの単項ファクタの一要素にも設定される。また、第1の三次元地図内において、複数の整合マーカーが決定された場合、複数の整合マーカーに含まれたポイントそれぞれと、少なくとも1つのノードとの距離の平均値に反比例する信頼度が、少なくとも1つのノードの単項ファクタの一要素にも設定される。
また、一実施形態において、地図生成装置200は、航空地図内の整合ポイントの座標を、複数のノードのランドマーク(landmark)として、第1グラフに追加することもできる。該ランドマークは一種の二項ファクタであり、複数のノードに係わる拘束ファクタとして機能することができる。一例によるランドマークは、ベアリング・レンジファクタ(bearing-range factor)として、第1グラフに追加されうる。
例えば、特定「車線」が整合ポイントに指定された場合を仮定すれば、第1の三次元地図において、当該車線のグローバル座標は、第1ノードを基準にしても計算され、第2ノードを基準にしても計算される。ところで、もし第1ノードと第2ノードとのグローバル座標が不正確であるならば、当該車線のグローバル座標は、どのノードを基準にするかということによって異なるようにも計算されることになる。一例によるランドマークは、当該車線が同一客体に該当するという拘束、すなわち、グローバル座標が同じであるという拘束を付与するものである。例えば、第1ノードと第2ノードとが同一車線をランドマークとして参照するということは、「第1ノードを基準として計算した車線のグローバル座標と、第2ノードを基準として計算した車線のグローバル座標とが同じである」という拘束がグラフに付与されたものでもある。ここに、当該車線の航空地図上の座標値(航空地図の座標がさらに正確であると仮定する)をランドマークに含めることになれば、「第1ノードを基準として計算した車線の座標と、第2ノードを基準として計算した車線の座標とが同じである」という条件に加え、そのような座標がいかなる値でなければならないかということも拘束することができる。
地図生成装置200は、第1グラフのノードにおいて、ランドマークと連結される複数のノードを選択することができる。例えば、地図生成装置200は、整合ポイントと近い順序通り、所定個数のノードを選択し、選択された所定個数のノードが共通して向かうランドマークを拘束ファクタとして、第1グラフに追加することができる。該ランドマークは、整合ポイントの航空地図内の座標を含んでもよい。
前述のように、ランドマークをグラフに追加するということは、第1ノードから向かう特定ランドマークと、第2ノードから向かう特定ランドマークが同じ客体であるいう点、すなわち、当該ランドマークのグローバル座標が同じであるという拘束条件をグラフに追加するものである。例えば、該第1ランドマークの情報が、第1ノードと第2ノードとの間の二項ファクタとして追加されたグラフを最適化させる場合、該グラフは、第1ノードを基準として計算した第1ランドマークのグローバル座標と、第2ノードを基準として計算した第1ランドマークのグローバル座標とが同じになる方向に最適化される。
図5は、一実施形態による第2グラフ500を図示する図面である。
図5を参照すれば、図3に図示された第1グラフ300に比べ、t=5であるときの第2ノード320の単項ファクタ521、t=4であるときの第3ノード330の単項ファクタ532、及び第2ノード320と第3ノード330とに係わるランドマーク525が追加されていることが分かる。
すなわち、航空写真を基準に決定された拘束ファクタが第1グラフ300に追加されることにより、第2グラフ500が決定されうるものである。
再び図2を参照すれば、S250段階において、地図生成装置200は、第2グラフに基づき、第2の三次元地図を生成する。
具体的には、地図生成装置200は、第2グラフの最適化を介し、ノードそれぞれの更新された自由度値を決定することにより、第2の三次元地図を生成することができる。具体的には、地図生成装置200は、ノードそれぞれの更新された自由度値を基に、移動体100でセンシングされたポイントの更新された座標情報を算出し、第2の三次元地図を生成することができる。例えば、地図生成装置200は、ノードそれぞれの更新された自由度値と、ノードを基準にする各ポイントのローカル座標と、を利用し、移動体100でセンシングされたポイントの更新されたグローバル座標情報を算出し、算出されたグローバル座標を有するポイントを含む第2の三次元地図を生成することができる。
図2と係わり、三次元地図の生成方法について説明したが、前述の実施形態により、三次元地図以外に、二次元地図、2.5次元地図のような多次元地図も生成されうるということは、当業者に自明であろう。
以下においては、図6ないし図12を参照し、第2グラフの生成のための補正値を決定する方法について詳細に説明する。
図6は、一実施形態による、ポイントツーポイントマッチングを介して補正値を決定する方法について説明するための図面である。
地図生成装置200は、第1の三次元地図610内と航空地図630内途において、互いにマッチングされる第1整合ポイントP1,P2,P3,P4と第2整合ポイントP1’,P2’,P3’,P4’とを決定することができる。図6に図示された第1の三次元地図610は、図4に図示されたいずれか1つのサブ地図でもある。例えば、図6の第1の三次元地図610には、図4に図示されたいずれか1つのサブ地図から、反射度を基に抽出された車線及び路面記号だけが見られる。
図6は、第1整合ポイントP1,P2,P3,P4と第2整合ポイントP1’,P2’,P3’,P4’とが複数個であるように図示しているが、第1整合ポイントP1,P2,P3,P4及び第2整合ポイントP1’,P2’,P3’,P4’それぞれの個数は、一つであってもよい。
第1整合ポイントP1,P2,P3,P4及び第2整合ポイントP1’,P2’,P3’,P4’は、手動的または自動的にも決定される。一例として、地図生成装置200は、管理者から、第1の三次元地図610内及び航空地図630内のポイントにおいて、互いにマッチングされる第1整合ポイントP1,P2,P3,P4と第2整合ポイントP1’,P2’,P3’,P4’とを入力されうる。他の例として、地図生成装置200は、第1の三次元地図610内及び航空地図630内のポイントそれぞれと、その周りの情報を利用したテンプレートマッチングまたは地域記述子(local descriptor)とを利用し、第1整合ポイントP1,P2,P3,P4、及びそれにマッチングされる第2整合ポイントP1’,P2’,P3’,P4’を決定することができる。
地図生成装置200は、第1の三次元地図610内の第1整合ポイントP1,P2,P3,P4の座標と、航空地図630内の第2整合ポイントP1’,P2’,P3’,P4’の座標との差値を補正値として決定することができる。前述のように、決定された補正値、またはノードの座標に補正値が反映された値が、単項ファクタとして、第1グラフに追加されうる。地図生成装置200は、第1整合ポイントP1,P2,P3,P4と最も近いノードの単項ファクタとして、前記補正値、または当該ノードの座標に補正値を反映させた値を第1グラフに追加することができる。また、第2整合ポイントP1’,P2’,P3’,P4’の座標が、複数のノードに係わるランドマークとして、第1グラフにも追加される。
また、地図生成装置200は、第1整合ポイントP1,P2,P3,P4に対応するノードを決定し、決定されたノードと、第1整合ポイントP1,P2,P3,P4との距離に反比例する信頼度を、当該ノードの単項ファクタの一要素として、第1グラフに追加することもできる。
図6に図示されているように、第1の三次元地図610及び航空地図630において、複数の第1整合ポイントP1,P2,P3,P4と複数の第2整合ポイントP1’,P2’,P3’,P4’とが決定されれば、複数の第1整合ポイントP1,P2,P3,P4の座標、及び複数の第2整合ポイントP1’,P2’,P3’,P4’の座標それぞれの差値の平均が、補正値として決定されうる。
補正値に基づき、第2グラフが決定されれば、該第2グラフに基づき、各ノードの更新された自由度値が決定され、更新された自由度値を基準に決定される第2の三次元地図内のポイントの座標が、航空地図のポイントの座標に対応することになる。言い換えれば、いずれか1つのノードを基準として計算した第1整合ポイントP1,P2,P3またはP4の座標が(1,1,1)であり、第2整合ポイントP1’,P2’,P3’またはP4’の座標が(2,、2,2)である場合、拘束ファクタの追加を介し、ノードの位置を調整することにより、当該ノードを基準として計算した第1整合ポイントP1,P2,P3またはP4の座標が(2,2,2)(または、それに近い座標)になるようにするものである。
図7及び図8は、一実施形態による、ポイントツーラインマッチングを介して補正値を決定する方法について説明するための図面である。
なお、道路上の識別可能なマーカー(車線、路面記号など)は、ポイントに特定されうるだけではなく、線に表現されたりもする。そのような場合、地図生成装置200は、第1の三次元地図610内と航空地図630内とにおいて、互いにマッチングされる整合ポイントP1,P2,P3と整合ラインL’とを決定することができる。
整合ポイントP1,P2,P3及び整合ラインL’は、手動的または自動的にも決定される。一例として、地図生成装置200は、管理者から、第1の三次元地図610及び航空地図630において、互いにマッチングされる整合ポイントP1,P2,P3と整合ラインL’とを入力されうる。他の例として、地図生成装置200は、第1の三次元地図610及び航空地図630を分析し、互いにマッチングされる整合ポイントP1,P2,P3と整合ラインL’とを決定することもできる。
第1の三次元地図610内の整合ポイントP1,P2,P3を、補正値によってトランスフォーム(transform)(または、更新)したとき、トランスフォームされた整合ポイントの座標が、航空地図630内の整合ラインL’上に位置しなければならない。従って、図8に図示されているように、地図生成装置200は、整合ポイントP1,P2,P3と整合ラインL’との距離dの和が最小になる補正値を決定することができる。ここで、該補正値は、自由度値を有することができる。
いずれか1つのノードを基準に計算された整合ポイントP1,P2,P3の座標が、整合ラインL’上にないとき、補正値に対応する拘束ファクタの追加を介し、前述のいずれか1つのノードの自由度値を変更することができ、それにより、整合ポイントP1,P2,P3の座標が、航空地図の整合ラインL’に含まれたポイントの座標と一致するか、あるいは類似することになる。
図9及び図10は、一実施形態による、ラインツーラインマッチングを介して補正値を決定する方法について説明するための図面である。
地図生成装置200は、第1の三次元地図610内と航空地図630内とにおいて、互いにマッチングされる第1整合ラインL1,L2,L3,L4,L5と第2整合ラインL1’,L2’,L3’,L4’,L5’とを決定することができる。図9は、複数の第1整合ラインL1,L2,L3,L4,L5と、複数の第2整合ラインL1’,L2’,L3’,L4’,L5’とを図示しているが、1本の第1整合ラインと、1本の第2整合ラインとが決定されもする。
第1整合ラインL1,L2,L3,L4,L5と第2整合ラインL1’,L2’,L3’,L4’,L5’は、手動的または自動的にも決定される。一例として、地図生成装置200は、管理者から、第1の三次元地図610及び航空地図630において、互いにマッチングされる第1整合ラインL1,L2,L3,L4,L5と第2整合ラインL1’,L2’,L3’,L4’,L5’とを入力されうる。他の例として、地図生成装置200は、第1の三次元地図610及び航空地図630を分析し、互いにマッチングされる第1整合ラインL1,L2,L3,L4,L5と第2整合ラインL1’,L2’,L3’,L4’,L5’とを決定することもできる。
第1の三次元地図610内の第1整合ラインL1,L2,L3,L4,L5を、補正値によってトランスフォーム(または、更新)したとき、トランスフォームされた第1整合ラインL1,L2,L3,L4,L5が第2整合ラインL1’,L2’,L3’,L4’,L5’に一致しなければならない。従って、図10に図示されているように、地図生成装置200は、第1整合ラインL1,L2,L3,L4,L5、具体的には、第1整合ラインに含まれたポイントと、第2整合ラインL1’,L2’,L3’,L4’,L5’との距離dの和が最小になる補正値を決定することができる。ここで、該補正値は、自由度値を有することができる。一実施形態において、複数の第1整合ラインL1,L2,L3,L4,L5と、複数の第2整合ラインL1’,L2’,L3’,L4’,L5’とが決定された場合、それぞれの第1整合ラインと第2整合ラインとから決定された補正値の平均が、最終補正値として決定されうる。
補正値に対応する拘束ファクタの追加を介し、前述のいずれか1つのノードの自由度値が変更され、それにより、第1整合ラインL1,L2,L3,L4,L5に含まれたポイントの座標が、航空地図630の第2整合ラインL1’,L2’,L3’,L4’,L5’に含まれたポイントの座標と一致するか、あるいは類似することになる。
図11及び図12は、一実施形態による、マーカーマッチングを介して補正値を決定する方法について説明するための図面である。
道路上には、交通標識のような多様なマーカーが存在する。地図生成装置200は、第1の三次元地図610及び航空地図630において、互いにマッチングされる第1マーカーM1,M2,M3,M4と第2マーカーM1’,M2’,M3’,M4’とを決定することができる。第1マーカーM1,M2,M3,M4及び第2マーカーM1’,M2’,M3’,M4’は、手動的または自動的にも決定される。一例として、地図生成装置200は、管理者から、第1の三次元地図610及び航空地図630において、互いにマッチングされる第1マーカーM1,M2,M3,M4と第2マーカーM1’,M2’,M3’,M4’とを入力されうる。他の例として、地図生成装置200は、第1の三次元地図610及び航空地図630を分析し、互いにマッチングされる第1マーカーM1,M2,M3,M4と第2マーカーM1’,M2’,M3’,M4’とを決定することもできる。
第1マーカーM1,M2,M3,M4それぞれに含まれたポイントの座標と、第2マーカーM1’,M2’,M3’,M4’それぞれに含まれたポイントの座標は、一致しなければならないので、地図生成装置200は、第1マーカーM1,M2,M3,M4それぞれに含まれたポイントの座標が、第2マーカーM1’,M2’,M3’,M4’それぞれに含まれたポイントの座標と一致するか、あるいは類似するようにする補正値を決定することができる。第1マーカーM1,M2,M3,M4に含まれたポイントは、第1マーカーM1,M2,M3,M4それぞれを示すブロック、例えば、図12に図示された四角形ブロックB1,B2,B3,B4の中点ポイントC1,C2,C3,C4でもあり、同様に、第2マーカーM1’,M2’,M3’,M4’に含まれたポイントは、第2マーカーそれぞれを示すブロック、例えば、図12に図示された四角形ブロックB1’,B2’,B3’,B4’の中点ポイントC1’,C2’,C3’,C4’でもある。図12に図示されているように、第1マーカーM1,M2,M3,M4に含まれたポイントC1,C2,C3,C4の座標を、第2マーカーM1’,M2’,M3’,M4’に含まれたポイントC1’,C2’,C3’,C4’の座標に一致させるための三次元座標値tと姿勢値Rとが補正値として決定されうる。該中点ポイントは、ブロックの重心を意味しうる。
また、地図生成装置200は、前記補正値を決定するとき、第1マーカーM1,M2,M3,M4それぞれに含まれたポイントの座標が、第2マーカーM1’,M2’,M3’,M4’それぞれに含まれたポイントの座標に一致するか、あるいは類似するようにしながら、第1マーカーM1,M2,M3,M4それぞれに含まれたポイントC1,C2,C3,C4を連結する第1図形Fの内角θ1,θ2,θ3,θ4が、第2マーカーM1’,M2’,M3’,M4’それぞれに含まれたポイントC1’,C2’,C3’,C4’を連結する第2図形F’の内角θ1’,θ2’,θ3’,θ4’に一致するか、あるいは類似するようにする補正値を決定することができる。前記補正値は、移動量及び回転量を含む自由度値でもある。
図13は、一実施形態による、テンプレートマッチングを介して補正値を決定する方法について説明するための図面である。
一実施形態において、地図生成装置200は、テンプレートマッチングを介し、補正値を決定することもできる。第1の三次元地図610に含まれたポイントの第1の三次元地図610内における位置は、航空地図630に含まれたポイントの航空地図630内における位置と同一でなければならないので、第1の三次元地図610のポイントに対応するピクセル値と、航空地図630のポイントに対応するピクセル値との差が最小化されなければならない。従って、地図生成装置200は、第1の三次元地図610のポイントに対応するピクセル値と、航空地図630のポイントに対応するピクセル値との差の和を最小化させる補正値を決定し、決定された補正値に基づき、拘束ファクタを第1グラフに追加することができる。一例として、地図生成装置200は、図13に図示されているように、第1の三次元地図610と、航空地図630とが重畳されたイメージ650を介し、第1の三次元地図610のポイントに対応するピクセル値と、航空地図630のポイントに対応するピクセル値との差が最小化される補正値を決定することができる。
具現例によっては、前述のポイントツーポイントマッチング、ポイントツーラインマッチング、ラインツーラインマッチング、マーカーマッチングまたはテンプレートマッチングがディープラーニング(deep learning)基盤にも行われる。
図14は、一実施形態による、地図生成装置200の構成を図示するブロック図である。
図14を参照すれば、地図生成装置200は、メモリ1410、通信部1430及び制御部1450を含む。メモリ1410、通信部1430及び制御部1450は、少なくとも1つのプロセッサによっても具現され、メモリ1410に保存されたインストラクションによって動作することができる。
通信部1430は、移動体100から、センシングデータを受信する。通信部1430は、該センシングデータを、有線ネットワーク及び/または無線ネットワークを介して受信することができる。
制御部1450は、センシングデータを基に、三次元地図を生成する。具体的には、制御部1450は、ノード及び拘束ファクタを含む第1グラフを生成し、該第1グラフに基づき、第1の三次元地図を生成する。該第1の三次元地図に含まれたポイントの座標は、実際座標と差がありえるので、制御部1450は、該第1の三次元地図内のポイントの座標を、航空地図内のポイントの座標に対応させる補正値を決定し、該補正値と係わる拘束ファクタが追加された第2グラフを決定する。制御部1450は、該第2グラフに基づき、第2の三次元地図を生成する。そのような航空地図は、通信部1430が、有線ネットワーク及び/または無線ネットワークを介し、他の装置から受信するか、あるいはメモリ1410に保存されたものでもある。
グラフの生成方法、補正値の決定方法、及び三次元地図の生成方法については、前述の通りであるので、詳細な説明は、省略する。
一方、前述の本開示の実施形態において、航空地図は、二次元、2.5次元または三次元の地図でもある。一例によれば、該航空地図は2.5次元でもある、ここで、2.5次元は、二次元の各(x,y)座標が1つの高さ値zを有するデータを意味する。地図生成装置200は、移動体100に基づいて生成されたグラウンドレベルの地図(例えば、前述の三次元地図)と航空地図とのポイント座標が、同一にn次元である場合には、n次元の補正値を計算することができる。一方、グラウンドレベルの地図のポイント座標は、n次元であり、航空地図のポイント座標は、m次元である場合、地図生成装置200は、さらに低い次元の座標値のみを利用し、補正値を計算することができる。ただし、2.5次元の場合、x,y,z座標値をいずれも有するために、三次元に準じて扱われうる。
なお、前述の本開示の実施形態は、コンピュータで実行されうるプログラムに作成可能であり、作成されたプログラムは、媒体にも保存される。
該媒体は、コンピュータで実行可能なプログラムを続けて保存するか、あるいは実行またはダウンロードのために臨時保存するものでもある。また、該媒体は、単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されるものではなく、ネットワーク上に分散存在するものでもある。該媒体の例示としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体;CD-ROM(compact disc read only memory)及びDVD(digital versatile disc)のような光記録媒体;フロプティカルディスク(floptical disk)のような磁気・光媒体(magneto-optical medium);及びROM(read only memory)、RAM(random access memory)、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。また、他の媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給したり流通したりするサイト、サーバなどで管理する記録媒体あるいは保存媒体も挙げることができる。
以上、本開示の技術的思想について、望ましい実施形態を挙げて詳細に説明したが、本開示の技術的思想は、前述の実施形態に限定されるものではなく、本開示の技術的思想の範囲内において、当分野において当業者により、さまざまな変形及び変更が可能である。

Claims (13)

  1. 地図生成装置による地図の生成方法において、
    ノード、及び移動体に係わるセンシングデータと係わる拘束ファクタを含む第1グラフを生成する段階と、
    前記生成された第1グラフに基づき、第1の多次元地図を生成する段階と、
    前記第1の多次元地図内の少なくとも1つのポイントの座標を、前記ポイントにマッチングされる航空地図内のポイントの座標に対応させる補正値を決定する段階と、
    前記第1グラフに、前記決定された補正値と係わる新しい拘束ファクタが追加された第2グラフを決定する段階と、
    前記第2グラフに基づき、第2の多次元地図を生成する段階と、を含み、
    前記第2グラフを決定する段階は、
    前記第1グラフに含まれた少なくとも1つのノードの座標と前記第1の多次元地図内の第1整合ポイントの座標に基づいて前記少なくとも1つのノードと前記第1整合ポイントとの距離を算出し、前記算出された距離に反比例する信頼度を前記新たな拘束ファクタの一要素として追加する段階を含むことを特徴とする地図の生成方法。
  2. 前記補正値を決定する段階は、
    前記第1整合ポイントの座標と、前記第1整合ポイントにマッチングされる前記航空地図内の第2整合ポイントの座標との差を、前記補正値として決定する段階を含むことを特徴とする請求項1に記載の地図の生成方法。
  3. 前記第2グラフを決定する段階は、
    前記補正値または前記第1グラフに含まれた少なくとも1つのノードの自由度値に前記補正値を反映させた値を、前記第1グラフに含まれた少なくとも1つのノードの新たな拘束ファクタとして、前記第1グラフに追加する段階を含むことを特徴とする請求項1に記載の地図の生成方法。
  4. 前記第2グラフを決定する段階は、
    前記航空地図内の第2整合ポイントの座標を、複数のノードのランドマークとして、前記第1グラフに追加する段階を含むことを特徴とする請求項2に記載の地図の生成方法。
  5. 前記補正値を決定する段階は、
    前記第1の多次元地図内の整合ポイントと、前記航空地図内の整合ラインとの距離を最小化させる補正値を決定する段階を含むことを特徴とする請求項1に記載の地図の生成方法。
  6. 前記補正値を決定する段階は、
    前記第1の多次元地図内の整合ラインに含まれたポイントと、前記航空地図内の整合ラインとの距離を最小化させる補正値を決定する段階を含むことを特徴とする請求項1に記載の地図の生成方法。
  7. 前記補正値を決定する段階は、
    前記第1の多次元地図内の整合マーカーに含まれたポイントの座標を、前記航空地図内の整合マーカーに含まれたポイントの座標に対応させるための補正値を決定する段階を含むことを特徴とする請求項1に記載の地図の生成方法。
  8. 前記補正値を決定する段階は、
    前記第1の多次元地図のポイントに対応するピクセル値と、前記航空地図のポイントに対応するピクセル値との差を最小化させる補正値を決定する段階を含むことを特徴とする請求項1に記載の地図の生成方法。
  9. 前記第1の多次元地図を生成する段階は、
    前記第1グラフの最適化を介し、前記ノードそれぞれの自由度値を決定する段階と、
    前記ノードそれぞれの自由度値を基に、前記移動体でセンシングされたポイントの座標を算出し、前記第1の多次元地図を生成する段階と、を含むことを特徴とする請求項1に記載の地図の生成方法。
  10. 前記第2の多次元地図を生成する段階は、
    前記第2グラフの最適化を介し、前記ノードそれぞれの更新された自由度値を決定する段階と、
    前記ノードそれぞれの更新された自由度値を基に、前記移動体でセンシングされたポイントの更新された座標を算出し、前記第2の多次元地図を生成する段階と、を含むことを特徴とする請求項9に記載の地図の生成方法。
  11. 前記生成する段階は、
    前記第1グラフに含まれた拘束ファクタと、前記新しい拘束ファクタとをいずれも満足する方向に、前記第2グラフを最適化させることにより、前記第2の多次元地図を生成することを特徴とする請求項1に記載の地図の生成方法。
  12. 請求項1ないし11のうちいずれか1項に記載の地図の生成方法をコンピュータに実行させるための、プログラム。
  13. プロセッサと、
    少なくとも1つのインストラクションを保存するメモリと、を含むが、
    前記プロセッサは、前記少なくとも1つのインストラクションにより、
    ノード、及び移動体に係わるセンシングデータと係わる拘束ファクタを含む第1グラフを生成し、
    前記生成された第1グラフに基づき、第1の多次元地図を生成し、
    前記第1の多次元地図内の少なくとも1つのポイントの座標を、前記ポイントにマッチングされる航空地図内のポイントの座標に対応させる補正値を決定し、
    前記第1グラフに、前記決定された補正値と係わる新しい拘束ファクタが追加された第2グラフを決定し、
    前記第2グラフに基づき、第2の多次元地図を生成し、
    前記第2グラフを決定するとき、前記第1グラフに含まれた少なくとも1つのノードの座標と、前記第1の多次元地図内の第1整合ポイントの座標に基づいて前記少なくとも1つのノードと前記第1整合ポイントとの距離を算出し、前記算出された距離に反比例する信頼度を前記新たな拘束ファクタの一要素として追加することを特徴とする地図生成装置。
JP2021571489A 2019-07-19 2020-06-26 航空写真を利用して三次元地図を生成する装置及びその方法 Active JP7460660B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024005820A JP2024032805A (ja) 2019-07-19 2024-01-18 航空写真を利用して三次元地図を生成する装置及びその方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2020-0056166 2019-07-19
KR10-2019-0087758 2019-07-19
KR1020190087758A KR102115004B1 (ko) 2019-07-19 2019-07-19 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법
KR1020200056166A KR102589296B1 (ko) 2019-07-19 2020-05-11 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법
PCT/KR2020/008358 WO2021015435A1 (ko) 2019-07-19 2020-06-26 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024005820A Division JP2024032805A (ja) 2019-07-19 2024-01-18 航空写真を利用して三次元地図を生成する装置及びその方法

Publications (2)

Publication Number Publication Date
JP2022535033A JP2022535033A (ja) 2022-08-04
JP7460660B2 true JP7460660B2 (ja) 2024-04-02

Family

ID=82658345

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021571489A Active JP7460660B2 (ja) 2019-07-19 2020-06-26 航空写真を利用して三次元地図を生成する装置及びその方法
JP2024005820A Pending JP2024032805A (ja) 2019-07-19 2024-01-18 航空写真を利用して三次元地図を生成する装置及びその方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024005820A Pending JP2024032805A (ja) 2019-07-19 2024-01-18 航空写真を利用して三次元地図を生成する装置及びその方法

Country Status (2)

Country Link
JP (2) JP7460660B2 (ja)
KR (1) KR102589296B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220107550A (ko) 2021-01-25 2022-08-02 주식회사 엘지에너지솔루션 배터리 분류 장치 및 방법
KR20240053391A (ko) * 2022-10-17 2024-04-24 네이버랩스 주식회사 3차원 모델과 거리뷰 데이터를 정합시키는 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010507127A (ja) 2006-10-20 2010-03-04 テレ アトラス ベスローテン フエンノートシャップ 異なるソースの位置データをマッチングさせるためのコンピュータ装置及び方法
JP2016105293A (ja) 2016-01-05 2016-06-09 富士通株式会社 利用者検知装置、方法及びプログラム
JP2017083663A (ja) 2015-10-28 2017-05-18 シャープ株式会社 一致性評価装置および一致性評価方法
JP2018084699A (ja) 2016-11-24 2018-05-31 株式会社豊田中央研究所 地図作成装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101996241B1 (ko) * 2012-06-06 2019-07-05 삼성전자주식회사 실시간 관심 지역을 나타내는 3차원 지도를 제공하는 장치 및 방법
KR101234961B1 (ko) * 2012-10-31 2013-02-25 (주)지오투정보기술 항공사진과 MMS(Mobile Mapping System) 기술을 이용한 자동 3D 공간 모델링 방법 및 시스템
KR101720761B1 (ko) * 2016-10-14 2017-03-29 (주)엔토포스 엠엠에스 및 다방향 경사 항공사진을 이용한 3차원 공간정보 구축시스템
KR102414676B1 (ko) * 2017-03-07 2022-06-29 삼성전자주식회사 지도 데이터를 생성하는 전자 장치 및 그 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010507127A (ja) 2006-10-20 2010-03-04 テレ アトラス ベスローテン フエンノートシャップ 異なるソースの位置データをマッチングさせるためのコンピュータ装置及び方法
JP2017083663A (ja) 2015-10-28 2017-05-18 シャープ株式会社 一致性評価装置および一致性評価方法
JP2016105293A (ja) 2016-01-05 2016-06-09 富士通株式会社 利用者検知装置、方法及びプログラム
JP2018084699A (ja) 2016-11-24 2018-05-31 株式会社豊田中央研究所 地図作成装置

Also Published As

Publication number Publication date
JP2022535033A (ja) 2022-08-04
KR102589296B1 (ko) 2023-10-13
JP2024032805A (ja) 2024-03-12
KR20210010309A (ko) 2021-01-27

Similar Documents

Publication Publication Date Title
CN111108342B (zh) 用于高清地图创建的视觉测程法和成对对准
KR102425272B1 (ko) 디지털 지도에 대한 위치를 판별하기 위한 방법 및 시스템
KR102115004B1 (ko) 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법
Jeong et al. Complex urban lidar data set
KR102627453B1 (ko) 위치 추정 장치 및 방법
CN108627175A (zh) 用于识别车辆位置的系统和方法
JP2024032805A (ja) 航空写真を利用して三次元地図を生成する装置及びその方法
US11846520B2 (en) Method and device for determining a vehicle position
JP4986883B2 (ja) 標定装置、標定方法および標定プログラム
TWI674393B (zh) 多定位系統切換與融合校正方法及其裝置
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
KR102506411B1 (ko) 차량의 위치 및 자세 추정 방법, 장치 및 이를 위한 기록매체
CN116147605A (zh) 一种车辆自动驾驶地图生成方法、装置、设备及存储介质
JP7138290B1 (ja) 情報処理方法、プログラム及び情報処理装置
JP7375066B2 (ja) 無人飛行体または航空機によって撮影した航空画像に基づいてhdマップを生成する方法およびシステム
CN111486837B (zh) 基于图结构的交通工具位置估计方法和使用其的交通工具
CN112556701A (zh) 用于定位交通工具的方法、装置、设备和存储介质
CN118089758A (zh) 协同感知方法、装置、设备、存储介质和程序产品
CN117387644A (zh) 定位方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230829

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240118

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240321

R150 Certificate of patent or registration of utility model

Ref document number: 7460660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150