JP2024032805A - Apparatus and method for generating three-dimensional map using aerial photograph - Google Patents

Apparatus and method for generating three-dimensional map using aerial photograph Download PDF

Info

Publication number
JP2024032805A
JP2024032805A JP2024005820A JP2024005820A JP2024032805A JP 2024032805 A JP2024032805 A JP 2024032805A JP 2024005820 A JP2024005820 A JP 2024005820A JP 2024005820 A JP2024005820 A JP 2024005820A JP 2024032805 A JP2024032805 A JP 2024032805A
Authority
JP
Japan
Prior art keywords
map
graph
point
coordinates
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024005820A
Other languages
Japanese (ja)
Inventor
チェ,ソンウク
Sun Wook Choi
イ,ジンハン
Jinhan Lee
キム,キソン
Ki Sung Kim
イ,ウンヒ
Unghui Lee
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Labs Corp
Original Assignee
Naver Labs Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190087758A external-priority patent/KR102115004B1/en
Application filed by Naver Labs Corp filed Critical Naver Labs Corp
Publication of JP2024032805A publication Critical patent/JP2024032805A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/004Map manufacture or repair; Tear or ink or water resistant maps; Long-life maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

To enable quick generation of an accurate three-dimensional map at low cost.SOLUTION: A method of generating a three-dimensional map is disclosed, the method comprising: generating a first graph including nodes and constraint factors related to sensing data for a moving object; generating a first three-dimensional map on the basis of the generated first graph; determining a correction value correcting coordinates of at least one point in the first three-dimensional map so as to correspond to coordinates of a point in an aerial map matching the at least one point; determining a second graph obtained by adding constraint factors associated with the determined correction value to the first graph; and generating a second three-dimensional map based on the second graph.SELECTED DRAWING: Figure 2

Description

本開示は、地図生成分野に係り、さらに具体的には、三次元地図を生成する装置及びその方法に関する。 The present disclosure relates to the field of map generation, and more specifically, to an apparatus and method for generating a three-dimensional map.

一般的な三次元地図は、高価のMMS(mobile mapping system)装備を利用した地上測量に基づいて作製されている。それらMMS装備は、GPS(global positioning system)/INS(inertial navigation system)に基づく三次元走行経路において、LiDAR(light detection and ranging)またはカメラから得たポイントの三次元座標などを融合して三次元地図を作り出す。 Typical three-dimensional maps are created based on ground surveys using expensive MMS (mobile mapping system) equipment. These MMS devices combine three-dimensional coordinates of points obtained from LiDAR (light detection and ranging) or a camera in a three-dimensional travel route based on GPS (global positioning system)/INS (inertial navigation system). Create a map.

また、該三次元地図の精度を高めるために、地上の補正点を活用し、三次元地図を最適化させる。従って、GPS/INSの測定結果が良好ではない場合、地図の信頼性も下がってしまうという問題が生じる。 Furthermore, in order to improve the accuracy of the three-dimensional map, correction points on the ground are utilized to optimize the three-dimensional map. Therefore, if the GPS/INS measurement results are not good, a problem arises in that the reliability of the map also decreases.

一方、最近、低コストで迅速に広い地域の地図を作製する方法として、航空写真に基づく地図作製方法が提案された。当該方法は、高精密航空写真から、車線情報及び道路標示情報を図化する方式によって作製され、約10cm以内誤差を有する地図を迅速に作製することができる効率的な方法である。しかし、航空写真基盤の地図は、効率的に迅速に作製することが可能であるが、航空写真上で隠れた領域の図化が不可能であり、道路周辺の三次元情報などを獲得することができないという問題がある。 On the other hand, recently, a map creation method based on aerial photographs has been proposed as a method for quickly creating maps of wide areas at low cost. This method is an efficient method that can quickly create a map with an error of about 10 cm or less, which is created by plotting lane information and road marking information from high-precision aerial photographs. However, although aerial photography-based maps can be created efficiently and quickly, it is impossible to map hidden areas on aerial photographs, and it is difficult to obtain three-dimensional information around roads. The problem is that it is not possible.

一実施形態による地図生成装置、及びそれによる三次元地図の生成方法は、高精度の三次元地図を低コストで迅速に生成することを技術的課題にする。 A map generation device according to one embodiment and a three-dimensional map generation method using the same make it a technical challenge to rapidly generate a high-precision three-dimensional map at low cost.

一実施形態による地図生成装置、及びそれによる三次元地図の生成方法は、航空写真だけでは識別することができない三次元情報を提供する三次元地図を生成することを技術的課題にする。 A map generation device according to one embodiment and a three-dimensional map generation method using the same make it a technical issue to generate a three-dimensional map that provides three-dimensional information that cannot be identified from an aerial photograph alone.

一実施形態による地図生成装置、及びそれによる三次元地図の生成方法は、航空レベルで獲得したデータ、及び地上レベルで獲得されたデータそれぞれの不足した部分を相互補完し、三次元地図を生成することにより、低コストで精度が高い三次元地図を生成することを技術的課題にする。 A map generation device according to an embodiment and a three-dimensional map generation method using the same generate a three-dimensional map by mutually complementing missing parts of data acquired at the aviation level and data acquired at the ground level. This makes it a technical challenge to generate 3D maps with low cost and high accuracy.

一実施形態による三次元地図の生成方法は、ノード、及び移動体に対するセンシングデータと係わる拘束ファクタを含む第1グラフを生成する段階と、前記生成された第1グラフに基づき、第1の三次元地図を生成する段階と、前記第1の三次元地図内の少なくとも1つのポイントの座標を、前記ポイントにマッチングされる航空地図内のポイントの座標に対応させる補正値を決定する段階と、前記第1グラフに、前記決定された補正値と係わる拘束ファクタが追加された第2グラフを決定する段階と、前記第2グラフに基づき、第2の三次元地図を生成する段階と、を含むものでもある。 A method for generating a three-dimensional map according to an embodiment includes the steps of generating a first graph including constraint factors related to nodes and sensing data for a moving object; generating a map; determining a correction value that causes the coordinates of at least one point in the first three-dimensional map to correspond to the coordinates of a point in the aeronautical map that is matched to the point; The method may include a step of determining a second graph in which a constraint factor related to the determined correction value is added to the first graph, and a step of generating a second three-dimensional map based on the second graph. be.

一実施形態による地図生成装置、及びそれによる三次元地図の生成方法は、高精度の三次元地図を低コストで迅速に生成することができる。 A map generation device according to an embodiment and a three-dimensional map generation method using the same can quickly generate a high-precision three-dimensional map at low cost.

一実施形態による地図生成装置、及びそれによる三次元地図の生成方法は、航空写真で識別することができない部分の三次元情報を提供する三次元地図を生成することができる。 A map generation device according to an embodiment and a three-dimensional map generation method using the same can generate a three-dimensional map that provides three-dimensional information of a portion that cannot be identified in an aerial photograph.

一実施形態による地図生成装置、及びそれによる三次元地図の生成方法は、航空レベルで獲得したデータ、及び地上レベルで獲得されたデータそれぞれの不足した部分を相互補完し、三次元地図を生成することにより、低コストで精度が高い三次元地図を生成することができる。 A map generation device according to an embodiment and a three-dimensional map generation method using the same generate a three-dimensional map by mutually complementing missing parts of data acquired at the aviation level and data acquired at the ground level. By doing so, it is possible to generate a three-dimensional map with high accuracy at low cost.

ただし、一実施形態による地図生成装置、及びそれによる三次元地図の生成方法が達成することができる効果は、以上で言及したところに制限されるものではなく、言及されていない他の効果は、以下の記載から、本開示が属する技術分野において当業者であるならば、明確に理解することができるであろう。 However, the effects that can be achieved by the map generation device according to one embodiment and the three-dimensional map generation method using the same are not limited to those mentioned above, and other effects not mentioned are: From the following description, those skilled in the art to which this disclosure pertains will be able to clearly understand.

本明細書で引用される図面をさらに十分に理解するために、各図面の簡単な説明が提供される。
一実施形態による、移動体及び地図生成装置を示す図面である。 一実施形態による、三次元地図の生成方法について説明するためのフローチャートである。 一実施形態による第1グラフを図示する図面である。 第1グラフ内に含まれたそれぞれのノードに対応する三次元サブ地図を図示する例示的な図面である。 一実施形態による第2グラフを図示する図面である。 一実施形態による、ポイントツーポイントマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、ポイントツーラインマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、ポイントツーラインマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、ラインツーラインマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、ラインツーラインマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、マーカーマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、マーカーマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、テンプレートマッチングを介して補正値を決定する方法について説明するための図面である。 一実施形態による、地図生成装置の構成を図示するブロック図である。
In order to more fully understand the figures cited herein, a brief description of each figure is provided.
1 is a diagram illustrating a mobile object and a map generation device according to one embodiment. 3 is a flowchart illustrating a method for generating a three-dimensional map according to one embodiment. 3 is a diagram illustrating a first graph according to an embodiment. 3 is an exemplary diagram illustrating a three-dimensional sub-map corresponding to each node included in a first graph; FIG. 5 is a diagram illustrating a second graph according to an embodiment. 5 is a diagram illustrating a method for determining a correction value through point-to-point matching, according to an embodiment; FIG. 5 is a diagram illustrating a method for determining a correction value through point-to-line matching, according to an embodiment; FIG. 5 is a diagram illustrating a method for determining a correction value through point-to-line matching, according to an embodiment; FIG. 5 is a diagram illustrating a method for determining a correction value through line-to-line matching, according to an embodiment; FIG. 5 is a diagram illustrating a method for determining a correction value through line-to-line matching, according to an embodiment; FIG. 5 is a diagram illustrating a method for determining a correction value through marker matching, according to an embodiment; FIG. 5 is a diagram illustrating a method for determining a correction value through marker matching, according to an embodiment; FIG. 5 is a diagram illustrating a method of determining a correction value through template matching, according to an embodiment; FIG. 1 is a block diagram illustrating the configuration of a map generation device according to one embodiment. FIG.

一実施形態による、三次元地図の生成方法は、ノード、及び移動体に対するセンシングデータと係わる拘束(constraint)ファクタを含む第1グラフを生成する段階と、前記生成された第1グラフに基づき、第1の三次元地図を生成する段階と、前記第1の三次元地図内の少なくとも1つのポイントの座標を、前記ポイントにマッチングされる航空地図内のポイントの座標に対応させる補正値を決定する段階と、前記第1グラフに、前記決定された補正値と係わる拘束ファクタが追加された第2グラフを決定する段階と、前記第2グラフに基づき、第2の三次元地図を生成する段階と、を含むことにもなる。 According to an embodiment, a method for generating a three-dimensional map includes the steps of generating a first graph including constraints related to nodes and sensing data for a moving object; determining a correction value that causes the coordinates of at least one point in the first three-dimensional map to correspond to the coordinates of a point in an aeronautical map that is matched to the point; a step of determining a second graph in which a constraint factor related to the determined correction value is added to the first graph; and a step of generating a second three-dimensional map based on the second graph. It will also include.

他の実施形態による地図生成装置は、プロセッサと、少なくとも1つのインストラクションを保存するメモリと、を含むものの、前記プロセッサは、前記少なくとも1つのインストラクションにより、ノード、及び移動体に対するセンシングデータと係わる拘束ファクタを含む第1グラフを生成し、前記生成された第1グラフに基づき、第1の三次元地図を生成し、前記第1の三次元地図内の少なくとも1つのポイントの座標を、前記ポイントにマッチングされる航空地図内のポイントの座標に対応させる補正値を決定し、前記第1グラフに、前記決定された補正値と係わる拘束ファクタが追加された第2グラフを決定し、前記第2グラフに基づき、第2の三次元地図を生成することができる。 A map generation device according to another embodiment includes a processor and a memory that stores at least one instruction, wherein the processor uses the at least one instruction to generate a constraint factor related to sensing data for nodes and moving objects. generating a first graph containing the generated first graph, generating a first three-dimensional map based on the generated first graph, and matching the coordinates of at least one point in the first three-dimensional map to the point. determining a correction value that corresponds to the coordinates of a point in the aeronautical map, determining a second graph in which a constraint factor related to the determined correction value is added to the first graph; Based on this, a second three-dimensional map can be generated.

本開示は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、それらについて、詳細な説明を介して説明する。しかし、それらは、本開示を特定の実施形態に限定するものではなく、本開示の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むものであると理解されなければならない。 While the present disclosure is susceptible to various modifications and variations, specific embodiments are illustrated in the drawings and will be described in detail in the detailed description. However, it should be understood that they do not limit the present disclosure to specific embodiments, but rather include all modifications, equivalents, and alternatives that fall within the spirit and technical scope of the present disclosure.

本実施形態に係わる説明において、関連公知技術に係わる具体的な説明が、要旨を不必要に不明瞭にしてしまうと判断される場合、その詳細な説明を省略する。また、本実施形態の説明過程で利用される数(例えば、第1、第2など)は、1つの構成要素を他の構成要素と区分するための識別記号に過ぎない。 In the description of this embodiment, if it is determined that a detailed description of related known technology would unnecessarily obscure the gist, the detailed description will be omitted. Further, the numbers (eg, first, second, etc.) used in the explanation process of this embodiment are merely identification symbols for distinguishing one component from another component.

また、本明細書において、一構成要素が他の構成要素と「連結される」としたり、「接続される」としたりして言及されたときには、前記一構成要素が、前記他の構成要素と直接連結されるか、あるいは直接接続されもするが、特別に反対となる記載が存在しない以上、中間に他の構成要素を媒介して連結されるか、あるいは接続されもするということが理解されなければならないであろう。 Furthermore, in this specification, when one component is referred to as being "connected" or "connected" to another component, the one component is referred to as being "connected" or "connected" to another component. They may be directly connected or may be directly connected, but unless there is a statement to the contrary, it is understood that they may be connected or connected through other intermediate components. There would have to be.

また、本明細書において、「~部(ユニット)」、「モジュール」などに表現される構成要素は、2個以上の構成要素が1つの構成要素に合わされるか、あるいは1つの構成要素がさらに細分化された機能別に、2個以上に分化されもする。また、以下で説明する構成要素それぞれは、自体が担当する主機能以外にも、他の構成要素が担当する機能のうち、一部または全部の機能を追加して遂行することもでき、該構成要素それぞれが担当する主機能のうち一部機能が、他の構成要素によって専用担当されても遂行されるということは、言うまでもない。 In addition, in this specification, a component expressed as a "unit" or "module" means that two or more components are combined into one component, or one component is further It may also be divided into two or more parts depending on subdivided functions. Furthermore, in addition to the main functions that each component is responsible for, each of the components described below can additionally perform some or all of the functions that other components are responsible for. It goes without saying that some of the main functions handled by each element can be performed even if other components are dedicated to the functions.

また、本明細書において「グローバル(global)座標」は、不変の原点を基準にした所定客体の位置を示し、「絶対座標」とも参照される。所定客体のグローバル座標は、常時一定である。 Also, in this specification, ``global coordinates'' refers to the position of a predetermined object with respect to an unchanging origin, and is also referred to as ``absolute coordinates.'' The global coordinates of a predetermined object are always constant.

また、本明細書において「ローカル(local)座標」は、可変の原点を基準にした所定客体の位置を示し、「相対座標」とも参照される。所定客体のローカル座標は、原点をどこに決定するかということによっても異なる。 Also, in this specification, ``local coordinates'' refers to the position of a predetermined object with respect to a variable origin, and is also referred to as ``relative coordinates.'' The local coordinates of a given object also vary depending on where the origin is determined.

以下、本開示の技術的思想による実施形態について順に詳細に説明する。 Embodiments based on the technical idea of the present disclosure will be described in detail below.

図1は、一実施形態による、移動体100及び地図生成装置200を示す図面である。 FIG. 1 is a diagram showing a mobile object 100 and a map generation device 200 according to one embodiment.

移動体100は、車両、ロボットまたはドローンなどでもある。図1を参照すれば、移動体100は、少なくとも1つのセンサを含んでもよい。該少なくとも1つのセンサを利用し、移動体100の移動によるセンシングデータが生成されうる。例えば、移動体100は、少なくとも1つのセンサとして、IMU(inertial measurement unit)センサ101、GPS(global positioning system)センサ102、ホイールエンコーダセンサ103、LiDAR(light detection and ranging)センサ104などを含んでもよい。ただし、移動体100に含まれるセンサは、それらに限定されるものではなく、それら以外にも、多様な種類のセンサが移動体100に含まれたり、図1に図示されたセンサのうち一部が、移動体100に含まれなかったりもする。少なくとも1つのセンサは、移動体100の内部または外部に位置することができる。 The mobile object 100 may also be a vehicle, a robot, a drone, or the like. Referring to FIG. 1, mobile object 100 may include at least one sensor. Sensing data based on movement of the mobile body 100 may be generated using the at least one sensor. For example, the mobile object 100 may include an IMU (inertial measurement unit) sensor 101, a GPS (global positioning system) sensor 102, a wheel encoder sensor 103, a LiDAR (light detection and ranging) sensor 104, etc. as at least one sensor. . However, the sensors included in the moving body 100 are not limited to these, and in addition to these, various types of sensors may be included in the moving body 100, and some of the sensors illustrated in FIG. However, it may not be included in the moving body 100. At least one sensor can be located inside or outside mobile body 100.

IMUセンサ101は、慣性測定手段として、加速度センサ及びジャイロセンサ(ジャイロスコープ)を含んでもよい。例えば、IMUセンサ101は、移動体100の回転角として、前進方向(ロール(roll)軸方向)、前進方向の右側方向(ピッチ(pitch)軸方向)、重力方向(ヨー(yaw)軸方向)それぞれの角速度増分値や、移動体100の速度増分値のようなセンシングデータを生成することができる。また、IMUセンサ101は、センシングデータを利用し、IMUオドメトリ(odometry)を生成することができる。すなわち、初期条件から、加速度と角速度との変化量を測定し、移動体100の移動方向及び移動距離などをIMUオドメトリとして提供することも可能である。 The IMU sensor 101 may include an acceleration sensor and a gyro sensor (gyroscope) as inertial measurement means. For example, the IMU sensor 101 determines the rotation angle of the moving body 100 in the forward direction (roll axis direction), the right side of the forward direction (pitch axis direction), and the gravity direction (yaw axis direction). Sensing data such as the respective angular velocity increment values and the velocity increment value of the moving object 100 can be generated. Additionally, the IMU sensor 101 can generate IMU odometry using sensing data. That is, it is also possible to measure the amount of change in acceleration and angular velocity from the initial conditions, and provide the moving direction and moving distance of the moving body 100 as IMU odometry.

GPSセンサ102は、衛星と通信し、移動体100の指標上座標をセンシングデータに提供することができる。例えば、GPSセンサ102は、WGS84座標系の測地座標として、緯度、経度及び楕円体高などを提供することができる。 GPS sensor 102 can communicate with satellites and provide indicative coordinates of mobile object 100 to sensing data. For example, the GPS sensor 102 can provide latitude, longitude, ellipsoidal height, etc. as geodetic coordinates in the WGS84 coordinate system.

ホイールエンコーダセンサ103は、移動体100に具備されたホイール(wheel)の回転数を測定する。ホイールエンコーダセンサ103を利用すれば、移動体100の移動距離や移動速度などを測定することができる。 The wheel encoder sensor 103 measures the number of rotations of a wheel provided on the moving body 100. By using the wheel encoder sensor 103, the moving distance and moving speed of the moving body 100 can be measured.

LiDARセンサ104は、レーザパルスなどを周辺に放射した後、反射して戻ってくる時間を測定し、移動体100周辺のポイントに係わるデプス情報を生成することができる。ここで、LiDARセンサ104を利用し、移動体100の回転量を測定したり、LiDARオドメトリ(LiDAR odometry)を生成したりすることもできる。従って、LiDARセンサ104を利用すれば、移動体100の移動方向、移動距離などを測定することができる。LiDARセンサ104として、SICKのMLS-511、VelodyneのVLP-16などを利用することができるが、それらに限定されるものではない。 The LiDAR sensor 104 can generate depth information related to points around the moving body 100 by emitting a laser pulse or the like to the surrounding area and measuring the time it takes for the laser pulse to be reflected back. Here, using the LiDAR sensor 104, it is also possible to measure the amount of rotation of the moving body 100 and to generate LiDAR odometry. Therefore, by using the LiDAR sensor 104, the moving direction, moving distance, etc. of the moving body 100 can be measured. As the LiDAR sensor 104, SICK's MLS-511, Velodyne's VLP-16, etc. can be used, but the present invention is not limited thereto.

さらには、移動体100は、カメラなどをさらに含んでもよく、該カメラを利用し、移動体100の移動に対応する映像を撮影することも可能である。その場合、該カメラから、移動体100のビジュアルオドメトリを生成することができる。 Furthermore, the moving body 100 may further include a camera or the like, and the camera can be used to capture images corresponding to the movement of the moving body 100. In that case, a visual odometry of the mobile object 100 can be generated from the camera.

地図生成装置200は、移動体100に含まれたセンサによって生成されたセンシングデータを受信し、それを基に、第1グラフを生成する。ここで、該第1グラフは、後述する航空地図によって更新される前のグラフを意味する。グラフを活用すれば、移動体100の自由度値、例えば、6自由度値でもって、移動体100の座標値と姿勢値とを正確に予測することが可能である。 Map generation device 200 receives sensing data generated by a sensor included in mobile object 100, and generates a first graph based on the sensing data. Here, the first graph means a graph before being updated by an aerial map, which will be described later. By utilizing the graph, it is possible to accurately predict the coordinate values and orientation values of the moving body 100 based on the degrees of freedom value of the moving body 100, for example, the six degrees of freedom value.

移動体100の座標値は、三次元座標上における位置を示すが、例えば、x軸上、y軸上及びz軸上の座標値を含んでもよい。また、移動体100の姿勢値は、移動体100のピッチ値、ロール値及びヨー値を含んでもよい。 The coordinate values of the moving body 100 indicate a position on three-dimensional coordinates, but may include coordinate values on the x-axis, y-axis, and z-axis, for example. Further, the attitude value of the moving body 100 may include a pitch value, a roll value, and a yaw value of the moving body 100.

地図生成装置200は、移動体100に結合され、移動体100と共に移動することができ、あるいは移動体100と分離され、移動体100から、センシングデータを有無線通信方法を介して受信することもできる。 The map generation device 200 can be coupled to the mobile body 100 and move together with the mobile body 100, or can be separated from the mobile body 100 and receive sensing data from the mobile body 100 via a wired/wireless communication method. can.

図2は、一実施形態による、三次元地図の生成方法について説明するためのフローチャートである。 FIG. 2 is a flowchart illustrating a method for generating a three-dimensional map according to one embodiment.

S210段階において、地図生成装置200は、ノード、及び移動体100に係わるセンシングデータと係わる拘束ファクタを含む第1グラフを生成する。該第1グラフによれば、ノードそれぞれに対応する移動体100の自由度値を予測することができる。以下において、該自由度値は、例えば、三次元座標上における位置値(x軸上、y軸上及びz軸上の座標値)と姿勢値(ピッチ値、ロール値及びヨー値)とを含む6自由度値を意味しうるが、それらに限定されるものではない。例えば、該自由度値は、x軸上の座標値、y軸上の座標値、z軸上の座標値、ピッチ値、ロール値及びヨー値のうち一部の値のみを含んでもよい。 In step S<b>210 , the map generation device 200 generates a first graph including nodes and constraint factors related to sensing data related to the mobile object 100 . According to the first graph, it is possible to predict the degree of freedom value of the mobile object 100 corresponding to each node. In the following, the degree of freedom values include, for example, position values on three-dimensional coordinates (coordinate values on the x-axis, y-axis, and z-axis) and attitude values (pitch value, roll value, and yaw value). It may mean, but is not limited to, a six degrees of freedom value. For example, the degree of freedom value may include only some of the coordinate values on the x-axis, the coordinate values on the y-axis, the coordinate values on the z-axis, a pitch value, a roll value, and a yaw value.

まず、図3を参照し、第1グラフについて説明する。 First, the first graph will be explained with reference to FIG. 3.

図3は、一実施形態による第1グラフ300を図示する図面である。 FIG. 3 is a diagram illustrating a first graph 300 according to one embodiment.

地図生成装置200は、基準周期により、ノードを生成することができ、該基準周期と同期化されたセンシングデータを基に、ノードに対する拘束ファクタを設定し、グラフを生成することができる。ここで、地図生成装置200は、センシングデータのうちいずれか一つを基準データに設定することができ、該基準データの生成周期を、基準周期に設定することができる。すなわち、該基準データの生成周期によってノードを生成し、グラフに含めることができる。また。地図生成装置200は、該基準周期と同期化されたセンシングデータを、ノードの拘束ファクタとしてグラフに含めることができる。一実施形態において、IMUセンサ101のIMUオドメトリが基準データとしても決定される。 The map generation device 200 can generate nodes based on the reference period, set constraint factors for the nodes based on sensing data synchronized with the reference period, and generate a graph. Here, the map generation device 200 can set any one of the sensing data as reference data, and can set the generation cycle of the reference data to the reference cycle. That is, nodes can be generated and included in the graph according to the generation cycle of the reference data. Also. The map generation device 200 can include sensing data synchronized with the reference period in the graph as a constraint factor of a node. In one embodiment, the IMU odometry of the IMU sensor 101 is also determined as reference data.

前述の例においては、基準データが決定された生成周期を有する場合の例を挙げて説明したが、他の例によれば、該基準データは、決定された距離間隔によっても収集される。その場合、地図生成装置200は、基準距離間隔ごとに収集される基準データそれぞれに対応するノードを生成し、グラフに含めることができる。地図生成装置200は、基準距離間隔ごとに生成されたノードのセンシング時点に同期化されたセンシングデータを、ノードの拘束ファクタとしてグラフに含めることができる。 In the above example, the reference data has a determined generation period, but according to another example, the reference data is also collected at determined distance intervals. In that case, the map generation device 200 can generate nodes corresponding to each of the reference data collected for each reference distance interval and include them in the graph. The map generation device 200 may include sensing data synchronized at sensing times of nodes generated for each reference distance interval in the graph as a constraint factor of the nodes.

センシングデータと係わる拘束ファクタは、単項(unary)ファクタと二項(binary)ファクタとにも区別される。ここで、単項ファクタは、センシングデータの生成時点における測定結果を示し、GPSセンサ102で測定した座標値などを含む。例えば、地図生成装置200は、GPSセンサ102によって生成された特定時点の移動体100の緯度座標値及び経度座標値を、ノードの単項ファクタとして追加することができる。 Constraint factors related to sensing data are also classified into unary factors and binary factors. Here, the unary factor indicates a measurement result at the time of generation of sensing data, and includes coordinate values measured by the GPS sensor 102 and the like. For example, the map generation device 200 can add the latitude and longitude coordinate values of the moving body 100 at a specific point in time generated by the GPS sensor 102 as unary factors of the node.

二項ファクタは、互いに異なるノードとの関係を拘束するファクタでもある。例えば、二項ファクタは、センシングデータの測定開始時点と測定終了時点との関係情報を測定結果として示すものであり、IMUセンサ101のIMUオドメトリなどがそれに該当する。すなわち、特定時点における加速度値ではなく、測定開始時点と測定終了時点との加速度変化量を利用した移動方向や移動距離などの情報が、二項ファクタに該当しうる。そのような情報は、相対的なポーズ(位置及び姿勢)情報とも表現される。 Binomial factors are also factors that constrain relationships with mutually different nodes. For example, the binomial factor indicates relationship information between the measurement start point and the measurement end point of sensing data as a measurement result, and corresponds to IMU odometry of the IMU sensor 101 and the like. That is, information such as a moving direction and a moving distance using the amount of change in acceleration between the measurement start time and the measurement end time, rather than the acceleration value at a specific time, can correspond to a binomial factor. Such information is also expressed as relative pose (position and orientation) information.

図3に図示されているように、地図生成装置200は、t=0時点において、まず第1ノード310を生成することができ、第1ノード310の初期条件を、第1ノード310の単項ファクタ311として設定することができる。その、t=5の時点において、第2ノード320を生成することができ、第1ノード310と第2ノード320とを連結する二項ファクタ315を設定することができる。ここで、基準周期は、5でもあり、t=0とt=5とのIMUオドメトリを二項ファクタとして設定することができる。そのように、基準周期ごとに、移動体100に対応するノードを新規生成し、それぞれのノードに、センシングデータに対応する拘束ファクタを設定し、移動体100に係わる第1グラフ300を生成することができる。 As illustrated in FIG. 3, the map generation device 200 can first generate the first node 310 at time t=0, and sets the initial condition of the first node 310 to the unary factor of the first node 310. 311. At the time point t=5, the second node 320 can be generated, and the binomial factor 315 connecting the first node 310 and the second node 320 can be set. Here, the reference period is also 5, and the IMU odometry of t=0 and t=5 can be set as a binomial factor. In this way, a new node corresponding to the moving body 100 is generated for each reference period, a constraint factor corresponding to the sensing data is set for each node, and the first graph 300 related to the moving body 100 is generated. Can be done.

一実施形態において、t=0とt=5とに対応するノード310,320それぞれを生成した後、t=4の時点に対応する非同期センシングデータが地図生成装置200に入力される場合もある。ここで、第1グラフ300は、すでにt=5の時点まで生成された状態であるので、t=4の時点に対応する非同期センシングデータを反映させるためには、グラフを修正する必要がある。図3に図示されているように、地図生成装置200は、非同期センシングデータが生成されたt=4に対応する第3ノード330を新規生成することができ、t=4に対応する第3ノード330に、非同期センシングデータに対応する単項ファクタ331を設定することができる。そして、第2ノード320と第3ノード330との間に、二項ファクタ325を設定することができる。例えば、t=4に生成された非同期センシングデータがGPS座標である場合、t=4のGPS座標と、t=5におけるGPS座標とを比較した後、t=4のGPS座標からt=5のGPS座標まで進むためのホイールエンコーダ値などでもって、二項ファクタ325が設定されうる。 In one embodiment, after generating the nodes 310 and 320 corresponding to t=0 and t=5, respectively, asynchronous sensing data corresponding to time t=4 may be input to the map generation device 200. Here, since the first graph 300 has already been generated up to time t=5, it is necessary to modify the graph in order to reflect the asynchronous sensing data corresponding to time t=4. As illustrated in FIG. 3, the map generation device 200 can newly generate a third node 330 corresponding to t=4 when the asynchronous sensing data is generated, and a third node corresponding to t=4. 330, a unary factor 331 corresponding to asynchronous sensing data can be set. A binomial factor 325 can be set between the second node 320 and the third node 330. For example, if the asynchronous sensing data generated at t=4 is a GPS coordinate, after comparing the GPS coordinate at t=4 and the GPS coordinate at t=5, the GPS coordinate at t=4 is changed to the GPS coordinate at t=5. A binomial factor 325 may be set, such as with a wheel encoder value to navigate to GPS coordinates.

再び、図2を参照すれば、S220段階において、地図生成装置200は、第1グラフに基づき、第1の三次元地図を生成する。第1の三次元地図は移動体100が移動しながら、LiDARセンサ104などで確認したポイントの座標を含んでもよい。そこにおける座標は、三次元のグローバル座標でもある。すなわち、地図生成装置200は、第1グラフに基づき、ノードそれぞれに対応する移動体100の自由度値を算出し、移動体100を中心にセンシングされたポイントのローカル座標を、移動体100の自由度値により、グローバル座標に変更させることにより、第1の三次元地図を生成することができる。 Referring again to FIG. 2, in step S220, the map generation device 200 generates a first 3D map based on the first graph. The first three-dimensional map may include coordinates of points confirmed by the LiDAR sensor 104 or the like while the mobile object 100 is moving. The coordinates there are also three-dimensional global coordinates. That is, the map generation device 200 calculates the degree of freedom value of the mobile body 100 corresponding to each node based on the first graph, and calculates the local coordinates of the point sensed around the mobile body 100 based on the degree of freedom value of the mobile body 100. The first three-dimensional map can be generated by changing the degree values to global coordinates.

地図生成装置200は、第1グラフに基づき、移動体100の自由度値を正確に予測するために、該第1グラフを最適化させることができる。 The map generation device 200 can optimize the first graph based on the first graph in order to accurately predict the degree of freedom value of the mobile object 100.

それについて具体的に説明すれば、n個のノードを有するグラフは、X=[X ,X ,…,X と示すことができる。該ノードは、特定の拘束ファクタによって連結関係を有し、それら拘束ファクタで構成されたグラフのエラーを最小化させるノードの自由度値が算出されうる。ノード間の連結関係は、グラフの構成要素のうち、エッジ(edge)に該当しうる。 To explain this specifically, a graph having n nodes can be expressed as X=[X 1 T , X 2 T , . . . , X n T ] T. The nodes have a connection relationship based on specific constraint factors, and a degree-of-freedom value of the node that minimizes the error of a graph configured with these constraint factors can be calculated. A connection relationship between nodes may correspond to an edge among the constituent elements of a graph.

グラフ最適化のために、下記数式1が利用されうる。 Equation 1 below can be used for graph optimization.

Figure 2024032805000002
前記数式1で、X及びXそれぞれは、時間i,jにおけるノードを意味し、センサから測定したノードの自由度値と、グラフ上におけるノードの自由度値との誤差がeijと表現される。グラフの最適化は、誤差eijを最小化させるグラフを算出するものである。ここで、Ωijは、センシングデータの情報マトリックス(information matrix)である。グラフの最適化は、ガウス・ニュートン法(Gauss-Newton Method)またはレーベンバーグ・マルカート)法(Levenberg-Marquardt Method)のような非線形最適化方法を介しても行われる。
Figure 2024032805000002
In Equation 1, X i and X j respectively mean nodes at times i and j, and the error between the degree of freedom value of the node measured from the sensor and the degree of freedom value of the node on the graph is expressed as e ij be done. Graph optimization is to calculate a graph that minimizes the error e ij . Here, Ω ij is an information matrix of sensing data. Graph optimization is also performed via nonlinear optimization methods such as the Gauss-Newton Method or the Levenberg-Marquardt Method.

図4は、第1グラフ内に含まれたそれぞれのノードに対応する三次元サブ地図(submap)を図示する例示的な図面であり、それぞれのノードに対応する時点において、LiDARセンサ104などから獲得したセンシングデータを基に、各ノードに対応する三次元サブ地図が生成されうる。このとき、ノードとノードとの間の特定時点に係わる移動体100の自由度値は、補間(interpolation)を介しても算出される。図4に図示されたサブ地図を累積し、グローバル地図が算出されうる。 FIG. 4 is an exemplary diagram illustrating a three-dimensional submap corresponding to each node included in the first graph, which is acquired from the LiDAR sensor 104 or the like at a time point corresponding to each node. A three-dimensional sub-map corresponding to each node can be generated based on the sensed data. At this time, the degree of freedom value of the mobile object 100 related to a specific point in time between nodes is also calculated through interpolation. A global map can be calculated by accumulating the sub-maps illustrated in FIG.

再び図2を参照すれば、S230段階において、地図生成装置200は、第1の三次元地図内の少なくとも1つのポイントの座標と、航空地図内の少なくとも1つのポイントの座標に対応させる補正値を決定することができる。例えば、地図生成装置200は、第1の三次元地図内のポイントの座標を、航空地図内のポイントの座標に一致させるための補正値を決定することができる。該航空地図は、ドローン、人工衛星、飛行機のような飛行体によって獲得されたデータ、例えば、写真から生成された地図を含んでもよい。 Referring again to FIG. 2, in step S230, the map generation device 200 generates a correction value that corresponds to the coordinates of at least one point in the first three-dimensional map and the coordinates of at least one point in the aerial map. can be determined. For example, the map generation device 200 can determine a correction value for matching the coordinates of a point in the first three-dimensional map with the coordinates of a point in the aeronautical map. The aerial map may include a map generated from data, eg, photographs, acquired by a flying vehicle such as a drone, a satellite, or an airplane.

第1の三次元地図と航空地図は、さまざまなポイントによってもなるが、各ポイントは、それに対応する座標、具体的には、グローバル座標を有する。前述のように、該第1の三次元地図は、グラウンドレベルにおいて、移動体100によってセンシングされたセンシングデータを基に生成されたものであるが、該グラウンドレベルにおいては、周辺障害物の影響により、衛星基盤測位データ(例えば、GPS)の信頼度が低いために、該第1の三次元地図内のポイント座標が不正確でもある。しかし、該グラウンドレベルより高い航空レベルにおいては、衛星基盤測位データの信頼度が該グラウンドレベルより高い。従って、一実施形態においては、座標の信頼度が高い航空地図を基準に、高精度の三次元地図を生成するための補正値を決定するのである。 The first three-dimensional map and the aeronautical map also consist of various points, each point having its corresponding coordinates, in particular global coordinates. As mentioned above, the first three-dimensional map is generated based on sensing data sensed by the moving object 100 at the ground level, but at the ground level, due to the influence of surrounding obstacles, , the coordinates of points in the first three-dimensional map are also inaccurate due to low reliability of satellite-based positioning data (eg, GPS). However, at an aviation level higher than the ground level, the reliability of satellite-based positioning data is higher than the ground level. Therefore, in one embodiment, correction values for generating a highly accurate three-dimensional map are determined based on an aerial map whose coordinates are highly reliable.

該補正値は、第1グラフに基づいて算出されるノードの自由度値を補正するためのものであり、該補正値も、自由度値を含んでもよい。そのような補正値は、第1の三次元地図と航空地図とにおいて、互いにマッチングされる整合ポイントの座標間誤差に基づいても決定される。実空間において特定可能な対象、例えば、道路上に描かれたマーカー(marker)(車線、停止線、横断歩道、交通記号)などが、整合ポイントに、手動的あるいは自動的に指定されうる。 The correction value is for correcting the degree-of-freedom value of the node calculated based on the first graph, and the correction value may also include the degree-of-freedom value. Such a correction value is also determined based on the error between coordinates of matching points that are matched to each other in the first three-dimensional map and the aerial map. Objects that can be specified in real space, such as markers drawn on a road (lanes, stop lines, crosswalks, traffic symbols), can be manually or automatically designated as matching points.

該補正値は、第1の三次元地図と航空地図とのポイントツーポイント(point to point)マッチング、ポイントツーライン(point to line)マッチング、ラインツーライン(line to line)マッチング、マーカーマッチングまたはテンプレート(template)マッチングなどを介しても算出されるが、それらについては、図6ないし図12を参照して後述する。 The correction value may be a point-to-point matching, a point-to-line matching, a line-to-line matching, a marker matching or a template between the first three-dimensional map and the aerial map. ) It is also calculated through matching, which will be described later with reference to FIGS. 6 to 12.

S240段階において、地図生成装置200は、補正値と係わる拘束ファクタを、第1グラフに追加することにより、第2グラフを決定する。ここで、該第2グラフは、第1グラフに拘束ファクタが新たに含まれることによって決定されたグラフを意味する。 In step S240, the map generation apparatus 200 determines a second graph by adding a constraint factor related to the correction value to the first graph. Here, the second graph means a graph determined by newly including a constraint factor in the first graph.

一実施形態において、地図生成装置200は、補正値を、第1グラフに含まれた少なくとも1つのノードの単項ファクタとして、第1グラフに追加することができる。地図生成装置200は、該補正値が、どのサブ地図で決定されたものであるかということを考慮し、該第1グラフのノードのうち、単項ファクタと連結されるノードを選択することができる。例えば、該補正値が、図4のMtサブ地図で決定されたものであるならば、地図生成装置200は、補正値を、Xノードの単項ファクタとして、第1グラフに追加することができる。 In one embodiment, the map generation device 200 may add the correction value to the first graph as a unary factor of at least one node included in the first graph. The map generation device 200 can select a node connected to the unary factor from among the nodes of the first graph, taking into account which submap the correction value was determined for. . For example, if the correction value is determined in the Mt submap of FIG. 4, the map generation device 200 can add the correction value to the first graph as a unary factor of the Xt node. .

また、一実施形態において、地図生成装置200は、第1グラフに含まれた少なくとも1つのノードの自由度値に、前記補正値を反映させた値を、少なくとも1つのノードの単項ファクタとして、第1グラフに追加することができる。地図生成装置200は、補正値が、どのサブ地図で決定されたものであるかということを考慮し、第1グラフのノードのうち、単項ファクタと連結されるノードを選択することができる。例えば、該補正値が、図4のMサブ地図で決定されたものであるならば、地図生成装置200は、Xノードの自由度値に該補正値を反映させた値を、Xノードの単項ファクタとして、第1グラフに追加することができる。 Further, in one embodiment, the map generation device 200 sets a value obtained by reflecting the correction value on the degree of freedom value of at least one node included in the first graph as a unary factor of the at least one node. 1 graph can be added. The map generation device 200 can select a node connected to a unary factor from among the nodes of the first graph, taking into consideration in which submap the correction value was determined. For example, if the correction value is determined in the Mt submap of FIG . It can be added to the first graph as a unary factor of the node.

また、一実施形態において、地図生成装置200は、少なくとも1つのノードの座標と、第1の三次元地図内の整合ポイントの座標とに基づき、少なくとも1つのノードと、整合ポイントとの距離を算出し、算出された距離に反比例する信頼度を、少なくとも1つのノードの単項ファクタの一要素として、第1グラフに追加することもできる。前記第1の三次元地図内の整合ポイントは、航空地図とのマッチング過程を介して決定される。 In one embodiment, the map generation device 200 calculates the distance between at least one node and the matching point based on the coordinates of the at least one node and the coordinates of the matching point in the first three-dimensional map. However, a reliability that is inversely proportional to the calculated distance can also be added to the first graph as a component of the unary factor of at least one node. Matching points in the first three-dimensional map are determined through a matching process with an aerial map.

一実施形態において、地図生成装置200は、図4に図示されたMサブ地図内において、整合ポイントが決定されれば、当該整合ポイントの座標に基づき、Xノードに、単項ファクタを追加することができる。該単項ファクタは、補正値と信頼度とを含んでもよい。例えば、該単項ファクタは、次のようにも表現される。 In one embodiment, if a matching point is determined in the M t submap illustrated in FIG. 4, the map generation device 200 adds a unary factor to the X t node based on the coordinates of the matching point. be able to. The unary factor may include a correction value and reliability. For example, the unary factor can also be expressed as follows.

Unary_factor(symbol_id(X_t), pose, reliability)
ここで、symbol_id(x_t)は、単項ファクタが連結されるノードの情報に該当し、poseは、補正値に該当し、reliabilityは、信頼度に該当する。
Unary_factor(symbol_id(X_t), pose, reliability)
Here, symbol_id(x_t) corresponds to information on a node to which unary factors are connected, pose corresponds to a correction value, and reliability corresponds to reliability.

該補正値は、Xノードの座標を補正するための値である。例えば、第1の三次元地図内の第1整合ポイントと、航空地図内の第2整合ポイントとが、実際に同一対象(例:車線)であると予想され、互いにマッチングされた状況を仮定する。このとき、該補正値は、第1整合ポイントの座標Aが第2整合ポイントの座標Bと同じになるように、Xノードの座標に、B-Aを加えるように設定された値でもある。第1の三次元地図内のポイントのグローバル座標は、ノードのグローバル座標、及びノードを基準にする各ポイントのローカル座標によって計算されるために、各ポイントのグローバル座標を補正するために、ノードのグローバル座標を補正する方式を選ぶことができるのである。 The correction value is a value for correcting the coordinates of the Xt node. For example, assume a situation where the first matching point in the first three-dimensional map and the second matching point in the aerial map are actually expected to be the same object (e.g. lane) and are matched with each other. . At this time, the correction value is also a value set to add B-A to the coordinates of the Xt node so that the coordinate A of the first matching point is the same as the coordinate B of the second matching point. . The global coordinates of a point in the first three-dimensional map are calculated by the global coordinates of the node and the local coordinates of each point relative to the node, so that the global coordinates of each point are corrected by the node's global coordinates. You can choose the method for correcting global coordinates.

もし当該補正値により、100%満足されるようにグラフが最適化される場合(一般的には、拘束ファクタの数が多いために、1つのファクタにより、グラフが完全に最適化される可能性は高くない)、Xノードのグローバル座標がB-Aほど移動するならば、Xノードを基準に計算される第1整合ポイントの座標(グローバル座標)は、A+(B-A)=Bになり、マッチングされる航空地図内の第2整合ポイントのグローバル座標Bと一致することになる。 If the graph is optimized to be 100% satisfied by the correction value (in general, there is a large number of constraint factors, so there is a possibility that the graph will be completely optimized by one factor). is not high), and if the global coordinate of the X t node moves by B - A, the coordinates (global coordinates) of the first matching point calculated based on the X t node are A + (B - A) = B , which matches the global coordinates B of the second matching point in the aeronautical map to be matched.

該信頼度は、グラフを最適化させるとき、当該単項ファクタの拘束力を、いかほど強く与えるかということを示す要素でもある。一例によれば、該信頼度は、補正値計算の基になる整合ポイントと、当該単項ファクタが連結されたノードとの距離に反比例するようにも設定される。それによれば、地図生成装置200は、第1の三次元地図内の第1整合ポイントの座標と、航空地図内の第2整合ポイントの座標との差に基づく補正値と、第1整合ポイントとXノードとの距離に反比例する信頼度と、を決定し、そのような補正値と信頼度とを含む単項ファクタを、Xノードの単項ファクタとして第1グラフに追加することができる。該信頼度は、前述の距離の長いほど小さい値を有することができるが、それは、ノードから遠く位置する整合ポイントを利用して計算した補正値であればあるほど、正確度が低いと見なし、グラフ最適化時、ノードに及ぼす影響力を低くするためである。 The reliability is also an element indicating how strongly the binding force of the unary factor is applied when optimizing the graph. According to one example, the reliability is also set to be inversely proportional to the distance between the matching point on which the correction value calculation is based and the node to which the unary factor is connected. According to this, the map generation device 200 generates a correction value based on the difference between the coordinates of the first matching point in the first three-dimensional map and the coordinates of the second matching point in the aeronautical map; a reliability that is inversely proportional to the distance to the X t node, and a unary factor including such a correction value and reliability can be added to the first graph as a unary factor of the X t node. The reliability can have a smaller value as the distance described above is longer, but it is assumed that the accuracy is lower as the correction value is calculated using a matching point located farther from the node, This is to reduce the influence on nodes during graph optimization.

一例による信頼度を計算する方法は、下記数式2によっても表される。 An example method for calculating reliability is also expressed by Equation 2 below.

Figure 2024032805000003
前記数式2において、Pは、ノード(X)の補正値決定の基になる第1の三次元地図内の第1整合ポイントの座標であり、P’は、第1整合ポイントにマッチングされる航空地図内の第2整合ポイントの座標であり、ms()は、PとP’とのマッチングスコア関数であり、d()は、ノード(X)と整合ポイント(P)とのユークリジアン距離であり、nは、整合ポイント数である。
Figure 2024032805000003
In Equation 2, P i is the coordinate of the first matching point in the first three-dimensional map that is the basis for determining the correction value of the node (X t ), and P i ' is the coordinate of the first matching point that matches the first matching point. ms() is the matching score function between P i and P i, and d() is the coordinate of the second matching point in the aerial map ), and n is the number of matching points.

マッチングスコアは、2つの整合ポイントがどれほど正確にマッチングされているかということを示す指標でもある。該マッチングスコアは、統計における残差(residual)のような役割を行う値でもある。例えば、第1整合ポイントと第2整合ポイントとの距離差が大きいほど、該マッチングスコアは、低く計算されうる。他の例によれば、第1整合ポイントと第2整合ポイントとのパターンの一致する程度が高いほど、該マッチングスコアは、高く計算されうる。該マッチングスコアの計算方法は、それらに限定されるものではない。 The matching score is also an indicator of how accurately two matching points are matched. The matching score is also a value that acts like a residual in statistics. For example, the greater the distance difference between the first matching point and the second matching point, the lower the matching score may be calculated. According to another example, the higher the degree of pattern matching between the first matching point and the second matching point, the higher the matching score may be calculated. The method of calculating the matching score is not limited to these methods.

数式2によれば、信頼度(reliability)は、ノードXと第1整合ポイントとの距離の平均に反比例し、マッチングスコアに比例するように計算される。従って、平均距離が大きいほど、信頼度は低くなり、平均マッチングスコアが大きいほど、信頼度が高くなる。ρは、当該信頼度値のスケールを調整するための値である。 According to Equation 2, reliability is calculated to be inversely proportional to the average distance between the node X t and the first matching point and proportional to the matching score. Therefore, the larger the average distance, the lower the reliability, and the larger the average matching score, the higher the reliability. ρ is a value for adjusting the scale of the reliability value.

一例によれば、第1整合ポイントの座標Pと第2整合ポイントの座標P’との差が大きくないという仮定下において、前記数式2のd(X-P)は、d(X-P’)またはd(X-P”)にも代替されるのである。Pi”は、PとP’とを利用して計算されたさらに他の値、例えば、平均値でもある。 According to an example, under the assumption that the difference between the coordinates P i of the first matching point and the coordinates P i ' of the second matching point is not large, d(X t −P i ) in Equation 2 is calculated as d( X t −P i ′) or d(X t −P i ”) may also be substituted. Pi” may be another value calculated using P i and P i ′, for example, It is also an average value.

後述するように、第1の三次元地図内において、複数の整合ポイントが決定された場合、少なくとも1つのノードと、それぞれの整合ポイントとの距離の平均値に反比例する信頼度が、少なくとも1つのノードの単項ファクタの一要素にも設定される。また、第1の三次元地図内において、整合ラインが決定された場合、整合ラインに含まれたポイントそれぞれと、少なくとも1つのノードとの距離の平均値に反比例する信頼度が、少なくとも1つのノードの単項ファクタの一要素にも設定される。また、第1の三次元地図内において、複数の整合マーカーが決定された場合、複数の整合マーカーに含まれたポイントそれぞれと、少なくとも1つのノードとの距離の平均値に反比例する信頼度が、少なくとも1つのノードの単項ファクタの一要素にも設定される。 As described later, when a plurality of matching points are determined in the first three-dimensional map, the reliability of at least one node is inversely proportional to the average distance between at least one node and each matching point. It is also set as one element of the node's unary factor. Furthermore, when a matching line is determined in the first three-dimensional map, the confidence level, which is inversely proportional to the average distance between each point included in the matching line and the at least one node, It is also set as one element of the unary factor of . Furthermore, when a plurality of matching markers are determined in the first three-dimensional map, the reliability is inversely proportional to the average distance between each point included in the plurality of matching markers and at least one node. Also set to one element of the unary factor of at least one node.

また、一実施形態において、地図生成装置200は、航空地図内の整合ポイントの座標を、複数のノードのランドマーク(landmark)として、第1グラフに追加することもできる。該ランドマークは一種の二項ファクタであり、複数のノードに係わる拘束ファクタとして機能することができる。一例によるランドマークは、ベアリング・レンジファクタ(bearing-range factor)として、第1グラフに追加されうる。 In one embodiment, the map generation device 200 can also add the coordinates of matching points in the aerial map to the first graph as landmarks of a plurality of nodes. The landmark is a kind of binary factor and can function as a constraint factor for multiple nodes. A landmark according to one example may be added to the first graph as a bearing-range factor.

例えば、特定「車線」が整合ポイントに指定された場合を仮定すれば、第1の三次元地図において、当該車線のグローバル座標は、第1ノードを基準にしても計算され、第2ノードを基準にしても計算される。ところで、もし第1ノードと第2ノードとのグローバル座標が不正確であるならば、当該車線のグローバル座標は、どのノードを基準にするかということによって異なるようにも計算されることになる。一例によるランドマークは、当該車線が同一客体に該当するという拘束、すなわち、グローバル座標が同じであるという拘束を付与するものである。例えば、第1ノードと第2ノードとが同一車線をランドマークとして参照するということは、「第1ノードを基準として計算した車線のグローバル座標と、第2ノードを基準として計算した車線のグローバル座標とが同じである」という拘束がグラフに付与されたものでもある。ここに、当該車線の航空地図上の座標値(航空地図の座標がさらに正確であると仮定する)をランドマークに含めることになれば、「第1ノードを基準として計算した車線の座標と、第2ノードを基準として計算した車線の座標とが同じである」という条件に加え、そのような座標がいかなる値でなければならないかということも拘束することができる。 For example, assuming that a specific "lane" is specified as a matching point, in the first three-dimensional map, the global coordinates of the lane are also calculated based on the first node, and the global coordinates of the lane are calculated based on the second node. It is calculated even if By the way, if the global coordinates of the first node and the second node are inaccurate, the global coordinates of the lane in question will be calculated differently depending on which node is used as a reference. An example of a landmark is a constraint that the lanes correspond to the same object, that is, a constraint that the global coordinates are the same. For example, the fact that the first node and the second node refer to the same lane as a landmark means that the global coordinates of the lane calculated with the first node as the reference and the global coordinates of the lane calculated with the second node as the reference It is also a graph with a constraint that ``are the same.'' Here, if the coordinate values of the lane on the aerial map (assuming that the coordinates on the aerial map are more accurate) are to be included in the landmark, "coordinates of the lane calculated based on the first node, In addition to the condition that "the coordinates of the lane calculated using the second node as a reference are the same", it is also possible to restrict what value such coordinates must have.

地図生成装置200は、第1グラフのノードにおいて、ランドマークと連結される複数のノードを選択することができる。例えば、地図生成装置200は、整合ポイントと近い順序通り、所定個数のノードを選択し、選択された所定個数のノードが共通して向かうランドマークを拘束ファクタとして、第1グラフに追加することができる。該ランドマークは、整合ポイントの航空地図内の座標を含んでもよい。 The map generation device 200 can select a plurality of nodes connected to the landmark in the nodes of the first graph. For example, the map generation device 200 may select a predetermined number of nodes in an order close to the matching point, and add a landmark to which the selected predetermined number of nodes commonly go to the first graph as a constraint factor. can. The landmark may include coordinates within the aerial map of the alignment point.

前述のように、ランドマークをグラフに追加するということは、第1ノードから向かう特定ランドマークと、第2ノードから向かう特定ランドマークが同じ客体であるいう点、すなわち、当該ランドマークのグローバル座標が同じであるという拘束条件をグラフに追加するものである。例えば、該第1ランドマークの情報が、第1ノードと第2ノードとの間の二項ファクタとして追加されたグラフを最適化させる場合、該グラフは、第1ノードを基準として計算した第1ランドマークのグローバル座標と、第2ノードを基準として計算した第1ランドマークのグローバル座標とが同じになる方向に最適化される。 As mentioned above, adding a landmark to the graph means that the specific landmark heading from the first node and the specific landmark heading from the second node are the same object, that is, the global coordinates of the landmark This adds a constraint to the graph that the values are the same. For example, when optimizing a graph in which the information on the first landmark is added as a binary factor between the first node and the second node, the graph is Optimization is performed in a direction in which the global coordinates of the landmark and the global coordinates of the first landmark calculated using the second node as a reference become the same.

図5は、一実施形態による第2グラフ500を図示する図面である。 FIG. 5 is a diagram illustrating a second graph 500 according to one embodiment.

図5を参照すれば、図3に図示された第1グラフ300に比べ、t=5であるときの第2ノード320の単項ファクタ521、t=4であるときの第3ノード330の単項ファクタ532、及び第2ノード320と第3ノード330とに係わるランドマーク525が追加されていることが分かる。 Referring to FIG. 5, compared to the first graph 300 illustrated in FIG. 3, a unary factor 521 of the second node 320 when t=5 and a unary factor 521 of the third node 330 when t=4. 532, and landmarks 525 related to the second node 320 and the third node 330 are added.

すなわち、航空写真を基準に決定された拘束ファクタが第1グラフ300に追加されることにより、第2グラフ500が決定されうるものである。 That is, the second graph 500 can be determined by adding the constraint factor determined based on the aerial photograph to the first graph 300.

再び図2を参照すれば、S250段階において、地図生成装置200は、第2グラフに基づき、第2の三次元地図を生成する。 Referring again to FIG. 2, in step S250, the map generation device 200 generates a second 3D map based on the second graph.

具体的には、地図生成装置200は、第2グラフの最適化を介し、ノードそれぞれの更新された自由度値を決定することにより、第2の三次元地図を生成することができる。具体的には、地図生成装置200は、ノードそれぞれの更新された自由度値を基に、移動体100でセンシングされたポイントの更新された座標情報を算出し、第2の三次元地図を生成することができる。例えば、地図生成装置200は、ノードそれぞれの更新された自由度値と、ノードを基準にする各ポイントのローカル座標と、を利用し、移動体100でセンシングされたポイントの更新されたグローバル座標情報を算出し、算出されたグローバル座標を有するポイントを含む第2の三次元地図を生成することができる。 Specifically, the map generation device 200 can generate the second three-dimensional map by determining updated degree-of-freedom values for each node through optimization of the second graph. Specifically, the map generation device 200 calculates updated coordinate information of the point sensed by the moving object 100 based on the updated degree of freedom value of each node, and generates the second three-dimensional map. can do. For example, the map generation device 200 uses the updated degree of freedom value of each node and the local coordinates of each point based on the node, and generates updated global coordinate information of the point sensed by the moving body 100. can be calculated, and a second three-dimensional map including points having the calculated global coordinates can be generated.

図2と係わり、三次元地図の生成方法について説明したが、前述の実施形態により、三次元地図以外に、二次元地図、2.5次元地図のような多次元地図も生成されうるということは、当業者に自明であろう。 Although the method for generating a three-dimensional map has been explained in connection with FIG. 2, it is possible to generate multidimensional maps such as two-dimensional maps and 2.5-dimensional maps in addition to three-dimensional maps according to the above-described embodiment. , will be obvious to those skilled in the art.

以下においては、図6ないし図12を参照し、第2グラフの生成のための補正値を決定する方法について詳細に説明する。 In the following, a method for determining the correction value for generating the second graph will be described in detail with reference to FIGS. 6 to 12.

図6は、一実施形態による、ポイントツーポイントマッチングを介して補正値を決定する方法について説明するための図面である。 FIG. 6 is a diagram illustrating a method for determining a correction value through point-to-point matching, according to an embodiment.

地図生成装置200は、第1の三次元地図610内と航空地図630内途において、互いにマッチングされる第1整合ポイントP1,P2,P3,P4と第2整合ポイントP1’,P2’,P3’,P4’とを決定することができる。図6に図示された第1の三次元地図610は、図4に図示されたいずれか1つのサブ地図でもある。例えば、図6の第1の三次元地図610には、図4に図示されたいずれか1つのサブ地図から、反射度を基に抽出された車線及び路面記号だけが見られる。 The map generation device 200 generates first matching points P1, P2, P3, P4 and second matching points P1', P2', P3' that are matched with each other in the first three-dimensional map 610 and in the aerial map 630. , P4' can be determined. The first three-dimensional map 610 illustrated in FIG. 6 is also one of the sub-maps illustrated in FIG. 4 . For example, in the first three-dimensional map 610 of FIG. 6, only lane and road markings extracted from one of the sub-maps illustrated in FIG. 4 based on reflectivity can be seen.

図6は、第1整合ポイントP1,P2,P3,P4と第2整合ポイントP1’,P2’,P3’,P4’とが複数個であるように図示しているが、第1整合ポイントP1,P2,P3,P4及び第2整合ポイントP1’,P2’,P3’,P4’それぞれの個数は、一つであってもよい。 Although FIG. 6 shows a plurality of first matching points P1, P2, P3, P4 and second matching points P1', P2', P3', P4', the first matching point P1 , P2, P3, P4 and the number of second matching points P1', P2', P3', P4' may be one.

第1整合ポイントP1,P2,P3,P4及び第2整合ポイントP1’,P2’,P3’,P4’は、手動的または自動的にも決定される。一例として、地図生成装置200は、管理者から、第1の三次元地図610内及び航空地図630内のポイントにおいて、互いにマッチングされる第1整合ポイントP1,P2,P3,P4と第2整合ポイントP1’,P2’,P3’,P4’とを入力されうる。他の例として、地図生成装置200は、第1の三次元地図610内及び航空地図630内のポイントそれぞれと、その周りの情報を利用したテンプレートマッチングまたは地域記述子(local descriptor)とを利用し、第1整合ポイントP1,P2,P3,P4、及びそれにマッチングされる第2整合ポイントP1’,P2’,P3’,P4’を決定することができる。 The first matching points P1, P2, P3, P4 and the second matching points P1', P2', P3', P4' are also determined manually or automatically. As an example, the map generation device 200 receives from the administrator first matching points P1, P2, P3, P4 and second matching points that are matched with each other at points in the first three-dimensional map 610 and the aerial map 630. P1', P2', P3', and P4' can be input. As another example, the map generation device 200 uses template matching or local descriptors using information about each point in the first three-dimensional map 610 and the aerial map 630 and the surrounding information. , first matching points P1, P2, P3, P4, and matching second matching points P1', P2', P3', P4'.

地図生成装置200は、第1の三次元地図610内の第1整合ポイントP1,P2,P3,P4の座標と、航空地図630内の第2整合ポイントP1’,P2’,P3’,P4’の座標との差値を補正値として決定することができる。前述のように、決定された補正値、またはノードの座標に補正値が反映された値が、単項ファクタとして、第1グラフに追加されうる。地図生成装置200は、第1整合ポイントP1,P2,P3,P4と最も近いノードの単項ファクタとして、前記補正値、または当該ノードの座標に補正値を反映させた値を第1グラフに追加することができる。また、第2整合ポイントP1’,P2’,P3’,P4’の座標が、複数のノードに係わるランドマークとして、第1グラフにも追加される。 The map generation device 200 uses the coordinates of the first matching points P1, P2, P3, and P4 in the first three-dimensional map 610 and the second matching points P1', P2', P3', and P4' in the aerial map 630. The difference value from the coordinates of can be determined as a correction value. As described above, the determined correction value or a value in which the correction value is reflected in the coordinates of the node may be added to the first graph as a unary factor. The map generation device 200 adds the correction value, or a value obtained by reflecting the correction value on the coordinates of the node, to the first graph as a unary factor of the node closest to the first matching points P1, P2, P3, P4. be able to. Additionally, the coordinates of the second matching points P1', P2', P3', and P4' are added to the first graph as landmarks related to the plurality of nodes.

また、地図生成装置200は、第1整合ポイントP1,P2,P3,P4に対応するノードを決定し、決定されたノードと、第1整合ポイントP1,P2,P3,P4との距離に反比例する信頼度を、当該ノードの単項ファクタの一要素として、第1グラフに追加することもできる。 The map generation device 200 also determines nodes corresponding to the first matching points P1, P2, P3, and P4, and calculates the distance between the determined nodes and the first matching points P1, P2, P3, and P4. The confidence level can also be added to the first graph as a component of the unary factor for that node.

図6に図示されているように、第1の三次元地図610及び航空地図630において、複数の第1整合ポイントP1,P2,P3,P4と複数の第2整合ポイントP1’,P2’,P3’,P4’とが決定されれば、複数の第1整合ポイントP1,P2,P3,P4の座標、及び複数の第2整合ポイントP1’,P2’,P3’,P4’の座標それぞれの差値の平均が、補正値として決定されうる。 As illustrated in FIG. 6, in the first three-dimensional map 610 and the aeronautical map 630, a plurality of first matching points P1, P2, P3, P4 and a plurality of second matching points P1', P2', P3 ', P4' are determined, the difference between the coordinates of the plurality of first matching points P1, P2, P3, P4 and the coordinates of the plurality of second matching points P1', P2', P3', P4' An average of the values may be determined as the correction value.

補正値に基づき、第2グラフが決定されれば、該第2グラフに基づき、各ノードの更新された自由度値が決定され、更新された自由度値を基準に決定される第2の三次元地図内のポイントの座標が、航空地図のポイントの座標に対応することになる。言い換えれば、いずれか1つのノードを基準として計算した第1整合ポイントP1,P2,P3またはP4の座標が(1,1,1)であり、第2整合ポイントP1’,P2’,P3’またはP4’の座標が(2,、2,2)である場合、拘束ファクタの追加を介し、ノードの位置を調整することにより、当該ノードを基準として計算した第1整合ポイントP1,P2,P3またはP4の座標が(2,2,2)(または、それに近い座標)になるようにするものである。 Once the second graph is determined based on the correction value, an updated degree of freedom value for each node is determined based on the second graph, and a second cubic value is determined based on the updated degree of freedom value. The coordinates of a point in the original map will correspond to the coordinates of a point on the aeronautical map. In other words, the coordinates of the first matching point P1, P2, P3 or P4 calculated with any one node as a reference are (1, 1, 1), and the second matching point P1', P2', P3' or If the coordinates of P4' are (2,,2,2), the first matching point P1, P2, P3 or The coordinates of P4 are set to (2, 2, 2) (or coordinates close to it).

図7及び図8は、一実施形態による、ポイントツーラインマッチングを介して補正値を決定する方法について説明するための図面である。 7 and 8 are diagrams illustrating a method of determining a correction value through point-to-line matching, according to an embodiment.

なお、道路上の識別可能なマーカー(車線、路面記号など)は、ポイントに特定されうるだけではなく、線に表現されたりもする。そのような場合、地図生成装置200は、第1の三次元地図610内と航空地図630内とにおいて、互いにマッチングされる整合ポイントP1,P2,P3と整合ラインL’とを決定することができる。 Note that identifiable markers on the road (lanes, road markings, etc.) can be expressed not only as points but also as lines. In such a case, the map generation device 200 can determine matching points P1, P2, P3 and matching line L' that are matched with each other in the first three-dimensional map 610 and the aerial map 630. .

整合ポイントP1,P2,P3及び整合ラインL’は、手動的または自動的にも決定される。一例として、地図生成装置200は、管理者から、第1の三次元地図610及び航空地図630において、互いにマッチングされる整合ポイントP1,P2,P3と整合ラインL’とを入力されうる。他の例として、地図生成装置200は、第1の三次元地図610及び航空地図630を分析し、互いにマッチングされる整合ポイントP1,P2,P3と整合ラインL’とを決定することもできる。 The matching points P1, P2, P3 and the matching line L' are also determined manually or automatically. For example, the map generation device 200 may receive matching points P1, P2, P3 and a matching line L' that are matched with each other in the first 3D map 610 and the aerial map 630 from an administrator. As another example, the map generation device 200 may analyze the first three-dimensional map 610 and the aerial map 630 to determine matching points P1, P2, P3 and matching line L' that are matched with each other.

第1の三次元地図610内の整合ポイントP1,P2,P3を、補正値によってトランスフォーム(transform)(または、更新)したとき、トランスフォームされた整合ポイントの座標が、航空地図630内の整合ラインL’上に位置しなければならない。従って、図8に図示されているように、地図生成装置200は、整合ポイントP1,P2,P3と整合ラインL’との距離dの和が最小になる補正値を決定することができる。ここで、該補正値は、自由度値を有することができる。 When matching points P1, P2, and P3 in the first three-dimensional map 610 are transformed (or updated) by correction values, the coordinates of the transformed matching points are It must be located on line L'. Therefore, as shown in FIG. 8, the map generation device 200 can determine the correction value that minimizes the sum of the distances d between the matching points P1, P2, P3 and the matching line L'. Here, the correction value can have a degree of freedom value.

いずれか1つのノードを基準に計算された整合ポイントP1,P2,P3の座標が、整合ラインL’上にないとき、補正値に対応する拘束ファクタの追加を介し、前述のいずれか1つのノードの自由度値を変更することができ、それにより、整合ポイントP1,P2,P3の座標が、航空地図の整合ラインL’に含まれたポイントの座標と一致するか、あるいは類似することになる。 When the coordinates of the matching points P1, P2, P3 calculated based on any one node are not on the matching line L', the coordinates of the matching points P1, P2, P3 calculated based on any one node are added to the above-mentioned one node through addition of a constraint factor corresponding to the correction value. The degrees of freedom value of can be changed so that the coordinates of alignment points P1, P2, P3 match or are similar to the coordinates of points included in alignment line L' of the aeronautical map. .

図9及び図10は、一実施形態による、ラインツーラインマッチングを介して補正値を決定する方法について説明するための図面である。 9 and 10 are diagrams illustrating a method of determining a correction value through line-to-line matching, according to an embodiment.

地図生成装置200は、第1の三次元地図610内と航空地図630内とにおいて、互いにマッチングされる第1整合ラインL1,L2,L3,L4,L5と第2整合ラインL1’,L2’,L3’,L4’,L5’とを決定することができる。図9は、複数の第1整合ラインL1,L2,L3,L4,L5と、複数の第2整合ラインL1’,L2’,L3’,L4’,L5’とを図示しているが、1本の第1整合ラインと、1本の第2整合ラインとが決定されもする。 The map generation device 200 generates first matching lines L1, L2, L3, L4, L5 and second matching lines L1', L2', which are matched with each other in the first three-dimensional map 610 and the aerial map 630. L3', L4', and L5' can be determined. FIG. 9 illustrates a plurality of first matching lines L1, L2, L3, L4, L5 and a plurality of second matching lines L1', L2', L3', L4', L5'. A first alignment line of the book and one second alignment line are also determined.

第1整合ラインL1,L2,L3,L4,L5と第2整合ラインL1’,L2’,L3’,L4’,L5’は、手動的または自動的にも決定される。一例として、地図生成装置200は、管理者から、第1の三次元地図610及び航空地図630において、互いにマッチングされる第1整合ラインL1,L2,L3,L4,L5と第2整合ラインL1’,L2’,L3’,L4’,L5’とを入力されうる。他の例として、地図生成装置200は、第1の三次元地図610及び航空地図630を分析し、互いにマッチングされる第1整合ラインL1,L2,L3,L4,L5と第2整合ラインL1’,L2’,L3’,L4’,L5’とを決定することもできる。 The first matching lines L1, L2, L3, L4, L5 and the second matching lines L1', L2', L3', L4', L5' can also be determined manually or automatically. As an example, the map generation device 200 receives a request from the administrator that first matching lines L1, L2, L3, L4, L5 and a second matching line L1' are matched to each other in the first three-dimensional map 610 and the aerial map 630. , L2', L3', L4', and L5' can be input. As another example, the map generation device 200 analyzes the first three-dimensional map 610 and the aerial map 630, and matches the first matching lines L1, L2, L3, L4, L5 and the second matching line L1'. , L2', L3', L4', and L5'.

第1の三次元地図610内の第1整合ラインL1,L2,L3,L4,L5を、補正値によってトランスフォーム(または、更新)したとき、トランスフォームされた第1整合ラインL1,L2,L3,L4,L5が第2整合ラインL1’,L2’,L3’,L4’,L5’に一致しなければならない。従って、図10に図示されているように、地図生成装置200は、第1整合ラインL1,L2,L3,L4,L5、具体的には、第1整合ラインに含まれたポイントと、第2整合ラインL1’,L2’,L3’,L4’,L5’との距離dの和が最小になる補正値を決定することができる。ここで、該補正値は、自由度値を有することができる。一実施形態において、複数の第1整合ラインL1,L2,L3,L4,L5と、複数の第2整合ラインL1’,L2’,L3’,L4’,L5’とが決定された場合、それぞれの第1整合ラインと第2整合ラインとから決定された補正値の平均が、最終補正値として決定されうる。 When the first matching lines L1, L2, L3, L4, L5 in the first three-dimensional map 610 are transformed (or updated) by the correction values, the transformed first matching lines L1, L2, L3 , L4, and L5 must match the second matching lines L1', L2', L3', L4', and L5'. Therefore, as illustrated in FIG. 10, the map generation device 200 generates points included in the first matching lines L1, L2, L3, L4, and L5, specifically, the points included in the first matching lines and the second matching lines. A correction value that minimizes the sum of distances d from matching lines L1', L2', L3', L4', and L5' can be determined. Here, the correction value can have a degree of freedom value. In one embodiment, if a plurality of first matching lines L1, L2, L3, L4, L5 and a plurality of second matching lines L1', L2', L3', L4', L5' are determined, each The average of the correction values determined from the first matching line and the second matching line may be determined as the final correction value.

補正値に対応する拘束ファクタの追加を介し、前述のいずれか1つのノードの自由度値が変更され、それにより、第1整合ラインL1,L2,L3,L4,L5に含まれたポイントの座標が、航空地図630の第2整合ラインL1’,L2’,L3’,L4’,L5’に含まれたポイントの座標と一致するか、あるいは類似することになる。 Through the addition of a constraint factor corresponding to the correction value, the degree of freedom value of any one of the aforementioned nodes is changed, thereby changing the coordinates of the points included in the first matching line L1, L2, L3, L4, L5. will match or be similar to the coordinates of the points included in the second matching lines L1', L2', L3', L4', and L5' of the aerial map 630.

図11及び図12は、一実施形態による、マーカーマッチングを介して補正値を決定する方法について説明するための図面である。 11 and 12 are diagrams illustrating a method for determining a correction value through marker matching, according to an embodiment.

道路上には、交通標識のような多様なマーカーが存在する。地図生成装置200は、第1の三次元地図610及び航空地図630において、互いにマッチングされる第1マーカーM1,M2,M3,M4と第2マーカーM1’,M2’,M3’,M4’とを決定することができる。第1マーカーM1,M2,M3,M4及び第2マーカーM1’,M2’,M3’,M4’は、手動的または自動的にも決定される。一例として、地図生成装置200は、管理者から、第1の三次元地図610及び航空地図630において、互いにマッチングされる第1マーカーM1,M2,M3,M4と第2マーカーM1’,M2’,M3’,M4’とを入力されうる。他の例として、地図生成装置200は、第1の三次元地図610及び航空地図630を分析し、互いにマッチングされる第1マーカーM1,M2,M3,M4と第2マーカーM1’,M2’,M3’,M4’とを決定することもできる。 There are various markers such as traffic signs on the road. The map generation device 200 creates first markers M1, M2, M3, M4 and second markers M1', M2', M3', M4' that are matched with each other on the first three-dimensional map 610 and the aerial map 630. can be determined. The first markers M1, M2, M3, M4 and the second markers M1', M2', M3', M4' are also determined manually or automatically. As an example, the map generation device 200 receives a request from the administrator that first markers M1, M2, M3, M4 and second markers M1', M2', which are matched with each other, M3' and M4' can be input. As another example, the map generation device 200 analyzes the first three-dimensional map 610 and the aerial map 630, and matches the first markers M1, M2, M3, M4 and the second markers M1', M2', It is also possible to determine M3' and M4'.

第1マーカーM1,M2,M3,M4それぞれに含まれたポイントの座標と、第2マーカーM1’,M2’,M3’,M4’それぞれに含まれたポイントの座標は、一致しなければならないので、地図生成装置200は、第1マーカーM1,M2,M3,M4それぞれに含まれたポイントの座標が、第2マーカーM1’,M2’,M3’,M4’それぞれに含まれたポイントの座標と一致するか、あるいは類似するようにする補正値を決定することができる。第1マーカーM1,M2,M3,M4に含まれたポイントは、第1マーカーM1,M2,M3,M4それぞれを示すブロック、例えば、図12に図示された四角形ブロックB1,B2,B3,B4の中点ポイントC1,C2,C3,C4でもあり、同様に、第2マーカーM1’,M2’,M3’,M4’に含まれたポイントは、第2マーカーそれぞれを示すブロック、例えば、図12に図示された四角形ブロックB1’,B2’,B3’,B4’の中点ポイントC1’,C2’,C3’,C4’でもある。図12に図示されているように、第1マーカーM1,M2,M3,M4に含まれたポイントC1,C2,C3,C4の座標を、第2マーカーM1’,M2’,M3’,M4’に含まれたポイントC1’,C2’,C3’,C4’の座標に一致させるための三次元座標値tと姿勢値Rとが補正値として決定されうる。該中点ポイントは、ブロックの重心を意味しうる。 The coordinates of the points included in each of the first markers M1, M2, M3, and M4 must match the coordinates of the points included in each of the second markers M1', M2', M3', and M4'. , the map generation device 200 determines that the coordinates of the points included in each of the first markers M1, M2, M3, and M4 are the coordinates of the points included in each of the second markers M1', M2', M3', and M4'. Correction values can be determined to match or make them similar. The points included in the first markers M1, M2, M3, and M4 are the blocks that indicate the first markers M1, M2, M3, and M4, for example, the rectangular blocks B1, B2, B3, and B4 illustrated in FIG. The midpoint points C1, C2, C3, and C4 are also the points included in the second markers M1', M2', M3', and M4'. These are also the midpoints C1', C2', C3', and C4' of the illustrated rectangular blocks B1', B2', B3', and B4'. As illustrated in FIG. 12, the coordinates of points C1, C2, C3, and C4 included in the first markers M1, M2, M3, and M4 are converted to the coordinates of the points C1, C2, C3, and C4 included in the first markers M1, M2, M3, and M4, and A three-dimensional coordinate value t and an orientation value R for matching the coordinates of points C1', C2', C3', and C4' included in the above can be determined as correction values. The midpoint point may refer to the center of gravity of the block.

また、地図生成装置200は、前記補正値を決定するとき、第1マーカーM1,M2,M3,M4それぞれに含まれたポイントの座標が、第2マーカーM1’,M2’,M3’,M4’それぞれに含まれたポイントの座標に一致するか、あるいは類似するようにしながら、第1マーカーM1,M2,M3,M4それぞれに含まれたポイントC1,C2,C3,C4を連結する第1図形Fの内角θ1,θ2,θ3,θ4が、第2マーカーM1’,M2’,M3’,M4’それぞれに含まれたポイントC1’,C2’,C3’,C4’を連結する第2図形F’の内角θ1’,θ2’,θ3’,θ4’に一致するか、あるいは類似するようにする補正値を決定することができる。前記補正値は、移動量及び回転量を含む自由度値でもある。 Furthermore, when determining the correction value, the map generation device 200 determines that the coordinates of the points included in each of the first markers M1, M2, M3, and M4 are the second markers M1', M2', M3', and M4'. A first figure F that connects the points C1, C2, C3, and C4 included in each of the first markers M1, M2, M3, and M4 while matching or similar to the coordinates of the points included in each. The interior angles θ1, θ2, θ3, θ4 connect the points C1', C2', C3', C4' included in the second markers M1', M2', M3', M4', respectively. It is possible to determine correction values that match or are similar to the interior angles θ1', θ2', θ3', and θ4'. The correction value is also a degree of freedom value including the amount of movement and the amount of rotation.

図13は、一実施形態による、テンプレートマッチングを介して補正値を決定する方法について説明するための図面である。 FIG. 13 is a diagram illustrating a method for determining a correction value through template matching, according to an embodiment.

一実施形態において、地図生成装置200は、テンプレートマッチングを介し、補正値を決定することもできる。第1の三次元地図610に含まれたポイントの第1の三次元地図610内における位置は、航空地図630に含まれたポイントの航空地図630内における位置と同一でなければならないので、第1の三次元地図610のポイントに対応するピクセル値と、航空地図630のポイントに対応するピクセル値との差が最小化されなければならない。従って、地図生成装置200は、第1の三次元地図610のポイントに対応するピクセル値と、航空地図630のポイントに対応するピクセル値との差の和を最小化させる補正値を決定し、決定された補正値に基づき、拘束ファクタを第1グラフに追加することができる。一例として、地図生成装置200は、図13に図示されているように、第1の三次元地図610と、航空地図630とが重畳されたイメージ650を介し、第1の三次元地図610のポイントに対応するピクセル値と、航空地図630のポイントに対応するピクセル値との差が最小化される補正値を決定することができる。 In one embodiment, the map generation device 200 may also determine the correction value via template matching. The position of the point included in the first three-dimensional map 610 must be the same as the position of the point included in the aeronautical map 630, so the first The difference between the pixel values corresponding to points on the three-dimensional map 610 and the pixel values corresponding to the points on the aerial map 630 must be minimized. Therefore, the map generation device 200 determines and determines a correction value that minimizes the sum of the differences between the pixel values corresponding to the points on the first three-dimensional map 610 and the pixel values corresponding to the points on the aerial map 630. Based on the corrected values, a constraint factor can be added to the first graph. As an example, as illustrated in FIG. 13, the map generation device 200 generates points on the first three-dimensional map 610 via an image 650 in which the first three-dimensional map 610 and the aerial map 630 are superimposed. A correction value that minimizes the difference between the pixel value corresponding to the point on the aerial map 630 and the pixel value corresponding to the point on the aerial map 630 can be determined.

具現例によっては、前述のポイントツーポイントマッチング、ポイントツーラインマッチング、ラインツーラインマッチング、マーカーマッチングまたはテンプレートマッチングがディープラーニング(deep learning)基盤にも行われる。 Depending on the implementation, the point-to-point matching, point-to-line matching, line-to-line matching, marker matching, or template matching described above may also be performed on a deep learning basis.

図14は、一実施形態による、地図生成装置200の構成を図示するブロック図である。 FIG. 14 is a block diagram illustrating the configuration of map generation device 200, according to one embodiment.

図14を参照すれば、地図生成装置200は、メモリ1410、通信部1430及び制御部1450を含む。メモリ1410、通信部1430及び制御部1450は、少なくとも1つのプロセッサによっても具現され、メモリ1410に保存されたインストラクションによって動作することができる。 Referring to FIG. 14, the map generation device 200 includes a memory 1410, a communication section 1430, and a control section 1450. The memory 1410, the communication unit 1430, and the control unit 1450 are also implemented by at least one processor, and can operate according to instructions stored in the memory 1410.

通信部1430は、移動体100から、センシングデータを受信する。通信部1430は、該センシングデータを、有線ネットワーク及び/または無線ネットワークを介して受信することができる。 Communication unit 1430 receives sensing data from mobile object 100. The communication unit 1430 can receive the sensing data via a wired network and/or a wireless network.

制御部1450は、センシングデータを基に、三次元地図を生成する。具体的には、制御部1450は、ノード及び拘束ファクタを含む第1グラフを生成し、該第1グラフに基づき、第1の三次元地図を生成する。該第1の三次元地図に含まれたポイントの座標は、実際座標と差がありえるので、制御部1450は、該第1の三次元地図内のポイントの座標を、航空地図内のポイントの座標に対応させる補正値を決定し、該補正値と係わる拘束ファクタが追加された第2グラフを決定する。制御部1450は、該第2グラフに基づき、第2の三次元地図を生成する。そのような航空地図は、通信部1430が、有線ネットワーク及び/または無線ネットワークを介し、他の装置から受信するか、あるいはメモリ1410に保存されたものでもある。 Control unit 1450 generates a three-dimensional map based on the sensing data. Specifically, the control unit 1450 generates a first graph including nodes and constraint factors, and generates a first three-dimensional map based on the first graph. Since the coordinates of the points included in the first three-dimensional map may differ from the actual coordinates, the control unit 1450 converts the coordinates of the points in the first three-dimensional map into the coordinates of the points in the aeronautical map. A correction value corresponding to the correction value is determined, and a second graph to which a constraint factor related to the correction value is added is determined. Control unit 1450 generates a second three-dimensional map based on the second graph. Such an aeronautical map may be received by the communication unit 1430 from another device via a wired network and/or a wireless network, or may be stored in the memory 1410.

グラフの生成方法、補正値の決定方法、及び三次元地図の生成方法については、前述の通りであるので、詳細な説明は、省略する。 The graph generation method, the correction value determination method, and the three-dimensional map generation method are as described above, so detailed explanations will be omitted.

一方、前述の本開示の実施形態において、航空地図は、二次元、2.5次元または三次元の地図でもある。一例によれば、該航空地図は2.5次元でもある、ここで、2.5次元は、二次元の各(x,y)座標が1つの高さ値zを有するデータを意味する。地図生成装置200は、移動体100に基づいて生成されたグラウンドレベルの地図(例えば、前述の三次元地図)と航空地図とのポイント座標が、同一にn次元である場合には、n次元の補正値を計算することができる。一方、グラウンドレベルの地図のポイント座標は、n次元であり、航空地図のポイント座標は、m次元である場合、地図生成装置200は、さらに低い次元の座標値のみを利用し、補正値を計算することができる。ただし、2.5次元の場合、x,y,z座標値をいずれも有するために、三次元に準じて扱われうる。 Meanwhile, in the embodiments of the present disclosure described above, the aerial map is also a two-dimensional, 2.5-dimensional or three-dimensional map. According to an example, the aerial map is also 2.5 dimensional, where 2.5 dimensional means data in which each (x,y) coordinate in two dimensions has one height value z. If the point coordinates of the ground level map (for example, the above-mentioned three-dimensional map) and the aerial map generated based on the mobile object 100 are n-dimensional, the map generation device 200 generates an n-dimensional map. Correction values can be calculated. On the other hand, if the point coordinates of the ground level map are n-dimensional and the point coordinates of the aerial map are m-dimensional, the map generation device 200 calculates the correction value using only coordinate values of lower dimensions. can do. However, in the case of 2.5 dimensions, since it has x, y, and z coordinate values, it can be treated similarly to three dimensions.

なお、前述の本開示の実施形態は、コンピュータで実行されうるプログラムに作成可能であり、作成されたプログラムは、媒体にも保存される。 Note that the embodiment of the present disclosure described above can be created as a program that can be executed on a computer, and the created program can also be stored on a medium.

該媒体は、コンピュータで実行可能なプログラムを続けて保存するか、あるいは実行またはダウンロードのために臨時保存するものでもある。また、該媒体は、単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されるものではなく、ネットワーク上に分散存在するものでもある。該媒体の例示としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体;CD-ROM(compact disc read only memory)及びDVD(digital versatile disc)のような光記録媒体;フロプティカルディスク(floptical disk)のような磁気・光媒体(magneto-optical medium);及びROM(read only memory)、RAM(random access memory)、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。また、他の媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給したり流通したりするサイト、サーバなどで管理する記録媒体あるいは保存媒体も挙げることができる。 The medium may continuously store a computer-executable program or temporarily store it for execution or download. The medium also includes a variety of recording or storage means in the form of a single piece of hardware or a combination of several pieces of hardware, but is not limited to a medium that is directly connected to a computer system, and is not limited to a medium that is directly connected to a computer system. It is also something that exists dispersedly. Examples of such media include magnetic media such as hard disks, floppy disks, and magnetic tapes; optical recording media such as CD-ROMs (compact disc read only memory) and DVDs (digital versatile discs); a magnetic-optical medium such as a floptical disk; and a ROM (read only memory), RAM (random access memory), flash memory, etc., in which program instructions are stored. It is also composed. Further, examples of other media include app stores that distribute applications, sites that supply and distribute various other software, and recording or storage media managed by servers and the like.

以上、本開示の技術的思想について、望ましい実施形態を挙げて詳細に説明したが、本開示の技術的思想は、前述の実施形態に限定されるものではなく、本開示の技術的思想の範囲内において、当分野において当業者により、さまざまな変形及び変更が可能である。 As above, the technical idea of the present disclosure has been described in detail by citing the preferred embodiments, but the technical idea of the present disclosure is not limited to the above-described embodiments, and the scope of the technical idea of the present disclosure is Various modifications and changes can be made therein by those skilled in the art.

Claims (7)

地図生成装置による地図の生成方法において、
ノード、及び移動体に係わるセンシングデータと係わる拘束ファクタを含む第1グラフを生成する段階と、
前記生成された第1グラフに基づき、第1の多次元地図を生成する段階と、
前記第1の多次元地図内の少なくとも1つのポイントの座標を、前記ポイントにマッチングされる航空地図内のポイントの座標に対応させる補正値を決定する段階と、
前記第1グラフに、前記決定された補正値と係わる拘束ファクタが追加された第2グラフを決定する段階と、
前記第2グラフに基づき、第2の多次元地図を生成する段階と、を含み、
前記補正値を決定する段階は、
前記第1の多次元地図内の整合ラインに含まれたポイントと、前記第1の多次元地図内の整合ラインにマッチングされる前記航空地図内の整合ラインとの距離を最小化する補正値を決定する段階を含むことを特徴とする地図の生成方法。
In a map generation method using a map generation device,
generating a first graph including nodes and constraint factors related to sensing data related to the moving object;
generating a first multidimensional map based on the generated first graph;
determining a correction value that causes the coordinates of at least one point in the first multidimensional map to correspond to the coordinates of a point in an aeronautical map that is matched to the point;
determining a second graph in which a constraint factor related to the determined correction value is added to the first graph;
generating a second multidimensional map based on the second graph,
The step of determining the correction value includes:
a correction value that minimizes the distance between a point included in a matching line in the first multidimensional map and a matching line in the aeronautical map that is matched with the matching line in the first multidimensional map; A method for generating a map, comprising a step of determining.
前記第2グラフを決定する段階は、
前記補正値または前記第1グラフに含まれた少なくとも1つのノードの自由度値に前記補正値を反映させた値を、前記第1グラフに含まれた少なくとも1つのノードの新しい拘束ファクタとして、前記第1グラフに追加する段階を含むことを特徴とする請求項1に記載の地図の生成方法。
The step of determining the second graph includes:
The correction value or a value obtained by reflecting the correction value on the degree of freedom value of at least one node included in the first graph is set as a new constraint factor of at least one node included in the first graph, The method of generating a map according to claim 1, further comprising the step of adding to the first graph.
前記第1の多次元地図を生成する段階は、
前記第1グラフの最適化を介し、前記ノードそれぞれの自由度値を決定する段階と、
前記ノードそれぞれの自由度値を基に、前記移動体でセンシングされたポイントの座標を算出し、前記第1の多次元地図を生成する段階と、を含むことを特徴とする請求項1に記載の地図の生成方法。
The step of generating the first multidimensional map includes:
determining degrees of freedom values for each of the nodes through optimization of the first graph;
2. The method according to claim 1, further comprising the step of calculating the coordinates of a point sensed by the moving object based on the degrees of freedom value of each of the nodes, and generating the first multidimensional map. How to generate maps.
前記第2の多次元地図を生成する段階は、
前記第2グラフの最適化を介し、前記ノードそれぞれの更新された自由度値を決定する段階と、
前記ノードそれぞれの更新された自由度値を基に、前記移動体でセンシングされたポイントの更新された座標を算出し、前記第2の多次元地図を生成する段階と、を含むことを特徴とする請求項3に記載の地図の生成方法。
The step of generating the second multidimensional map includes:
determining updated degree-of-freedom values for each of the nodes through optimization of the second graph;
The method includes the step of calculating updated coordinates of a point sensed by the moving object based on the updated degree of freedom value of each of the nodes, and generating the second multidimensional map. The map generation method according to claim 3.
前記生成する段階は、
前記第1グラフに含まれた拘束ファクタと、前記新しい拘束ファクタをいずれも満足する方向に、前記第2グラフを最適化させることにより、前記第2の多次元地図を生成することを特徴とする請求項1に記載の地図の生成方法。
The generating step includes:
The second multidimensional map is generated by optimizing the second graph in a direction that satisfies both the constraint factor included in the first graph and the new constraint factor. The map generation method according to claim 1.
請求項1ないし5のうちいずれか1項に記載の地図の生成方法をコンピュータに実行させるための、プログラム。 A program for causing a computer to execute the map generation method according to any one of claims 1 to 5. プロセッサと、
少なくとも1つのインストラクションを保存するメモリと、を含むが、
前記プロセッサは、前記少なくとも1つのインストラクションにより、
ノード、及び移動体に係わるセンシングデータと係わる拘束ファクタを含む第1グラフを生成し、
前記生成された第1グラフに基づき、第1の多次元地図を生成し、
前記第1の多次元地図内の少なくとも1つのポイントの座標を、前記ポイントにマッチングされる航空地図内のポイントの座標に対応させる補正値を決定し、
前記第1グラフに、前記決定された補正値と係わる拘束ファクタが追加された第2グラフを決定し、
前記第2グラフに基づき、第2の多次元地図を生成するが、
前記補正値は、前記第1の多次元地図内の整合ラインに含まれたポイントと、前記第1の多次元地図内の整合ラインにマッチングされる前記航空地図内の整合ラインとの距離を最小化させるように決定されることを特徴とする地図生成装置。
a processor;
a memory for storing at least one instruction;
The at least one instruction causes the processor to:
generating a first graph including constraint factors related to nodes and sensing data related to the moving body;
generating a first multidimensional map based on the generated first graph;
determining a correction value that causes the coordinates of at least one point in the first multidimensional map to correspond to the coordinates of a point in an aeronautical map that is matched to the point;
determining a second graph in which a constraint factor related to the determined correction value is added to the first graph;
A second multidimensional map is generated based on the second graph,
The correction value minimizes the distance between a point included in a matching line in the first multidimensional map and a matching line in the aeronautical map that is matched with the matching line in the first multidimensional map. A map generation device characterized in that the map generation device is configured to generate a map.
JP2024005820A 2019-07-19 2024-01-18 Apparatus and method for generating three-dimensional map using aerial photograph Pending JP2024032805A (en)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020190087758A KR102115004B1 (en) 2019-07-19 2019-07-19 Apparatus and method for generating three dimensional map using aerial images
KR10-2020-0056166 2019-07-19
KR10-2019-0087758 2019-07-19
KR1020200056166A KR102589296B1 (en) 2019-07-19 2020-05-11 Apparatus and method for generating three dimensional map using aerial images
JP2021571489A JP7460660B2 (en) 2019-07-19 2020-06-26 Apparatus and method for generating 3D maps using aerial photographs
PCT/KR2020/008358 WO2021015435A1 (en) 2019-07-19 2020-06-26 Apparatus and method for generating three-dimensional map by using aerial photograph

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021571489A Division JP7460660B2 (en) 2019-07-19 2020-06-26 Apparatus and method for generating 3D maps using aerial photographs

Publications (1)

Publication Number Publication Date
JP2024032805A true JP2024032805A (en) 2024-03-12

Family

ID=82658345

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021571489A Active JP7460660B2 (en) 2019-07-19 2020-06-26 Apparatus and method for generating 3D maps using aerial photographs
JP2024005820A Pending JP2024032805A (en) 2019-07-19 2024-01-18 Apparatus and method for generating three-dimensional map using aerial photograph

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021571489A Active JP7460660B2 (en) 2019-07-19 2020-06-26 Apparatus and method for generating 3D maps using aerial photographs

Country Status (2)

Country Link
JP (2) JP7460660B2 (en)
KR (1) KR102589296B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220107550A (en) 2021-01-25 2022-08-02 주식회사 엘지에너지솔루션 Apparatus and method for classifying battery
KR20240053391A (en) * 2022-10-17 2024-04-24 네이버랩스 주식회사 Method and system for matching street view data with 3d model

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2082188B1 (en) 2006-10-20 2013-06-05 TomTom Global Content B.V. Computer arrangement for and method of matching location data of different sources
KR101996241B1 (en) * 2012-06-06 2019-07-05 삼성전자주식회사 Device and method for providing 3d map representing positon of interest in real time
KR101234961B1 (en) 2012-10-31 2013-02-25 (주)지오투정보기술 Method and system for modeling automatic 3-dimensional space using aerial image and mobile mapping system technology
JP6649743B2 (en) 2015-10-28 2020-02-19 シャープ株式会社 Matching evaluation device and matching evaluation method
JP2016105293A (en) 2016-01-05 2016-06-09 富士通株式会社 User detection device, method, and program
KR101720761B1 (en) 2016-10-14 2017-03-29 (주)엔토포스 system for building three-dimensional space information using MMS and multi-directional tilt aerial photos
JP6874343B2 (en) 2016-11-24 2021-05-19 株式会社豊田中央研究所 Map making device
KR102414676B1 (en) * 2017-03-07 2022-06-29 삼성전자주식회사 Electronic apparatus and operating method for generating a map data

Also Published As

Publication number Publication date
KR20210010309A (en) 2021-01-27
JP2022535033A (en) 2022-08-04
JP7460660B2 (en) 2024-04-02
KR102589296B1 (en) 2023-10-13

Similar Documents

Publication Publication Date Title
CN111108342B (en) Visual range method and pair alignment for high definition map creation
US10788830B2 (en) Systems and methods for determining a vehicle position
JP7404010B2 (en) Position estimation device and method
US10240934B2 (en) Method and system for determining a position relative to a digital map
KR102115004B1 (en) Apparatus and method for generating three dimensional map using aerial images
US20190072392A1 (en) System and method for self-geoposition unmanned aerial vehicle
CN108627175A (en) The system and method for vehicle location for identification
JP2024032805A (en) Apparatus and method for generating three-dimensional map using aerial photograph
JP2009294214A (en) Method and system for navigation based on topographic structure
US11846520B2 (en) Method and device for determining a vehicle position
KR20200032776A (en) System for information fusion among multiple sensor platforms
JP4986883B2 (en) Orientation device, orientation method and orientation program
TWI674393B (en) Multi-positioning system switching and fusion correction method and device thereof
JP7375066B2 (en) Method and system for generating HD maps based on aerial images taken by unmanned aerial vehicles or aircraft
KR102506411B1 (en) Method and apparatus for estimation of location and pose on vehicle and record medium for this
CN116147605A (en) Vehicle automatic driving map generation method, device, equipment and storage medium
Wang et al. Pedestrian positioning in urban city with the aid of Google maps street view
JP2022059827A (en) Information processing method, program, and information processor
CN111964685A (en) Method and system for creating a positioning map for a vehicle
Yingfei et al. Solving the localization problem while navigating unknown environments using the SLAM method
JP7138290B1 (en) Information processing method, program and information processing device
Wang et al. Updating Smartphone's Exterior Orientation Parameters by Image-based Localization Method Using Geo-tagged Image Datasets and 3D Point Cloud as References
CN112556701A (en) Method, device, equipment and storage medium for positioning vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240118

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20240820