JP6812404B2 - 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム - Google Patents

点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム Download PDF

Info

Publication number
JP6812404B2
JP6812404B2 JP2018247572A JP2018247572A JP6812404B2 JP 6812404 B2 JP6812404 B2 JP 6812404B2 JP 2018247572 A JP2018247572 A JP 2018247572A JP 2018247572 A JP2018247572 A JP 2018247572A JP 6812404 B2 JP6812404 B2 JP 6812404B2
Authority
JP
Japan
Prior art keywords
point cloud
cloud data
frame
image
transformation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018247572A
Other languages
English (en)
Other versions
JP2019145089A (ja
Inventor
周旺
閻ミャオ
湛逸飛
段雄
馬常杰
郎咸朋
金永剛
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
Publication of JP2019145089A publication Critical patent/JP2019145089A/ja
Application granted granted Critical
Publication of JP6812404B2 publication Critical patent/JP6812404B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、主に点群データを融合させるための方法および装置に関するものであり、より具体的には、高精度地図の点群データを融合させるための方法及び装置に関するものである。
点群融合技術は、場面の３次元再構築にとって極めて重要である。特に、高精細地図の３次元モデルの構築過程において、点群の融合は、３次元モデルの構築が成功するか否かを決定する最も重要な技術の一つである。点群データを融合させる技術は、一般的に、採集エンティティがそれぞれ異なる視角から測定して得られた点群データを、１つのグローバル座標系に統一されるように、ポーズポジショニングを行い、且つ、後続の場面での３次元再構築が便利になるようにデータの融合を行う技術である。
従来の点群データを融合させる方法は、一般的に点群の特徴を抽出し、点群マッチングを行い、点群の融合を実現させるといったいくつかの主要なステップを含む。しかしながら、いくつかの特殊な場合に、例えば、トンネルのような非構造化の場面において、充分な点群の特徴を抽出することができないのみならず、位置情報（例えば、ＧＰＳ情報が存在しない）が欠失しているので、取得した点群データのポーズポジショニングを行うことができず、点群の融合を成功させることが難しく、さらに点群の融合に基づいて場面の３次元再構築を効果的に実現ことができなくなってしまう。
本開示の例示的実施形態は、非構造化場面及び位置信号または慣性航法信号の品質が良くない環境でも、依然として点群の融合を成功させることができる点群データを融合させるための方法及び装置を提供する。
本開示の第１の態様において、点群データを融合させるための方法を提供する。この方法は、同じ場面に対して採集した第１のフレームの点群データ及び第２のフレームの点群データにそれぞれ関連付けられた第１の画像と第２の画像を取得するステップと、前記第１の画像と前記第２の画像に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定するステップと、前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させるステップとを含む。
本開示の第２の態様において、点群データを融合させるための装置を提供する。この装置は、同じ場面に対して採集した第１のフレームの点群データ及び第２のフレームの点群データにそれぞれ関連する第１の画像及び第２の画像を取得するように構成された画像取得モジュールと、前記第１の画像と前記第２の画像に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定するように構成された変換行列確定モジュールと、前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させるように構成された点群融合モジュールとを備える。
本開示の第３の態様において、１つまたは複数のプロセッサと、１つまたは複数のプログラムを格納するための記憶装置とを含む機器であって、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、前記１つまたは複数のプロセッサが第１の態様による方法が実現される装置を提供する。
本開示の第４の態様において、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、第１の態様による方法が実現されるコンピュータ読み取り可能な記憶媒体を提供する。
発明の開示の部分で説明した内容は、本開示の実施形態のポイントまたは重要な特徴を限定することを意図するものではなく、本開示の範囲を限定するためのものでもないことを理解されたい。本開示の他の特徴は、以下の説明により容易に理解できる。
図面を参照しながら以下の非限定的な実施形態についての詳細な説明を参照すれば、本開示の各実施形態、他の特徴、目的及び利点がより明らかになる。図面において、同一または類似する図面符号は、同一または類似する要素を示す。
図１は、本開示に係る複数の実施形態を実現することができる例示的環境（場面）１００の概略図を示す。 図２は、本開示の一部の実施形態に係る点群データを融合させる方法２００のフローチャートを示す。 図３は、本開示の実施形態に係る画像補助に基づいて点群データを融合させる処理３００の概略図を示す。 図４は、本開示の実施形態に係る慣性航法補助に基づいて点群データの融合処理手順４００の概略図を示す。 図５は、本開示の実施形態に係る点群マッチングに基づいて点群データを融合させる処理手順５００の概略図を示す。 図６は、本開示の実施形態に係る点群データを融合させるための方法６００のフローチャートを示す。 図７は、本開示の実施形態に係る点群データを融合させるための方法で構築したトンネルの３次元モデルの効果図を示す。 図８は、本開示の実施形態に係る点群データを融合させるための装置８００の概略的なブロック図を示す。 図９は、本開示の実施形態を実施することができる例示的機器９００の概略的なブロック図を示す。
以下に添付図面を参照して、本開示の実施形態のより詳細に説明する。添付図面は、本開示の一部の実施形態を示すが、本開示の内容は、各種の方法で実現することができることを理解されるべきである。本開示が本明細書に示された実施形態に限定されるものと解釈してはならない。逆に、これらの実施形態の提供は、本開示がより明確で、より完全に理解されるためのものである。本開示の添付図面と実施形態は、単なる例示的なものであり、本願の保護範囲を限定するためのものではないことを理解されたい。
本開示の実施形態を説明することにおいて、用語「含む」及び似ている用語は、開放的な「含む」と理解すべきである。つまり、「．．．を含むが、これらに限定されない」と理解すべきである。用語「に基づいて」は、「少なくとも部分的に．．．に基づいて」と理解すべきである。用語「一実施形態」または「当該実施形態」は、「少なくとも一つの実施形態」として理解すべきである。用語「第１」、「第２」などは、異なる対象、又は同じ対象を指すものとすることができる。以下、他の明確な定義及び暗黙的な定義を含める可能性もある。
本明細書に用いられるような用語「場面（環境）」は、動的であってもよく、静的であってもよく、室内であってもよく、屋外であってもよい。用語「採集エンティティ」は、走行システムであってもよいが、これに限定されない。走行システムは、自律走行システムおよび／または非自律走行システムを含むことができる。以下、採集車を例に挙げ、本開示の実施形態を議論するが、本開示に係る方法は、同様に他の種類の採集エンティティに適用されることもできることを理解されるべきである。
前述したように、従来の点群データを融合させる方法は、直接レーザーレーダー（Laser radar、LIDAR「Laser Imaging Detection and Ranging」）の点群の特徴マッチングの方法に基づいて、点群の融合を行う方法と、高価な慣性計測手段（ＩＭＵ）またはグローバル・ポジショニング・システム（ＧＰＳ）を適用して点群の融合を行う方法と、直接ｋｉｎｅｃｔカメラを使用して点群の融合を行う方法などを含む。研究によると、上述した方法には、いずれも大きな欠点が存在する。
具体的に、従来の直接に点群の特徴のマッチングをベースにする融合方法について、構造化環境においてのみ豊富な点群の特徴を取得することが容易であり、非構造化環境（例えば、高速道路）では、その点群の特徴が非常に少ないため、隣接するいくつかのフレームの点群データが点群の特徴に依存してマッチングを行うことができなくなる現象が生じやすく、そのため点群データのポジショニング（positioning）を成功させることが困難となり、さらに点群の融合を成功させることができなくなる。
従来のＩＭＵ、ＧＰＳによる点群融合形式は、多くの場合、良好な点群融合効果を得られるが、障害物が存在するいくつかの特殊場面において（例えば、高層ビルが立ち並ぶ都市環境、樹木繁茂の環境）、ＧＰＳ信号の品質がよくなく、さらにいくつかの場面（例えば、トンネルや建物内部）では、ＧＰＳ信号が届かない場合が発生する。前記ＧＰＳ信号の品質がよくない場面では、出力されたポーズの結果が不正確になり、点群融合の失敗を招く原因となる。
従来のｋｉｎｅｃｔカメラの画像を直接に利用する点群の融合方法については、ｋｉｎｅｃｔカメラで採集した点群データが疎らで、精度が充分ではないため、融合効果が良くない。
このように、採集した位置信号の品質がよくない非構造化環境に位置する場合に、ＩＭＵに依存しても、点群マッチングを適用して２つのフレームの点群データのポーズを求めるようにしても、高精度な点群融合のニーズを満足させることができない。
本開示の実施形態によれば、点群データを融合させる方法を提案する。この方法によると、位置信号または慣性航法信号の品質がよくなく、位置する場面が非構造化環境である場合、場面に対する前後の採集時点で取得した画像の特徴マッチングに基づいて、関連付けられた時点で採集した前後フレームの点群データ間の変換行列（以下、「点群変換行列」と呼ばれる）を算出し、当該前後フレームの点群データの点群の融合を行う。
具体的に、位置信号または慣性航法信号の品質が良くない場合に、カメラで採集した画像うちのより鮮明なテクスチャ特徴または色の特徴を利用して、画像の特徴マッチングを行うことができる。これにより、２つの前後する画像間の変換行列（以下、「画像変換行列」と呼ばれる）を確定することができる。これにより関連付けられた前後２フレームの点群データ間の点群変換行列を確定することができ、続いて点群の融合を行うことができる。上述した画像補助によって点群融合方法を利用し、例えばトンネルなどの位置信号の品質がよくない非構造化環境であっても、点群の融合が正常に完了することができる。この方法で、点群融合の失敗を効果的に避け、処理が成功する確率を向上させることができる。
提供された点群データを融合させる方法は、位置信号、慣性航法信号の品質が所定の値よりも高く、または位置している場面が構造的環境である場合、それぞれ慣性航法信号に基づいて、前後フレームの点群データの点群変換行列を確定し、又は直接に前後フレームの点群データの特徴マッチングに基づいて、前後フレームの点群データの点群変換行列を確定し、続いて点群の融合を行うことを含む。上述した方法を採用することにより、位置信号の品質が回復し、構造的環境に戻った場合に、慣性航法補助の点群の融合を採用し、又は直接に点群マッチングに基づいて行う融合方法を採用して、位置信号と環境が所定の条件を満たしている場合に慣性航法とレーザーレーダーの高精度の測定値を充分に利用して点群データのポーズを確定し、点群の融合の効率を向上させることができる。
以下、添付図面を参照して、本開示の実施形態の具体的に説明する。
図１は、本開示の複数の実施形態が実現される例示的環境１００の概略図を示す。この例示的環境１００において、コンピューティングデバイス１２０によって点群データを融合させ場面の３次元再構築を実現する。
本開示の実施形態において、点群データを採集するための採集エンティティは、点群採集能力を備える任意のエンティティ（例えば、移動型装置、交通手段など）であってもよい。さらに、採集エンティティは点群採集能力を備える装置が集積され又は搭載された各種のエンティティであってもよい。採集エンティティは、例えば、有線または無線データ伝送などの任意のデータ伝送方式で点群データをコンピューティングデバイス１２０に伝送することができることを理解されるべきである。これらの伝送は、リアルタイム伝送である必要はない。コンピューティングデバイス１２０の点群データに対する後続的な処理は、いつまたはどのような形で点群データをコンピューティングデバイス１２０に送信することにかかわらず、影響されることはない。図１の実施形態において、採集エンティティは、採集車１１０を例として挙げる。これは単なる説明の目的のためのものにすぎず、如何なる制限を意図するものではないことを理解されるべきである。
コンピューティングデバイス１２０は、取得した複数のフレームの点群データに基づいて点群の融合を行うことができ、コンピューティングデバイス１２０は、採集装置１１０上に設置されることができ、車両の外に設置され、無線通信との方法を使用して採集車１１０と信号のやりとりを行うこともできる。
採集車１１０に、レーザーレーダー１０２、ステレオカメラ１０４、慣性航法計測手段１０６及びＧＰＳ信号受信装置１０８がそれぞれ設置されている。レーザーレーダー１０２は、一定の採集周波数に従って、場面１３０の点群データを採集するのに用いられる。例えば、いくつかの実施形態において、レーザーレーダー１０２の採集周波数は１０Ｈｚであり、つまり、１秒ごとに１０フレームの点群データを採集する。ステレオカメラ１０４は、一定の周波数（例えば、８Ｈｚ）で場面１３０のステレオ画像を採集する。慣性航法計測手段１０６は、採集車１１０の３軸ポーズの角度（または角速度）と加速度を測定する。慣性航法計測手段１０６は、一般的に３つの単軸加速度計と３つの単軸ジャイロスコープを含み、その出力信号の周波数は、例えば２０Ｈｚ−５０Ｈｚである。ＧＰＳ信号受信装置１０８は、汎地球測位システムの衛星信号の受信、採集車１１０の空間位置の確定に用いられる。
一部の実施形態において、レーザーレーダー１０２、ステレオカメラ１０４及び慣性航法計測手段１０６の三者は、相対的な固定の方法を採用して採集車１１０上に設置されるので、上述した３つのセンサのうちの任意の両者の間の変換行列（以下、「ポーズ変換行列」と呼ばれる）は、予め設定することができる。その中の任意の一つのセンサの任意の時点でのポーズを取得すると、三者の内うちの任意の両者間のポーズ変換行列を介して、関連付けられた時点において対応する他の２つのセンサのポーズを算出することができる。
一部の実施形態において、採集車１１０が採集を開始する前に、ワールド座標系でのレーザーレーダー１０２、ステレオカメラ１０４及び慣性航法計測手段１０６の初期位置を予めマークすることができる。例えば、ステレオカメラ１０４からレーザーレーダー１０２へのポーズ変換行列は、
一部の実施形態において、分離しているＧＰＳ採集装置と慣性航法計測手段の代わりに、ＧＰＳ採集装置と慣性航法計測手段とを密結合（tight coupling）した組合せ型慣性航法装置（例えば、ＳＰＡＮ−ＣＰＴ組合せ型航法測位システム）を採用することができる。
レーザーレーダー１０２、ステレオカメラ１０４、慣性航法計測手段１０６とＧＰＳ信号受信装置１０８が採集し、または出力した信号は、有線、無線により、コンピューティングデバイス１２０に提供されることもできる。コンピューティングデバイス１２０の計算結果（例えば、点群融合の結果または点群融合による３次元場面または高精度地図）は、記憶装置１２２に格納することができる。
場面１３０は、建築物の内部（例えば、地下駐車場）であってもよく、任意の開放された空間（例えば、高速道路、都市の町、陸橋、トンネル等）であってもよく、図１に示されたのはトンネルである。
図２は、本開示の一部の実施形態に係る点群データを融合させる方法２００のフローチャートを示す。方法２００は、コンピューティングデバイス１２０によって実現することができる。図３は、本開示の実施形態に係る画像補助に基づいて点群データを融合させる処理３００の概略図を示す。明確のために、以下図３を参照しながら方法２００の内容を具体的に説明する。ステップ２０２において、コンピューティングデバイス（計算装置）は、第１の画像３０２及び第２の画像３０４を取得し、第１の画像３０２と第２の画像３０４は、同じ場面１３０に対して採集した第１のフレームの点群データ及び第２のフレームの点群データにそれぞれ関連付けられている。
一部の実施形態において、当該関連付けは、例えば、第１の画像３０２及び第２の画像３０４の採集時点と、第１のフレームの点群データ及び第２のフレームの点群データの採集時点とが最も近接していることである。これにより、第１の画像３０２及び第２の画像３０４の採集時点でのカメラのポーズに基づいて、第１のフレームの点群データ及び第２のフレームの点群データの採集時点でのポーズ３０６、３０８を算出することができる。
一部の実施形態において、該第１の画像及び第２の画像を取得するステップは、第１のフレームの点群データ及び第２のフレームの点群データの関連付け情報を取得するステップと、前記情報は、測位信号（positioning signal）、慣性航法信号、及び履歴点群データのマッチングの品質のうち少なくとも一つを含み、該情報が所定の条件を満たしていないことに応答して、第１の画像及び該第２の画像を取得するステップとを含む。一部の実施形態において、取得した測位信号の品質が第１閾値よりも低く、および／または慣性航法信号の品質が第２閾値品質よりも低く、且つ履歴点群データのマッチングの品質が第３閾値品質よりも低い場合に、第１の画像と第２の画像を取得する。
一部の実施形態において、取得した測位信号および／または慣性航法信号の品質が第１閾値品質よりも低いことは、例えば、ＧＰＳ信号の品質標識が所定の設定値よりも低い場合、該ＧＰＳ信号の品質が良くないとし、相応の測定位置情報の正確さが不充分で、ＧＰＳ信号と慣性航法信号により求めた第１のフレームの点群データ及び第２のフレームの点群データのポーズに基づいて効果的な点群の融合を行うことができない場合を含む。一部の実施形態において、例えば、ＳＰＡＮ−ＣＰＴ組合せ型ナビゲーション測位システムを利用し、ここで、Ｑ値は、ＧＰＳ信号の品質の示すための標識であり、受信した衛星信号の数、信号の強さ、信号雑音比などのＧＰＳ信号に影響を及ぼすいくつかの要素を融合させて算出した一つの値である。
その値は、１〜６の値を取ることができ、それぞれの値は、異なるＧＰＳ信号の品質レベルを示す。例えば、その値が１である場合は、ＧＰＳ信号が最も良いことを示し、その値が６である場合は、ＧＰＳ信号が最も悪いことを示す。例えば、室内、峡谷、森及びトンネルなどの場面で、ＧＰＳ信号が遮蔽され減衰され、このとき、Ｑ値は、予め設定された第１閾値よりも小さく、例えば２である。一部の実施形態において、Ｑ値が１または２を取り、相対的に理想的な点群融合効果を取得することができる。
一部の実施形態において、履歴点群データの融合品質が第３閾値品質よりも低い場合は、例えば、２つのフレームの点群データを予め取得し、いくつかの特徴（例えば、コーナーポイント、特殊な曲率を備える特徴）を抽出し、次いで、抽出された特徴を基に、２つのフレームの点群データの間でマッチングを行い、マッチングの品質に基づいて評価を行い、点群データのマッチングの品質が予め設定された第３閾値品質よりも低い場合に、履歴点群データのマッチングの品質が所定の条件を満たしていないと確定する（つまり、このとき、位置している場面を非構造化場面として確定する）ことを含む。
一部の実施形態において、例えば、２つのフレームの点群データのそれぞれの一部の平面特徴を抽出し、１フレームにおける平面上の複数の点から他のフレームにおける平面までの距離を算出し、その距離を累加し、その距離の累加値が設定値よりも小さい場合に、２つのフレームの点群データのマッチングの品質が要求を満たすとする。前後フレームの点群データのマッチングに基づいて点群変換行列を求めることができる。例えば、トンネルにおいて、トンネルの中に充分な数の点群の特徴が存在していないため、点群データのマッチングの品質が良くない状況になりやすいため、このような場合に、直接に２つのフレームの点群データの間の特徴マッチングに基づいて点群変換行列を求めることには適合しないという結果になってしまう。
ステップ２０４において、コンピューティングデバイス１２０は、第１の画像３０２及び第２の画像３０４に基づいて、第１のフレームの点群データと第２のフレームの点群データとの間の点群変換行列を確定する。一部の実施形態において、まず第１の画像３０２と第２の画像３０４との間の画像変換行列を確定し、続いて、画像と点群データとの間のポーズ変換行列を取得し、次に、画像変換行列とポーズ変換行列とに基づいて、当該点群変換行列を確定する。
一部の実施形態において、前述した第１の画像３０２と第２の画像３０４との間の画像変換行列を確定するステップは、該第１の画像及び第２の画像中のマッチングされた特徴（例えば、テクスチャ特徴、色特徴、またはエッジ特徴）を抽出するステップと、該マッチングされた特徴に基づいて該画像変換行列を確定するステップとを含む。一部の実施形態において、ＩＣＰアルゴリズムを利用して、第１の画像３０２と第２の画像３０４の特徴マッチングを行い、具体的に、まず対応するポイントセットを確定し、続いて、対応するポイントセットに基づいて点群間の座標変換行列を確定する。続いて、誤差関数が予め設定された精度の要求を満たすまで、上述した２つのステップを繰り返す。
前述した点群変換行列の確定について、いくつかの実施形態において、例えば、カメラの初期ポーズが
一部の実施形態において、ステレオカメラで画像を採集する周波数は、例えば８Ｈｚであり、レーザーレーダーの採集周波数は、例えば１０Ｈｚである。第１の画像３０２及び第２の画像３０４の対応するポーズ及び採集時点が知っている前提の下で、採集時点の間の関係に基づいて線形補間計算（linear interpolation operation）を行い、画像と点群データとの間のポーズ変換行列に基づいて、第１の画像から第２の画像までの採集時点で採集した第１のフレームの点群データのポーズ３２０を確定することができる。このように類推して、第２のフレームの点群データのポーズ３２２から第Ｍフレームの点群データまでのポーズ３２４を取得することができ、ここで、Ｍは自然数である。
前述したポーズ変換行列の取得について、いくつかの実施形態において、前述したように、事前にマニュアルでキャリブレーションしておくことができ、測定の過程で確定することもできる。例えば、採集エンティティ上に設置され、点群データを取得するためのレーザーレーダーの位置と画像を取得するためのカメラの位置を確定し、該レーザーレーダーの位置と該カメラの位置に基づいて、該ポーズ変換行列を確定する。
ステップ２０６において、点群変換行列に基づいて、第１のフレームの点群データと第２のフレームの点群データの融合を行う。一部の実施形態において、前述したように、第１のフレームの点群データのポーズ３２０の取得後から第Ｍフレームの点群データのポーズ３２４の取得後まで、または２フレームごとの隣接点群データの点群変換行列を取得してから、第１のフレームの点群データ３３０、第２のフレームの点群データ３３２、第Ｍフレームの点群データ３３４まで、各フレームの点群データポーズに基づいて、同じ座標系の下に置き、点群データのレジストレーション（registration）を行い、続いて、点群データを融合させ一つになる。
一部の実施形態において、各種の方法で点群変換行列に基づいて第１のフレームの点群データと第２のフレームの点群データとの融合を行うことができる。例えば、第１のフレームの点群データと第２のフレームの点群データのワールド座標系における点群のフレームのポーズを確定することができる。続いて、第１のフレームの点群データと第２のフレームの点群データの点群データ局部座標系におけるポイントの位置と点群フレームのポーズに基づいて、当該ポイントのワールド座標系におけるポイントポーズを確定し、ポイントポーズに基づいて、前記融合を行う。
具体的に、フレームごとの点群データのポイントがレーザーレーダーの局部座標系における位置であることに基づいて、フレームごとの点群データのワールド座標系における点群フレームのポーズに基づいて、フレームごとの点群データ上のポイントをレーザーレーダーの局部座標系からワールド座標系に変換することにより、点群の融合を実現させる。一部の実施形態において、高解像度地図のために、場面１３０の全体的３次元モデルが構築されるまで、採集車１１０が場面１３０で動く過程で採集されたフレームごとの点群データと場面１３０の局部３次元場面のモデルをステッチして融合させる。
上述した点群データを融合させるための方法２００を用いて、つまり、場面に対する前後の採集時点で取得した画像の特徴マッチングに基づいて、関連付けた時点で採集した前後フレームの点群データ間の点群変換行列または点群データのポーズデータを算出して、該前後フレームの点群データの点群の融合を行う。これにより、位置信号または慣性航法信号の品質がよくなく、且つ位置している場面が非構造化環境であっても、点群の融合を行うことを成功させることができることが実現される。
一部の実施形態において、測位信号、慣性航法信号または履歴点群データのマッチングの品質が所定の条件を満たす場合に、例えば、測位信号または慣性航法信号の品質が良く、または履歴点群データのマッチングの品質が良い場合、その慣性航法信号に基づいて、または第１のフレームの点群データと第２のフレームの点群データのマッチングに基づいて、第１のフレームの点群データと第２のフレームの点群データとの間の点群変換行列を確定することができる。続いて、該点群変換行列に基づいて、第１のフレームの点群データと第２のフレームの点群データとの融合を行うことができる。
オプションとして、いくつかの実施形態において、該慣性航法信号と点群変換行列に基づいて、対応する時点におけるカメラのポーズデータを更新することもできる。
一部の実施形態において、図４に示すように、図４は、本開示の実施形態に係る慣性航法補助に基づく点群データの融合処理手順４００の概略図を示す。ここで、ＧＰＳ信号及び慣性航法信号の品質が良い場合、例えば、第４閾値品質よりも大きい場合に、慣性航法信号を利用して、第１のフレームの点群データ４２２と第２のフレームの点群データ４２４のそれぞれのポーズ４１２、４１４、または両者の間の点群変換行列（図示せず）を直接確定することができ、これにより点群の融合を行うことができる。
一部の実施形態において、慣性航法装置の出力信号の周波数は、例えば５０Ｈｚであり、レーザーレーダーの採集周波数は、例えば１０Ｈｚである。第１のフレームの点群データ４２２の採集時点が知っている前提の下で、その採集時点の前の直近の慣性航法信号出力時点におけるポーズデータと出力信号のタイミング（例えば、第１の位置データ４０２）、第１のフレームの点群データ４２２の採集時点以降の直近の慣性航法信号出力時点の位置データと出力信号のタイミング（例えば、第２の位置データ４０４）を更に取得する。レーザーレーダーの採集時点と慣性航法信号出力時点との間の関係に基づいて、線形補間計算を行い、慣性航法信号と点群データとの間のポーズ変換行列に基づいて、第１のフレームの点群データのポーズ４１２を確定することができる。
このように類推して、第２のフレームの点群データのポーズ４１４、第Ｍフレームの点群データのポーズ４１６まで取得することができる。続いて、取得した点群データのポーズに基づいて、第１のフレームの点群データ４２２ないし第Ｍフレームの点群データ４２６の融合を行う。
一部の実施形態において、点群変換行列を算出するために、レーザーレーダーによって採集した複数のフレームの点群データにおける前後フレームの点群データに基づいて、直接マッチングを行うことができる。図５に示すように、図５は、本開示に係る実施形態に係る点群マッチングに基づいて点群データの融合処理手順５００の概略図を示す。ここで、ＧＰＳ信号と慣性航法信号の品質が良くないが、履歴点群データのマッチングの品質は所定の条件を満たす場合、すなわち、構造化場面に位置する場合に、レーザーレーダー５０２によって採集した前後フレームの点群データのマッチングに基づいて、例えば、第１のフレームの点群データ５０６と第２のフレームの点群データ５０８との特徴マッチングによって、第１、第２のフレームの点群データの間の点群変換行列５１２を直接に確定することができる。
このように類推して、順次に第Ｍ−１フレームないし第Ｍフレームの点群データの間の点群変換行列５１４を確定し、上述した点群変換行列に基づいて、第１のフレームないし第Ｍフレームの点群データに対して点群の融合を行うことができ、ここで、Ｍは自然数である。上述した方法で、採集車１１０がトンネルなどの画像補助の点群の融合を依存している環境を離れた後、位置信号の品質の回復に応答して、慣性航法データとレーザー点群データのような高精度のポーズデータ補助に依存する点群の融合に切替ることによって、融合の精度及び効果を向上させる。
図６は、本開示の実施形態に係る点群データを融合させるための方法６００のフローチャートを示す。図６に示すように、ステップ６０２において、測位信号、慣性航法信号及び履歴点群データのマッチングの品質を取得する。ステップ６０４において、測位信号が第１閾値品質よりも低く、および／または慣性航法信号の品質が第２閾値品質よりも低く、及び履歴点群データのマッチングの品質が第３閾値品質よりも低いか否かを判断し、ステップ６０６において、低い場合には、第１の画像及び第２の画像を取得する。
ステップ６０８において、テクスチャおよび／または色の特徴に基づいて、第１の画像及び第２の画像の特徴マッチングを行い、第１の画像と第２の画像との間の画像変換行列を確定する。ステップ６１０において、画像と点群データとの間のポーズ変換行列を取得する。ステップ６１２において、画像変換行列とポーズ変換行列に基づいて、線形補間計算を経て、関連付けられた２フレームの点群データの間の点群変換行列を確定する。ステップ６１４において、点群変換行列に基づいて、第１のフレームの点群データと第２のフレームの点群データとの融合を行う。
ステップ６２０において、測位信号の品質が第４閾値品質よりも高いか否かを判断する。ステップ６２２において、測位信号の品質が第４閾値品質よりも高いか否かに応答して、慣性航法信号に基づいて、第１のフレームの点群データと第２のフレームの点群データとの間の点群変換行列を確定し、ここで、第４閾値品質は、第１閾値品質よりも高い。ステップ６２４において、点群変換行列を利用してカメラのポーズを更新し、ステップ６２６において、確定した点群変換行列に基づいて、第１のフレームと第２のフレームの点群データとの融合を行う。
ステップ６３０において、測位信号が第１閾値品質よりも高く、履歴点群データのマッチングの品質が第３閾値品質よりも高いか否かを判断する。ステップ６３２において、高い場合に、第１のフレームの点群データと第２のフレームの点群データとのマッチングに基づいて、第１のフレームの点群データと第２のフレームの点群データとの間の点群変換行列を確定する。ステップ６３４において、点群変換行列を利用してカメラのポーズを更新する。ステップ６３６において、確定した点群変換行列に基づいて、第１のフレームの点群データと第２のフレームの点群データとの融合を行う。
上述した方法６００を利用して、位置信号の品質（例えば、ＧＰＳ信号の品質）が良い場合、慣性航法データに基づいて、フレームごとの点群データのポーズを正確に測位することにより、高精度の点群融合を実現し、同時に、ＧＰＳ信号の品質が普通である場合が構造化場面に位置する場合には、前後フレームの点群データの間の特徴マッチングに基づいて、点群変換行列を直接確定することで、「ＧＰＳ信号または慣性航法信号品質が普通である」ことが点群の融合効果に影響を及ぼすことを避ける。また、ＧＰＳ信号の品質が良くなくかつ非構造化場面に位置する場合に、前後フレームの画像の間の特徴マッチングに基づいて、対応するフレームの点群データの点群変換行列またはポーズを確定することで、ＧＰＳ信号の品質が良くない場合、ＧＰＳ信号がない場合さえ、点群の特徴が明らかでない非構造化場面でも、依然として点群の融合を行うことを成功させることができる。
図７は、本開示の実施形態に係る点群データを融合させるための方法で構築したトンネルの３次元モデルの効果図を示す。３次元モデルの融合効果からかわるように、トンネルのような環境でも点群データの融合に成功している。
図８は、本開示の実施形態に係る点群データを融合させるための装置８００の概略的なブロック図を示す。図８に示すように、装置８００は、同じ場面に対して採集した第１のフレームの点群データ及び第２のフレームの点群データにそれぞれ関連付けられている第１の画像及び第２の画像を取得するための画像取得モジュール８０２と、第１の画像と第２の画像とに基づいて、第１のフレームの点群データと第２のフレームの点群データとの間の点群変換行列を確定するための変換行列確定モジュール８０４と、点群変換行列に基づいて、第１のフレームの点群データと第２のフレームの点群データとの融合を行うための点群融合モジュール８０６を備える。
一部の実施形態において、画像取得モジュールは、第１のフレームの点群データ及び第２のフレームの点群データに関連付けられた情報を取得するように構成された関連信号取得モジュールと、前記情報は、測位信号、慣性航法信号及び履歴点群データのマッチングの品質のうち少なくとも一つを含み、前記情報が所定の条件を満たしていないことに応答して、第１の画像と第２の画像を取得するように構成された条件モジュールとを含む。
一部の実施形態において、条件モジュールは、測位信号の品質が第１閾値品質よりも低く、または慣性航法信号の品質が第２閾値品質よりも低く、及び履歴点群データのマッチングの品質が第３閾値品質よりも低いことに応答して、第１の画像及び第２の画像を取得するように構成された閾値モジュールを含む。
一部の実施形態において、装置８００は、情報が所定の条件を満たしていることに応答して、慣性航法信号、第１のフレームの点群データ及び第２のフレームの点群データのマッチングのうちの少なくとも一つに基づいて、第１のフレームの点群データと第２のフレームの点群データとの間の点群変換行列を確定するように構成された慣性航法又は点群マッチング条件モジュールと、点群変換行列に基づいて、第１のフレームの点群データと第２のフレームの点群データとの融合を行うように構成された点群データ融合モジュールとをさらに備える。
一部の実施形態において、変換行列確定モジュールは、第１の画像と第２の画像との間の画像変換行列を確定するように構成された画像変換行列確定モジュールと、画像と点群データとの間のポーズ変換行列を取得するように構成されたポーズ変換行列取得モジュールと、画像変換行列とポーズ変換行列とに基づいて、点群変換行列を確定するように構成された点群変換行列確定モジュールとを備える。
一部の実施形態において、画像変換行列確定モジュールは、第１の画像及び第２の画像のうちのマッチングされる特徴を抽出するように構成された特徴抽出モジュールと、マッチングされる特徴に基づいて、画像変換行列を確定するように構成された画像変換行列モジュールとを備える。
一部の実施形態において、ポーズ変換行列取得モジュールは、採集エンティティ上に設置され、点群データを取得するためのレーザーレーダーの位置と画像を取得するためのカメラの位置とを確定するように構成された位置確定モジュールと、レーザーレーダーの位置とカメラの位置とに基づいて、ポーズ変換行列を確定するように構成されたポーズ変換行列確定モジュールとを備える。
一部の実施形態において、点群融合モジュールは、第１のフレームの点群データ及び第２のフレームの点群データのワールド座標系における点群フレームのポーズを確定するように構成された点群のフレームのポーズ確定モジュールと、第１のフレームの点群データ及び第２のフレームの点群データにおけるポイントの点群データ局部座標系における位置と点群フレームのポーズとに基づいて、ポイントがワールド座標系におけるポイントポーズを確定するように構成されたポイントポーズ確定モジュールと、ポイントポーズに基づいて融合を行うように構成された融合モジュールとを備える。
図９は、本開示の実施形態を実施可能な例示的なデバイス９００の模式的なブロック図を示した。デバイス９００は、図１に示されたコンピューティングデバイス１２０の実現に用いられることができる。図面に示されたように、デバイス９００には、読取専用メモリ（ＲＯＭ）９０２に記憶されているコンピュータプログラム指令、或いは記憶手段９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたコンピュータプログラム指令に応じて、各種の適切な動作及び処理を実行可能な中央処理手段手段（ＣＰＵ）９０１が備えられる。ＲＡＭ９０３において、デバイス９００の操作に必要な各種のプログラム及びデータが記憶されても良い。ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、バス９０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース９０５もバス９０４に接続される。
例えばキーボード、マウスなどの入力手段９０６、例えば各種のタイプのディスプレー、スピーカなどの出力手段９０７、例えば磁気ディスク、光ディスクなどの記憶手段９０８、及び例えばネットワークカード、モデム、無線通信トランシーバなどの通信手段９０９が含まれる、デバイス９００における複数の部品は、Ｉ／Ｏインターフェース９０５に接続される。通信手段９０９により、デバイス９００が例えばインターネットのようなコンピュータネットワーク及び／又は各種の電気通信ネットワークを介して他のデバイスと情報／データを交換することが可能である。
処理手段９０１は、前記で説明された各方法及び処理、例えば方法２００及び／又は３００、４００、５００を実行する。例えば、幾つかの実施形態において、方法２００及び／又は３００、４００、５００は、機器に読取可能な媒体、例えば記憶手段９０８に有形的に備えられるコンピュータソフトウェアプログラムとして実現されも良い。幾つかの実施形態において、コンピュータプログラムの一部又は全体は、ＲＯＭ９０２及び／又は通信手段９０９を介してデバイス９００にロードされ、及び／又はインストールされても良い。コンピュータプログラムがＲＡＭ９０３にロードされてＣＰＵ９０１により実行されると、前記で説明された方法２００及び／又は３００、４００、５００の一つ又は複数のステップを実行することができる。オプション的に、他の実施形態において、ＣＰＵ９０１は他の任意の適当な方式により（例えば、ファームウェアを介して）方法２００及び／又は３００、４００、５００を実行するように構成されても良い。
ここまで説明された機能は、少なくとも一部が一つ又は複数のハードウェアロジック部品により実行可能である。例えば、使用可能な例示的なハードウェアロジック部品は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用基準製品（ＡＳＳＰ）、チップ上システムのシステム（ＳＯＣ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）などを含むが、それらに限定されない。
本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせを採用してプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供することにより、プログラムコードがプロセッサ又はコントローラに実行されると、フローチャート及び／又はブロック図における所定の機能／操作が実施可能である。プログラムコードは、全体が機器に実行されても良く、一部が機器に実行されても良く、独立なパッケージとして部分的に機器に実行され且つ部分的に遠隔機器に実行され、或いは全体的に遠隔機器又はサーバに実行されても良い。
本開示の文脈において、機器に読取可能な媒体は、有形的な媒体であっても良い。それは、指令実行システム、装置又はデバイスにより使用され、或いは指令実行システム、装置又はデバイスと合わせて使用されるプログラムを備え、或いは記憶することができる。機器に読取可能な媒体は、機器に読取可能な信号媒体又は機器に読取可能な記憶媒体であっても良い。機器に読取可能な媒体は、電子媒体、磁気媒体、光媒体、電磁媒体、赤外線媒体、或いは半導体システム、装置又はデバイス、或いはそれらのあらゆる適切な組み合わせを含んでも良いが、それらに限定されない。機器に読取可能な記憶媒体について、より具体的な例示には、一つ又は複数のケーブルによる電気的な接続、ポータブルコンピュータディスケット、ハードウェア、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ファイバ、ポータブルコンパクトディスク−リードオンリーメモリ（ＣＤ−ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はそれらのあらゆる適切な組み合せが含まれる。
また、特定の順序で各動作を説明したが、示された特定の順序又は順番で実行するようにこれらの動作を要求するものではなく、或いは所望の結果が得られるように全ての図示された動作を実行しなければならないことを要求するものと理解されるべきではない。所定の環境の下で、マルチタスク及び並行処理は有利になる可能性がある。同様に、上記の説明において若干の具体的な実現するための細部を含んでいるが、本開示の範囲に対する制限と解釈すべきでない。単独な実施形態の文脈において説明された幾つかの特徴は、単一な実現において組み合わせて実現されても良い。逆に、単独で実現された前後文において説明された各特徴は、複数の実現において単独で、或いは任意の適切なサブ組み合わせで実現されても良い。
構造的な特徴及び／又は方法ロジックの動作に特定された言語で本主題を説明したが、添付の特許請求の範囲によって特定された主題は、必ずしも上記の特定の特徴又は動作によって制限されるものではないと理解すべきである。逆に、上記の特定の特徴と動作は、特許請求の範囲を実現する例示的な形式に過ぎない。
１００ 例示的環境
１０２ レーザーレーダー
１０４ ステレオカメラ
１０６ 慣性航法計測手段
１０８ ＧＰＳ信号受信装置
１１０ 採集車
２００ 採集車
３０２ 第１の画像
３２０ 第１のフレームの点群データのポーズ
３２２ 第２のフレームの点群データのポーズ
３３０ 第１のフレームの点群データ
３３２ 第２のフレームの点群データ
４００ 処理手順
４０２ 第１の位置データ
４０４ 第２の位置データ
４２２ 第１のフレームの点群データ
４２４ 第２のフレームの点群データ

Claims (17)

  1. 点群データを融合させるための方法であって、
    同じ場面に対して採集した第１のフレームの点群データ及び第２のフレームの点群データにそれぞれ関連付けられた第１の画像及び第２の画像を取得する画像取得ステップと、
    前記第１の画像と前記第２の画像に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定する変換行列確定ステップと、
    前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させる点群融合ステップとを含み、
    前記画像取得ステップは、
    前記第１のフレームの点群データ及び前記第２のフレームの点群データの関連付け情報を取得する関連信号取得ステップと、
    前記情報は、測位信号、慣性航法信号及び履歴点群データのマッチングの品質のうち少なくとも一つを含み、
    前記情報が所定の条件を満たしていないことに応答して、前記第１の画像と前記第２の画像を取得する条件ステップと
    をさらに含む、点群データを融合させるための方法。
  2. 前記条件ステップは、
    前記測位信号は品質が第１閾値品質よりも低く、または前記慣性航法信号の品質が第２閾値品質よりも低く、および履歴点群データのマッチングの品質が第３閾値品質よりも低いことに応答して、前記第１の画像と前記第２の画像を取得する閾値ステップをさらに含む、請求項１に記載の点群データを融合させるための方法。
  3. 前記情報が所定の条件を満たしていることに応答して、前記慣性航法信号、及び前記第１のフレームの点群データと前記第２のフレームの点群データとのマッチングのうち少なくとも一つに基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定する慣性航法又は点群マッチング条件ステップと、
    前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させる点群データ融合ステップと、
    をさらに含む、請求項１に記載の点群データを融合させるための方法。
  4. 前記変換行列確定ステップは、
    前記第１の画像と前記第２の画像との間の画像変換行列を確定する画像変換行列確定ステップと、
    画像と点群データとの間のポーズ変換行列を取得するポーズ変換行列取得ステップと、
    前記画像変換行列と前記ポーズ変換行列とに基づいて、前記点群変換行列を確定する点群変換行列確定ステップと
    をさらに含む、請求項１に記載の点群データを融合させるための方法。
  5. 前記画像変換行列確定ステップは、
    前記第１の画像と前記第２の画像中のマッチングされた特徴を抽出する特徴抽出ステップと、
    前記マッチングされた特徴に基づいて、前記画像変換行列を確定する画像変換行列ステップと
    をさらに含む、請求項４に記載の点群データを融合させるための方法。
  6. 前記ポーズ変換行列取得ステップは、
    採集エンティティ上に設置された、点群データを取得するためのレーザーレーダーの位置と画像を取得するためのカメラの位置とを確定する位置確定ステップと、
    前記レーザーレーダーの位置と前記カメラの位置に基づいて、前記ポーズ変換行列を確定するポーズ変換行列確定ステップと
    をさらに含む、請求項４に記載の点群データを融合させるための方法。
  7. 前記点群融合ステップは、
    前記第１のフレームの点群データと前記第２のフレームの点群データのワールド座標系における点群フレームのポーズを確定するポーズ確定ステップと、
    前記第１のフレームの点群データと前記第２のフレームの点群データにおけるポイントが、点群データ局部座標系における位置及び前記点群フレームのポーズに基づいて、前記ポイントのワールド座標系におけるポイントポーズを確定するポイントポーズ確定ステップと、
    前記ポイントポーズに基づいて、前記融合を行う融合ステップと
    をさらに含む、請求項１に記載の点群データを融合させるための方法。
  8. 点群データを融合させるための装置であって、
    同じ場面に対して採集した第１のフレームの点群データ及び第２のフレームの点群デー
    タにそれぞれ関連付けられた第１の画像及び第２の画像を取得するように構成された画像取得モジュールと、
    前記第１の画像と前記第２の画像に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定するように構成された変換行列確定モジュールと、
    前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させるように構成された点群融合モジュールと
    を備え、
    前記画像取得モジュールは、
    前記第１のフレームの点群データ及び前記第２のフレームの点群データの関連付け情報を取得するように構成された関連信号取得モジュールと、
    前記情報は、測位信号、慣性航法信号、及び履歴点群データのマッチングの品質のうち少なくとも一つを含み、
    前記情報が所定の条件を満たしていないことに応答して、前記第１の画像と前記第２の画像を取得するように構成された条件モジュールと
    をさらに備える、点群データを融合させるための装置。
  9. 前記条件モジュールは、
    前記測位信号は品質が第１閾値品質よりも低く、または前記慣性航法信号の品質が第２閾値品質よりも低く、および履歴点群データのマッチングの品質が第３閾値品質よりも低いことに応答して、前記第１の画像と前記第２の画像を取得するように構成された閾値モジュールをさらに備える、請求項８に記載の点群データを融合させるための装置。
  10. 前記情報が所定の条件を満たしていることに応答して、前記慣性航法信号、及び前記第１のフレームの点群データと前記第２のフレームの点群データとのマッチングのうち少なくとも一つに基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定するように構成された慣性航法又は点群マッチング条件モジュールと、
    前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データを融合させるように構成された点群データ融合モジュールと
    をさらに備える、請求項８に記載の点群データを融合させるための装置。
  11. 前記変換行列確定モジュールは、
    前記第１の画像と前記第２の画像との間の画像変換行列を確定するように構成された画像変換行列確定モジュールと、
    画像と点群データとの間のポーズ変換行列を取得するように構成されたポーズ変換行列取得モジュールと、
    前記画像変換行列と前記ポーズ変換行列とに基づいて、前記点群変換行列を確定するように構成された点群変換行列確定モジュールと
    をさらに備える、請求項８に記載の点群データを融合させるための装置。
  12. 前記画像変換行列確定モジュールは、
    前記第１の画像と前記第２の画像中のマッチングされた特徴を抽出するように構成された特徴抽出モジュールと、
    前記マッチングされた特徴に基づいて、前記画像変換行列を確定するように構成された画像変換行列モジュールと
    をさらに備える、請求項１１に記載の点群データを融合させるための装置。
  13. 前記ポーズ変換行列取得モジュールは、
    採集エンティティ上に設置された、点群データを取得するためのレーザーレーダーの位置と画像を取得するためのカメラの位置とを確定するように構成された位置確定モジュールと、
    前記レーザーレーダーの位置と前記カメラの位置とに基づいて、前記ポーズ変換行列を確定するように構成されたポーズ変換行列確定モジュールと
    をさらに備える、請求項１１に記載の点群データを融合させるための装置。
  14. 前記点群融合モジュールは、
    前記第１のフレームの点群データと前記第２のフレームの点群データのワールド座標系における点群フレームのポーズを確定するように構成された点群のフレームのポーズ確定モジュールと、
    前記第１のフレームの点群データと前記第２のフレームの点群データにおけるポイントが、点群データ局部座標系における位置及び前記点群フレームのポーズに基づいて、前記ポイントのワールド座標系におけるポイントポーズを確定するように構成されたポイントポーズ確定モジュールと、
    前記ポイントポーズに基づいて、前記融合をさせるように構成された融合モジュールと
    をさらに備える、請求項８に記載の点群データを融合させるための装置。
  15. １つまたは複数のプロセッサと、
    １つまたは複数のプログラムを格納するための記憶手段とを含む装置であって、
    前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、前記１つまたは複数のプロセッサが請求項１乃至請求項７のうちいずれか１項に記載の方法が実現される装置。
  16. コンピュータプログラムが格納されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行される場合、請求項１乃至請求項７のうちいずれか１項に記載の方法が実現されるコンピュータ読み取り可能な記憶媒体。
  17. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１乃至請求項７のうちいずれか１項に記載の方法が実現されるコンピュータプログラム。
JP2018247572A 2017-12-29 2018-12-28 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム Active JP6812404B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711483869.6 2017-12-29
CN201711483869.6A CN108230379B (zh) 2017-12-29 2017-12-29 用于融合点云数据的方法和装置

Publications (2)

Publication Number Publication Date
JP2019145089A JP2019145089A (ja) 2019-08-29
JP6812404B2 true JP6812404B2 (ja) 2021-01-13

Family

ID=62647167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018247572A Active JP6812404B2 (ja) 2017-12-29 2018-12-28 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US10789771B2 (ja)
EP (1) EP3506203A1 (ja)
JP (1) JP6812404B2 (ja)
KR (1) KR102125958B1 (ja)
CN (1) CN108230379B (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108847121A (zh) * 2018-07-04 2018-11-20 深圳地平线机器人科技有限公司 构建高精度地图的方法和装置
CN110163047B (zh) * 2018-07-05 2023-04-07 腾讯大地通途（北京）科技有限公司 一种检测车道线的方法及装置
CN108921947B (zh) * 2018-07-23 2022-06-21 百度在线网络技术（北京）有限公司 生成电子地图的方法、装置、设备、存储介质以及采集实体
CN109581324B (zh) * 2018-10-31 2023-07-25 歌尔股份有限公司 异常帧数据的处理方法及装置
CN109598670B (zh) * 2018-11-14 2022-11-18 广州广电研究院有限公司 地图信息采集的内存管理方法、装置、存储介质和系统
CN111220992B (zh) * 2018-11-26 2022-05-20 长沙智能驾驶研究院有限公司 雷达数据融合方法、装置及系统
CN109540142B (zh) * 2018-11-27 2021-04-06 达闼科技（北京）有限公司 一种机器人定位导航的方法、装置、计算设备
CN109613543B (zh) * 2018-12-06 2020-09-25 深圳前海达闼云端智能科技有限公司 激光点云数据的修正方法、装置、存储介质和电子设备
CN109901138B (zh) * 2018-12-28 2023-07-04 文远知行有限公司 激光雷达标定方法、装置、设备和存储介质
CN109859613A (zh) * 2019-01-18 2019-06-07 驭势（上海）汽车科技有限公司 一种基于投影坐标系的高精地图制作方法及车载设备
CN109870706A (zh) * 2019-01-31 2019-06-11 深兰科技（上海）有限公司 一种路面标识的检测方法、装置、设备及介质
CN109839112B (zh) * 2019-03-11 2023-04-07 中南大学 地下作业设备定位方法、装置、系统及存储介质
CN111724472B (zh) * 2019-03-19 2024-07-02 北京四维图新科技股份有限公司 地图要素空间位置的确定方法和装置
CN110018491B (zh) * 2019-04-16 2021-06-22 广州大学 激光扫描方法、装置及激光雷达
CN110196441B (zh) * 2019-04-26 2021-08-06 达闼机器人有限公司 终端的定位方法、装置、存储介质与设备
CN113874681B (zh) * 2019-05-23 2024-06-18 北京嘀嘀无限科技发展有限公司 点云地图质量的评估方法和系统
CN110146865B (zh) * 2019-05-31 2023-07-14 创新先进技术有限公司 用于雷达图像的目标识别方法及装置
CN110322553B (zh) * 2019-07-10 2024-04-02 广州建通测绘地理信息技术股份有限公司 激光雷达点云混合现实场景实施放样的方法和系统
KR20210015516A (ko) * 2019-08-02 2021-02-10 네이버랩스 주식회사 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
CN110361010B (zh) * 2019-08-13 2022-11-22 中山大学 一种基于占据栅格地图且结合imu的移动机器人定位方法
CN112393720B (zh) * 2019-08-15 2023-05-30 纳恩博（北京）科技有限公司 目标设备的定位方法及装置、存储介质、电子装置
CN110673115B (zh) * 2019-09-25 2021-11-23 杭州飞步科技有限公司 雷达与组合导航系统的联合标定方法、装置、设备及介质
WO2021056438A1 (zh) * 2019-09-27 2021-04-01 深圳市大疆创新科技有限公司 点云数据处理方法及其装置、激光雷达、可移动平台
WO2021062587A1 (en) * 2019-09-30 2021-04-08 Beijing Voyager Technology Co., Ltd. Systems and methods for automatic labeling of objects in 3d point clouds
CN112749594B (zh) * 2019-10-31 2022-04-22 浙江商汤科技开发有限公司 信息补全方法、车道线识别方法、智能行驶方法及相关产品
CN110827202A (zh) * 2019-11-07 2020-02-21 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN110991526B (zh) * 2019-11-29 2023-11-28 上海有个机器人有限公司 一种非迭代式点云匹配方法、介质、终端和装置
WO2021114984A1 (zh) * 2019-12-09 2021-06-17 苏州宝时得电动工具有限公司 一种地图数据发送、显示方法、装置、设备及存储介质
CN111145267B (zh) * 2019-12-25 2023-09-05 重庆自行者科技有限公司 基于imu辅助的360度全景视图多相机标定方法
CN111060888B (zh) * 2019-12-31 2023-04-07 芜湖哈特机器人产业技术研究院有限公司 一种融合icp和似然域模型的移动机器人重定位方法
CN111339394B (zh) * 2020-02-19 2023-08-22 北京百度网讯科技有限公司 用于获取信息的方法及装置
CN113362383A (zh) * 2020-03-02 2021-09-07 华为技术有限公司 点云与图像融合方法及装置
CN111340834B (zh) * 2020-03-10 2023-05-12 山东大学 基于激光雷达和双目相机数据融合的衬板装配系统及方法
CN111462176B (zh) * 2020-03-13 2024-04-05 深圳市人工智能与机器人研究院 一种目标追踪方法、目标追踪装置及终端设备
CN111311743B (zh) * 2020-03-27 2023-04-07 北京百度网讯科技有限公司 三维重建精度测试方法、测试装置和电子设备
CN111311742B (zh) * 2020-03-27 2023-05-05 阿波罗智能技术(北京)有限公司 三维重建方法、三维重建装置和电子设备
CN111681163B (zh) * 2020-04-23 2024-09-06 北京三快在线科技有限公司 构建点云地图的方法、装置、电子设备和存储介质
CN111540015A (zh) * 2020-04-27 2020-08-14 深圳南方德尔汽车电子有限公司 基于点云匹配的位姿计算方法、装置、计算机设备及存储介质
CN111709988B (zh) * 2020-04-28 2024-01-23 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111553985B (zh) * 2020-04-30 2023-06-13 四川大学 邻图配对式的欧式三维重建方法及装置
CN113950703B (zh) * 2020-05-15 2024-06-21 百度时代网络技术（北京）有限公司 确定外参矩阵是否准确的方法、装置及数据处理系统
CN111649739B (zh) 2020-06-02 2023-09-01 阿波罗智能技术(北京)有限公司 定位方法和装置、自动驾驶车辆、电子设备和存储介质
CN113763231B (zh) * 2020-06-08 2024-02-09 北京京东乾石科技有限公司 模型生成方法、图像透视图确定方法、装置、设备及介质
CN111833717B (zh) 2020-07-20 2022-04-15 阿波罗智联(北京)科技有限公司 用于定位交通工具的方法、装置、设备和存储介质
CN114063090A (zh) * 2020-07-29 2022-02-18 北京图森未来科技有限公司 一种可移动设备的定位方法、装置及可移动设备
CN111999752B (zh) * 2020-08-25 2024-03-26 阿波罗智能技术(北京)有限公司 确定道路信息数据的方法、装置和计算机存储介质
CN112051591B (zh) * 2020-08-31 2022-11-29 广州文远知行科技有限公司 一种激光雷达与惯性测量单元的检测方法及相关装置
CN112000130B (zh) * 2020-09-07 2023-04-25 哈尔滨工业大学 一种无人机的多机协同高精度建图定位系统
CN112767458B (zh) * 2020-11-13 2022-07-29 武汉中海庭数据技术有限公司 激光点云与图像的配准的方法及系统
CN116097305A (zh) * 2020-12-23 2023-05-09 深圳元戎启行科技有限公司 点云法向量的生成方法、装置、计算机设备和存储介质
WO2022227096A1 (zh) * 2021-04-30 2022-11-03 深圳市大疆创新科技有限公司 点云数据的处理方法、设备及存储介质
CN113362444B (zh) * 2021-05-21 2023-06-16 北京百度网讯科技有限公司 点云数据的生成方法、装置、电子设备及存储介质
KR102451797B1 (ko) * 2021-06-01 2022-10-12 씨드로닉스(주) 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN113920258A (zh) * 2021-09-26 2022-01-11 北京三快在线科技有限公司 地图生成方法、装置、介质及电子设备
CN114659514B (zh) * 2022-03-21 2024-05-31 东南大学 一种基于体素化精配准的LiDAR-IMU-GNSS融合定位方法
US20240163702A1 (en) * 2022-11-10 2024-05-16 Qualcomm Incorporated Heterogeneous point cloud reporting in cellular systems
KR102618951B1 (ko) * 2023-06-20 2023-12-29 주식회사 모빌테크 시각적 매핑 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084064A (ja) 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
JP5593177B2 (ja) 2010-09-14 2014-09-17 株式会社トプコン 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
CN102003938B (zh) * 2010-10-11 2013-07-10 中国人民解放军信息工程大学 大型高温锻件热态在位检测方法
US9128185B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Methods and apparatus of fusing radar/camera object data and LiDAR scan points
US9129435B2 (en) * 2012-12-04 2015-09-08 Fuji Xerox Co., Ltd. Method for creating 3-D models by stitching multiple partial 3-D models
US9086481B1 (en) * 2013-01-18 2015-07-21 Google Inc. Methods and systems for estimating vehicle speed
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
CN103711050B (zh) * 2013-12-31 2016-04-06 中交第二公路勘察设计研究院有限公司 一种激光雷达道路改扩建勘测设计方法
US9286538B1 (en) * 2014-05-01 2016-03-15 Hrl Laboratories, Llc Adaptive 3D to 2D projection for different height slices and extraction of robust morphological features for 3D object recognition
JP2016004486A (ja) 2014-06-18 2016-01-12 株式会社リコー 情報処理装置、情報処理プログラム、および情報処理システム
US9576185B1 (en) 2015-09-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Classifying objects detected by 3D sensors for autonomous vehicle operation
CN105513128A (zh) * 2016-01-13 2016-04-20 中国空气动力研究与发展中心低速空气动力研究所 基于Kinect的三维数据融合处理方法

Also Published As

Publication number Publication date
US10789771B2 (en) 2020-09-29
CN108230379A (zh) 2018-06-29
JP2019145089A (ja) 2019-08-29
EP3506203A1 (en) 2019-07-03
KR20190082068A (ko) 2019-07-09
US20190206123A1 (en) 2019-07-04
CN108230379B (zh) 2020-12-04
KR102125958B1 (ko) 2020-06-24

Similar Documents

Publication Publication Date Title
JP6812404B2 (ja) 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム
CN112116654B (zh) 一种车辆位姿确定方法、装置及电子设备
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN107748569B (zh) 用于无人机的运动控制方法、装置及无人机系统
JP2019215853A (ja) 測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体
US8437501B1 (en) Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases
CN111461981B (zh) 点云拼接算法的误差估计方法和装置
US10996072B2 (en) Systems and methods for updating a high-definition map
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN111351502B (zh) 用于从透视图生成环境的俯视图的方法，装置和计算机程序产品
KR101574876B1 (ko) 비전 센서 데이터베이스를 이용한 거리 측정 방법
CN111008660A (zh) 语义地图的生成方法、装置、系统、存储介质及电子设备
CN114459471B (zh) 定位信息确定方法、装置、电子设备及存储介质
KR20200032776A (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
CN114248778B (zh) 移动设备的定位方法和定位装置
WO2020113425A1 (en) Systems and methods for constructing high-definition map
CN116022198A (zh) 一种地铁隧道内的列车定位方法、装置、设备及存储介质
CN116958452A (zh) 三维重建方法和系统
CN116045964A (zh) 高精地图更新方法及装置
CN113034538B (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN114051627A (zh) 相机校准方法
JP7075090B1 (ja) 情報処理システム、及び、情報処理方法
CN111461982B (zh) 用于拼接点云的方法和装置
CN117029853A (zh) 多传感器融合定位方法、系统、车辆、设备及介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201216

R150 Certificate of patent or registration of utility model

Ref document number: 6812404

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250