JP2024509690A - 三次元地図を構築する方法および装置 - Google Patents

三次元地図を構築する方法および装置 Download PDF

Info

Publication number
JP2024509690A
JP2024509690A JP2023546328A JP2023546328A JP2024509690A JP 2024509690 A JP2024509690 A JP 2024509690A JP 2023546328 A JP2023546328 A JP 2023546328A JP 2023546328 A JP2023546328 A JP 2023546328A JP 2024509690 A JP2024509690 A JP 2024509690A
Authority
JP
Japan
Prior art keywords
coordinate system
map
time
real
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023546328A
Other languages
English (en)
Inventor
月 ▲鄭▼
▲偉▼杰 王
▲師▼▲華▼ ▲楊▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2024509690A publication Critical patent/JP2024509690A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本出願は、通信技術分野に関し、より正確で完全な三次元地図を構築するために、三次元地図を構築する方法および装置を開示する。本方法は、三次元地図を構築する装置が、現在のグローバル点群地図を得るステップと、移動デバイスの移動中に、移動デバイス上に配置されたローカル収集装置によって収集される複数の画像データを得るステップと、ローカル収集装置が画像データの各々を収集する対応する収集時点において生成されるローカル収集装置のリアルタイムポーズ情報を決定するステップと、現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築するステップとを含む。

Description

本出願は、2021年2月1日に中国国家知識産権局に提出された「三次元地図を構築する方法および装置」なる名称の中国特許出願第202110136015．0号に基づく優先権を主張するものであり、同中国特許出願は参照によりその全体が本書に組み入れられる。
本出願の実施形態は、通信技術分野に関し、特に、三次元地図を構築する方法および装置に関する。
リアルタイムの位置特定およびナビゲーションなどの技術分野では、重要な前提条件は、三次元地図を構築することである。例えば、移動ロボットは、インテリジェントな動作を完遂するために正確な位置情報を得る必要がある。したがって、構築された三次元地図の完全性と精度は、位置特定機能とナビゲーション機能の実現に直接影響する。
現在、三次元地図は、主に、従来技術の同時位置特定・地図作成（simultaneous localization and mapping、SLAM）技術を用いて構築されている。SLAMは主に、ビジュアルSLAMとレーザSLAMとを含む。しかし、ビジュアルSLAMは、光強度や背景テクスチャなどの要因の影響を受けるため、地図精度が低下する可能性がある。レーザSLAMでは検出された目標の正確な位置特定情報を得ることができるが、検出された目標のテクスチャや色といったシナリオ情報は得ることができない。その結果、地図の可視化が悪くなる。
したがって、より正確で完全な三次元地図をどのように構築するかが、研究されるべき技術的問題である。
本出願の実施形態は、より正確で完全な三次元地図を構築し、それによりリアルタイムの位置特定およびナビゲーションの精度を高める、三次元地図を構築する方法および装置を提供する。
本出願の実施形態で提供される具体的な技術的解決策は以下の通りである。
第1の態様によると、本出願の一実施形態は、三次元地図を構築する方法を提供する。本方法は、三次元地図を構築する装置が、現在のグローバル点群地図を得るステップを含む。三次元地図を構築する装置は、移動デバイスの移動中に、移動デバイス上に配置されたローカル収集装置によって収集される複数の画像データを得る。三次元地図を構築する装置は、ローカル収集装置が画像データの各々を収集する対応する収集時点において生成されるローカル収集装置のリアルタイムポーズ情報を決定する。三次元地図を構築する装置は、現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築する。
この方法では、俯角で得られる現在のグローバル点群地図とローカル収集装置によって収集されるローカル画像データが互いに補完するので、構築される三次元地図の完全性を高めることができ、三次元地図を構築するときのロバスト性を向上させることができる。したがって、収集されたセンサデータのみに基づいてSLAMを行う従来技術の実装では、収集される特徴の量が少ないため、構築された三次元地図が不正確になるという技術的問題に結びつく可能性がある。この実装と比べて、本出願で提供される方法は、構築される三次元地図の精度を高めることができる。
可能な一設計において、三次元地図は指定座標系で構築され、指定座標系は、以下の座標系、すなわち、初期時点におけるグローバル収集装置のポーズに基づいて決定される第1の座標系、初期時点におけるローカル収集装置のポーズに基づいて決定される第2の座標系、世界座標系、および任意の固定空間点におけるポーズに基づいて決定される第3の座標系のうちのいずれか1つである。三次元地図を構築する装置が、現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築することは、現在のグローバル点群地図が位置する元の座標系、複数の画像データが位置する元の座標系、およびローカル収集装置のリアルタイムポーズ情報が位置する元の座標系を決定し、指定座標系とは異なる元の座標系について、指定座標系の地図データを得るために、変換関係に基づいて元の座標系の地図データに対して座標変換を行い、変換関係が、元の座標系の座標の原点と指定座標系の座標の原点とのポーズ関係に基づいて決定され、元の座標系の地図データが、現在のグローバル点群地図、複数の画像データ、およびローカル収集装置のリアルタイムポーズ情報のうちのいずれか1つ以上を含み、指定座標系における現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築し、指定座標系の三次元地図を得ることによって実施される。
この設計に基づくと、三次元地図を構築する装置は、任意の座標系で三次元地図を構築し得るので、構築された三次元地図に基づくリアルタイムの位置特定やナビゲーションなどが容易になる。座標系の座標の原点のポーズに基づいて異なる座標系間で地図データ内の任意の空間点に対して座標変換が行われ得るので、異なる座標系間の変換関係を得ることができる。したがって、本出願の実施中には、グローバル収集装置によって収集されるグローバル点群地図がローカル収集装置によって収集される画像データと組み合わされ得るので、構築された三次元地図の完全性および精度を高めることができる。
可能な一設計において、グローバル収集装置とAPとの相対ポーズは固定され、ローカル収集装置とSTAとの相対ポーズは固定され、APはSTAと通信する。例えば、指定座標系とは異なる元の座標系が第1の座標系であり、指定座標系が第2の座標系であり、変換関係が第1の変換関係である場合、三次元地図を構築する装置は、以下の方式で、すなわち、グローバル収集装置とAPとの相対ポーズに基づいて第1の変換行列を決定し、APによってSTAの位置を特定した結果に基づいて第2の変換行列を決定し、STAとローカル収集装置との相対ポーズに基づいて第3の変換行列を決定し、第1の変換行列と、第2の変換行列と、第3の変換行列との積に基づいて第1の変換関係を得ることで、第1の変換関係を決定するように構成される。
この設計では、APによってSTAの位置を特定した結果に基づいて、グローバル収集装置座標系と初期ローカル収集装置座標系との変換関係が得られ得るので、グローバル点群地図またはローカル画像データに対して座標変換を実施して、グローバル点群地図と同じ座標系のローカル画像データとに基づいて三次元地図を構築でき、さらに、従来技術と比べてより正確で完全な三次元地図を得ることができる。SLAM技術に基づいて、隣接する別々の期間内のセンサデータを使用して特徴マッチングが行われた後にのみ三次元地図を決定できる従来技術の実装と比べて、本出願では、計算量を減らすことができ、APによってSTAの位置を特定した結果に基づいて精度を保証できる。
可能な一設計において、三次元地図を構築する装置が、ローカル収集装置が画像データの各々を収集する対応する収集時点において生成されるローカル収集装置のリアルタイムポーズ情報を決定することは、画像データの各々が収集される対応する各収集時点にAPによってSTAの位置を特定したリアルタイム結果を得、初期時点にAPによってSTAの位置を特定した初期結果と、初期時点における第4の座標系でのSTAの初期ポーズ情報と、リアルタイム位置特定結果とに基づいて、各収集時点における第4の座標系でのSTAのリアルタイムポーズ情報を得、第4の座標系の座標の原点が、初期時点におけるSTAのポーズに基づいて決定され、第4の座標系におけるSTAのリアルタイムポーズ情報と第3の変換行列とに基づいて、第4の座標系におけるローカル収集装置のリアルタイムポーズ情報を決定し、第4の座標系におけるローカル収集装置のリアルタイムポーズ情報に対して座標変換を行い、指定座標系におけるローカル収集装置のリアルタイムポーズ情報を得ることによって実施される。この設計では、それぞれの収集時点におけるローカル収集装置のリアルタイムポーズ情報が得られ、APによってSTAの位置を特定したリアルタイム結果に基づいて座標変換が行われる。したがって、隣接する期間に収集される他の画像データに頼る必要がない。これは、隣接する期間内の画像データに対して特徴マッチングを行うことによってロボットのリアルタイムポーズを推定する従来技術の方式で存在し得る時間累積誤差の欠点を回避できるので、構築された三次元地図の精度を高めることができる。
可能な一設計において、三次元地図を構築する装置は、APによってSTAの位置を特定したリアルタイム結果に基づいて、移動デバイスの移動中に存在するループ閉じ込みエラーを検出する。
この設計において、従来技術のループ閉じ込み検出の実装では、センサデータから一連の特徴を抽出し、バッグ・オブ・ワーズ（bag of words）法を使用するだけで、異なる画像データの類似性を比較によって得ることができるので、移動デバイスが現在の移動先が以前に到達したポーズであるかどうかを決定できる。このループ閉じ込み検出の実装と比べて、本出願の実施中には、APによってSTAの位置を特定した結果に基づいてループ閉じ込み検出が行われるので、三次元地図を構築する効率を高めることができ、弱いテクスチャ環境（例えば、白い壁上）でのループ閉じ込み検出のロバスト性を改善できる。
可能な一設計において、三次元地図を構築する装置が移動デバイスの移動中にローカル収集装置によって収集される複数の画像データを得る前に、三次元地図を構築する装置は、現在のグローバル点群地図に基づいて移動デバイスの移動経路を計画し、三次元地図を構築する装置は、ローカル収集装置のリアルタイムポーズ情報と移動経路とに基づいて移動命令を生成し、三次元地図を構築する装置は、移動デバイスのコントローラへ移動命令を送信し、その結果、コントローラは、移動命令に従って移動するように移動デバイスを制御する。
この設計では、得られた現在のグローバル点群地図に基づいて移動デバイスの移動経路が計画され、ローカル収集装置のリアルタイムポーズ情報に基づいて移動可能な移動経路範囲内での移動のための移動命令が移動デバイスのために生成されるので、移動デバイスの闇雲な移動は回避できる。したがって、三次元地図を構築する効率と精度を高めることができる。
第2の態様によると、本出願の一実施形態は、三次元地図を構築する装置を提供する。本装置は、トランシーバユニットと処理ユニットとを含む。トランシーバユニットと処理ユニットとによって実行される機能は、第1の態様の可能な設計または実装のいずれか1つで三次元地図を構築する装置によって行われるステップに対応し得る。
第3の態様によると、本出願の一実施形態は、計算デバイスをさらに提供する。本計算デバイスは、1つ以上のプロセッサとメモリとを含む。メモリはプロセッサに結合される。メモリはコンピュータプログラムコードを記憶し、コンピュータプログラムコードはコンピュータ命令を含む。プロセッサは、第1の態様の可能な設計のいずれか1つで提供される方法を行うために、メモリ内のコンピュータ命令を実行する。任意に選べることとして、計算デバイスは、表示画面をさらに含み得る。表示画面は、グローバル収集装置によって収集されるグローバル点群地図やローカル収集装置によって収集される画像データなどの情報を、ユーザに向けて表示するようにプロセッサによってトリガされる。任意に選べることとして、計算デバイスは通信インターフェイスをさらに含み、プロセッサは通信インターフェイスに結合される。通信インターフェイスは、トランシーバまたは入出力インターフェイスであってよい。計算デバイスがネットワークデバイスに含まれるチップである場合、通信インターフェイスはチップの入出力インターフェイスであってよい。任意に選べることとして、トランシーバはトランシーバ回路であってよく、入出力インターフェイスは入出力回路であってよい。
第4の態様によると、本出願の一実施形態は、第3の態様で提供される少なくとも1つの計算デバイスを含む計算デバイスクラスタをさらに提供する。
第5の態様によると、本出願の一実施形態は、コンピュータ記憶媒体をさらに提供する。本コンピュータ記憶媒体はコンピュータプログラムを記憶し、コンピュータプログラムがコンピュータによって実行されると、第1の態様の可能な設計のいずれか1つで提供される方法が行われる。
第6の態様によると、本出願の一実施形態は、コンピュータプログラム製品をさらに提供する。本コンピュータプログラム製品は、コンピュータプログラムコードを含む。コンピュータプログラムコードが通信装置のプロセッサによって実行されると、通信装置は、第1の態様の可能な設計のいずれか1つの方法を行うことが可能になる。
第7の態様によると、本出願の一実施形態は、チップをさらに提供する。本チップは、第1の態様の可能な設計のいずれか1つの方法を行うために、メモリに記憶されたソフトウェアプログラムを読み取って実行するように構成される。メモリは、チップに接続されてよく、またはチップに内蔵されてもよい。
第2の態様から第7の態様のいずれか1つの有利な効果については、具体的には、第1の態様の様々な可能な設計の有利な効果を参照されたい。ここでは詳細を繰り返し説明しない。
SLAMシステムの概略フローチャートである。 本出願の一実施形態による三次元地図を構築する方法の適用シナリオの図である。 本出願の一実施形態による三次元地図を構築する方法の相互作用の概略図である。 本出願の一実施形態による三次元地図を構築する方法の概略フローチャートである。 本出願の一実施形態による三次元地図を構築する装置の構造の概略図である。 本出願の一実施形態による三次元地図を構築する他の装置の構造の概略図である。 本出願の一実施形態によるチップの構造の概略図である。
以下、添付の図面を参照しながら本出願の実施形態を詳細に説明する。
本出願の実施形態は、自律的移動中の移動デバイスのリアルタイムの位置特定およびナビゲーションなどのシナリオに適用され得る。移動デバイスは、例えば、掃除ロボット、食品配送ロボット、配布ロボット、移動台車、物流台車である。適用可能な移動デバイスの具体的な種類は、本出願で限定されない。
移動デバイスの正確でインテリジェントな歩行動作を可能にするには、通常は、完全で正確な三次元地図を構築する必要がある。現在では主に、従来技術のSLAM技術を用いて三次元地図が構築されている。しかし、SLAM技術を用いて三次元地図を構築すると、時間累積誤差に起因する精度の低さや、死角に起因する不完全な三次元地図といった問題が存在する可能性がある。
これを考慮し、本出願の一実施形態は、三次元地図を構築する方法を提供する。三次元地図は、グローバル点群地図と、複数のローカル画像データと、ローカル収集装置のリアルタイムポーズ情報とを組み合わせることによって構築され、グローバル点群地図とローカル画像データが互いに補完して、より正確で完全な三次元地図が構築される。
まずは、本出願の実施形態を適用し得るシステムアーキテクチャについて説明する。図1は、SLAMシステムの概略フローチャートである。SLAM技術は、次のように理解され得る。移動ロボットは、未知の環境内の未知の位置から移動を開始し、移動中に地図に従って位置推定によって自己を見つけ、自己の位置を特定することによってインクリメンタル地図を構築して、移動ロボットの自律的な位置特定およびナビゲーションを実施する。SLAMシステムは主に、いくつかの機能を、すなわちセンサデータ収集101、オドメトリ102、ループ閉じ込み検出103、非線形最適化104、および地図構築105を、含む。これらの機能は主に、次のように実施される。
センサデータ収集101は、地図構築過程で必要なセンサデータを収集するために行われる。センサデータは、画像データ、レーザ点群情報、慣性センサデータなどを含むが、これらに限定されない。例えば、ビジュアルSLAMでは、センサデータは、カメラやカメラレンズといった視覚センサを使用して収集される画像データであり得、レーザSLAMでは、センサデータは、レーザレーダを使用して得られるレーザ点群、レーザ点群に基づいて得られる画像などであり得る。
オドメトリ102は、ローカル三次元地図を構築するため、ロボットのポーズ変化を推定するために行われる。ポーズ変化は、並進情報と回転情報とを含む。従来技術では主に、レーザSLAMとビジュアルSLAMによって隣接する期間内のセンサデータに対してマッチングと比較が行われることによって、ロボットのポーズが推定されることができる。しかしながら、オドメトリ計算過程では、隣接する期間内のロボットのポーズ変化に基づいてロボットのポーズが推定されるため、大きな時間累積誤差が存在し得る。その結果、構築された三次元地図の精度は低下する。
ループ閉じ込み検出103は、ロボットの現在位置が以前に到達した位置であるかどうかを決定するために行われる。ループ閉じ込みが存在すると決定された場合は、オドメトリのドリフトを補正するために、非線形最適化104にループ閉じ込み情報が使用される。
非線形最適化104は主に、別々の期間内にオドメトリ102で得られたロボットのポーズと、ループ閉じ込み検出103のループ閉じ込み情報とに基づいて、ロボットのポーズと地図を最適化し、グローバルに一貫した移動軌道を得るために行われる。
地図構築105は、ロボットの移動軌道とオドメトリ102で構築された複数のローカル三次元地図とに基づいて、完全なグローバル三次元地図を構築するために行われる。構築されるグローバル三次元地図は、疎地図、密地図、セマンティック地図などを含むが、これらに限定されない。これは本出願で限定されない。
背景技術で説明されている内容と上述されている内容とに基づくと、ビジュアルSLAMで地図を構築する方式は、画像特徴マッチングの精度に大いに影響され、不十分な光と弱い背景テクスチャでは、センサデータから少量の特徴が抽出される。したがって、不正確なポーズ追跡や地図マッチングがないなどの問題が生じる可能性がある。レーザSLAMで地図を構築する方式には、可視化が不十分という欠点がある。加えて、ロボットの高さが限られていると、高所の遮られた物の情報が得られることができないため、不完全な地図が構築されてしまう。加えて、従来技術のSLAM技術を用いてロボットのポーズが推定されると、大きな時間累積誤差が存在し得る。したがって、本出願の一実施形態は、三次元地図を構築する方法を提供する。
本出願の実施形態は、三次元地図を構築するシナリオに適用され得る。具体的に述べると、三次元地図を構築するシナリオでは、三次元地図が初めて構築されることがあり、または再構築されることもあり、屋内の三次元地図が構築されることがあり、または屋外の三次元地図が構築されることもある。屋内の三次元地図を構築することは、例えば、掃除ロボットによって屋内の三次元地図を構築することであり得、または移動台車によって倉庫の三次元地図を構築することでもあり得る。屋外の三次元地図を構築することは、例えば、公園で物流台車によって公園の三次元地図を構築することであり得る。これは本出願で限定されない。
本出願で使用される「複数の」が、2つ以上を指すことに注意されたい。「および／または」という用語は、関連する対象を記述するための関連関係を記述するものであり、3つの関係が存在し得ることを表す。例えば、Aおよび／またはBは、以下の3つの場合を、すなわちAのみが存在する場合と、AとBの両方が存在する場合と、Bのみが存在する場合とを、表す。文字「／」は、通常、関連する対象の「または」関係を示す。加えて、本出願の実施形態ではデータを説明するために「第1」および「第2」などの用語が使用されることがあるが、そのデータがそれらの用語に限定されるべきではないことは理解されよう。これらの用語は、単にデータを互いに区別するために使用される。
図2は、本出願の一実施形態による三次元地図を構築する方法の適用シナリオの図である。適用シナリオは、グローバル収集装置201と、アクセスポイント（access point、AP）202と、ステーション（station、STA）203と、ローカル収集装置204とを含み得る。
本出願が屋内の三次元地図を構築するシナリオに適用される場合、グローバル収集装置201は、高所に、例えば屋根に、配置されてよく、対象のシナリオにてグローバル点群地図を収集するように構成される。あるいは、本出願が屋外の三次元地図を構築するシナリオに適用される場合、グローバル収集装置201は、高所に、例えば壁または電柱などに、配置されてよい。グローバル収集装置201を配置する方式は、本出願で限定されない。グローバル収集装置201は深度センサであってよく、深度センサは、測距レーザに基づくレーザレーダ、深度カメラレンズ、深度カメラなどを含むが、これらに限定されない。
AP 202は、STAの位置特定結果を得るためにステーションSTA 203を見つけるように構成され、その結果、STAのリアルタイムポーズ情報が決定されることができる。AP 202は、無線技術などを用いて光通信技術に基づいて1つ以上のSTA 203のアクセスを受信し得る。AP 202とSTA 203との通信のための光通信技術は、ライトフィデリティ（light fidelity、Li－Fi）、可視光通信（visible light communication、VLC）、自由空間光通信（free－space optical communication、FSO）などを含むが、これらに限定されない。AP 202とグローバル収集装置201が、2つの別個のデバイスであってよいことに、例えばAPデバイスと深度センサであってよいことに、注意されたい。あるいは、AP 202とグローバル収集装置201の両方が統合デバイスに含まれてもよい。例えば、グローバル収集装置201の機能を実施できるユニットと、AP 202の機能を実施できるユニットの両方を含む統合デバイスが存在する。あるいは、グローバル収集装置201は、AP 202に統合されてもよい。これは本出願で限定されない。
ローカル収集装置204は、移動デバイス上に配置されてよく、または移動デバイスに統合されてもよい。ローカル収集装置204は、移動デバイスの移動中に複数の異なる画像データを収集するように構成される。ローカル収集装置204は、単眼カメラレンズ、双眼カメラレンズ、赤緑青深度（RGBD）カメラレンズなどであってよい。これは本出願で限定されない。グローバル収集装置201とAP 202との相対的なポーズ関係と同様に、ローカル収集装置204とSTA 203との相対的なポーズ関係も本出願の実施中に限定されない。
加えて、適用シナリオは、ホストコンピュータ205（これは、図2の205aまたは205bを含み得る）とクラウドサーバ206とをさらに含む。ホストコンピュータ205aは、グローバル収集装置201のデータとAP 202のデータとを得、グローバル点群地図を表示するために、受信したデータを処理および計算し、制御命令を配信するなどするように構成される。例えば、ホストコンピュータ205aは、グローバル収集装置201によって収集されるグローバル点群地図に対して座標変換を行い、グローバル点群地図に基づいて移動デバイスの移動経路を計画する。同様に、ホストコンピュータ205bは、ローカル収集装置204のデータとSTA 203のデータとを得、ローカル画像データを表示するために、受信したデータを処理および計算し、制御命令を配信するなどするように構成される。例えば、ホストコンピュータ205bは、移動デバイス内に配置されてよく、移動デバイスのコントローラとして機能して移動デバイスの自律的移動を制御し得る。本出願の実施形態におけるモジュールへの分割が概略的であり、論理的な機能分割にすぎないことに注意されたい。実際の実装時には、他の分割方式もあり得る。加えて、本出願の各実施形態の機能ユニットは、1つの処理ユニットに統合されてもよく、または物理的に別々に存在してもよく、または2つ以上のユニットが1つのユニットに統合されてもよい。例えば、ホストコンピュータ205bは、移動デバイスに統合されてもよく、または物理的に別々に存在してもよい。統合ユニットは、ハードウェアの形態で実装されてよく、またはソフトウェア機能ユニットの形態で実装されてもよい。
本出願の本実施形態で提供される方法は、グローバル収集装置201に接続されたホストコンピュータ205aを使用することによって実施されてよく、ローカル収集装置204に接続されたホストコンピュータ205bを使用することによって実施されてもよく、クラウドサーバ206を使用することによって実施されてもよく、またはホストコンピュータとクラウドサーバとの作業の調整および分割によって実施されてもよい。すなわち、ホストコンピュータ205a、ホストコンピュータ205b、またはクラウドサーバのうちのいずれか1つまたは組み合わせが、本出願で提供される方法を実施するために三次元地図を構築する装置として機能し得る。実施中に、方法をどのように実施するかは、各デバイスの計算能力および／または実際のシナリオに応じて決定されてよい。例えば、ホストコンピュータ205aの計算能力が本出願で提供される方法の実施をサポートできるなら、本出願で提供される方法は、ホストコンピュータ205aを使用して実施されてよい。これは本出願で限定されない。
適用シナリオに含まれるデバイスの種類および数が、具体的な実際の要件に基づいて異なり得ることに注意されたい。例えば、屋根に配置された複数のグローバル収集装置201があってよく、グローバル収集装置201の各々は、1つのエリア内でグローバル点群地図を収集することを担当する。あるいは、屋根に配置された複数のAP 202もあり得る。
図2に示されているシナリオに基づいて、図3は、本出願の一実施形態による三次元地図を構築する方法の相互作用の概略図である。相互作用手順は、以下のステップを含む。
S301．三次元地図を構築する装置が、現在のグローバル点群地図を得る。
例えば、グローバル点群地図はグローバル収集装置201を使用して得られてよい。実施中、グローバル点群地図は、三次元地図を構築する必要がある対象のシナリオにおいて大きい視野角範囲を含む。例えば、掃除ロボットのインテリジェントな移動動作を容易にするために部屋内の三次元地図を構築する必要がある場合は、部屋内のカメラレンズからグローバル点群地図が得られてよい。加えて、対象のシナリオにおいて物体の位置は頻繁に変わる可能性があるため、現在のグローバル点群地図がリアルタイムか周期的に得られてよく、その結果、対象のシナリオにおける変化を時間内に知ることができ、現在の状況をよりよく反映できる正確な三次元地図を構築できる。
三次元地図を構築する装置の構成が、実際のシナリオにおける状況に基づいて決定されてよく、実施中に図2のホストコンピュータ205a、ホストコンピュータ205b、またはクラウドサーバ206のうちのいずれか1つまたは組み合わせを含み得ることに注意されたい。これは本出願で限定されない。
可能な一実装において、グローバル点群地図は、移動デバイスの移動経路の計画に適用されてよい。例えば、グローバル点群地図から特徴を抽出することによって対象のシナリオにおける歩行可能な路面の1エリアが決定され、その結果、歩行可能な路面の当該エリアにて移動デバイスの移動経路を計画できる。加えて、三次元地図を構築する装置はさらに、ローカル収集装置のリアルタイムポーズを決定し得、その結果、ローカル収集装置の向きが、すなわち移動デバイスの移動方向が、決定されることができる。次いで、三次元地図を構築する装置は、歩行可能な路面の決定されたエリアにおける移動デバイスの移動方向に基づいて移動命令を生成し得る。三次元地図を構築する装置は、移動デバイスのコントローラへ移動命令を送信し得る。移動デバイスは、例えば、図2の台車であってよく、コントローラは、例えば、図2の台車上のホストコンピュータ205bであってよい。したがって、ホストコンピュータ205bは、移動命令に従って移動するように移動デバイスを制御する。この設計に基づくと、得られたグローバル点群地図に基づいて移動デバイスの移動経路を計画し得るので、移動デバイスの闇雲な動きは回避できる。したがって、三次元地図を構築する効率と精度を高めることができる。
S302．三次元地図を構築する装置は、移動デバイスの移動中に、移動デバイス上に配置されたローカル収集装置によって収集される複数の画像データを得る。
例えば、ローカル収集装置は移動デバイス上に配置され得るので、ローカル収集装置は移動デバイスの移動と共に移動し得、その結果、ローカル収集装置は移動デバイスの移動中に複数の異なる画像データを収集できる。具体的な実施中に、ローカル収集装置は、画像データを定期的に収集してよく、例えば、10秒ごとに1つの画像データを収集してよい。あるいは、ローカル収集装置は、移動デバイスが毎回所定の距離を移動した後に1つの画像データを収集してもよい。これは本出願で限定されない。
S303．三次元地図を構築する装置は、ローカル収集装置が画像データの各々を収集する対応する収集時点において生成されるローカル収集装置のリアルタイムポーズ情報を決定する。
従来技術のSLAMシステムでは、オドメトリ102によって、ローカル収集装置によって収集された隣接する画像データに対して特徴マッチングが行われて、ローカル収集装置のポーズ変化を推定する。しかしながら、時間累積誤差が大きいという欠点があり得る。
より正確な三次元地図を構築するため、APは、STAの位置特定情報をリアルタイムで得うる。本出願の実施中に、APとグローバル収集装置との相対ポーズは固定されるように設定され、STAとローカル収集装置との相対ポーズは固定されるように設定される。したがって、STAのリアルタイムポーズ情報は、APによってSTAの位置を特定したリアルタイム結果に基づいて決定され得る。次に、STAとローカル収集装置との相対ポーズは固定されているので、STAのリアルタイムポーズ情報に基づいてローカル収集装置のリアルタイムポーズ情報がさらに決定され得る。一般的なシナリオでは、別々の時点におけるグローバル収集装置のポーズと別々の時点におけるAPのポーズが固定されるように設定されることに注意されたい。しかしながら、ローカル収集装置とSTAは移動デバイス上に配置されているため、ローカル収集装置およびAPのポーズ情報は変化している。
S304．三次元地図を構築する装置は、現在のグローバル点群地図と、複数の画像データと、複数の決定されたリアルタイムポーズ情報とに基づいて三次元地図を構築する。
例えば、三次元地図は、実際のシナリオ要件に基づいて指定座標系で構築されてよい。指定座標系は、以下の座標系、すなわち、初期時点におけるグローバル収集装置のポーズに基づいて決定される第1の座標系（グローバル収集装置座標系と呼ばれることもある）、初期時点におけるローカル収集装置のポーズに基づいて決定される第2の座標系（初期ローカル収集装置座標系と呼ばれることもある）、世界座標系、および任意の固定空間点のポーズに基づいて決定される第3の座標系（例えば、上述したAPのポーズに基づいて決定されるAP座標系）のうちのいずれか1つであってよい。ポーズは、位置および姿勢を、すなわち三次元座標および向きを、含む。初期時点は、対象のシナリオにおいて移動デバイスが静止状態にあるいずれかの時点として表現されてよく、または三次元地図を構築する装置によって移動デバイスの移動過程から選択されるいずれかの時点であってよい。初期時点を選択することは、本出願で限定されず、主に、基本的な変換関係と同じ時点にグローバル収集装置とローカル収集装置との相対ポーズ装置を選択することである。
三次元地図を構築する実施中に、三次元地図を構築する装置によって得られる現在のグローバル点群地図、複数の画像データ、および複数の決定されたリアルタイムポーズ情報は、別々の座標系に配置され得る。統一された方式で三次元地図を構築するため、情報は同じ座標系に変換され、ステップは以下の通りである。
ステップA1：三次元地図を構築する装置は、以下の情報が、すなわち、現在のグローバル点群地図、複数の画像データ、およびローカル収集装置のリアルタイムポーズ情報が、位置する元の座標系を決定する。
例えば、グローバル収集装置201によって収集されるグローバル点群地図は、グローバル収集装置座標系に位置する。ローカル収集装置204によって収集される画像データは、ローカル収集装置のリアルタイムポーズに基づいて決定されるリアルタイムローカル収集装置座標系に位置する。ローカル収集装置のリアルタイムポーズ情報は、STAのリアルタイムポーズ情報に基づいて決定されてよい。したがって、ローカル収集装置のリアルタイムポーズ情報は、STAのリアルタイムのポーズに基づいて決定されるリアルタイムSTA座標系に位置する。
ステップA2：指定座標系とは異なる元の座標系について、変換関係に基づいて元の座標系の地図データに対して座標変換を行って、指定座標系の地図データを得る。
変換関係は、元の座標系の座標の原点と指定座標系の座標の原点とのポーズ関係に基づいて決定され、元の座標系の地図データは、現在のグローバル点群地図、複数の画像データ、およびローカル収集装置のリアルタイムポーズ情報のうちのいずれか1つ以上を含む。例えば、指定座標系が初期ローカル収集装置座標系であり、グローバル点群地図が位置する元の座標系がグローバル収集装置座標系である場合は、グローバル収集装置座標系から初期ローカル収集装置座標系への第1の変換関係が得られる。第1の変換関係に基づいてグローバル収集装置座標系のグローバル点群地図に対して座標変換が行われた後には、初期ローカル収集装置座標系のグローバル点群地図が得られる。
例えば、指定座標系が初期ローカル収集装置座標系である場合、グローバル収集装置座標系から初期ローカル収集装置座標系にグローバル点群地図を変換するための第1の変換関係は、以下に説明する内容に基づいて得られてよい。
空間に存在する任意の点のグローバル収集装置座標系における同次座標は［XL，YL，ZL，1］Tと表され得、初期ローカル収集装置座標系における当該点の同次座標は［XC，YC，ZC，1］Tと表されると仮定する。グローバル収集装置座標系と初期ローカル収集装置座標系との当該点の座標変換関係は、以下の式1を用いて表され得る。
は、グローバル収集装置座標系から初期ローカル収集装置座標系への変換行列を示し、行列R3＊3は、グローバル収集装置座標系と初期ローカル収集装置座標系との方位角変換を示す回転行列であり、行列T3＊1は、グローバル収集装置座標系と初期ローカル収集装置座標系との三次元座標変換を示す並進ベクトルである。
初期ローカル収集装置座標系からグローバル収集装置座標系への空間点の変換が、以下の式2を用いて表され得ることに注意されたい。
行列R3＊3’は、式1の行列R3＊3の逆行列であり、行列T3＊1’は、行列R3＊3の逆行列と式1の並進ベクトルT3＊1との積の反数である。具体的な表現方式については、以下の式3を参照されたく、前述の式2が式1の逆過程であることは理解できる。
上記の式1および式2によると、グローバル収集装置座標系から初期ローカル収集装置座標系に任意の空間点を変換するための第1の変換関係と、初期ローカル収集装置座標系からグローバル収集装置座標系に任意の空間点を変換するための第2の変換関係とが得られ得るので、異なる座標系間の座標変換が簡便に実施されることができる。
可能な一実装において、グローバル収集装置座標系から初期ローカル収集装置座標系への座標変換関係は、初期時点にAPによってSTAの位置を特定した初期結果に基づいて決定されてよく、実施中に以下の3つの変換行列に基づいて決定されてよい。
第1の変換行列は、グローバル収集装置とAPとの相対ポーズに基づいて決定される。グローバル収集装置とAPとの相対ポーズは固定されているので、第1の変換行列は固定行列として得られ得る。グローバル収集装置とAPが実装される具体的な方式、例えば上述した独立した方式、統合デバイスに含まれる方式、およびグローバル収集装置がAPに含まれる方式にかかわらず、グローバル収集装置の座標の原点が、APに含まれる発光装置（すなわち、光通信用モジュール）の座標の原点と異なることに注意されたい。したがって、より正確な変換関係を得るために、グローバル収集装置の座標の原点とAPの発光装置の座標の原点とに基づいて、グローバル収集装置とAPとの相対ポーズが反映される。
例えば、第1の変換行列は、行列
を用いて表され得る。
第2の変換行列は、APとSTAとの相対ポーズに基づいて決定され、行列
を用いて表され得る。
STAは、移動デバイス上に配置される。したがって、APとSTAとの相対ポーズは、移動デバイスの移動中にリアルタイムで変化し、第2の変換行列は固定行列ではない。具体的な実施中に、三次元地図を構築する装置は、第2の変換行列を決定するために、APによってSTAの位置を特定した結果に基づいてAPとSTAとの相対ポーズを決定し得る。
例えば、APによってSTAの位置を特定した結果は、行列
を用いて表され得、APによってSTAの位置を特定した結果に基づいて第2の変換行列を決定することは、以下の式3を用いて表され得る。
第3の変換行列は、STAとローカル収集装置との相対ポーズに基づいて決定される。STAとローカル収集装置との相対ポーズは固定されているので、第3の変換行列も固定行列として得られ得る。
例えば、得る原理は第3の変換行列と第1の変換行列とで同じであり、行列
を用いて表され得る。
したがって、第1の変換行列と第2の変換行列と第3の変換行列との積に基づいて、グローバル収集装置とローカル収集装置との変換関係が得られ得る。例えば、この変換関係は、以下の式4を用いて決定され得る。
他の可能な一実装において、本出願の実施中に、三次元地図を構築する装置はさらに、キャリブレーションオブジェクト支援方式で変換関係を決定できる。例えば、対象のシナリオでチェッカーボードやターゲットなどのキャリブレーションオブジェクトが配置されてよい。移動デバイスの移動中の任意の時点に、グローバル収集装置の収集エリアとローカル収集装置の収集エリアは、共通の視野を含む。これはまた、グローバル収集装置とローカル収集装置の両方がキャリブレーションオブジェクトに関する情報を収集できると理解され得る。このシナリオでは、コンピュータビジョン技術分野の特徴抽出およびマッチングのアルゴリズムに基づいて、ローカル収集装置座標系における任意の時点tでのキャリブレーションオブジェクトの座標セット｛［XC i，YC i，ZC i｜i∈キャリブレーションオブジェクト］｝tとグローバル収集装置座標系における時点tでのキャリブレーションオブジェクトの座標セット｛［XL i，YL i，ZL i｜i∈キャリブレーションオブジェクト］｝tが決定され、グローバル収集装置座標系からローカル収集装置座標系にグローバル点群地図を変換するための変換関係が、反復最接近点（iterative closest point、ICP）や透視n点（perspective－n－point、PnP）などのレジストレーションアルゴリズムを用いて算出され、変換関係に基づいてグローバル点群地図に対して座標変換が行われ、ローカル収集装置座標系のグローバル点群地図を得る。
以下では、APによってSTAの位置を特定したリアルタイム結果に基づいて、指定座標系におけるローカル収集装置のリアルタイムポーズ情報を決定する方法について説明する。
例えば、初期時点におけるSTAの初期ポーズに基づいて第4の座標系（初期STA座標系と呼ばれることもある）が確立される。この場合、STAは初期STA座標系の座標の原点にあり、STAの初期ポーズ情報は
と表され得、行列I3＊3は、座標系がSTAの向きと一致する向きを有する行列として表される。上述した内容によると、STAからローカル収集装置への第3の変換行列は、
として得られ得る。この場合、初期STA座標系におけるローカル収集装置の初期ポーズは、
として表され得る。加えて、三次元地図を構築する装置はさらに、AP座標系（すなわち、初期時点におけるAPのポーズを座標の原点として使用して確立される座標系）におけるSTAのポーズがAPによってSTAの位置を特定した初期結果であると決定し得、初期結果は
を用いて表されると仮定する。
移動中の任意の時点t1を一例として使用する。三次元地図を構築する装置は、以下のステップで初期ローカル収集装置座標系におけるローカル収集装置のリアルタイムポーズ情報を決定し得る。
ステップB1．三次元地図を構築する装置は、時点t1にAPによってSTAの位置を特定したリアルタイム結果を決定し、このリアルタイム結果は
を用いて表されると仮定する。
ステップB2．三次元地図を構築する装置は、AP座標系におけるSTAに対して座標変換を実行し、初期STA座標系におけるSTAのリアルタイムポーズ情報を得て、このリアルタイムポーズ情報は
を用いて表されると仮定する。
ステップB3．三次元地図を構築する装置は、初期STA座標系におけるSTAのリアルタイムポーズ情報と第3の変換行列とに基づいて、初期STA座標系におけるローカル収集装置のリアルタイムポーズ情報を決定する。
例えば、第3の変換行列は固定行列であるため、時点t1におけるSTAに対するローカル収集装置の相対ポーズは、初期時点における初期STA座標系でのローカル収集装置の初期ポーズに基づいて決定され得る。この場合、時点t1において、初期STA座標系におけるローカル収集装置のリアルタイムポーズは
に更新される。
ステップB4．初期STA座標系におけるローカル収集装置のリアルタイムポーズ情報に対して座標変換を行い、初期ローカル収集装置座標系におけるローカル収集装置のリアルタイムポーズ情報を得る。初期ローカル収集装置座標系におけるローカル収集装置のリアルタイムポーズ情報は、第3の変換行列と初期STA座標系におけるローカル収集装置のリアルタイムポーズ情報との積に基づいて決定され得、そのプロセスは以下の例として表され得る。
他の可能な一例では、変換関係がキャリブレーションオブジェクト支援方式で得られる場合に、ローカル収集装置のリアルタイムポーズ情報は、APによってSTAの位置を特定した結果と、得られた変換関係と、グローバル収集装置とAPとの第1の変換行列と、STAとローカル収集装置との第2の変換行列とに基づいて決定され得る。
前述の例に基づくと、それぞれの収集時点におけるローカル収集装置のリアルタイムポーズ情報が得られ、APによってSTAの位置を特定したリアルタイム結果に基づいて座標変換が行われる。したがって、隣接する期間に収集される他の画像データに頼る必要がない。これは、従来技術に存在し得る時間累積誤差の不利点を回避できる。
ステップA3：三次元地図を構築する装置は、指定座標系における現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築し、指定座標系の三次元地図を得る。
加えて、本出願の実施中にループ閉じ込み検出を実施するときに、三次元地図を構築する装置は、APによってSTAの位置を特定した結果に基づいて、移動デバイスの移動中にループ閉じ込みエラーが存在するかどうかを直接決定し得る。具体的な実施中に、三次元地図を構築する装置はさらに、画像データに対して特徴マッチングを行うことによってループ閉じ込みエラーを検出し得る。この設計に基づくと、従来技術のループ閉じ込み検出の実装では、センサデータから一連の特徴を抽出し、バッグ・オブ・ワーズ（bag of words）法を使用するだけで、異なる画像データの類似性を比較によって得ることができるので、移動デバイスが現在の移動先が以前に到達したポーズであるかどうかを決定できる。このループ閉じ込み検出の実装と比べて、本出願の実施中に、三次元地図を構築する装置は、APによってSTAの位置を特定した結果に基づいてループ閉じ込み検出を行うので、三次元地図を構築する効率を高めることができる。
三次元地図を構築する装置が本出願の本実施形態で提供される方法を用いて三次元地図を構築する前に、本出願の本実施形態ではSTAおよびAPによって処理を行う必要があるため、移動デバイス上に配置されたSTAがオンラインであるかどうかを決定する必要があることに注意されたい。STAがオフラインである場合は、ローカル収集装置によって収集された画像データを直接使用して従来のSLAMが行われ得る。例えば、ローカル収集装置がRGBDカメラである場合は、RGBDカメラによって収集された画像データに基づいてビジュアルSLAMが行われ得る。
例えば、三次元地図を構築する装置がグローバル点群地図を得ることができることに基づくと、ローカル収集装置の得られたリアルタイムポーズ情報とループ閉じ込みエラーが非線形最適化104によって最適化された後には、地図構築105によって三次元地図が構築され得る。本出願の本実施形態における非線形最適化104の機能の処理については、SLAMシステムにおける最適化方式を参照されたい。これについては、本出願で詳細に繰り返し説明しない。
本出願の本実施形態で提供される方法をより明確に理解するため、図4は、本出願の一実施形態による三次元地図を構築する方法の概略フローチャートである。従来技術のSLAMシステムと比べて、本出願で提供される方法を実施するために、いくつかの機能が、すなわち、グローバル点群地図取得401、座標変換402、移動経路計画403、移動命令生成404、および位置特定情報取得405が、さらに含まれる。本出願で新たに追加される機能は、主に以下のように実施される。
グローバル点群地図取得401は、グローバル収集装置が現在のグローバル点群地図を得ることを指示する。
座標変換402は、現在のグローバル点群地図、複数の画像データ、およびローカル収集装置のリアルタイムポーズ情報にあって、指定座標系に属さない、地図データに対して、座標変換が行われることを指示し、指定座標系の地図データを得る、。本出願の本実施形態では、グローバル収集装置座標系から初期ローカル収集装置座標系にグローバル点群地図が変換される一例を説明に使用する。実施中にローカル収集装置座標系からグローバル収集装置座標系にローカル画像データを変換する実装が使用される場合、座標変換402は、センサデータ収集101で得られるローカル画像データに基づいて座標変換を行い得る。
移動経路計画403は、移動デバイスの闇雲な移動を回避するために、グローバル点群地図に基づいて移動デバイスの移動経路が計画され得ることを指示する。移動命令生成404は、移動経路とローカル収集装置のポーズとに基づいて移動デバイスのために移動命令が生成されることを指示するために使用され、これにより、移動デバイスの移動を制御する。
位置特定情報取得405は、APによってSTAの位置を特定した結果を得ることを指示し、三次元地図を構築する効率を高めるために、ループ閉じ込み検出103のために行われ得る。加えて、得られた位置特定情報はさらに、ローカル収集装置のリアルタイムポーズ情報を推定する精度を高めるために、収集されたセンサデータおよびグローバル点群地図と共に、オドメトリ102の入力情報として使用され得る。
具体的な実際のシナリオ要件または計算能力の制限に基づくと、例えば、ホストコンピュータ205は、グローバル点群地図に基づくオドメトリ102や非線形最適化104などの態様で計算量に対する処理要件を実現できず、得られたグローバル点群地図は、地図構築105に直接使用され得る。このように、グローバル点群地図とローカル三次元地図は融合され、または互いの死角を埋めて、完全なグローバル三次元地図を得うる。得られたグローバル点群地図と従来のSLAMを融合する具体的な方式は、本出願で限定されない。
前述の方法の実施形態で説明されている内容に基づくと、本出願では、俯角で収集されるグローバル点群地図に基づいて三次元地図が共同で構築され、APとSTAとの光通信によってより正確な変換関係が得られ得るので、三次元地図を構築するためのサポートが提供され、ローカル収集装置の収集死角に起因する不完全な構築三次元地図の確率を下げることができる。加えて、グローバル点群地図に基づいて移動デバイスの移動経路がさらに計画され得るので、対象のシナリオで移動デバイスの闇雲な移動を回避でき、三次元地図を構築する効率が高まる。
三次元地図を構築する前述の方法と同じ技術的な考えに基づいて、本出願の一実施形態は、三次元地図を構築する装置500をさらに提供する。図5に示されているように、この装置は、ホストコンピュータ205上に配置されてよく、またはクラウドサーバ206上に配置されてもよい。三次元地図を構築する装置500は、トランシーバユニット501と処理ユニット502とを含む。装置500は、前述の方法の実施形態で説明されている方法を実施するように構成されてよい。任意に選べることとして、トランシーバユニット501と処理ユニット502は、通信線路503を使用して互いに接続され得る。通信線路503は、ペリフェラルコンポーネントインターコネクト（peripheral component interconnect、略してPCI）バス、拡張業界標準アーキテクチャ（extended industry standard architecture、略してEISA）バスなどであってよい。通信線路503は、アドレスバス、データバス、制御バスなどに分類され得る。表現を容易にするため、図5の表現には1本の太線のみが使用されているが、これは、1本のバスしかないことを、または1種類のバスしかないことを、意味しない。
トランシーバユニット501は、現在のグローバル点群地図を得るように構成される。トランシーバユニット501は、移動デバイスの移動中に、移動デバイス上に配置されたローカル収集装置によって収集される複数の画像データを得るようにさらに構成される。処理ユニット502は、ローカル収集装置が画像データの各々を収集する対応する収集時点において生成されるローカル収集装置のリアルタイムポーズ情報を決定するように構成される。処理ユニット502は、現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築するようにさらに構成される。
三次元地図は指定座標系で構築され、指定座標系は、以下の座標系、すなわち、初期時点におけるグローバル収集装置のポーズに基づいて決定される第1の座標系、初期時点におけるローカル収集装置のポーズに基づいて決定される第2の座標系、世界座標系、および任意の固定空間点におけるポーズに基づいて決定される第3の座標系のうちのいずれか1つである。処理ユニット502が、現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築するように構成される場合、処理ユニット502は、具体的には、現在のグローバル点群地図が位置する元の座標系、複数の画像データが位置する元の座標系、およびローカル収集装置のリアルタイムポーズ情報が位置する元の座標系を決定し、指定座標系とは異なる元の座標系について、指定座標系の地図データを得るために、変換関係に基づいて元の座標系の地図データに対して座標変換を行い、変換関係が、元の座標系の座標の原点と指定座標系の座標の原点とのポーズ関係に基づいて決定され、元の座標系の地図データが、現在のグローバル点群地図、複数の画像データ、およびローカル収集装置のリアルタイムポーズ情報のうちのいずれか1つ以上を含み、指定座標系における現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築し、指定座標系の三次元地図を得る、ように構成される。
例えば、グローバル収集装置とアクセスポイントAPとの相対ポーズは固定され、ローカル収集装置とステーションSTAとの相対ポーズは固定され、APはSTAと通信する。指定座標系とは異なる元の座標系が第1の座標系であり、指定座標系が第2の座標系であり、変換関係が第1の変換関係である場合、処理ユニット502は、以下の方式で、すなわち、グローバル収集装置とAPとの相対ポーズに基づいて第1の変換行列を決定し、APによってSTAの位置を特定した結果に基づいて第2の変換行列を決定し、STAとローカル収集装置との相対ポーズに基づいて第3の変換行列を決定し、第1の変換行列と、第2の変換行列と、第3の変換行列との積に基づいて第1の変換関係を得ることで、第1の変換関係を決定するように構成される。
可能な一実装において、処理ユニット502が、ローカル収集装置が画像データの各々を収集する対応する収集時点におけるローカル収集装置のリアルタイムポーズ情報を決定するように構成される場合、処理ユニット502は、具体的には、画像データの各々が収集される対応する各収集時点にAPによってSTAの位置を特定したリアルタイム結果を得、初期時点にAPによってSTAの位置を特定した初期結果と、初期時点における第4の座標系でのSTAの初期ポーズ情報と、リアルタイム位置特定結果とに基づいて、各収集時点における第4の座標系でのSTAのリアルタイムポーズ情報を得、第4の座標系の座標の原点が、初期時点におけるSTAのポーズに基づいて決定される、第4の座標系におけるSTAのリアルタイムポーズ情報と第3の変換行列とに基づいて、第4の座標系におけるローカル収集装置のリアルタイムポーズ情報を決定し、第4の座標系におけるローカル収集装置のリアルタイムポーズ情報に対して座標変換を行い、指定座標系におけるローカル収集装置のリアルタイムポーズ情報を得る、ように構成される。
加えて、処理ユニット502は、APによってSTAの位置を特定したリアルタイム結果に基づいて、移動デバイスの移動中に存在するループ閉じ込みエラーを検出するようにさらに構成される。
可能な一設計において、処理ユニット502は、移動デバイスの移動中にローカル収集装置によって収集される複数の画像データを得る前に、現在のグローバル点群地図に基づいて移動デバイスの移動経路を計画し、ローカル収集装置のリアルタイムポーズ情報と移動経路とに基づいて移動命令を生成する、ようにさらに構成される。トランシーバユニット501は、移動デバイスのコントローラへ移動命令を送信し、その結果、コントローラは、移動命令に従って移動するように移動デバイスを制御する、ようにさらに構成される。
本出願の実施形態におけるモジュールへの分割が概略的であり、論理的な機能分割にすぎないことに注意されたい。実際の実装時には、他の分割方式もあり得る。加えて、本出願の各実施形態の機能ユニットは、1つの処理ユニットに統合されてもよく、または物理的に別々に存在してもよく、または2つ以上のユニットが1つのユニットに統合されてもよい。統合ユニットは、ハードウェアの形態で実装されてよく、またはソフトウェア機能ユニットの形態で実装されてもよい。
統合ユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売または使用される場合、統合ユニットはコンピュータ可読記憶媒体に記憶されてよい。そのような理解に基づくと、本出願の技術的解決策は本質的に、または従来技術に寄与する部分は、または技術的解決策の全部または一部は、ソフトウェア製品の形態で実装されてよい。コンピュータソフトウェア製品は、記憶媒体に記憶され、本出願の実施形態の方法のステップの全部または一部を行うことをコンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスであってよい）またはプロセッサ（processor）に命令するいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、読み取り専用メモリ（read－only memory、ROM）、ランダム・アクセス・メモリ（random access memory、RAM）、磁気ディスク、または光ディスクといったプログラムコードを記憶できるいずれかの媒体を含む。
図6に示されているように、三次元地図を構築する前述の方法と同じ考えに基づいて、本出願の一実施形態は、三次元地図を構築する装置600の構造の概略図をさらに提供する。装置600は、前述の方法の実施形態で説明されている方法を実施するように構成されてよい。詳細については、前述の方法の実施形態の説明を参照されたい。装置600は、1つ以上のプロセッサ601を含み得る。プロセッサ601は、汎用プロセッサ、専用プロセッサなどであってよい。例えば、プロセッサ601は、ベースバンドプロセッサまたは中央処理装置であってよい。ベースバンドプロセッサは、通信プロトコルと通信データを処理するように構成されてよい。中央処理装置は、通信装置（例えば、基地局、端末、またはチップ）を制御し、ソフトウェアプログラムを実行し、ソフトウェアプログラムのデータを処理するように構成されてよい。三次元地図を構築する装置は、信号を入力（受信）および出力（送信）するように構成されたトランシーバユニットを含み得る。例えば、トランシーバユニットは、トランシーバ、無線周波数チップなどであってよい。
装置600は、1つ以上のプロセッサ601を含み、1つ以上のプロセッサ601は、前述の実施形態で説明されている方法を実施できる。
任意に選べることとして、プロセッサ601は、前述の実施形態で説明されている方法に加えて他の機能を実施してもよい。
任意に選べることとして、一設計において、プロセッサ601は命令を実行し得、その結果、装置600は前述の方法の実施形態で説明されている方法を行う。命令の全部または一部は、例えば命令603は、プロセッサに記憶されてよく、または例えば命令604は、プロセッサに結合されたメモリ602に記憶されてよく、または装置600は、命令603と命令604の両方に従って前述の方法の実施形態で説明されている方法を実行する。
他の可能な一設計において、装置600は、命令604が記憶される1つ以上のメモリ602を含み得る。命令は、プロセッサ上で実行されてよく、その結果、装置600は前述の方法の実施形態で説明されている方法を行う。任意に選べることとして、メモリはデータをさらに記憶してもよい。任意に選べることとして、プロセッサもまた、命令および／またはデータを記憶してよい。例えば、1つ以上のメモリ602は、前述の実施形態で説明されている対応関係、または前述の実施形態に関連するパラメータまたはテーブルなどを記憶し得る。プロセッサとメモリは別々に配置されてよく、または一体化されてもよい。
さらに他の可能な一設計において、装置600は、トランシーバ605とアンテナ606とをさらに含み得る。プロセッサ601は、処理ユニットと呼ばれることがあり、装置（端末または基地局）を制御する。トランシーバ605は、トランシーバマシン、トランシーバ回路、トランシーバユニットなどと呼ばれることがあり、アンテナ606を通じて装置のトランシーバ機能を実施するように構成される。
本出願の本実施形態のプロセッサが、集積回路チップであってよく、信号処理能力を有することに注意されたい。実施過程で、前述の方法の実施形態のステップは、プロセッサ内のハードウェア集積論理回路を使用することによって、またはソフトウェアの形態をとる命令を使用することによって、実施される。プロセッサは、汎用プロセッサ、デジタル信号プロセッサ（digital signal processor、DSP）、特定用途向け集積回路（application specific integrated circuit、ASIC）、フィールドプログラマブルゲートアレイ（field programmable gate array、FPGA）もしくは他のプログラマブルロジックデバイス、ディスクリートゲートもしくはトランジスタロジックデバイス、またはディスクリートハードウェアコンポーネントであってよい。プロセッサは、本出願の実施形態で開示されている方法、ステップ、および論理ブロック図を実施または実行し得る。汎用プロセッサはマイクロプロセッサであってよく、またはプロセッサは従来のいずれかのプロセッサなどであってもよい。本出願の実施形態を参照して開示されている方法のステップは、ハードウェア復号プロセッサによって直接行われ、および、完了されてよく、または復号プロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせを使用して行われ、および、完了されてもよい。ソフトウェアモジュールは、ランダム・アクセス・メモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能読み取り専用メモリ、電気的消去可能プログラム可能メモリ、またはレジスタなど、当技術の成熟した記憶媒体に配置されてよい。記憶媒体はメモリ内に配置され、プロセッサはメモリ内の情報を読み取り、プロセッサのハードウェアと共同して前述の方法のステップを完了する。
本出願の実施形態のメモリが、揮発性メモリまたは不揮発性メモリであってよく、または揮発性メモリおよび不揮発性メモリを含んでよいことは理解されよう。不揮発性メモリは、読み取り専用メモリ（ROM）、プログラム可能読み取り専用メモリ（programmable ROM、PROM）、消去可能プログラム可能読み取り専用メモリ（erasable PROM、EPROM）、電気的消去可能プログラム可能読み取り専用メモリ（electrically EPROM、EEPROM）、またはフラッシュメモリであってよい。揮発性メモリは、ランダム・アクセス・メモリ（RAM）であってよく、外部キャッシュとして機能する。限定ではなく例として、多くの形態のRAM、例えば、スタティック・ランダム・アクセス・メモリ（static RAM、SRAM）、ダイナミック・ランダム・アクセス・メモリ（dynamic RAM、DRAM）、シンクロナス・ダイナミック・ランダム・アクセス・メモリ（synchronous DRAM、SDRAM）、ダブル・データ・レート・シンクロナス・ダイナミック・ランダム・アクセス・メモリ（double data rate SDRAM、DDR SDRAM）、エンハンスト・シンクロナス・ダイナミック・ランダム・アクセス・メモリ（enhanced SDRAM、ESDRAM）、シンクリンク・ダイナミック・ランダム・アクセス・メモリ（synchlink DRAM、SLDRAM）、およびダイレクト・ラムバス・ランダム・アクセス・メモリ（direct rambus RAM、DR RAM）が使用されてよい。本明細書で説明されているシステムおよび方法のメモリが、これらのメモリと他の適切なタイプの任意のメモリとを含むが、これらに限定されないことに注意されたい。
本出願の一実施形態は、コンピュータプログラムが記憶されるコンピュータ記憶媒体をさらに提供する。コンピュータプログラムがコンピュータによって実行されると、上述した方法の実施形態のいずれか1つの三次元地図を構築する方法が実施される。
本出願の一実施形態は、コンピュータプログラム製品をさらに提供する。コンピュータプログラム製品がコンピュータによって実行されると、上述した方法の実施形態のいずれか1つの三次元地図を構築する方法が実施される。
前述の実施形態の全部または一部は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせを使用することによって実装されてよい。実施形態を実装するためにソフトウェアが使用される場合、実施形態の全部または一部はコンピュータプログラム製品の形態で実装されてよい。このコンピュータプログラム製品は、1つ以上のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータに読み込まれて実行されると、本出願の実施形態による手順または機能の全部または一部が生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または他のプログラム可能な装置であってよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてよく、または或るコンピュータ可読記憶媒体から他のコンピュータ可読記憶媒体へ送信されてもよい。例えば、コンピュータ命令は、或るウェブサイト、コンピュータ、サーバ、またはデータセンターから他のウェブサイト、コンピュータ、サーバ、またはデータセンターへ、有線方式（例えば、同軸ケーブル、光ファイバ、またはデジタル加入者回線（digital subscriber line、DSL））で、または無線方式（例えば、赤外線、電波、またはマイクロ波）で、送信されてよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能ないずれかの使用可能な媒体、または1つ以上の使用可能な媒体を統合したサーバもしくはデータセンターなどのデータ記憶装置であってよい。使用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、または磁気テープ）、光学媒体（例えば、高密度デジタルビデオディスク（digital video disc、DVD））、半導体媒体（例えば、ソリッドステートディスク（solid state disk、SSD））などであってよい。
本出願の一実施形態は、プロセッサとインターフェイスとを含む処理装置をさらに提供する。プロセッサは、上述した方法の実施形態のいずれか1つの三次元地図を構築する方法を行うように構成される。
処理装置がチップであってよいことは理解されよう。プロセッサは、ハードウェアによって実装されてよく、またはソフトウェアによって実装されてもよい。プロセッサがハードウェアによって実装される場合、プロセッサは、論理回路、集積回路などであってよい。プロセッサがソフトウェアによって実装される場合、プロセッサは、汎用プロセッサであってよい。汎用プロセッサは、メモリに記憶されたソフトウェアコードを読み取ることによって実行される。メモリは、プロセッサに統合されてよく、またはプロセッサの外部に配置されて独立して存在してもよい。
図7に示されているように、本出願の一実施形態は、入出力インターフェイス701と論理回路702とを含むチップ700をさらに提供する。入出力インターフェイス701は、コード命令または情報を受信／出力するように構成される。論理回路702は、コード命令を実行するように、または情報に基づいて、上述した方法の実施形態のいずれか1つの三次元地図を構築する方法を行うように、構成される。
チップ700は、前述の実施形態で説明されている処理ユニットおよび／またはトランシーバユニットの機能を実施し得る。
例えば、入出力インターフェイス701は、現在のグローバル点群地図を得るように構成される。
他の一例において、入出力インターフェイス701は、移動デバイスの移動中に、移動デバイス上に配置されたローカル収集装置によって収集される複数の画像データを得るように構成される。
当業者は、本明細書で開示されている実施形態で説明されている例と組み合わせて、ユニットとアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、またはそれらの組み合わせによって実装され得ることに気づき得る。ハードウェアとソフトウェアとの互換性を明確に説明するため、上記では、それぞれの例の構成およびステップを機能に従って概説した。それらの機能がハードウェアによって行われるかソフトウェアによって行われるかは、技術的解決策の具体的な用途および設計上の制約条件しだいで決まる。当業者は、具体的な用途ごとに様々な方法を用いて説明されている機能を実装し得るが、その実装は、本出願の範囲を超えると考えるべきではない。
説明を簡便にするため、前述のシステム、装置、およびユニットの具体的な作業プロセスについては、方法の実施形態の対応するプロセスを参照するべきであることは、当業者によって明確に理解され得る。ここでは詳細を再度説明しない。
本出願で提供されるいくつかの実施形態において、開示されている装置および方法が他の方式で実装され得ることは理解されよう。例えば、前述の装置の実施形態は例にすぎない。例えば、ユニットへの分割は、論理的な機能分割にすぎない。実際の実装時には、他の分割方式もあり得る。例えば、複数のユニットまたはコンポーネントが組み合わされてよく、または他のシステムに統合されてもよく、またはいくつかの特徴は無視されてもよく、または実行されなくてもよい。加えて、表示または論述されている相互結合または直接結合または通信接続は、いくつかのインターフェイスを通じて実装されてよい。装置またはユニット間の間接結合または通信接続は、電気的形態、機械的形態、またはその他の形態で実装されてよい。
別々の部分として説明されているユニットは、物理的に別々であってもなくてもよく、ユニットとして表示されている部分は、物理的なユニットであってもなくてもよく、換言すると、1箇所に配置されてよく、または複数のネットワークユニットに分散されてもよい。本出願の実施形態の解決策の目的を達成するため、実際の要件に基づいてユニットの一部または全部が選択されてよい。
加えて、本出願の実施形態の機能ユニットは、1つの処理ユニットに統合されてよく、ユニットの各々は、物理的に単独で存在してもよく、または2つ以上のユニットが1つのユニットに統合されてもよい。統合ユニットは、ハードウェアの形態で実装されてよく、またはソフトウェア機能ユニットの形態で実装されてもよい。
前述の実装の説明により、当業者は、本出願がハードウェア、ファームウェア、またはそれらの組み合わせによって実装され得ることを明確に理解し得る。本出願がソフトウェアによって実装される場合、前述の機能は、コンピュータ可読媒体に記憶されてよく、またはコンピュータ可読媒体にて1つ以上の命令またはコードとして送信されてもよい。コンピュータ可読媒体は、コンピュータ記憶媒体と通信媒体とを含む。通信媒体は、或る場所から他の場所へのコンピュータプログラムの送信を容易にするいずれかの媒体を含む。記憶媒体は、コンピュータによってアクセス可能ないずれかの利用可能な媒体であってよい。以下は、例を提供するが、制限を課すものではない。コンピュータ可読媒体は、RAM、ROM、EEPROM、CD－ROMもしくは他のコンパクトディスク記憶装置、磁気ディスク記憶媒体もしくは他の磁気記憶装置、または命令もしくはデータ構造の形をとる予想されるプログラムコードを搬送もしくは記憶するために使用されることができ、コンピュータによってアクセスされることができる、他のいずれかの媒体を含み得る。加えて、どの接続もコンピュータ記憶媒体として適切に機能し得る。例えば、同軸ケーブル、光ファイバ／ケーブル、ツイストペア、DSL、または赤外線、電波、およびマイクロ波などの無線技術を用いて、ウェブサイト、サーバ、または他のリモートソースからソフトウェアが送信される場合、同軸ケーブル、光ファイバ／ケーブル、ツイストペア、DSL、または赤外線、電波、およびマイクロ波などの無線技術は、それらが属する媒体の固定に含まれる。本出願で使用されるディスク（Disk）およびディスク（disc）は、コンパクトディスク（CD）、レーザディスク、光ディスク、デジタル多用途ディスク（DVD）、フロッピーディスク、およびブルーレイディスクを含み、ディスク（disk）は、一般的に、データを磁気方式でコピーし、ディスク（disc）は、データをレーザ方式で光学的にコピーする。前述の組み合わせも、コンピュータ可読媒体の保護範囲に含まれるものとする。
101 センサデータ収集
102 オドメトリ
103 ループ閉じ込み検出
104 非線形最適化
105 地図構築
201 グローバル収集装置
202 アクセスポイント（AP）
203 ステーション（STA）
204 ローカル収集装置
205 ホストコンピュータ
205a ホストコンピュータ
205b ホストコンピュータ
206 クラウドサーバ
401 グローバル点群地図取得
402 座標変換
403 移動経路計画
404 移動命令生成
405 位置特定情報取得
500 装置
501 トランシーバユニット
502 処理ユニット
503 通信線路
600 装置
601 プロセッサ
602 メモリ
603 命令
604 命令
605 トランシーバ
606 アンテナ
700 チップ
701 入出力インターフェイス
702 論理回路
本出願の実施形態は、通信技術分野に関し、特に、三次元地図を構築する方法および装置に関する。
リアルタイムの位置特定およびナビゲーションなどの技術分野では、重要な前提条件は、三次元地図を構築することである。例えば、移動ロボットは、インテリジェントな動作を完遂するために正確な位置情報を得る必要がある。したがって、構築された三次元地図の完全性と精度は、位置特定機能とナビゲーション機能の実現に直接影響する。
現在、三次元地図は、主に、従来技術の同時位置特定・地図作成（simultaneous localization and mapping、SLAM）技術を用いて構築されている。SLAMは主に、ビジュアルSLAMとレーザSLAMとを含む。しかし、ビジュアルSLAMは、光強度や背景テクスチャなどの要因の影響を受けるため、地図精度が低下する可能性がある。レーザSLAMでは検出された目標の正確な位置特定情報を得ることができるが、検出された目標のテクスチャや色といったシナリオ情報は得ることができない。その結果、地図の可視化が悪くなる。
したがって、より正確で完全な三次元地図をどのように構築するかが、研究されるべき技術的問題である。
本出願の実施形態は、より正確で完全な三次元地図を構築し、それによりリアルタイムの位置特定およびナビゲーションの精度を高める、三次元地図を構築する方法および装置を提供する。
本出願の実施形態で提供される具体的な技術的解決策は以下の通りである。
第1の態様によると、本出願の一実施形態は、三次元地図を構築する方法を提供する。本方法は、三次元地図を構築する装置が、現在のグローバル点群地図を得るステップを含む。三次元地図を構築する装置は、移動デバイスの移動中に、移動デバイス上に配置されたローカル収集装置によって収集される複数の画像データを得る。三次元地図を構築する装置は、ローカル収集装置が画像データの各々を収集する対応する収集時点において生成されるローカル収集装置のリアルタイムポーズ情報を決定する。三次元地図を構築する装置は、現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築する。
この方法では、俯角で得られる現在のグローバル点群地図とローカル収集装置によって収集されるローカル画像データが互いに補完するので、構築される三次元地図の完全性を高めることができ、三次元地図を構築するときのロバスト性を向上させることができる。したがって、収集されたセンサデータのみに基づいてSLAMを行う従来技術の実装では、収集される特徴の量が少ないため、構築された三次元地図が不正確になるという技術的問題に結びつく可能性がある。この実装と比べて、本出願で提供される方法は、構築される三次元地図の精度を高めることができる。
可能な一設計において、三次元地図は指定座標系で構築され、指定座標系は、以下の座標系、すなわち、初期時点におけるグローバル収集装置のポーズに基づいて決定される第1の座標系、初期時点におけるローカル収集装置のポーズに基づいて決定される第2の座標系、世界座標系、および任意の固定空間点におけるポーズに基づいて決定される第3の座標系のうちのいずれか1つである。三次元地図を構築する装置が、現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築することは、現在のグローバル点群地図が位置する元の座標系、複数の画像データが位置する元の座標系、およびローカル収集装置のリアルタイムポーズ情報が位置する元の座標系を決定し、指定座標系とは異なる元の座標系について、指定座標系の地図データを得るために、変換関係に基づいて元の座標系の地図データに対して座標変換を行い、変換関係が、元の座標系の座標の原点と指定座標系の座標の原点とのポーズ関係に基づいて決定され、元の座標系の地図データが、現在のグローバル点群地図、複数の画像データ、およびローカル収集装置のリアルタイムポーズ情報のうちのいずれか1つ以上を含み、指定座標系における現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築し、指定座標系の三次元地図を得ることによって実施される。
この設計に基づくと、三次元地図を構築する装置は、任意の座標系で三次元地図を構築し得るので、構築された三次元地図に基づくリアルタイムの位置特定やナビゲーションなどが容易になる。座標系の座標の原点のポーズに基づいて異なる座標系間で地図データ内の任意の空間点に対して座標変換が行われ得るので、異なる座標系間の変換関係を得ることができる。したがって、本出願の実施中には、グローバル収集装置によって収集されるグローバル点群地図がローカル収集装置によって収集される画像データと組み合わされ得るので、構築された三次元地図の完全性および精度を高めることができる。
可能な一設計において、グローバル収集装置とAPとの相対ポーズは固定され、ローカル収集装置とSTAとの相対ポーズは固定され、APはSTAと通信する。例えば、指定座標系とは異なる元の座標系が第1の座標系であり、指定座標系が第2の座標系であり、変換関係が第1の変換関係である場合、三次元地図を構築する装置は、以下の方式で、すなわち、グローバル収集装置とAPとの相対ポーズに基づいて第1の変換行列を決定し、APによってSTAの位置を特定した結果に基づいて第2の変換行列を決定し、STAとローカル収集装置との相対ポーズに基づいて第3の変換行列を決定し、第1の変換行列と、第2の変換行列と、第3の変換行列との積に基づいて第1の変換関係を得ることで、第1の変換関係を決定するように構成される。
この設計では、APによってSTAの位置を特定した結果に基づいて、グローバル収集装置座標系と初期ローカル収集装置座標系との変換関係が得られ得るので、グローバル点群地図またはローカル画像データに対して座標変換を実施して、グローバル点群地図と同じ座標系のローカル画像データとに基づいて三次元地図を構築でき、さらに、従来技術と比べてより正確で完全な三次元地図を得ることができる。SLAM技術に基づいて、隣接する別々の期間内のセンサデータを使用して特徴マッチングが行われた後にのみ三次元地図を決定できる従来技術の実装と比べて、本出願では、計算量を減らすことができ、APによってSTAの位置を特定した結果に基づいて精度を保証できる。
可能な一設計において、三次元地図を構築する装置が、ローカル収集装置が画像データの各々を収集する対応する収集時点において生成されるローカル収集装置のリアルタイムポーズ情報を決定することは、画像データの各々が収集される対応する各収集時点にAPによってSTAの位置を特定したリアルタイム結果を得、初期時点にAPによってSTAの位置を特定した初期結果と、初期時点における第4の座標系でのSTAの初期ポーズ情報と、リアルタイム位置特定結果とに基づいて、各収集時点における第4の座標系でのSTAのリアルタイムポーズ情報を得、第4の座標系の座標の原点が、初期時点におけるSTAのポーズに基づいて決定され、第4の座標系におけるSTAのリアルタイムポーズ情報と第3の変換行列とに基づいて、第4の座標系におけるローカル収集装置のリアルタイムポーズ情報を決定し、第4の座標系におけるローカル収集装置のリアルタイムポーズ情報に対して座標変換を行い、指定座標系におけるローカル収集装置のリアルタイムポーズ情報を得ることによって実施される。この設計では、それぞれの収集時点におけるローカル収集装置のリアルタイムポーズ情報が得られ、APによってSTAの位置を特定したリアルタイム結果に基づいて座標変換が行われる。したがって、隣接する期間に収集される他の画像データに頼る必要がない。これは、隣接する期間内の画像データに対して特徴マッチングを行うことによってロボットのリアルタイムポーズを推定する従来技術の方式で存在し得る時間累積誤差の欠点を回避できるので、構築された三次元地図の精度を高めることができる。
可能な一設計において、三次元地図を構築する装置は、APによってSTAの位置を特定したリアルタイム結果に基づいて、移動デバイスの移動中に存在するループ閉じ込みエラーを検出する。
この設計において、従来技術のループ閉じ込み検出の実装では、センサデータから一連の特徴を抽出し、バッグ・オブ・ワーズ（bag of words）モデルを使用するだけで、異なる画像データの類似性を比較によって得ることができるので、移動デバイスが現在の移動先が以前に到達したポーズであるかどうかを決定できる。このループ閉じ込み検出の実装と比べて、本出願の実施中には、APによってSTAの位置を特定した結果に基づいてループ閉じ込み検出が行われるので、三次元地図を構築する効率を高めることができ、弱いテクスチャ環境（例えば、白い壁上）でのループ閉じ込み検出のロバスト性を改善できる。
可能な一設計において、三次元地図を構築する装置が移動デバイスの移動中にローカル収集装置によって収集される複数の画像データを得る前に、三次元地図を構築する装置は、現在のグローバル点群地図に基づいて移動デバイスの移動経路を計画し、三次元地図を構築する装置は、ローカル収集装置のリアルタイムポーズ情報と移動経路とに基づいて移動命令を生成し、三次元地図を構築する装置は、移動デバイスのコントローラへ移動命令を送信し、その結果、コントローラは、移動命令に従って移動するように移動デバイスを制御する。
この設計では、得られた現在のグローバル点群地図に基づいて移動デバイスの移動経路が計画され、ローカル収集装置のリアルタイムポーズ情報に基づいて移動可能な移動経路範囲内での移動のための移動命令が移動デバイスのために生成されるので、移動デバイスの闇雲な移動は回避できる。したがって、三次元地図を構築する効率と精度を高めることができる。
第2の態様によると、本出願の一実施形態は、三次元地図を構築する装置を提供する。本装置は、トランシーバユニットと処理ユニットとを含む。トランシーバユニットと処理ユニットとによって実行される機能は、第1の態様の可能な設計または実装のいずれか1つで三次元地図を構築する装置によって行われるステップに対応し得る。
第3の態様によると、本出願の一実施形態は、計算デバイスをさらに提供する。本計算デバイスは、1つ以上のプロセッサとメモリとを含む。メモリはプロセッサに結合される。メモリはコンピュータプログラムコードを記憶し、コンピュータプログラムコードはコンピュータ命令を含む。プロセッサは、第1の態様の可能な設計のいずれか1つで提供される方法を行うために、メモリ内のコンピュータ命令を実行する。任意に選べることとして、計算デバイスは、表示画面をさらに含み得る。表示画面は、グローバル収集装置によって収集されるグローバル点群地図やローカル収集装置によって収集される画像データなどの情報を、ユーザに向けて表示するようにプロセッサによってトリガされる。任意に選べることとして、計算デバイスは通信インターフェイスをさらに含み、プロセッサは通信インターフェイスに結合される。通信インターフェイスは、トランシーバまたは入出力インターフェイスであってよい。計算デバイスがネットワークデバイスに含まれるチップである場合、通信インターフェイスはチップの入出力インターフェイスであってよい。任意に選べることとして、トランシーバはトランシーバ回路であってよく、入出力インターフェイスは入出力回路であってよい。
第4の態様によると、本出願の一実施形態は、第3の態様で提供される少なくとも1つの計算デバイスを含む計算デバイスクラスタをさらに提供する。
第5の態様によると、本出願の一実施形態は、コンピュータ記憶媒体をさらに提供する。本コンピュータ記憶媒体はコンピュータプログラムを記憶し、コンピュータプログラムがコンピュータによって実行されると、第1の態様の可能な設計のいずれか1つで提供される方法が行われる。
第6の態様によると、本出願の一実施形態は、コンピュータプログラム製品をさらに提供する。本コンピュータプログラム製品は、コンピュータプログラムコードを含む。コンピュータプログラムコードが通信装置のプロセッサによって実行されると、通信装置は、第1の態様の可能な設計のいずれか1つの方法を行うことが可能になる。
第7の態様によると、本出願の一実施形態は、チップをさらに提供する。本チップは、第1の態様の可能な設計のいずれか1つの方法を行うために、メモリに記憶されたソフトウェアプログラムを読み取って実行するように構成される。メモリは、チップに接続されてよく、またはチップに内蔵されてもよい。
第2の態様から第7の態様のいずれか1つの有利な効果については、具体的には、第1の態様の様々な可能な設計の有利な効果を参照されたい。ここでは詳細を繰り返し説明しない。
SLAMシステムの概略フローチャートである。 本出願の一実施形態による三次元地図を構築する方法の適用シナリオの図である。 本出願の一実施形態による三次元地図を構築する方法の相互作用の概略図である。 本出願の一実施形態による三次元地図を構築する方法の概略フローチャートである。 本出願の一実施形態による三次元地図を構築する装置の構造の概略図である。 本出願の一実施形態による三次元地図を構築する他の装置の構造の概略図である。 本出願の一実施形態によるチップの構造の概略図である。
以下、添付の図面を参照しながら本出願の実施形態を詳細に説明する。
本出願の実施形態は、自律的移動中の移動デバイスのリアルタイムの位置特定およびナビゲーションなどのシナリオに適用され得る。移動デバイスは、例えば、掃除ロボット、食品配送ロボット、配布ロボット、移動台車、物流台車である。適用可能な移動デバイスの具体的な種類は、本出願で限定されない。
移動デバイスの正確でインテリジェントな歩行動作を可能にするには、通常は、完全で正確な三次元地図を構築する必要がある。現在では主に、従来技術のSLAM技術を用いて三次元地図が構築されている。しかし、SLAM技術を用いて三次元地図を構築すると、時間累積誤差に起因する精度の低さや、死角に起因する不完全な三次元地図といった問題が存在する可能性がある。
これを考慮し、本出願の一実施形態は、三次元地図を構築する方法を提供する。三次元地図は、グローバル点群地図と、複数のローカル画像データと、ローカル収集装置のリアルタイムポーズ情報とを組み合わせることによって構築され、グローバル点群地図とローカル画像データが互いに補完して、より正確で完全な三次元地図が構築される。
まずは、本出願の実施形態を適用し得るシステムアーキテクチャについて説明する。図1は、SLAMシステムの概略フローチャートである。SLAM技術は、次のように理解され得る。移動ロボットは、未知の環境内の未知の位置から移動を開始し、移動中に地図に従って位置推定によって自己を見つけ、自己の位置を特定することによってインクリメンタル地図を構築して、移動ロボットの自律的な位置特定およびナビゲーションを実施する。SLAMシステムは主に、いくつかの機能を、すなわちセンサデータ収集101、オドメトリ102、ループ閉じ込み検出103、非線形最適化104、および地図構築105を、含む。これらの機能は主に、次のように実施される。
センサデータ収集101は、地図構築過程で必要なセンサデータを収集するために行われる。センサデータは、画像データ、レーザ点群情報、慣性センサデータなどを含むが、これらに限定されない。例えば、ビジュアルSLAMでは、センサデータは、カメラやカメラレンズといった視覚センサを使用して収集される画像データであり得、レーザSLAMでは、センサデータは、レーザレーダを使用して得られるレーザ点群、レーザ点群に基づいて得られる画像などであり得る。
オドメトリ102は、ローカル三次元地図を構築するため、ロボットのポーズ変化を推定するために行われる。ポーズ変化は、並進情報と回転情報とを含む。従来技術では主に、レーザSLAMとビジュアルSLAMによって隣接する期間内のセンサデータに対してマッチングと比較が行われることによって、ロボットのポーズが推定されることができる。しかしながら、オドメトリ計算過程では、隣接する期間内のロボットのポーズ変化に基づいてロボットのポーズが推定されるため、大きな時間累積誤差が存在し得る。その結果、構築された三次元地図の精度は低下する。
ループ閉じ込み検出103は、ロボットの現在位置が以前に到達した位置であるかどうかを決定するために行われる。ループ閉じ込みが存在すると決定された場合は、オドメトリのドリフトを補正するために、非線形最適化104にループ閉じ込み情報が使用される。
非線形最適化104は主に、別々の期間内にオドメトリ102で得られたロボットのポーズと、ループ閉じ込み検出103のループ閉じ込み情報とに基づいて、ロボットのポーズと地図を最適化し、グローバルに一貫した移動軌道を得るために行われる。
地図構築105は、ロボットの移動軌道とオドメトリ102で構築された複数のローカル三次元地図とに基づいて、完全なグローバル三次元地図を構築するために行われる。構築されるグローバル三次元地図は、疎地図、密地図、セマンティック地図などを含むが、これらに限定されない。これは本出願で限定されない。
背景技術で説明されている内容と上述されている内容とに基づくと、ビジュアルSLAMで地図を構築する方式は、画像特徴マッチングの精度に大いに影響され、不十分な光と弱い背景テクスチャでは、センサデータから少量の特徴が抽出される。したがって、不正確なポーズ追跡や地図マッチングがないなどの問題が生じる可能性がある。レーザSLAMで地図を構築する方式には、可視化が不十分という欠点がある。加えて、ロボットの高さが限られていると、高所の遮られた物の情報が得られることができないため、不完全な地図が構築されてしまう。加えて、従来技術のSLAM技術を用いてロボットのポーズが推定されると、大きな時間累積誤差が存在し得る。したがって、本出願の一実施形態は、三次元地図を構築する方法を提供する。
本出願の実施形態は、三次元地図を構築するシナリオに適用され得る。具体的に述べると、三次元地図を構築するシナリオでは、三次元地図が初めて構築されることがあり、または再構築されることもあり、屋内の三次元地図が構築されることがあり、または屋外の三次元地図が構築されることもある。屋内の三次元地図を構築することは、例えば、掃除ロボットによって屋内の三次元地図を構築することであり得、または移動台車によって倉庫の三次元地図を構築することでもあり得る。屋外の三次元地図を構築することは、例えば、公園で物流台車によって公園の三次元地図を構築することであり得る。これは本出願で限定されない。
本出願で使用される「複数の」が、2つ以上を指すことに注意されたい。「および／または」という用語は、関連する対象を記述するための関連関係を記述するものであり、3つの関係が存在し得ることを表す。例えば、Aおよび／またはBは、以下の3つの場合を、すなわちAのみが存在する場合と、AとBの両方が存在する場合と、Bのみが存在する場合とを、表す。文字「／」は、通常、関連する対象の「または」関係を示す。加えて、本出願の実施形態ではデータを説明するために「第1」および「第2」などの用語が使用されることがあるが、そのデータがそれらの用語に限定されるべきではないことは理解されよう。これらの用語は、単にデータを互いに区別するために使用される。
図2は、本出願の一実施形態による三次元地図を構築する方法の適用シナリオの図である。適用シナリオは、グローバル収集装置201と、アクセスポイント（access point、AP）202と、ステーション（station、STA）203と、ローカル収集装置204とを含み得る。
本出願が屋内の三次元地図を構築するシナリオに適用される場合、グローバル収集装置201は、高所に、例えば屋根に、配置されてよく、対象のシナリオにてグローバル点群地図を収集するように構成される。あるいは、本出願が屋外の三次元地図を構築するシナリオに適用される場合、グローバル収集装置201は、高所に、例えば壁または電柱などに、配置されてよい。グローバル収集装置201を配置する方式は、本出願で限定されない。グローバル収集装置201は深度センサであってよく、深度センサは、測距レーザに基づくレーザレーダ、深度カメラレンズ、深度カメラなどを含むが、これらに限定されない。
AP 202は、STAの位置特定結果を得るためにステーションSTA 203を見つけるように構成され、その結果、STAのリアルタイムポーズ情報が決定されることができる。AP 202は、無線技術などを用いて光通信技術に基づいて1つ以上のSTA 203のアクセス要求を受信し得る。AP 202とSTA 203との通信のための光通信技術は、ライトフィデリティ（light fidelity、Li－Fi）、可視光通信（visible light communication、VLC）、自由空間光通信（free－space optical communication、FSO）などを含むが、これらに限定されない。AP 202とグローバル収集装置201が、2つの別個のデバイスであってよいことに、例えばAPデバイスと深度センサであってよいことに、注意されたい。あるいは、AP 202とグローバル収集装置201の両方が統合デバイスに含まれてもよい。例えば、グローバル収集装置201の機能を実施できるユニットと、AP 202の機能を実施できるユニットの両方を含む統合デバイスが存在する。あるいは、グローバル収集装置201は、AP 202に統合されてもよい。これは本出願で限定されない。
ローカル収集装置204は、移動デバイス上に配置されてよく、または移動デバイスに統合されてもよい。ローカル収集装置204は、移動デバイスの移動中に複数の異なる画像データを収集するように構成される。ローカル収集装置204は、単眼カメラレンズ、双眼カメラレンズ、赤緑青深度（RGBD）カメラレンズなどであってよい。これは本出願で限定されない。グローバル収集装置201とAP 202との相対的なポーズ関係と同様に、ローカル収集装置204とSTA 203との相対的なポーズ関係も本出願の実施中に限定されない。
加えて、適用シナリオは、ホストコンピュータ205（これは、図2の205aまたは205bを含み得る）とクラウドサーバ206とをさらに含む。ホストコンピュータ205aは、グローバル収集装置201のデータとAP 202のデータとを得、グローバル点群地図を表示するために、受信したデータを処理および計算し、制御命令を配信するなどするように構成される。例えば、ホストコンピュータ205aは、グローバル収集装置201によって収集されるグローバル点群地図に対して座標変換を行い、グローバル点群地図に基づいて移動デバイスの移動経路を計画する。同様に、ホストコンピュータ205bは、ローカル収集装置204のデータとSTA 203のデータとを得、ローカル画像データを表示するために、受信したデータを処理および計算し、制御命令を配信するなどするように構成される。例えば、ホストコンピュータ205bは、移動デバイス内に配置されてよく、移動デバイスのコントローラとして機能して移動デバイスの自律的移動を制御し得る。本出願の実施形態におけるモジュールへの分割が概略的であり、論理的な機能分割にすぎないことに注意されたい。実際の実装時には、他の分割方式もあり得る。加えて、本出願の各実施形態の機能ユニットは、1つの処理ユニットに統合されてもよく、または物理的に別々に存在してもよく、または2つ以上のユニットが1つのユニットに統合されてもよい。例えば、ホストコンピュータ205bは、移動デバイスに統合されてもよく、または物理的に別々に存在してもよい。統合ユニットは、ハードウェアの形態で実装されてよく、またはソフトウェア機能ユニットの形態で実装されてもよい。
本出願の本実施形態で提供される方法は、グローバル収集装置201に接続されたホストコンピュータ205aを使用することによって実施されてよく、ローカル収集装置204に接続されたホストコンピュータ205bを使用することによって実施されてもよく、クラウドサーバ206を使用することによって実施されてもよく、またはホストコンピュータとクラウドサーバとの作業の調整および分割によって実施されてもよい。すなわち、ホストコンピュータ205a、ホストコンピュータ205b、またはクラウドサーバのうちのいずれか1つまたは組み合わせが、本出願で提供される方法を実施するために三次元地図を構築する装置として機能し得る。実施中に、方法をどのように実施するかは、各デバイスの計算能力および／または実際のシナリオに応じて決定されてよい。例えば、ホストコンピュータ205aの計算能力が本出願で提供される方法の実施をサポートできるなら、本出願で提供される方法は、ホストコンピュータ205aを使用して実施されてよい。これは本出願で限定されない。
適用シナリオに含まれるデバイスの種類および数が、具体的な実際の要件に基づいて異なり得ることに注意されたい。例えば、屋根に配置された複数のグローバル収集装置201があってよく、グローバル収集装置201の各々は、1つのエリア内でグローバル点群地図を収集することを担当する。あるいは、屋根に配置された複数のAP 202もあり得る。
図2に示されているシナリオに基づいて、図3は、本出願の一実施形態による三次元地図を構築する方法の相互作用の概略図である。相互作用手順は、以下のステップを含む。
S301．三次元地図を構築する装置が、現在のグローバル点群地図を得る。
例えば、グローバル点群地図はグローバル収集装置201を使用して得られてよい。実施中、グローバル点群地図は、三次元地図を構築する必要がある対象のシナリオにおいて大きい視野角範囲を含む。例えば、掃除ロボットのインテリジェントな移動動作を容易にするために部屋内の三次元地図を構築する必要がある場合は、部屋内のカメラレンズからグローバル点群地図が得られてよい。加えて、対象のシナリオにおいて物体の位置は頻繁に変わる可能性があるため、現在のグローバル点群地図がリアルタイムか周期的に得られてよく、その結果、対象のシナリオにおける変化を時間内に知ることができ、現在の状況をよりよく反映できる正確な三次元地図を構築できる。
三次元地図を構築する装置の構成が、実際のシナリオにおける状況に基づいて決定されてよく、実施中に図2のホストコンピュータ205a、ホストコンピュータ205b、またはクラウドサーバ206のうちのいずれか1つまたは組み合わせを含み得ることに注意されたい。これは本出願で限定されない。
可能な一実装において、グローバル点群地図は、移動デバイスの移動経路の計画に適用されてよい。例えば、グローバル点群地図から特徴を抽出することによって対象のシナリオにおける歩行可能な路面の1エリアが決定され、その結果、歩行可能な路面の当該エリアにて移動デバイスの移動経路を計画できる。加えて、三次元地図を構築する装置はさらに、ローカル収集装置のリアルタイムポーズを決定し得、その結果、ローカル収集装置の向きが、すなわち移動デバイスの移動方向が、決定されることができる。次いで、三次元地図を構築する装置は、歩行可能な路面の決定されたエリアにおける移動デバイスの移動方向に基づいて移動命令を生成し得る。三次元地図を構築する装置は、移動デバイスのコントローラへ移動命令を送信し得る。移動デバイスは、例えば、図2の台車であってよく、コントローラは、例えば、図2の台車上のホストコンピュータ205bであってよい。したがって、ホストコンピュータ205bは、移動命令に従って移動するように移動デバイスを制御する。この設計に基づくと、得られたグローバル点群地図に基づいて移動デバイスの移動経路を計画し得るので、移動デバイスの闇雲な動きは回避できる。したがって、三次元地図を構築する効率と精度を高めることができる。
S302．三次元地図を構築する装置は、移動デバイスの移動中に、移動デバイス上に配置されたローカル収集装置によって収集される複数の画像データを得る。
例えば、ローカル収集装置は移動デバイス上に配置され得るので、ローカル収集装置は移動デバイスの移動と共に移動し得、その結果、ローカル収集装置は移動デバイスの移動中に複数の異なる画像データを収集できる。具体的な実施中に、ローカル収集装置は、画像データを定期的に収集してよく、例えば、10秒ごとに1つの画像データを収集してよい。あるいは、ローカル収集装置は、移動デバイスが毎回所定の距離を移動した後に1つの画像データを収集してもよい。これは本出願で限定されない。
S303．三次元地図を構築する装置は、ローカル収集装置が画像データの各々を収集する対応する収集時点において生成されるローカル収集装置のリアルタイムポーズ情報を決定する。
従来技術のSLAMシステムでは、オドメトリ102によって、ローカル収集装置によって収集された隣接する画像データに対して特徴マッチングが行われて、ローカル収集装置のポーズ変化を推定する。しかしながら、時間累積誤差が大きいという欠点があり得る。
より正確な三次元地図を構築するため、APは、STAの位置特定情報をリアルタイムで得うる。本出願の実施中に、APとグローバル収集装置との相対ポーズは固定されるように設定され、STAとローカル収集装置との相対ポーズは固定されるように設定される。したがって、STAのリアルタイムポーズ情報は、APによってSTAの位置を特定したリアルタイム結果に基づいて決定され得る。次に、STAとローカル収集装置との相対ポーズは固定されているので、STAのリアルタイムポーズ情報に基づいてローカル収集装置のリアルタイムポーズ情報がさらに決定され得る。一般的なシナリオでは、別々の時点におけるグローバル収集装置のポーズと別々の時点におけるAPのポーズが固定されるように設定されることに注意されたい。しかしながら、ローカル収集装置とSTAは移動デバイス上に配置されているため、ローカル収集装置およびAPのポーズ情報は変化している。
S304．三次元地図を構築する装置は、現在のグローバル点群地図と、複数の画像データと、複数の決定されたリアルタイムポーズ情報とに基づいて三次元地図を構築する。
例えば、三次元地図は、実際のシナリオ要件に基づいて指定座標系で構築されてよい。指定座標系は、以下の座標系、すなわち、初期時点におけるグローバル収集装置のポーズに基づいて決定される第1の座標系（グローバル収集装置座標系と呼ばれることもある）、初期時点におけるローカル収集装置のポーズに基づいて決定される第2の座標系（初期ローカル収集装置座標系と呼ばれることもある）、世界座標系、および任意の固定空間点のポーズに基づいて決定される第3の座標系（例えば、上述したAPのポーズに基づいて決定されるAP座標系）のうちのいずれか1つであってよい。ポーズは、位置および姿勢を、すなわち三次元座標および向きを、含む。初期時点は、対象のシナリオにおいて移動デバイスが静止状態にあるいずれかの時点として表現されてよく、または三次元地図を構築する装置によって移動デバイスの移動過程から選択されるいずれかの時点であってよい。初期時点を選択することは、本出願で限定されず、主に、基本的な変換関係と同じ時点にグローバル収集装置とローカル収集装置との相対ポーズ装置を選択することである。
三次元地図を構築する実施中に、三次元地図を構築する装置によって得られる現在のグローバル点群地図、複数の画像データ、および複数の決定されたリアルタイムポーズ情報は、別々の座標系に配置され得る。統一された方式で三次元地図を構築するため、情報は同じ座標系に変換され、ステップは以下の通りである。
ステップA1：三次元地図を構築する装置は、以下の情報が、すなわち、現在のグローバル点群地図、複数の画像データ、およびローカル収集装置のリアルタイムポーズ情報が、位置する元の座標系を決定する。
例えば、グローバル収集装置201によって収集されるグローバル点群地図は、グローバル収集装置座標系に位置する。ローカル収集装置204によって収集される画像データは、ローカル収集装置のリアルタイムポーズに基づいて決定されるリアルタイムローカル収集装置座標系に位置する。ローカル収集装置のリアルタイムポーズ情報は、STAのリアルタイムポーズ情報に基づいて決定されてよい。したがって、ローカル収集装置のリアルタイムポーズ情報は、STAのリアルタイムのポーズに基づいて決定されるリアルタイムSTA座標系に位置する。
ステップA2：指定座標系とは異なる元の座標系について、変換関係に基づいて元の座標系の地図データに対して座標変換を行って、指定座標系の地図データを得る。
変換関係は、元の座標系の座標の原点と指定座標系の座標の原点とのポーズ関係に基づいて決定され、元の座標系の地図データは、現在のグローバル点群地図、複数の画像データ、およびローカル収集装置のリアルタイムポーズ情報のうちのいずれか1つ以上を含む。例えば、指定座標系が初期ローカル収集装置座標系であり、グローバル点群地図が位置する元の座標系がグローバル収集装置座標系である場合は、グローバル収集装置座標系から初期ローカル収集装置座標系への第1の変換関係が得られる。第1の変換関係に基づいてグローバル収集装置座標系のグローバル点群地図に対して座標変換が行われた後には、初期ローカル収集装置座標系のグローバル点群地図が得られる。
例えば、指定座標系が初期ローカル収集装置座標系である場合、グローバル収集装置座標系から初期ローカル収集装置座標系にグローバル点群地図を変換するための第1の変換関係は、以下に説明する内容に基づいて得られてよい。
空間に存在する任意の点のグローバル収集装置座標系における同次座標は［XL，YL，ZL，1］Tと表され得、初期ローカル収集装置座標系における当該点の同次座標は［XC，YC，ZC，1］Tと表されると仮定する。グローバル収集装置座標系と初期ローカル収集装置座標系との当該点の座標変換関係は、以下の式1を用いて表され得る。
は、グローバル収集装置座標系から初期ローカル収集装置座標系への変換行列を示し、行列R3＊3は、グローバル収集装置座標系と初期ローカル収集装置座標系との方位角変換を示す回転行列であり、行列T3＊1は、グローバル収集装置座標系と初期ローカル収集装置座標系との三次元座標変換を示す並進ベクトルである。
初期ローカル収集装置座標系からグローバル収集装置座標系への空間点の変換が、以下の式2を用いて表され得ることに注意されたい。
行列R3＊3’は、式1の行列R3＊3の逆行列であり、行列T3＊1’は、行列R3＊3の逆行列と式1の並進ベクトルT3＊1との積の反数である。具体的な表現方式については、以下の式3を参照されたく、前述の式2が式1の逆過程であることは理解できる。
上記の式1および式2によると、グローバル収集装置座標系から初期ローカル収集装置座標系に任意の空間点を変換するための第1の変換関係と、初期ローカル収集装置座標系からグローバル収集装置座標系に任意の空間点を変換するための第2の変換関係とが得られ得るので、異なる座標系間の座標変換が簡便に実施されることができる。
可能な一実装において、グローバル収集装置座標系から初期ローカル収集装置座標系への座標変換関係は、初期時点にAPによってSTAの位置を特定した初期結果に基づいて決定されてよく、実施中に以下の3つの変換行列に基づいて決定されてよい。
第1の変換行列は、グローバル収集装置とAPとの相対ポーズに基づいて決定される。グローバル収集装置とAPとの相対ポーズは固定されているので、第1の変換行列は固定行列として得られ得る。グローバル収集装置とAPが実装される具体的な方式、例えば上述した独立した方式、統合デバイスに含まれる方式、およびグローバル収集装置がAPに含まれる方式にかかわらず、グローバル収集装置の座標の原点が、APに含まれる発光装置（すなわち、光通信用モジュール）の座標の原点と異なることに注意されたい。したがって、より正確な変換関係を得るために、グローバル収集装置の座標の原点とAPの発光装置の座標の原点とに基づいて、グローバル収集装置とAPとの相対ポーズが反映される。
例えば、第1の変換行列は、行列
を用いて表され得る。
第2の変換行列は、APとSTAとの相対ポーズに基づいて決定され、行列
を用いて表され得る。
STAは、移動デバイス上に配置される。したがって、APとSTAとの相対ポーズは、移動デバイスの移動中にリアルタイムで変化し、第2の変換行列は固定行列ではない。具体的な実施中に、三次元地図を構築する装置は、第2の変換行列を決定するために、APによってSTAの位置を特定した結果に基づいてAPとSTAとの相対ポーズを決定し得る。
例えば、APによってSTAの位置を特定した結果は、行列
を用いて表され得、APによってSTAの位置を特定した結果に基づいて第2の変換行列を決定することは、以下の式3を用いて表され得る。
第3の変換行列は、STAとローカル収集装置との相対ポーズに基づいて決定される。STAとローカル収集装置との相対ポーズは固定されているので、第3の変換行列も固定行列として得られ得る。
例えば、得る原理は第3の変換行列と第1の変換行列とで同じであり、行列
を用いて表され得る。
したがって、第1の変換行列と第2の変換行列と第3の変換行列との積に基づいて、グローバル収集装置とローカル収集装置との変換関係が得られ得る。例えば、この変換関係は、以下の式4を用いて決定され得る。
他の可能な一実装において、本出願の実施中に、三次元地図を構築する装置はさらに、キャリブレーションオブジェクト支援方式で変換関係を決定できる。例えば、対象のシナリオでチェッカーボードやターゲットなどのキャリブレーションオブジェクトが配置されてよい。移動デバイスの移動中の任意の時点に、グローバル収集装置の収集エリアとローカル収集装置の収集エリアは、共通の視野を含む。これはまた、グローバル収集装置とローカル収集装置の両方がキャリブレーションオブジェクトに関する情報を収集できると理解され得る。このシナリオでは、コンピュータビジョン技術分野の特徴抽出およびマッチングのアルゴリズムに基づいて、ローカル収集装置座標系における任意の時点tでのキャリブレーションオブジェクトの座標セット｛［XC i，YC i，ZC i｜i∈キャリブレーションオブジェクト］｝tとグローバル収集装置座標系における時点tでのキャリブレーションオブジェクトの座標セット｛［XL i，YL i，ZL i｜i∈キャリブレーションオブジェクト］｝tが決定され、グローバル収集装置座標系からローカル収集装置座標系にグローバル点群地図を変換するための変換関係が、反復最接近点（iterative closest point、ICP）や透視n点（perspective－n－point、PnP）などのレジストレーションアルゴリズムを用いて算出され、変換関係に基づいてグローバル点群地図に対して座標変換が行われ、ローカル収集装置座標系のグローバル点群地図を得る。
以下では、APによってSTAの位置を特定したリアルタイム結果に基づいて、指定座標系におけるローカル収集装置のリアルタイムポーズ情報を決定する方法について説明する。
例えば、初期時点におけるSTAの初期ポーズに基づいて第4の座標系（初期STA座標系と呼ばれることもある）が確立される。この場合、STAは初期STA座標系の座標の原点にあり、STAの初期ポーズ情報は
と表され得、行列I3＊3は、座標系がSTAの向きと一致する向きを有する行列として表される。上述した内容によると、STAからローカル収集装置への第3の変換行列は、
として得られ得る。この場合、初期STA座標系におけるローカル収集装置の初期ポーズは、
として表され得る。加えて、三次元地図を構築する装置はさらに、AP座標系（すなわち、初期時点におけるAPのポーズを座標の原点として使用して確立される座標系）におけるSTAのポーズがAPによってSTAの位置を特定した初期結果であると決定し得、初期結果は
を用いて表されると仮定する。
移動中の任意の時点t1を一例として使用する。三次元地図を構築する装置は、以下のステップで初期ローカル収集装置座標系におけるローカル収集装置のリアルタイムポーズ情報を決定し得る。
ステップB1．三次元地図を構築する装置は、時点t1にAPによってSTAの位置を特定したリアルタイム結果を決定し、このリアルタイム結果は
を用いて表されると仮定する。
ステップB2．三次元地図を構築する装置は、AP座標系におけるSTAに対して座標変換を実行し、初期STA座標系におけるSTAのリアルタイムポーズ情報を得て、このリアルタイムポーズ情報は
を用いて表されると仮定する。
ステップB3．三次元地図を構築する装置は、初期STA座標系におけるSTAのリアルタイムポーズ情報と第3の変換行列とに基づいて、初期STA座標系におけるローカル収集装置のリアルタイムポーズ情報を決定する。
例えば、第3の変換行列は固定行列であるため、時点t1におけるSTAに対するローカル収集装置の相対ポーズは、初期時点における初期STA座標系でのローカル収集装置の初期ポーズに基づいて決定され得る。この場合、時点t1において、初期STA座標系におけるローカル収集装置のリアルタイムポーズは
に更新される。
ステップB4．初期STA座標系におけるローカル収集装置のリアルタイムポーズ情報に対して座標変換を行い、初期ローカル収集装置座標系におけるローカル収集装置のリアルタイムポーズ情報を得る。初期ローカル収集装置座標系におけるローカル収集装置のリアルタイムポーズ情報は、第3の変換行列と初期STA座標系におけるローカル収集装置のリアルタイムポーズ情報との積に基づいて決定され得、そのプロセスは以下の例として表され得る。
他の可能な一例では、変換関係がキャリブレーションオブジェクト支援方式で得られる場合に、ローカル収集装置のリアルタイムポーズ情報は、APによってSTAの位置を特定した結果と、得られた変換関係と、グローバル収集装置とAPとの第1の変換行列と、STAとローカル収集装置との第2の変換行列とに基づいて決定され得る。
前述の例に基づくと、それぞれの収集時点におけるローカル収集装置のリアルタイムポーズ情報が得られ、APによってSTAの位置を特定したリアルタイム結果に基づいて座標変換が行われる。したがって、隣接する期間に収集される他の画像データに頼る必要がない。これは、従来技術に存在し得る時間累積誤差の不利点を回避できる。
ステップA3：三次元地図を構築する装置は、指定座標系における現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築し、指定座標系の三次元地図を得る。
加えて、本出願の実施中にループ閉じ込み検出を実施するときに、三次元地図を構築する装置は、APによってSTAの位置を特定した結果に基づいて、移動デバイスの移動中にループ閉じ込みエラーが存在するかどうかを直接決定し得る。具体的な実施中に、三次元地図を構築する装置はさらに、画像データに対して特徴マッチングを行うことによってループ閉じ込みエラーを検出し得る。この設計に基づくと、従来技術のループ閉じ込み検出の実装では、センサデータから一連の特徴を抽出し、バッグ・オブ・ワーズ（bag of words）モデルを使用するだけで、異なる画像データの類似性を比較によって得ることができるので、移動デバイスが現在の移動先が以前に到達したポーズであるかどうかを決定できる。このループ閉じ込み検出の実装と比べて、本出願の実施中に、三次元地図を構築する装置は、APによってSTAの位置を特定した結果に基づいてループ閉じ込み検出を行うので、三次元地図を構築する効率を高めることができる。
三次元地図を構築する装置が本出願の本実施形態で提供される方法を用いて三次元地図を構築する前に、本出願の本実施形態ではSTAおよびAPによって処理を行う必要があるため、移動デバイス上に配置されたSTAがオンラインであるかどうかを決定する必要があることに注意されたい。STAがオフラインである場合は、ローカル収集装置によって収集された画像データを直接使用して従来のSLAMが行われ得る。例えば、ローカル収集装置がRGBDカメラである場合は、RGBDカメラによって収集された画像データに基づいてビジュアルSLAMが行われ得る。
例えば、三次元地図を構築する装置がグローバル点群地図を得ることができることに基づくと、ローカル収集装置の得られたリアルタイムポーズ情報とループ閉じ込みエラー検出が非線形最適化104によって最適化された後には、地図構築105によって三次元地図が構築され得る。本出願の本実施形態における非線形最適化104の機能の処理については、SLAMシステムにおける最適化方式を参照されたい。これについては、本出願で詳細に繰り返し説明しない。
本出願の本実施形態で提供される方法をより明確に理解するため、図4は、本出願の一実施形態による三次元地図を構築する方法の概略フローチャートである。従来技術のSLAMシステムと比べて、本出願で提供される方法を実施するために、いくつかの機能が、すなわち、グローバル点群地図取得401、座標変換402、移動経路計画403、移動命令生成404、および位置特定情報取得405が、さらに含まれる。本出願で新たに追加される機能は、主に以下のように実施される。
グローバル点群地図取得401は、グローバル収集装置が現在のグローバル点群地図を得ることを指示する。
座標変換402は、現在のグローバル点群地図、複数の画像データ、およびローカル収集装置のリアルタイムポーズ情報にあって、指定座標系に属さない、地図データに対して、座標変換が行われることを指示し、指定座標系の地図データを得る、。本出願の本実施形態では、グローバル収集装置座標系から初期ローカル収集装置座標系にグローバル点群地図が変換される一例を説明に使用する。実施中にローカル収集装置座標系からグローバル収集装置座標系にローカル画像データを変換する実装が使用される場合、座標変換402は、センサデータ収集101で得られるローカル画像データに基づいて座標変換を行い得る。
移動経路計画403は、移動デバイスの闇雲な移動を回避するために、グローバル点群地図に基づいて移動デバイスの移動経路が計画され得ることを指示する。移動命令生成404は、移動経路とローカル収集装置のポーズとに基づいて移動デバイスのために移動命令が生成されることを指示するために使用され、これにより、移動デバイスの移動を制御する。
位置特定情報取得405は、APによってSTAの位置を特定した結果を得ることを指示し、三次元地図を構築する効率を高めるために、ループ閉じ込み検出103のために行われ得る。加えて、得られた位置特定情報はさらに、ローカル収集装置のリアルタイムポーズ情報を推定する精度を高めるために、収集されたセンサデータおよびグローバル点群地図と共に、オドメトリ102の入力情報として使用され得る。
具体的な実際のシナリオ要件または計算能力の制限に基づくと、例えば、ホストコンピュータ205は、グローバル点群地図に基づくオドメトリ102や非線形最適化104などの態様で計算量に対する処理要件を実現できず、得られたグローバル点群地図は、地図構築105に直接使用され得る。このように、グローバル点群地図とローカル三次元地図は融合され、または互いの死角を埋めて、完全なグローバル三次元地図を得うる。得られたグローバル点群地図と従来のSLAMを融合する具体的な方式は、本出願で限定されない。
前述の方法の実施形態で説明されている内容に基づくと、本出願では、俯角で収集されるグローバル点群地図に基づいて三次元地図が共同で構築され、APとSTAとの光通信によってより正確な変換関係が得られ得るので、三次元地図を構築するためのサポートが提供され、ローカル収集装置の収集死角に起因する不完全な構築三次元地図の確率を下げることができる。加えて、グローバル点群地図に基づいて移動デバイスの移動経路がさらに計画され得るので、対象のシナリオで移動デバイスの闇雲な移動を回避でき、三次元地図を構築する効率が高まる。
三次元地図を構築する前述の方法と同じ技術的な考えに基づいて、本出願の一実施形態は、三次元地図を構築する装置500をさらに提供する。図5に示されているように、この装置は、ホストコンピュータ205上に配置されてよく、またはクラウドサーバ206上に配置されてもよい。三次元地図を構築する装置500は、トランシーバユニット501と処理ユニット502とを含む。装置500は、前述の方法の実施形態で説明されている方法を実施するように構成されてよい。任意に選べることとして、トランシーバユニット501と処理ユニット502は、通信線路503を使用して互いに接続され得る。通信線路503は、ペリフェラルコンポーネントインターコネクト（peripheral component interconnect、略してPCI）バス、拡張業界標準アーキテクチャ（extended industry standard architecture、略してEISA）バスなどであってよい。通信線路503は、アドレスバス、データバス、制御バスなどに分類され得る。表現を容易にするため、図5の表現には1本の太線のみが使用されているが、これは、1本のバスしかないことを、または1種類のバスしかないことを、意味しない。
トランシーバユニット501は、現在のグローバル点群地図を得るように構成される。トランシーバユニット501は、移動デバイスの移動中に、移動デバイス上に配置されたローカル収集装置によって収集される複数の画像データを得るようにさらに構成される。処理ユニット502は、ローカル収集装置が画像データの各々を収集する対応する収集時点において生成されるローカル収集装置のリアルタイムポーズ情報を決定するように構成される。処理ユニット502は、現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築するようにさらに構成される。
三次元地図は指定座標系で構築され、指定座標系は、以下の座標系、すなわち、初期時点におけるグローバル収集装置のポーズに基づいて決定される第1の座標系、初期時点におけるローカル収集装置のポーズに基づいて決定される第2の座標系、世界座標系、および任意の固定空間点におけるポーズに基づいて決定される第3の座標系のうちのいずれか1つである。処理ユニット502が、現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築するように構成される場合、処理ユニット502は、具体的には、現在のグローバル点群地図が位置する元の座標系、複数の画像データが位置する元の座標系、およびローカル収集装置のリアルタイムポーズ情報が位置する元の座標系を決定し、指定座標系とは異なる元の座標系について、指定座標系の地図データを得るために、変換関係に基づいて元の座標系の地図データに対して座標変換を行い、変換関係が、元の座標系の座標の原点と指定座標系の座標の原点とのポーズ関係に基づいて決定され、元の座標系の地図データが、現在のグローバル点群地図、複数の画像データ、およびローカル収集装置のリアルタイムポーズ情報のうちのいずれか1つ以上を含み、指定座標系における現在のグローバル点群地図と、複数の画像データと、ローカル収集装置のリアルタイムポーズ情報とに基づいて三次元地図を構築し、指定座標系の三次元地図を得る、ように構成される。
例えば、グローバル収集装置とアクセスポイントAPとの相対ポーズは固定され、ローカル収集装置とステーションSTAとの相対ポーズは固定され、APはSTAと通信する。指定座標系とは異なる元の座標系が第1の座標系であり、指定座標系が第2の座標系であり、変換関係が第1の変換関係である場合、処理ユニット502は、以下の方式で、すなわち、グローバル収集装置とAPとの相対ポーズに基づいて第1の変換行列を決定し、APによってSTAの位置を特定した結果に基づいて第2の変換行列を決定し、STAとローカル収集装置との相対ポーズに基づいて第3の変換行列を決定し、第1の変換行列と、第2の変換行列と、第3の変換行列との積に基づいて第1の変換関係を得ることで、第1の変換関係を決定するように構成される。
可能な一実装において、処理ユニット502が、ローカル収集装置が画像データの各々を収集する対応する収集時点におけるローカル収集装置のリアルタイムポーズ情報を決定するように構成される場合、処理ユニット502は、具体的には、画像データの各々が収集される対応する各収集時点にAPによってSTAの位置を特定したリアルタイム結果を得、初期時点にAPによってSTAの位置を特定した初期結果と、初期時点における第4の座標系でのSTAの初期ポーズ情報と、リアルタイム位置特定結果とに基づいて、各収集時点における第4の座標系でのSTAのリアルタイムポーズ情報を得、第4の座標系の座標の原点が、初期時点におけるSTAのポーズに基づいて決定される、第4の座標系におけるSTAのリアルタイムポーズ情報と第3の変換行列とに基づいて、第4の座標系におけるローカル収集装置のリアルタイムポーズ情報を決定し、第4の座標系におけるローカル収集装置のリアルタイムポーズ情報に対して座標変換を行い、指定座標系におけるローカル収集装置のリアルタイムポーズ情報を得る、ように構成される。
加えて、処理ユニット502は、APによってSTAの位置を特定したリアルタイム結果に基づいて、移動デバイスの移動中に存在するループ閉じ込みエラーを検出するようにさらに構成される。
可能な一設計において、処理ユニット502は、移動デバイスの移動中にローカル収集装置によって収集される複数の画像データを得る前に、現在のグローバル点群地図に基づいて移動デバイスの移動経路を計画し、ローカル収集装置のリアルタイムポーズ情報と移動経路とに基づいて移動命令を生成する、ようにさらに構成される。トランシーバユニット501は、移動デバイスのコントローラへ移動命令を送信し、その結果、コントローラは、移動命令に従って移動するように移動デバイスを制御する、ようにさらに構成される。
本出願の実施形態におけるモジュールへの分割が概略的であり、論理的な機能分割にすぎないことに注意されたい。実際の実装時には、他の分割方式もあり得る。加えて、本出願の各実施形態の機能ユニットは、1つの処理ユニットに統合されてもよく、または物理的に別々に存在してもよく、または2つ以上のユニットが1つのユニットに統合されてもよい。統合ユニットは、ハードウェアの形態で実装されてよく、またはソフトウェア機能ユニットの形態で実装されてもよい。
統合ユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売または使用される場合、統合ユニットはコンピュータ可読記憶媒体に記憶されてよい。そのような理解に基づくと、本出願の技術的解決策は本質的に、または従来技術に寄与する部分は、または技術的解決策の全部または一部は、ソフトウェア製品の形態で実装されてよい。コンピュータソフトウェア製品は、記憶媒体に記憶され、本出願の実施形態の方法のステップの全部または一部を行うことをコンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスであってよい）またはプロセッサ（processor）に命令するいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、読み取り専用メモリ（read－only memory、ROM）、ランダム・アクセス・メモリ（random access memory、RAM）、磁気ディスク、または光ディスクといったプログラムコードを記憶できるいずれかの媒体を含む。
図6に示されているように、三次元地図を構築する前述の方法と同じ考えに基づいて、本出願の一実施形態は、三次元地図を構築する装置600の構造の概略図をさらに提供する。装置600は、前述の方法の実施形態で説明されている方法を実施するように構成されてよい。詳細については、前述の方法の実施形態の説明を参照されたい。装置600は、1つ以上のプロセッサ601を含み得る。プロセッサ601は、汎用プロセッサ、専用プロセッサなどであってよい。例えば、プロセッサ601は、ベースバンドプロセッサまたは中央処理装置であってよい。ベースバンドプロセッサは、通信プロトコルと通信データを処理するように構成されてよい。中央処理装置は、通信装置（例えば、基地局、端末、またはチップ）を制御し、ソフトウェアプログラムを実行し、ソフトウェアプログラムのデータを処理するように構成されてよい。三次元地図を構築する装置は、信号を入力（受信）および出力（送信）するように構成されたトランシーバユニットを含み得る。例えば、トランシーバユニットは、トランシーバ、無線周波数チップなどであってよい。
装置600は、1つ以上のプロセッサ601を含み、1つ以上のプロセッサ601は、前述の実施形態で説明されている方法を実施できる。
任意に選べることとして、プロセッサ601は、前述の実施形態で説明されている方法に加えて他の機能を実施してもよい。
任意に選べることとして、一設計において、プロセッサ601は命令を実行し得、その結果、装置600は前述の方法の実施形態で説明されている方法を行う。命令の全部または一部は、例えば命令603は、プロセッサに記憶されてよく、または例えば命令604は、プロセッサに結合されたメモリ602に記憶されてよく、または装置600は、命令603と命令604の両方に従って前述の方法の実施形態で説明されている方法を実行する。
他の可能な一設計において、装置600は、命令604が記憶される1つ以上のメモリ602を含み得る。命令は、プロセッサ上で実行されてよく、その結果、装置600は前述の方法の実施形態で説明されている方法を行う。任意に選べることとして、メモリはデータをさらに記憶してもよい。任意に選べることとして、プロセッサもまた、命令および／またはデータを記憶してよい。例えば、1つ以上のメモリ602は、前述の実施形態で説明されている対応関係、または前述の実施形態に関連するパラメータまたはテーブルなどを記憶し得る。プロセッサとメモリは別々に配置されてよく、または一体化されてもよい。
さらに他の可能な一設計において、装置600は、トランシーバ605とアンテナ606とをさらに含み得る。プロセッサ601は、処理ユニットと呼ばれることがあり、装置（端末または基地局）を制御する。トランシーバ605は、トランシーバマシン、トランシーバ回路、トランシーバユニットなどと呼ばれることがあり、アンテナ606を通じて装置のトランシーバ機能を実施するように構成される。
本出願の本実施形態のプロセッサが、集積回路チップであってよく、信号処理能力を有することに注意されたい。実施過程で、前述の方法の実施形態のステップは、プロセッサ内のハードウェア集積論理回路を使用することによって、またはソフトウェアの形態をとる命令を使用することによって、実施される。プロセッサは、汎用プロセッサ、デジタル信号プロセッサ（digital signal processor、DSP）、特定用途向け集積回路（application specific integrated circuit、ASIC）、フィールドプログラマブルゲートアレイ（field programmable gate array、FPGA）もしくは他のプログラマブルロジックデバイス、ディスクリートゲートもしくはトランジスタロジックデバイス、またはディスクリートハードウェアコンポーネントであってよい。プロセッサは、本出願の実施形態で開示されている方法、ステップ、および論理ブロック図を実施または実行し得る。汎用プロセッサはマイクロプロセッサであってよく、またはプロセッサは従来のいずれかのプロセッサなどであってもよい。本出願の実施形態を参照して開示されている方法のステップは、ハードウェア復号プロセッサによって直接行われ、および、完了されてよく、または復号プロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせを使用して行われ、および、完了されてもよい。ソフトウェアモジュールは、ランダム・アクセス・メモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能読み取り専用メモリ、電気的消去可能プログラム可能メモリ、またはレジスタなど、当技術の成熟した記憶媒体に配置されてよい。記憶媒体はメモリ内に配置され、プロセッサはメモリ内の情報を読み取り、プロセッサのハードウェアと共同して前述の方法のステップを完了する。
本出願の実施形態のメモリが、揮発性メモリまたは不揮発性メモリであってよく、または揮発性メモリおよび不揮発性メモリを含んでよいことは理解されよう。不揮発性メモリは、読み取り専用メモリ（ROM）、プログラム可能読み取り専用メモリ（programmable ROM、PROM）、消去可能プログラム可能読み取り専用メモリ（erasable PROM、EPROM）、電気的消去可能プログラム可能読み取り専用メモリ（electrically EPROM、EEPROM）、またはフラッシュメモリであってよい。揮発性メモリは、ランダム・アクセス・メモリ（RAM）であってよく、外部キャッシュとして機能する。限定ではなく例として、多くの形態のRAM、例えば、スタティック・ランダム・アクセス・メモリ（static RAM、SRAM）、ダイナミック・ランダム・アクセス・メモリ（dynamic RAM、DRAM）、シンクロナス・ダイナミック・ランダム・アクセス・メモリ（synchronous DRAM、SDRAM）、ダブル・データ・レート・シンクロナス・ダイナミック・ランダム・アクセス・メモリ（double data rate SDRAM、DDR SDRAM）、エンハンスト・シンクロナス・ダイナミック・ランダム・アクセス・メモリ（enhanced SDRAM、ESDRAM）、シンクリンク・ダイナミック・ランダム・アクセス・メモリ（synchlink DRAM、SLDRAM）、およびダイレクト・ラムバス・ランダム・アクセス・メモリ（direct rambus RAM、DR RAM）が使用されてよい。本明細書で説明されているシステムおよび方法のメモリが、これらのメモリと他の適切なタイプの任意のメモリとを含むが、これらに限定されないことに注意されたい。
本出願の一実施形態は、コンピュータプログラムが記憶されるコンピュータ記憶媒体をさらに提供する。コンピュータプログラムがコンピュータによって実行されると、上述した方法の実施形態のいずれか1つの三次元地図を構築する方法が実施される。
本出願の一実施形態は、コンピュータプログラム製品をさらに提供する。コンピュータプログラム製品がコンピュータによって実行されると、上述した方法の実施形態のいずれか1つの三次元地図を構築する方法が実施される。
前述の実施形態の全部または一部は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせを使用することによって実装されてよい。実施形態を実装するためにソフトウェアが使用される場合、実施形態の全部または一部はコンピュータプログラム製品の形態で実装されてよい。このコンピュータプログラム製品は、1つ以上のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータに読み込まれて実行されると、本出願の実施形態による手順または機能の全部または一部が生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または他のプログラム可能な装置であってよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてよく、または或るコンピュータ可読記憶媒体から他のコンピュータ可読記憶媒体へ送信されてもよい。例えば、コンピュータ命令は、或るウェブサイト、コンピュータ、サーバ、またはデータセンターから他のウェブサイト、コンピュータ、サーバ、またはデータセンターへ、有線方式（例えば、同軸ケーブル、光ファイバ、またはデジタル加入者回線（digital subscriber line、DSL））で、または無線方式（例えば、赤外線、電波、またはマイクロ波）で、送信されてよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能ないずれかの使用可能な媒体、または1つ以上の使用可能な媒体を統合したサーバもしくはデータセンターなどのデータ記憶装置であってよい。使用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、または磁気テープ）、光学媒体（例えば、高密度デジタルビデオディスク（digital video disc、DVD））、半導体媒体（例えば、ソリッドステートディスク（solid state disk、SSD））などであってよい。
本出願の一実施形態は、プロセッサとインターフェイスとを含む処理装置をさらに提供する。プロセッサは、上述した方法の実施形態のいずれか1つの三次元地図を構築する方法を行うように構成される。
処理装置がチップであってよいことは理解されよう。プロセッサは、ハードウェアによって実装されてよく、またはソフトウェアによって実装されてもよい。プロセッサがハードウェアによって実装される場合、プロセッサは、論理回路、集積回路などであってよい。プロセッサがソフトウェアによって実装される場合、プロセッサは、汎用プロセッサであってよい。汎用プロセッサは、メモリに記憶されたソフトウェアコードを読み取ることによって実行される。メモリは、プロセッサに統合されてよく、またはプロセッサの外部に配置されて独立して存在してもよい。
図7に示されているように、本出願の一実施形態は、入出力インターフェイス701と論理回路702とを含むチップ700をさらに提供する。入出力インターフェイス701は、コード命令または情報を受信／出力するように構成される。論理回路702は、コード命令を実行するように、または情報に基づいて、上述した方法の実施形態のいずれか1つの三次元地図を構築する方法を行うように、構成される。
チップ700は、前述の実施形態で説明されている処理ユニットおよび／またはトランシーバユニットの機能を実施し得る。
例えば、入出力インターフェイス701は、現在のグローバル点群地図を得るように構成される。
他の一例において、入出力インターフェイス701は、移動デバイスの移動中に、移動デバイス上に配置されたローカル収集装置によって収集される複数の画像データを得るように構成される。
当業者は、本明細書で開示されている実施形態で説明されている例と組み合わせて、ユニットとアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、またはそれらの組み合わせによって実装され得ることに気づき得る。ハードウェアとソフトウェアとの互換性を明確に説明するため、上記では、それぞれの例の構成およびステップを機能に従って概説した。それらの機能がハードウェアによって行われるかソフトウェアによって行われるかは、技術的解決策の具体的な用途および設計上の制約条件しだいで決まる。当業者は、具体的な用途ごとに様々な方法を用いて説明されている機能を実装し得るが、その実装は、本出願の範囲を超えると考えるべきではない。
説明を簡便にするため、前述のシステム、装置、およびユニットの具体的な作業プロセスについては、方法の実施形態の対応するプロセスを参照するべきであることは、当業者によって明確に理解され得る。ここでは詳細を再度説明しない。
本出願で提供されるいくつかの実施形態において、開示されている装置および方法が他の方式で実装され得ることは理解されよう。例えば、前述の装置の実施形態は例にすぎない。例えば、ユニットへの分割は、論理的な機能分割にすぎない。実際の実装時には、他の分割方式もあり得る。例えば、複数のユニットまたはコンポーネントが組み合わされてよく、または他のシステムに統合されてもよく、またはいくつかの特徴は無視されてもよく、または実行されなくてもよい。加えて、表示または論述されている相互結合または直接結合または通信接続は、いくつかのインターフェイスを通じて実装されてよい。装置またはユニット間の間接結合または通信接続は、電気的形態、機械的形態、またはその他の形態で実装されてよい。
別々の部分として説明されているユニットは、物理的に別々であってもなくてもよく、ユニットとして表示されている部分は、物理的なユニットであってもなくてもよく、換言すると、1箇所に配置されてよく、または複数のネットワークユニットに分散されてもよい。本出願の実施形態の解決策の目的を達成するため、実際の要件に基づいてユニットの一部または全部が選択されてよい。
加えて、本出願の実施形態の機能ユニットは、1つの処理ユニットに統合されてよく、ユニットの各々は、物理的に単独で存在してもよく、または2つ以上のユニットが1つのユニットに統合されてもよい。統合ユニットは、ハードウェアの形態で実装されてよく、またはソフトウェア機能ユニットの形態で実装されてもよい。
前述の実装の説明により、当業者は、本出願がハードウェア、ファームウェア、またはそれらの組み合わせによって実装され得ることを明確に理解し得る。本出願がソフトウェアによって実装される場合、前述の機能は、コンピュータ可読媒体に記憶されてよく、またはコンピュータ可読媒体にて1つ以上の命令またはコードとして送信されてもよい。コンピュータ可読媒体は、コンピュータ記憶媒体と通信媒体とを含む。通信媒体は、或る場所から他の場所へのコンピュータプログラムの送信を容易にするいずれかの媒体を含む。記憶媒体は、コンピュータによってアクセス可能ないずれかの利用可能な媒体であってよい。以下は、例を提供するが、制限を課すものではない。コンピュータ可読媒体は、RAM、ROM、EEPROM、CD－ROMもしくは他のコンパクトディスク記憶装置、磁気ディスク記憶媒体もしくは他の磁気記憶装置、または命令もしくはデータ構造の形をとる予想されるプログラムコードを搬送もしくは記憶するために使用されることができ、コンピュータによってアクセスされることができる、他のいずれかの媒体を含み得る。加えて、どの接続もコンピュータ記憶媒体として適切に機能し得る。例えば、同軸ケーブル、光ファイバ／ケーブル、ツイストペア、DSL、または赤外線、電波、およびマイクロ波などの無線技術を用いて、ウェブサイト、サーバ、または他のリモートソースからソフトウェアが送信される場合、同軸ケーブル、光ファイバ／ケーブル、ツイストペア、DSL、または赤外線、電波、およびマイクロ波などの無線技術は、それらが属する媒体の固定に含まれる。本出願で使用されるディスク（Disk）およびディスク（disc）は、コンパクトディスク（CD）、レーザディスク、光ディスク、デジタル多用途ディスク（DVD）、フロッピーディスク、およびブルーレイディスクを含み、ディスク（disk）は、一般的に、データを磁気方式でコピーし、ディスク（disc）は、データをレーザ方式で光学的にコピーする。前述の組み合わせも、コンピュータ可読媒体の保護範囲に含まれるものとする。
101 センサデータ収集
102 オドメトリ
103 ループ閉じ込み検出
104 非線形最適化
105 地図構築
201 グローバル収集装置
202 アクセスポイント（AP）
203 ステーション（STA）
204 ローカル収集装置
205 ホストコンピュータ
205a ホストコンピュータ
205b ホストコンピュータ
206 クラウドサーバ
401 グローバル点群地図取得
402 座標変換
403 移動経路計画
404 移動命令生成
405 位置特定情報取得
500 装置
501 トランシーバユニット
502 処理ユニット
503 通信線路
600 装置
601 プロセッサ
602 メモリ
603 命令
604 命令
605 トランシーバ
606 アンテナ
700 チップ
701 入出力インターフェイス
702 論理回路

Claims (15)

  1. 三次元地図を構築する装置によって、現在のグローバル点群地図を得るステップと、
    三次元地図を構築する前記装置によって、移動デバイスの移動中に、前記移動デバイス上に配置されたローカル収集装置によって収集される複数の画像データを得るステップと、
    三次元地図を構築する前記装置によって、前記ローカル収集装置が前記画像データの各々を収集する対応する収集時点において生成される前記ローカル収集装置のリアルタイムポーズ情報を決定するステップと、
    三次元地図を構築する前記装置によって、前記現在のグローバル点群地図と、前記複数の画像データと、前記ローカル収集装置の前記リアルタイムポーズ情報とに基づいて三次元地図を構築するステップと
    を含む、三次元地図を構築する方法。
  2. 前記三次元地図は指定座標系で構築され、前記指定座標系は、以下の座標系、すなわち、初期時点における前記グローバル収集装置のポーズに基づいて決定される第1の座標系、前記初期時点における前記ローカル収集装置のポーズに基づいて決定される第2の座標系、世界座標系、および任意の固定空間点におけるポーズに基づいて決定される第3の座標系のうちのいずれか1つであり、
    三次元地図を構築する前記装置によって、前記現在のグローバル点群地図と、前記複数の画像データと、前記ローカル収集装置の前記リアルタイムポーズ情報とに基づいて三次元地図を構築する前記ステップは、
    前記現在のグローバル点群地図が位置する元の座標系、前記複数の画像データが位置する元の座標系、および前記ローカル収集装置の前記リアルタイムポーズ情報が位置する元の座標系を決定するステップと、
    前記指定座標系とは異なる前記元の座標系について、前記指定座標系の地図データを得るために、変換関係に基づいて前記元の座標系の地図データに対して座標変換を行うステップであって、前記変換関係は、前記元の座標系の座標の原点と前記指定座標系の座標の原点とのポーズ関係に基づいて決定され、前記元の座標系の前記地図データは、前記現在のグローバル点群地図、前記複数の画像データ、および前記ローカル収集装置の前記リアルタイムポーズ情報のうちのいずれか1つ以上を含む、ステップと、
    前記指定座標系における前記現在のグローバル点群地図と、前記複数の画像データと、前記ローカル収集装置の前記リアルタイムポーズ情報とに基づいて前記三次元地図を構築し、前記指定座標系の前記三次元地図を得る、ステップと
    を含む、
    請求項1に記載の方法。
  3. 前記グローバル収集装置とアクセスポイントAPとの相対ポーズは固定され、前記ローカル収集装置とステーションSTAとの相対ポーズは固定され、前記APは前記STAと通信し、
    前記指定座標系とは異なる前記元の座標系が前記第1の座標系であり、前記指定座標系が前記第2の座標系であり、前記変換関係が第1の変換関係である場合、三次元地図を構築する前記装置は、以下の方式で、すなわち、
    前記グローバル収集装置と前記APとの前記相対ポーズに基づいて第1の変換行列を決定し、前記APによって前記STAの位置を特定した結果に基づいて第2の変換行列を決定し、前記STAと前記ローカル収集装置との前記相対ポーズに基づいて第3の変換行列を決定し、
    前記第1の変換行列と、前記第2の変換行列と、前記第3の変換行列との積に基づいて前記第1の変換関係を得ることで、
    前記第1の変換関係を決定する、
    請求項2に記載の方法。
  4. 三次元地図を構築する前記装置によって、前記ローカル収集装置が前記画像データの各々を収集する対応する収集時点において生成される前記ローカル収集装置のリアルタイムポーズ情報を決定する前記ステップは、
    前記画像データの各々が収集される対応する各収集時点に前記APによって前記STAの位置を特定したリアルタイム結果を得るステップと、
    前記初期時点に前記APによって前記STAの位置を特定した初期結果と、前記初期時点における第4の座標系での前記STAの初期ポーズ情報と、前記リアルタイム位置特定結果とに基づいて、各収集時点における前記第4の座標系での前記STAのリアルタイムポーズ情報を得るステップであって、前記第4の座標系の座標の原点は、前記初期時点における前記STAのポーズに基づいて決定される、ステップと、
    前記第4の座標系における前記STAの前記リアルタイムポーズ情報と前記第3の変換行列とに基づいて、前記第4の座標系における前記ローカル収集装置のリアルタイムポーズ情報を決定するステップと、
    前記第4の座標系における前記ローカル収集装置の前記リアルタイムポーズ情報に対して座標変換を行い、前記指定座標系における前記ローカル収集装置の前記リアルタイムポーズ情報を得る、ステップと
    を含む、請求項3に記載の方法。
  5. 前記方法は、
    三次元地図を構築する前記装置によって、前記APによって前記STAの位置を特定した前記リアルタイム結果に基づいて、前記移動デバイスの移動中に存在するループ閉じ込みエラーを検出するステップ
    をさらに含む、請求項3または4に記載の方法。
  6. 三次元地図を構築する前記装置によって、前記移動デバイスの移動中にローカル収集装置によって収集される複数の画像データを得る前記ステップの前に、前記方法は、
    三次元地図を構築する前記装置によって、前記現在のグローバル点群地図に基づいて前記移動デバイスの移動経路を計画するステップと、
    三次元地図を構築する前記装置によって、前記ローカル収集装置の前記リアルタイムポーズ情報と前記移動経路とに基づいて移動命令を生成するステップと、
    三次元地図を構築する前記装置によって、前記移動デバイスのコントローラへ前記移動命令を送信するステップであって、その結果、前記コントローラは、前記移動命令に従って移動するように前記移動デバイスを制御する、ステップと
    をさらに含む、請求項1から5のいずれか一項に記載の方法。
  7. トランシーバユニットと処理ユニットとを含む、三次元地図を構築する装置であって、
    前記トランシーバユニットは、現在のグローバル点群地図を得るように構成され、
    前記トランシーバユニットは、移動デバイスの移動中に、前記移動デバイス上に配置されたローカル収集装置によって収集される複数の画像データを得るようにさらに構成され、
    前記処理ユニットは、前記ローカル収集装置が前記画像データの各々を収集する対応する収集時点において生成される前記ローカル収集装置のリアルタイムポーズ情報を決定するように構成され、
    前記処理ユニットは、前記現在のグローバル点群地図と、前記複数の画像データと、前記ローカル収集装置の前記リアルタイムポーズ情報とに基づいて三次元地図を構築するようにさらに構成される、
    装置。
  8. 前記三次元地図は指定座標系で構築され、前記指定座標系は、以下の座標系、すなわち、初期時点における前記グローバル収集装置のポーズに基づいて決定される第1の座標系、前記初期時点における前記ローカル収集装置のポーズに基づいて決定される第2の座標系、世界座標系、および任意の固定空間点におけるポーズに基づいて決定される第3の座標系のうちのいずれか1つであり、
    前記処理ユニットが、前記現在のグローバル点群地図と、前記複数の画像データと、前記ローカル収集装置の前記リアルタイムポーズ情報とに基づいて前記三次元地図を構築するように構成される場合、前記処理ユニットは、具体的には、
    前記現在のグローバル点群地図が位置する元の座標系、前記複数の画像データが位置する元の座標系、および前記ローカル収集装置の前記リアルタイムポーズ情報が位置する元の座標系を決定し、
    前記指定座標系とは異なる前記元の座標系について、前記指定座標系の地図データを得るために、変換関係に基づいて前記元の座標系の地図データに対して座標変換を行い、前記変換関係は、前記元の座標系の座標の原点と前記指定座標系の座標の原点とのポーズ関係に基づいて決定され、前記元の座標系の前記地図データが、前記現在のグローバル点群地図、前記複数の画像データ、および前記ローカル収集装置の前記リアルタイムポーズ情報のうちのいずれか1つ以上を含み、
    前記指定座標系における前記現在のグローバル点群地図と、前記複数の画像データと、前記ローカル収集装置の前記リアルタイムポーズ情報とに基づいて前記三次元地図を構築し、前記指定座標系の前記三次元地図を得る、
    ように構成される、
    請求項7に記載の装置。
  9. 前記グローバル収集装置とアクセスポイントAPとの相対ポーズは固定され、前記ローカル収集装置とステーションSTAとの相対ポーズは固定され、前記APは前記STAと通信し、
    前記指定座標系とは異なる前記元の座標系が前記第1の座標系であり、前記指定座標系が前記第2の座標系であり、前記変換関係が第1の変換関係である場合、前記処理ユニットは、以下の方式で、すなわち、
    前記グローバル収集装置と前記APとの前記相対ポーズに基づいて第1の変換行列を決定し、前記APによって前記STAの位置を特定した結果に基づいて第2の変換行列を決定し、前記STAと前記ローカル収集装置との前記相対ポーズに基づいて第3の変換行列を決定し、
    前記第1の変換行列と、前記第2の変換行列と、前記第3の変換行列との積に基づいて前記第1の変換関係を得る
    ことで、前記第1の変換関係を決定するように構成される、
    請求項8に記載の装置。
  10. 前記処理ユニットが、前記ローカル収集装置が前記画像データの各々を収集する対応する収集時点において生成される前記ローカル収集装置のリアルタイムポーズ情報を決定するように構成される場合、前記処理ユニットは、具体的には、
    前記画像データの各々が収集される対応する各収集時点に前記APによって前記STAの位置を特定したリアルタイム結果を得、
    前記初期時点に前記APによって前記STAの位置を特定した初期結果と、前記初期時点における第4の座標系での前記STAの初期ポーズ情報と、前記リアルタイム位置特定結果とに基づいて、各収集時点における前記第4の座標系での前記STAのリアルタイムポーズ情報を得、前記第4の座標系の座標の原点は、前記初期時点における前記STAのポーズに基づいて決定され、
    前記第4の座標系における前記STAの前記リアルタイムポーズ情報と前記第3の変換行列とに基づいて、前記第4の座標系における前記ローカル収集装置のリアルタイムポーズ情報を決定し、
    前記第4の座標系における前記ローカル収集装置の前記リアルタイムポーズ情報に対して座標変換を行い、前記指定座標系における前記ローカル収集装置の前記リアルタイムポーズ情報を得る、
    ように構成される、請求項9に記載の装置。
  11. 前記処理ユニットは、前記APによって前記STAの位置を特定した前記リアルタイム結果に基づいて、前記移動デバイスの移動中に存在するループ閉じ込みエラーを検出するようにさらに構成される、請求項9または10に記載の装置。
  12. 前記処理ユニットは、前記移動デバイスの移動中に、前記移動デバイス上に配置されたローカル収集装置によって収集される前記複数の画像データが得られる前に、前記現在のグローバル点群地図に基づいて前記移動デバイスの移動経路を計画し、
    前記ローカル収集装置の前記リアルタイムポーズ情報と前記移動経路とに基づいて移動命令を生成する、ようにさらに構成され、
    前記トランシーバユニットは、前記移動デバイスのコントローラへ前記移動命令を送信し、その結果、前記コントローラは、前記移動命令に従って移動するように前記移動デバイスを制御する、ようにさらに構成される、
    請求項7から11のいずれか一項に記載の装置。
  13. 計算デバイスであって、前記計算デバイスは、メモリと1つ以上のプロセッサとを含み、前記メモリは、コンピュータプログラムコードを記憶し、前記コンピュータプログラムコードは、コンピュータ命令を含み、前記コンピュータ命令が前記プロセッサによって実行されると、請求項1から6のいずれか一項に記載の方法が行われる、計算デバイス。
  14. コンピュータデバイスクラスタであって、前記コンピュータデバイスクラスタは、請求項13に記載の少なくとも1つの計算デバイスを含む、コンピュータデバイスクラスタ。
  15. コンピュータ記憶媒体であって、前記コンピュータ記憶媒体は、コンピュータプログラムを記憶し、前記コンピュータプログラムがコンピュータによって実行されると、請求項1から6のいずれか一項に記載の方法が行われる、コンピュータ記憶媒体。
JP2023546328A 2021-02-01 2021-10-19 三次元地図を構築する方法および装置 Pending JP2024509690A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110136015.0A CN114842156A (zh) 2021-02-01 2021-02-01 一种三维地图的构建方法及装置
CN202110136015.0 2021-02-01
PCT/CN2021/124676 WO2022160790A1 (zh) 2021-02-01 2021-10-19 一种三维地图的构建方法及装置

Publications (1)

Publication Number Publication Date
JP2024509690A true JP2024509690A (ja) 2024-03-05

Family

ID=82560751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023546328A Pending JP2024509690A (ja) 2021-02-01 2021-10-19 三次元地図を構築する方法および装置

Country Status (5)

Country Link
EP (1) EP4283567A1 (ja)
JP (1) JP2024509690A (ja)
KR (1) KR20230137395A (ja)
CN (1) CN114842156A (ja)
WO (1) WO2022160790A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115143941A (zh) * 2022-09-01 2022-10-04 山东省青东智能科技有限公司 一种基于云平台的智能测绘3d工业相机
CN115576955B (zh) * 2022-12-07 2023-02-14 成都智元汇信息技术股份有限公司 一种基于数据库的感知设备自建坐标信息存储方法及系统
CN115830263B (zh) * 2023-02-16 2023-04-18 四川省地质调查研究院 一种水文地质动态三维模型构建方法及系统
CN116563394B (zh) * 2023-07-10 2023-09-22 国科天成科技股份有限公司 一种异面点空间坐标标定系统和方法
CN116797744B (zh) * 2023-08-29 2023-11-07 武汉大势智慧科技有限公司 多时相实景三维模型的构建方法、系统及终端设备
CN117761717B (zh) * 2024-02-21 2024-05-07 天津大学四川创新研究院 一种自动回环三维重建系统及运行方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102063534B1 (ko) * 2017-11-30 2020-01-09 주식회사 모빌테크 라이다를 이용한 지도 생성 방법
CN108226938B (zh) * 2017-12-08 2021-09-21 华南理工大学 一种agv小车的定位系统和方法
CN108320329B (zh) * 2018-02-02 2020-10-09 维坤智能科技（上海）有限公司 一种基于3d激光的3d地图创建方法
CN109087393A (zh) * 2018-07-23 2018-12-25 汕头大学 一种构建三维地图的方法
JP7019731B2 (ja) * 2019-01-30 2022-02-15 バイドゥ ドットコム タイムス テクノロジー （ベイジン） カンパニー リミテッド 自動運転車のためのリアルタイム地図生成システム
CN110047142A (zh) * 2019-03-19 2019-07-23 中国科学院深圳先进技术研究院 无人机三维地图构建方法、装置、计算机设备及存储介质
CN110084853A (zh) * 2019-04-22 2019-08-02 北京易达图灵科技有限公司 一种视觉定位方法及系统

Also Published As

Publication number Publication date
CN114842156A (zh) 2022-08-02
EP4283567A1 (en) 2023-11-29
KR20230137395A (ko) 2023-10-04
WO2022160790A1 (zh) 2022-08-04

Similar Documents

Publication Publication Date Title
JP2024509690A (ja) 三次元地図を構築する方法および装置
CN108319655B (zh) 用于生成栅格地图的方法和装置
US10796151B2 (en) Mapping a space using a multi-directional camera
CN108827249B (zh) 一种地图构建方法和装置
CN107909612B (zh) 一种基于3d点云的视觉即时定位与建图的方法与系统
CN110936383B (zh) 一种机器人的障碍物避让方法、介质、终端和装置
US11877716B2 (en) Determining region attribute
WO2022078467A1 (zh) 机器人自动回充方法、装置、机器人和存储介质
CN107784671B (zh) 一种用于视觉即时定位与建图的方法与系统
KR20190088866A (ko) 포인트 클라우드 데이터 수집 궤적을 조정하기 위한 방법, 장치 및 컴퓨터 판독 가능한 매체
US11119498B2 (en) Systems and methods for simulation utilizing a segmentable monolithic mesh
WO2021195939A1 (zh) 一种双目拍摄装置的外参的标定方法、可移动平台及系统
CN111805535B (zh) 一种定位导航方法、装置以及计算机存储介质
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
US10902610B2 (en) Moving object controller, landmark, and moving object control method
US20210174538A1 (en) Control apparatus, object detection system, object detection method and program
WO2019136613A1 (zh) 机器人室内定位的方法及装置
CN112418038A (zh) 人体检测方法、装置、电子设备及介质
WO2019183928A1 (zh) 一种室内机器人定位的方法及机器人
KR20240013706A (ko) 자기 위치 측정이 가능한 로봇 및 위치 측정 방법
CN116339326A (zh) 一种基于立体相机的自主充电定位方法及系统
CN113440054B (zh) 扫地机器人充电基座范围的确定方法和装置
JP2023503750A (ja) ロボットの位置決め方法及び装置、機器、記憶媒体
WO2023070441A1 (zh) 可移动平台的定位方法和装置
CN115019167B (zh) 基于移动终端的融合定位方法、系统、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230911

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230911