JP6919864B2 - ３次元点群の再構成のための方法および装置 - Google Patents

３次元点群の再構成のための方法および装置 Download PDF

Info

Publication number
JP6919864B2
JP6919864B2 JP2019542474A JP2019542474A JP6919864B2 JP 6919864 B2 JP6919864 B2 JP 6919864B2 JP 2019542474 A JP2019542474 A JP 2019542474A JP 2019542474 A JP2019542474 A JP 2019542474A JP 6919864 B2 JP6919864 B2 JP 6919864B2
Authority
JP
Japan
Prior art keywords
voxel
storage space
target
information
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019542474A
Other languages
English (en)
Other versions
JP2020507853A (ja
Inventor
ザオ、カイヨン
パン、チーフイ
マー、ユーウェン
ヤオ、ヤオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2020507853A publication Critical patent/JP2020507853A/ja
Application granted granted Critical
Publication of JP6919864B2 publication Critical patent/JP6919864B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Description

著作権についての説明
本特許文献が開示する内容は、著作権の保護を受ける材料を含む。該著作権は著作権所有者が所有する。著作権所有者は、特許商標庁の公式記録と保管文書に存在する該特許文献をいかなる人が複製することにも、該特許の開示にも反対しない。
本出願は点群データ処理の分野に関し、かつ、より具体的には、３次元点群の再構成のための方法および装置に関する。
従来技術は一般に、同時位置決めマッピング（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ、ＳＬＡＭ）アルゴリズムに基づいて３次元点群の再構成を行う。従来のＳＬＡＭアルゴリズムは一般に、まず、画像データにおける特徴点を抽出した後、画像データにおける特徴点（または顕著な傾きを有する点）に基づいて３次元点群を再構成する。画像データには特徴点（または顕著な傾きを有する点）の個数が少なく、従って、特徴点（または顕著な傾きを有する点）に基づいて再構成される３次元点群は、まばらな（または半稠密）３次元点群である。
まばらな３次元点群は３次元情景の中の重要な情報を取りこぼすことがあり、３次元情景の精度についての要求が高い任務には堪えられない。再構成される３次元点群が機械式ナビゲーションに用いられる場合を例にすると、まばらな３次元点群は、ナビゲーション中の、重要な意義を有する特徴を取りこぼす可能性が高い。例えば、まばらな３次元点群は交通信号灯を取りこぼすおそれがあり、もしくは、まばらな３次元点群は、３次元情景の中の特定の道路が通行を許容するか否かの情報など、正確な道路情報を提供することができない可能性がある。
本出願は、３次元点群の再構成のための方法および装置を提供することで、再構成される３次元点群の精度を高める。
一態様では、現在の画角の画像データを取得することと；前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成し、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含むことと；前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄することと；前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合することと、を含む、３次元点群の再構成のための方法を提供する。
もう１つの態様では、現在の画角の画像データを取得するための取得モジュールと；前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成するための生成モジュールであって、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含む生成モジュールと；前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄するための廃棄モジュールと；前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合するための統合モジュールとを備える、３次元点群の再構成のための装置を提供する。
さらにもう１つの態様では、命令を記憶するためのメモリと、メモリに記憶された命令を実行することで上記各態様に記載の方法を実行するためのプロセッサとを備える、３次元点群の再構成のための装置を提供する。
さらにもう１つの態様では、命令が記憶されており、コンピュータ上で動作する際に、上記態様面に記載の方法をコンピュータに実行させるコンピュータ可読記憶媒体を提供する。
さらにもう１つの態様では、コンピュータ上で動作する際に、上記態様面に記載の方法をコンピュータに実行させる、命令を含むコンピュータプログラム製品を提供する。
本出願が提供する技術案は、３次元点群中の点としてボクセルを用い、高精度の稠密な３次元点群を再構成することができる。さらに、本出願が提供する技術案は、目標物体のボクセルに深度情報を記憶するとともに、ボクセルの深度情報に基づいて目標物体のボクセルを選別し、深度情報が要求に適合しないボクセルを廃棄し、統合および記憶を行わなければならない点群データの数を減らしており、稠密な３次元点群の再構成プロセスのリアルタイム性を高めている。
ＳＬＡＭアルゴリズムの汎用計算フローチャートである。 本発明の実施例が提供する、３次元点群の再構成のための方法の概略的フローチャートである。 図２におけるステップ２４０の具体的な工程の例示図である。 本発明の１つの実施例が提供する、３次元点群の再構成のための装置の概略的構造図である。 本発明のもう１つの実施例が提供する、３次元点群の再構成のための装置の概略的構造図である。
図１は、ＳＬＡＭアルゴリズムの汎用計算フローチャートである。図１から、カメラの姿勢推定と３次元点群の再構成プロセスが１つのサイクルの中にまとめられており、両者が互いに支持し、互いに影響することにより、同時位置決めと３次元点群の再構成という目的を果たしていることが分かる。
ＳＬＡＭアルゴリズムで再構成された３次元点群は主に、画像データにおける特徴点（または顕著な傾きを有する点）からなる。画像データにおいて、特徴点（または顕著な傾きを有する点）の個数が少なく、従って、ＳＬＡＭアルゴリズムを用いて再構成した３次元点群は一般に、まばらな点群であり、３次元情景の精度についての要求が高い任務には堪えられない。
ボクセル（ｖｏｘｅｌ）は、３次元空間内の小さな体積単位である。３次元空間内の１つの物体は通常、非常に多くのボクセルが積み重なってなり、従って、物体のボクセルは、数が多く分布が稠密であるという特徴を有しており、稠密な３次元点群を生成するために用いるのに適している。これに基づき、本発明の実施例は、ボクセルに基づく３次元点群の再構成方法を提示することで、稠密な３次元点群を生成する。まばらな点群と比べ、稠密な３次元点群は精度が高く、３次元情景の中の重要な情報を保持することができる。
従来技術は一般に、３次元配列（ａｒｒａｙ）の方式で物体のボクセルを記憶し、個々の記憶ユニットは、１つのボクセルを記憶するために用いることができる。記憶空間において物体の特定の目標ボクセルを検索する必要がある場合、３次元配列の添え字によってアドレス指定を直接行うことができる。３次元配列に基づくボクセル記憶方式はボクセルの検索複雑度を低減することができるが、このような記憶方式は記憶の連続性を保証しなければならず、つまり、物体の各々のボクセルを記憶しなければならない。記憶の連続性を損なわないため、あるボクセルが空ボクセル（目標物体内部のボクセルなど、いかなる有用な情報も含まないボクセル）であったとしても、このボクセルに記憶空間を割り当てなければならず、ボクセルを勝手に廃棄してはならない。実際には、物体のボクセルにおいては一般に、９０％を超えるボクセルが空ボクセルであり、これらのボクセルを保持すれば、大量の記憶および計算リソースを浪費して、ボクセルに基づく３次元点群の再構成プロセスのリアルタイム性が低くなり、室内の情景など、狭い範囲、小さなサイズの情景を再構成することのみに限られることになる。
以下、図２を参照しながら、本発明の実施例が提供する３次元点群の再構成方法について詳しく記述する。本発明の実施例が提供する３次元点群の再構成方法は、３次元点群マップを生成するために用いるか、もしくは、機械的ナビゲーションのために用いることができる。図２の方法は、カメラが取り付けられたモバイル機器により実行することができる。このモバイル機器は例えば、ロボット、無人航空機（ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ、ＵＡＶ、略称無人機）、自動車またはウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）であってよい。具体的には、モバイル機器は、モバイル機器が運動過程で遭遇した未知の情景をカメラによって撮影するとともに、撮影した画像データに基づいて未知の情景の３次元点群マップを生成することができる。
図２は、本発明の実施例が提供する、３次元点群の再構成のための方法の概略的フローチャートである。図２の方法は、以下のステップを含むことができる。
ステップ２１０、現在の画角の画像データを取得する。
ステップ２２０、画像データに基づき、現在の画角の中の目標物体のボクセルを生成し、目標物体のボクセルは第１のボクセルを備え、第１のボクセルは深度情報を含む。
上記目標物体が、現在の画角の中の探知された任意の１つの物体であってよいことは理解しなければならない。なお、上記第１のボクセルは、目標物体のボクセルの中の任意のボクセルであってよい。
ステップ２３０、第１のボクセルの深度情報の取得値が所定の範囲内にない場合、第１のボクセルを廃棄する。
ステップ２４０、第１のボクセルの深度情報の取得値が所定の範囲内に位置する場合、第１のボクセルと、記憶されたボクセルとを統合する。
本発明の実施例は、３次元点群中の点としてボクセルを用い、高精度の稠密な３次元点群を再構成することができる。さらに、本発明の実施例は、目標物体のボクセルに深度情報を記憶するとともに、ボクセルの深度情報に基づいて目標物体のボクセルを選別し、深度情報が要求に適合しないボクセルを廃棄し、統合および記憶を行わなければならない点群データの数を減らしており、稠密な３次元点群の再構成プロセスのリアルタイム性を高めている。
本発明の実施例は、所定の範囲の選択方式について具体的に限定しておらず、実際のニーズに応じて選択することができる。例えば、目標物体の表面を基準として上記所定の範囲を設定し、物体表面付近のボクセル（可視ボクセルとも称する）が保持され、それ以外のボクセルが廃棄されるようにすることができる。言い換えれば、本発明の実施例は、目標物体ボクセルの中の、有用情報を記憶したボクセルにのみ焦点を当てることにより、記憶および計算リソースをより効果的に利用し、ボクセルに基づく３次元点群の再構成プロセスのリアルタイム性を高める。
ステップ２２０が記述しているのは目標物体のボクセル化プロセスであり、本発明の実施例は目標物体のボクセル化方式について具体的に限定しておらず、例えば、ステップ２２０は：画像データに基づき、現在の画角の深度図を生成することと；深度図に基づき、目標物体をボクセル化し、目標物体のボクセルを得ることと、を含むことができる。
上記画像データに基づき、現在の画角の深度図を生成することは：画像データ中の各々の画素点の対応する視差を予測することと；各々の画素点の対応する視差を各々の画素点の対応する深度値に変換することと、を含むことができる。
例えば、公式ｚｉ＝ｂｆ／ｄｉを用いて各々の画素点の対応する深度値を判定することができ、ただし、ｚｉとｄｉはそれぞれ画像データ中のｉ個目の画素の深度値と視差を表し、ｂは基線を表し、ｆは焦点距離を表す。
説明しなければならないのは、画像データ中の各々の画素点は１つの深度値に対応することができ、かつ、各画素点の対応する深度値の解を求めるプロセスは、並行して実行することで、画像データの処理効率を高めることができるという点である。
深度図を算出すれば、目標物体の３次元モデルが得られる。次いで、一定のアルゴリズムを用いて目標物体の３次元モデルをボクセル化することができる。例えば、まず、深度図中の深度値に基づき、３次元モデルのバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を構築し、その後、八分木に基づいてバウンディングボックスを多数の小さな体積単位に分解し、各々の体積単位は目標物体の１つのボクセルに対応することができる。
目標記憶空間が第１のボクセルの記憶空間を含んでいる場合、第１のボクセルの色情報および深度情報をそれぞれ第１のボクセルの記憶空間内の色情報および深度情報と統合し、続いて、統合する方式について詳しく記述することができる。色情報および深度情報の統合方式は複数種あり得るが、続いて、具体的な実施例を参照しながら詳しく説明する。
任意には、いくつかの実施例において、第１のボクセルは、色情報と、第１のボクセルの色情報の重みとを含むことができ、上記第１のボクセルと、記憶されたボクセルとを統合することは：目標記憶空間が第１のボクセルの記憶空間を含んでいる場合、第１のボクセルの色情報の重みに基づき、第１のボクセルの色情報と第１のボクセルの記憶空間内のボクセルの色情報とについて加重和を求めることを含むことができる。当然ながら、本発明の実施例はこれに限定されず、第１のボクセルの記憶空間内のボクセルの色情報の代わりに第１のボクセルの色情報を直接用いることもできる。
任意には、いくつかの実施例において、第１のボクセルは、第１のボクセルの深度情報の重みを含むこともでき、上記第１のボクセルと、記憶されたボクセルとを統合することは：目標記憶空間が第１のボクセルの記憶空間を含んでいる場合、第１のボクセルの深度情報の重みに基づき、第１のボクセルの深度情報と第１のボクセルの記憶空間内のボクセルの深度情報とについて加重和を求めることを含むことができる。当然ながら、本発明の実施例はこれに限定されず、第１のボクセルの記憶空間内のボクセルの深度情報の代わりに第１のボクセルの深度情報を直接用いることもできる。
本発明の実施例は、第１のボクセルの深度情報の値取得方式について具体的に限定していない。いくつかの実施例において、第１のボクセルの深度情報の取得値は、第１のボクセルの、カメラ座標系におけるｚ値であってよい。他のいくつかの実施例において、第１のボクセルの深度情報の取得値は、切断符号付き距離関数（ｔｒｕｎｃａｔｅｄ ｓｉｇｎｅｄ ｄｉｓｔａｎｃｅ ｆｕｎｃｔｉｏｎ、ｔｓｄｆ）値であってよい。このｔｓｄｆ値は、第１のボクセルと目標物体表面（目標物体の、第１のボクセルから最も近い表面）との間の距離を示すために用いることができる。
例えば、第１のボクセルは次のようなデータ構造を用いることができる：
ｓｔｒｕｃｔ ｖｏｘｅｌ｛
ｆｌｏａｔ ｔｓｄｆ；
ｕｃｈａｒ ｃｏｌｏｒ［３］；
ｕｃｈａｒ ｗｅｉｇｈｔ；
｝
ここで、ｔｓｄｆはすなわち第１のボクセルの深度情報であり、第１のボクセルの、目標物体表面からの距離を表すために用いられる。ｃｏｌｏｒ［３］は、第１のボクセルの色情報を表すために用いられ、ｗｅｉｇｈｔは、第１のボクセルの色情報および／または深度情報の重みを表すために用いられる。
所定の範囲が（Ｄｍｉｎ，Ｄｍａｘ）であるとすると、第１のボクセルのｔｓｄｆ値が：Ｄｍｉｎ＜ｔｓｄｆ＜Ｄｍａｘを満たす場合には、第１のボクセルが有用情報（または、第１のボクセルが可視ボクセルである）を含んでいると見なし、この第１のボクセルを保持し；第１のボクセルのｔｓｄｆ値が：Ｄｍｉｎ＜ｔｓｄｆ＜Ｄｍａｘを満たさない場合には、第１のボクセルが有用情報（または、第１のボクセルが不可視ボクセルである）を含んでいないと見なし、この第１のボクセルを廃棄する。
説明しなければならないのは、３次元点群の再構成は継続的なプロセスであり、３次元点群の再構成プロセスにおいて、モバイル機器はまず、当初の画角（以下、「第１の画角」と称する）を選択して撮影を行い、その後、第１の画角中の物体をボクセル化し、深度情報が要求に適合するボクセルを記憶し；続いて、モバイル機器がカメラの姿勢を調整し、次の画角（以下、「第２の画角」と称する）を選択して撮影を行い、新たなボクセルを得るという点である。隣接する２回の画角の画角差は通常、比較的小さいので、隣接する２つの画角を撮影して得られる物体が重なり合う可能性があり、従って、第２の画角を撮影して得られた新たなボクセルと、記憶されたボクセルとを統合する必要がある。上記文中の現在の画角は、カメラ撮影プロセスにおける任意の画角を指すことができ、記憶されたボクセルは、現在の画角を用いて撮影する前に得られており保持されてきたボクセルであってよい。
ステップ２４０の実現方式（すなわちボクセル統合の方式）は複数種あり得る。いくつかの実施例において、図３に示すように、ステップ２４０は以下のことを含むことができる：
ステップ２４２、記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に第１のボクセルの記憶空間が含まれるか否か判定する。
ステップ２４４、目標記憶空間が第１のボクセルの記憶空間を含んでいる場合、第１のボクセルの情報に基づき、第１のボクセルの記憶空間内のボクセルの情報を更新する。
ステップ２４６、目標記憶空間が第１のボクセルの記憶空間を含んでいなければ、第１のボクセルに新たな記憶空間を割り当て、第１のボクセルを新たな記憶空間に記憶する。
ステップ２４４の実現方式は複数種あり得る。例えば、第１のボクセルの記憶空間に記憶された古いボクセル情報の代わりに第１のボクセルの情報を直接用いることができ；また、第１のボクセルの情報と、第１のボクセルの記憶空間に記憶された古いボクセル情報とについて加重和を求めてもよい。
ボクセルが次のようなデータ構造を用いることができることを例にすると以下の通りである：
ｓｔｒｕｃｔ ｖｏｘｅｌ｛
ｆｌｏａｔ ｔｓｄｆ；
ｕｃｈａｒ ｃｏｌｏｒ［３］；
ｕｃｈａｒ ｗｅｉｇｈｔ；
｝
次のような公式を用いて、第１のボクセル記憶空間に記憶されたボクセルの深度情報を更新（または統合）してもよい：
Ｄｉ＋１＝（Ｗｉ×Ｄｉ＋ｗｉ＋１×Ｄｉ＋１）／（Ｗｉ＋ｗｉ＋１）
Ｗｉ＋１＝Ｗｉ＋ｗｉ＋１
Ｄｉは、第１のボクセル記憶空間に記憶されたボクセルのｔｓｄｆ値を表し、ｄｉ＋１は第１のボクセルのｔｓｄｆ値を表し、Ｄｉ＋１は更新後のｔｓｄｆ値を表し；Ｗｉは第１のボクセル記憶空間に記憶されたボクセルの重みを表し、ｗｉ＋１は第１のボクセルの重みを表し、Ｗｉ＋１は更新後の重みを表す。
上記は、第１のボクセルの深度情報の更新方式について、例を挙げて説明したものである。相応に、第１のボクセルの色情報にも、類似した更新方式を採用することができるが、ここではこれ以上詳述しない。
いくつかの実施例において、ステップ２４２は：第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、目標記憶空間から第１のボクセルの記憶空間を検索し、マッピング関係情報は、記憶されたボクセルと、記憶されたボクセルの記憶空間との対応関係を示すために用いることができることと；第１のボクセルの記憶空間を検索した場合、目標記憶空間が第１のボクセルの記憶空間を含むと判定することと；第１のボクセルの記憶空間を検索しなかった場合、目標記憶空間が第１のボクセルの記憶空間を含まないと判定することと、を含むことができる。
上記文は、従来技術は３次元配列の方式でボクセルを連続的に記憶するが、このような記憶方式は、アドレス指定が簡単である利点を有するが、ボクセル記憶の連続性を保証しなければならず、あるボクセルが空ボクセル（目標物体内部のボクセルなど、いかなる有用な情報も含まないボクセル）であったとしても、このボクセルに記憶空間を割り当てなければならず、ボクセルを勝手に廃棄してはならない、と指摘している。本発明の実施例は、目標物体中の深度情報が要求を満たさないボクセルを廃棄しており、このようにすれば、ボクセル記憶の連続性を損なうことになるが、大量の空ボクセルを廃棄することができ、記憶リソースを大幅に節約し、計算効率を高めることができる。さらに、ボクセル記憶が不連続である場合に、ボクセルの速やかなアドレス指定を実現することができるように、本発明の実施例はマッピング関係情報を導入することで、ボクセルと、記憶されたボクセルの記憶位置との対応関係を記録する。
マッピング関係情報が、記憶されたボクセルと、記憶されたボクセルの記憶空間との対応関係を示す方式は複数種あり得る。いくつかの実施例において、記憶されたボクセルの、３次元空間における位置と、記憶されたボクセルの記憶空間（記憶アドレスの開始アドレスとオフセットなど）との対応関係を構築することができる。
いくつかの実施例において、３次元空間におけるボクセルの位置は、ワールド座標系におけるボクセルの座標によって表すことができる。ワールド座標系におけるボクセルの座標を得るために、まず、現在の画角で撮影する際のカメラの姿勢を判定し、その後、カメラの姿勢に基づいてボクセルをワールド座標系の中に変換することができる。カメラ姿勢の判定方式は複数種あり得る。例えば、視覚的高速オドメトリ（ｆａｓｔ ｏｄｏｍｅｔｒｙ ｆｒｏｍ ｖｉｓｉｏｎ、ＦＯＶＩＳ）を採用してカメラの姿勢を判定することができる。具体的には、まず、ガウス平滑化フィルタを使って、入力された画像データをフィルタリングすることで、３層画像ピラミッドを構築することができる。その後、ＦＡＳＴコーナー検出器を使って画像中の十分に多いローカルな特徴を検出する。続いてＲＡＮＳＡＣ（ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）アルゴリズムを使い、画像データ中のキーフレームを用いてカメラの姿勢をロバスト推定する。
マッピング関係情報の記憶および使用方式は複数種あり得るが、いくつかの実施例において、マッピング関係情報をハッシュテーブルに記憶することができる。上記文中の第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、目標記憶空間から第１のボクセルの記憶空間を検索することは：第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、目標記憶空間から第１のボクセルの記憶空間を検索することを含むことができる。ハッシュテーブルには、アドレス指定が速い利点があり、３次元点群の再構成プロセスの効率を高めることができる。
任意には、いくつかの実施例において、ハッシュテーブルは、記憶されたボクセルブロックの位置情報と、記憶されたボクセルブロックの記憶空間との対応関係を記録することができる。１つのボクセルブロックは、空間が隣接する複数のボクセルを含むことができ、記憶されたボクセルブロックの位置情報は、記憶されたボクセルブロックの、３次元情景における空間位置（ボクセルブロックの中心点の、ワールド座標系における３次元座標など）を示すために用いることができ、上記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、目標記憶空間から第１のボクセルの記憶空間を検索することは：第１のボクセルが所属する目標ボクセルブロックの位置情報を判定することと；目標ボクセルブロックの位置情報とハッシュテーブルとに基づき、ハッシュアルゴリズムによって、目標ボクセルブロックの記憶空間を検索することと；第１のボクセルの、目標ボクセルブロックにおける位置に基づき、目標ボクセルブロックの記憶空間から第１のボクセルの記憶空間を検索することと、を含むことができる。
本発明の実施例において、ハッシュテーブルの各々のエントリは１つのボクセルに対応しておらず、１つのボクセルブロックに対応している。ボクセルブロックを単位としてマッピング関係情報を記録すれば、ハッシュテーブルのエントリの数を減らすことによりハッシュ衝突の確率を低減することができる。
ボクセルブロックは、いくつかの空間において隣接関係を有するボクセルの集合であってよい。例えば、１つのボクセルブロックは、空間が隣接する８×８×８個のボクセルを備えることができる。
いくつかの実施例において、ボクセルブロックはいずれも、１つの配列に記憶され得る。本発明の実施例におけるハッシュテーブルは、配列内のボクセルブロックを速やかに効率的に探し出すために設計されたものであってよい。ハッシュテーブルのエントリは、ボクセルブロックの位置、ボクセルブロックを記憶する配列を示すポインタ、およびオフセット等のメンバ変数を含むことができる。
例えば、いくつかの実施例において、ハッシュテーブルは次のようなデータ構造を用いて上記マッピング関係情報を記録することができる：
ｓｔｒｕｃｔ ｈａｓｈ＿ｅｎｔｒｙ｛
ｓｈｏｒｔ ｐｏｓ［３］；
ｓｈｏｒｔ ｏｆｆｓｅｔ；
ｉｎｔ ｐｏｉｎｔｅｒ；
｝
ここで、ｐｏｓ［３］は、ボクセルブロックの、３次元空間におけるワールド座標（ｘ，ｙ，ｚ）を表すことができ、ｐｏｉｎｔｅｒは、ボクセルブロックを記憶する配列の開始アドレスを示すことができ、ｏｆｆｓｅｔは、このボクセルブロックの記憶位置の開始アドレスと、ボクセルブロックを記憶する配列の開始アドレスとの間のオフセットを示すために用いることができる。
実際に使用するプロセスにおいては、まず、ボクセルとボクセルブロックの空間位置関係に基づき、第１のボクセルが所属する目標ボクセルブロックを判定することができ；その後、目標ボクセルブロックの、３次元空間におけるワールド座標（ｘ，ｙ，ｚ）に基づき、ハッシュテーブルを検索することによって、目標ボクセルブロックに記憶空間を割り当てているか否か判定し；目標ボクセルブロックに記憶空間を割り当てていなかった場合には、目標ボクセルブロックに記憶空間を割り当て、ハッシュテーブルのエントリを更新する。次いで、第１のボクセルの情報を、目標ボクセルブロックの記憶空間内の相応の位置に記憶すればよい。目標ボクセルブロックに記憶空間を割り当てていた場合には、目標ボクセルブロックの記憶空間から第１のボクセルの記憶空間を選択し、その後、第１のボクセルの情報を用いて第１のボクセルの記憶空間内のボクセル情報を更新することができる。具体的なボクセル情報の更新方式については前述を参照し、ここではこれ以上詳述しない。
説明しなければならないのは、本発明の実施例は目標記憶空間の位置を具体的に限定せず、目標記憶空間はグラフィックス処理ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）の内部メモリ内に位置することができ、中央処理ユニット（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）の内部メモリ内に位置することもでき、外部メモリに位置することさえできるという点である。
任意には、いくつかの実施例において、目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリ内に位置することができ、ステップ２４２は：ＧＰＵが、目標記憶空間に第１のボクセルの記憶空間が含まれるか否か判定することを含むことができ；ステップ２４４は：ＧＰＵが、ＣＰＵを介して目標記憶空間から第１のボクセルの記憶空間内のボクセルの情報を読み取ることと；ＧＰＵが第１のボクセルの情報に基づき第１のボクセルの記憶空間内のボクセルの情報を更新し、更新されたボクセルの情報を得ることと；ＧＰＵがＣＰＵを介して、更新されたボクセルの情報を第１のボクセルの記憶空間に記憶することと、を含むことができる。
ＧＰＵは高い画像データ処理能力を有しているが、ＧＰＵの内部メモリは通常、比較的小さく、一般的に２〜４ＧＢを備え、大きなサイズの情景の点群データを記憶するには不十分である。ＧＰＵの内部メモリの、再構成すべき情景のサイズについての制約を回避するために、本発明の実施例はＣＰＵの内部メモリおよび／または外部記憶装置を用いてボクセルを記憶し、ＧＰＵの内部メモリ（ビデオメモリとも称する）と比べ、ＣＰＵの内部メモリおよび／または外部記憶装置は、より大きな記憶空間を提供することができる。
具体的には、ＧＰＵはまず、画像データに基づいて新たなボクセルを生成することができる。その後、新たなボクセルと、記憶されたボクセルとを統合する前に、ＧＰＵは、新たなボクセルに統合する必要のあるボクセルを、ＣＰＵの内部メモリおよび／または外部記憶装置からＧＰＵの内部メモリに読み込むことができる。続いて、ボクセルの統合が完了した後、ＧＰＵは、統合されたボクセルデータをＣＰＵの内部メモリおよび／または外部記憶装置に再び記憶することができる。言い換えれば、本発明の実施例は、ＧＰＵ、ＣＰＵおよび／または外部記憶装置の間のデータ交換に基づき、ＧＰＵの内部メモリが、統合すべきローカルデータだけを記憶すればよいようにしており、グローバルデータは常にＣＰＵの内部メモリおよび／または外部記憶装置に記憶され、このようにすれば、ＧＰＵの内部メモリ空間の制約を克服し、より大きな次元の３次元空間を再構成するために本発明の実施例を用いることができるようにすることができる。
３次元点群マップの再構成を例にすると、本発明の実施例は、再構成されたグローバルマップをＣＰＵの内部メモリを使って記憶し、ＣＰＵの内部メモリを使ってローカルマップを記憶し、情景または画角の切り替えに応じてＧＰＵの内部メモリに記憶されたローカルマップを絶え間なく更新することにより、ＧＰＵの内部メモリが小さいため、再構成すべき情景のサイズが制約されるのを回避することに相当する。
現在の画角の中の目標物体は静止した物体である可能性があり、移動物体である可能性もあることを理解しなければならない。３次元点群の再構成で再構成しなければならいのは、３次元情景の中の建築物や交通信号灯など、３次元情景における、相対的に固定された物体であるが、３次元情景の中に一時的に出現する移動物体は一種の擾乱と見なすことができる。従って、移動物体を識別して効率的に処理することで３次元点群の再構成プロセスを加速することができる移動物体の処理方式を以下に提供する。
ステップ２２０は：画像データに基づき、目標物体が移動物体であるか否か判定することと；目標物体が移動物体である場合に、目標物体のボクセルを生成し、目標物体中の各々のボクセルの深度情報の取得値が所定の範囲内にないようにすることと、を含むことができる。
本発明の実施例は、移動物体の深度情報の取得値を所定の範囲の外に制御し、このようにすれば、目標物体中の各々のボクセルはいずれも廃棄される。言い換えれば、本発明の実施例は、深度情報の取得値を制御することによって、移動物体を処理するのを回避して３次元点群の再構成プロセスの効率を高めることができる。
目標物体中の各々のボクセルが次のようなデータ構造を採用したとする：
ｓｔｒｕｃｔ ｖｏｘｅｌ｛
ｆｌｏａｔ ｔｓｄｆ；
ｕｃｈａｒ ｃｏｌｏｒ［３］；
ｕｃｈａｒ ｗｅｉｇｈｔ；
｝
ここで、ｔｓｄｆはすなわちボクセルの深度情報であり、第１のボクセルの、目標物体表面からの距離を表すために用いられる。所定の範囲が（Ｄｍｉｎ，Ｄｍａｘ）であってよいとすると、ボクセルのｔｓｄｆ値が：Ｄｍｉｎ＜ｔｓｄｆ＜Ｄｍａｘを満たせば、このボクセルを保持し；ボクセルのｔｓｄｆ値が：Ｄｍｉｎ＜ｔｓｄｆ＜Ｄｍａｘを満さなければ、このボクセルを廃棄する。
目標物体が移動物体であると識別されたときには、目標物体中の各々のボクセルのｔｓｄｆ値を制御し、各々のボクセルのｔｓｄｆ値がいずれもＤｍｉｎ＜ｔｓｄｆ＜Ｄｍａｘを満たさないため廃棄されるようにすることで、移動物体の処理を回避しており、３次元点群の再構成プロセスを加速している。
説明しなければならないのは、本発明の実施例は、画像データに基づき、目標物体が移動物体であるか否か判定する方式について具体的に限定しておらず、従来の移動物体検出・追跡アルゴリズムを用いることができるという点である。
続いて、本発明の装置の実施例について記述するが、装置の実施例は上記方法を実行することができるので、詳細に記述していない部分については、前述の各方法の実施例を参照することができる。
図４は、本発明の１つの実施例が提供する、３次元点群の再構成のための装置の概略的構造図である。図４の装置４００は：
現在の画角の画像データを取得するための取得モジュール４１０と；
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成するための生成モジュール４２０であって、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含む生成モジュール４２０と；
前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄するための廃棄モジュール４３０と；
前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合するための統合モジュール４４０と、
を備える。
本発明の実施例は、３次元点群中の点としてボクセルを用い、高精度の稠密な３次元点群を再構成することができる。さらに、本発明の実施例は、目標物体のボクセルに深度情報を記憶するとともに、ボクセルの深度情報に基づいて目標物体のボクセルを選別し、深度情報が要求に適合しないボクセルを廃棄し、統合および記憶を行わなければならない点群データの数を減らしており、稠密な３次元点群の再構成プロセスのリアルタイム性を高めている。
任意には、いくつかの実施例において、前記統合モジュール４４０は具体的に、記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定し；前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し；前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶するために用いられる。
任意には、いくつかの実施例において、前記統合モジュール４４０は具体的に、前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索し、前記マッピング関係情報は、前記記憶されたボクセルと、前記記憶されたボクセルの記憶空間との対応関係を示すために用いられ；前記第１のボクセルの記憶空間を検索した場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含むと判定し；前記第１のボクセルの記憶空間を検索しなかった場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含まないと判定するために用いられる。
任意には、いくつかの実施例において、前記マッピング関係情報はハッシュテーブルに記憶され、前記統合モジュール４４０は具体的に、前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索するために用いられる。
任意には、いくつかの実施例において、前記ハッシュテーブルに、記憶されたボクセルブロックの位置情報と、前記記憶されたボクセルブロックの記憶空間との対応関係が記録されており、１つのボクセルブロックが、空間が隣接する複数のボクセルを含み、前記記憶されたボクセルブロックの位置情報は、前記記憶されたボクセルブロックの、前記３次元情景における空間位置を示すために用いられ、前記統合モジュール４４０は具体的に、前記第１のボクセルが所属する目標ボクセルブロックの位置情報を判定し；前記目標ボクセルブロックの位置情報および前記ハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標ボクセルブロックの記憶空間を検索し；前記第１のボクセルの、前記目標ボクセルブロックにおける位置に基づき、前記目標ボクセルブロックの記憶空間から前記第１のボクセルの記憶空間を検索するために用いられる。
任意には、いくつかの実施例において、前記目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリの中に位置し、前記統合モジュール４４０は具体的に、ＧＰＵを起動して：前記目標記憶空間中に前記第１のボクセルの記憶空間が含まれるか否か判定する動作と；前記ＣＰＵを介して、前記第１のボクセルの記憶空間におけるボクセルの情報を前記目標記憶空間から読み取る動作と；前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し、更新されたボクセルの情報を得る動作と；前記ＣＰＵを介して、更新されたボクセルの情報を前記第１のボクセルの記憶空間に記憶する動作と、を実行するために用いられる。
任意には、いくつかの実施例において、前記生成モジュール４２０は具体的に、前記画像データに基づき、前記目標物体が移動物体であるか否か判定し；前記目標物体が移動物体である場合に、前記目標物体のボクセルを生成し、前記目標物体中の各々のボクセルの深度情報の取得値が前記所定の範囲内にないようにするために用いられる。
任意には、いくつかの実施例において、前記生成モジュール４２０は具体的に、前記画像データに基づき、前記現在の画角の深度図を生成し；前記深度図に基づき、前記目標物体をボクセル化し、前記目標物体のボクセルを得るために用いられる。
任意には、いくつかの実施例において、前記第１のボクセルは色情報および色情報の重みを備え、前記生成モジュール４２０は具体的に、前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの色情報の重みに基づき、前記第１のボクセルの色情報と前記第１のボクセルの記憶空間内のボクセルの色情報とについて加重和を求めるために用いられる。
任意には、いくつかの実施例において、前記第１のボクセルは深度情報の重みをさらに含み、前記生成モジュール４２０は具体的に、前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの深度情報の重みに基づき、前記第１のボクセルの深度情報と前記第１のボクセルの記憶空間内のボクセルの深度情報とについて加重和を求めるために用いられる。
任意には、いくつかの実施例において、前記第１のボクセルの深度情報の取得値は、第１のボクセルと前記目標物体表面との間の距離を示すための切断符号付き距離関数値である。
図５は、本発明のもう１つの実施例が提供する、３次元点群の再構成のための装置の概略的構造図である。図５の装置５００は：
命令を記憶するためのメモリ５１０と；
メモリ５１０に記憶された命令を実行することで以下の動作を実行するためのプロセッサプロセッサ５２０と、
を備える：
現在の画角の画像データを取得する；
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成し、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含み；
前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄し；
前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合する。
本発明の実施例は、３次元点群中の点としてボクセルを用い、高精度の稠密な３次元点群を再構成することができる。さらに、本発明の実施例は、目標物体のボクセルに深度情報を記憶するとともに、ボクセルの深度情報に基づいて目標物体のボクセルを選別し、深度情報が要求に適合しないボクセルを廃棄し、統合および記憶を行わなければならない点群データの数を減らしており、稠密な３次元点群の再構成プロセスのリアルタイム性を高めている。
任意には、いくつかの実施例において、前記第１のボクセルと、記憶されたボクセルとを統合することは：記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することと；前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することと；前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶することと、を含むことができる。
任意には、いくつかの実施例において、前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することは：前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索し、前記マッピング関係情報は、前記記憶されたボクセルと、前記記憶されたボクセルの記憶空間との対応関係を示すために用いられることと；前記第１のボクセルの記憶空間を検索した場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含むと判定することと；前記第１のボクセルの記憶空間を検索しなかった場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含まないと判定することと、を含むことができる。
任意には、いくつかの実施例において、前記マッピング関係情報はハッシュテーブルに記憶され、前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することは：前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することを含むことができる。
任意には、いくつかの実施例において、前記ハッシュテーブルに、記憶されたボクセルブロックの位置情報と、前記記憶されたボクセルブロックの記憶空間との対応関係が記録されており、１つのボクセルブロックが、空間が隣接する複数のボクセルを含み、前記記憶されたボクセルブロックの位置情報は、前記記憶されたボクセルブロックの、前記３次元情景における空間位置を示すために用いられ、前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することは：前記第１のボクセルが所属する目標ボクセルブロックの位置情報を判定することと；前記目標ボクセルブロックの位置情報および前記ハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標ボクセルブロックの記憶空間を検索することと；前記第１のボクセルの、前記目標ボクセルブロックにおける位置に基づき、前記目標ボクセルブロックの記憶空間から前記第１のボクセルの記憶空間を検索することと、を含むことができる。
任意には、いくつかの実施例において、前記目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリの中に位置し、前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定する動作および前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新する動作はいずれもＧＰＵにより実行可能であり、かつ、前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することが含むことができる動作は：前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することを含むことができ；前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することは：前記ＣＰＵを介して、前記第１のボクセルの記憶空間におけるボクセルの情報を前記目標記憶空間から読み取ることと；前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し、更新されたボクセルの情報を得ることと；前記ＣＰＵを介して、更新されたボクセルの情報を前記第１のボクセルの記憶空間に記憶することと、を含むことができる。
任意には、いくつかの実施例において、前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成することは：前記画像データに基づき、前記目標物体が移動物体であるか否か判定することと；前記目標物体が移動物体である場合に、前記目標物体のボクセルを生成し、前記目標物体中の各々のボクセルの深度情報の取得値が前記所定の範囲内にないようにすることと、を含むことができる。
任意には、いくつかの実施例において、前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成することは：前記画像データに基づき、前記現在の画角の深度図を生成することと；前記深度図に基づき、前記目標物体をボクセル化し、前記目標物体のボクセルを得ることと、を含むことができる。
任意には、いくつかの実施例において、前記第１のボクセルは色情報および色情報の重みを備え、前記第１のボクセルと、記憶されたボクセルとを統合することは：前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの色情報の重みに基づき、前記第１のボクセルの色情報と前記第１のボクセルの記憶空間内のボクセルの色情報とについて加重和を求めることを含むことができる。
任意には、いくつかの実施例において、前記第１のボクセルは深度情報の重みをさらに備え、前記第１のボクセルと、記憶されたボクセルとを統合することは：前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの深度情報の重みに基づき、前記第１のボクセルの深度情報と前記第１のボクセルの記憶空間内のボクセルの深度情報とについて加重和を求めることを含むことができる。
任意には、いくつかの実施例において、前記第１のボクセルの深度情報の取得値は、第１のボクセルと前記目標物体表面との間の距離を示すための切断符号付き距離関数値である。
上記実施例においては、全面的または部分的に、ソフトウェア、ハードウェア、ファームウェアもしくはその他任意の組みあわせによって実現することができる。ソフトウェアを使って実現する場合には、全面的または部分的に、コンピュータプログラム製品の形で実現することができる。前記コンピュータプログラム製品は１つまたは複数のコンピュータ命令を含む。コンピュータ上で前記コンピュータプログラム命令をロードおよび実行するとき、本発明の実施例の記載に基づく工程または機能が全面的または部分的に発生する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、もしくは他のプログラマブル装置であってよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶するか、もしくは１つのコンピュータ可読記憶媒体からもう１つのコンピュータ可読記憶媒体へ伝送することができ、例えば、前記コンピュータ命令は、１つのウェブサイト、コンピュータ、サーバまたはデータセンタから、有線（例えば同軸ケーブル、光ファイバ、デジタル加入者線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ））または無線（例えば赤外線、無線、マイクロ波等）の方式によって、もう１つのウェブサイト、コンピュータ、サーバまたはデータセンタへ伝送することができる。前記コンピュータ可読記憶媒体は、コンピュータがアクセスすることができる何らかの可用媒体であるか、もしくは、１つまたは複数の可用媒体が一体化されたサーバ、データセンタ等を含むデータ記憶装置であってよい。前記可用媒体は、磁性媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光媒体（例えばデジタルビデオディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ、ＤＶＤ））、もしくは半導体媒体（例えばソリッドステートディスク（ｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ、ＳＳＤ））等であってよい。
当業者は、本文中で開示された実施例に記述された各例のユニットおよびアルゴリズムステップを結び付ければ、電子ハードウェア、もしくはコンピュータソフトウェアと電子ハードウェアの結合により実現できることを想到することができる。これらの機能が結局のところハードウェアとソフトウェアのどちらの方式で実行されるかは、技術案の特定の応用と設計制約条件に応じて決まる。当業者は、各々の特定の応用に異なる方法を用いることにより、記述された機能を実現することができるが、このような実現は、本出願の範囲から逸脱すると見なされてはならない。
本出願が提供するいくつかの実施例において、開示されたシステム、装置、および方法は、他の方式によって実現してもよいことを理解しなければならない。例えば、上述の装置の実施例は概略的なものであるにすぎず、例えば、前記ユニットの区分は論理的な機能の区分であるにすぎず、実際に実現する際には別の区分方式があってもよく、例えば、複数のユニットまたはアセンブリが結合可能であるか、もしくは、もう１つのシステムに一体化されてもよく、または、いくつかの特徴は無視してもよく、実行しなくてもよい。もう一点については、表示されるかまたは検討された相互間の結合または直接的な結合または通信接続は、いくつかのインタフェース、装置またはユニットを介した間接的な結合または通信接続であってよく、電気的、機械的またはその他の形式であってよい。
上記のセパレート部材として説明したユニットは、物理的に分離されたものであってもなくてもよく、ユニットとして表示された部材は、物理ユニットであってもなくてもよく、すなわち、１つの場所に位置してもよく、複数のネットワークユニット上に分布していてもよい。実際のニーズに応じて、その中の一部またはすべてのユニットを選択して本実施例の案の目的を実現することができる。
なお、本出願の個々の実施例における各機能ユニットは、１つの処理ユニットに一体化することができ、個々のユニットが個別に物理的に存在していてもよく、２つまたは２つ以上のユニットが１つのユニットに一体化されてもよい。
上記は、本出願の具体的な実施形態であるにすぎないが、本出願の保護範囲はこれに限定されず、いかなる当業者も、本出願が開示する技術の範囲内で変更や置換が、いずれも本出願の保護範囲に含まれていなければならないことを容易に想到することができる。従って、本出願の保護範囲は、前記特許請求の保護範囲に準じなければならない。
２１０ ステップ
２２０ ステップ
２３０ ステップ
２４０ ステップ
２４２ ステップ
２４４ ステップ
２４６ ステップ
４００ 装置
４１０ 取得モジュール
４２０ 生成モジュール
４３０ 廃棄モジュール
４４０ 統合モジュール
５００ 装置
５１０ メモリ
５２０ プロセッサ

Claims (28)

  1. 現在の画角の画像データを取得することと；
    前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成し、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含むことと；
    前記第１のボクセルの深度情報の取得値が前記目標物体の表面を基準として所定の範囲内にない場合、前記第１のボクセルを廃棄することと；
    前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合することと、
    を含む、３次元点群の再構成のための方法。
  2. 前記第１のボクセルと、記憶されたボクセルとを統合することは：
    記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することと；
    前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することと；
    前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶することと、
    を含む請求項１に記載の方法。
  3. 前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することは：
    前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索し、前記マッピング関係情報は、前記記憶されたボクセルと、前記記憶されたボクセルの記憶空間との対応関係を示すために用いられることと；
    前記第１のボクセルの記憶空間を検索した場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含むと判定することと；
    前記第１のボクセルの記憶空間を検索しなかった場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含まないと判定することと、
    を含む請求項２に記載の方法。
  4. 前記マッピング関係情報はハッシュテーブルに記憶され、
    前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することは：
    前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することを含む請求項３に記載の方法。
  5. 前記ハッシュテーブルに、記憶されたボクセルブロックの位置情報と、前記記憶されたボクセルブロックの記憶空間との対応関係が記録されており、１つのボクセルブロックが、空間が隣接する複数のボクセルを含み、前記記憶されたボクセルブロックの位置情報は、前記記憶されたボクセルブロックの、３次元情景における空間位置を示すために用いられ、
    前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することは：
    前記第１のボクセルが所属する目標ボクセルブロックの位置情報を判定することと；
    前記目標ボクセルブロックの位置情報および前記ハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標ボクセルブロックの記憶空間を検索することと；
    前記第１のボクセルの、前記目標ボクセルブロックにおける位置に基づき、前記目標ボクセルブロックの記憶空間から前記第１のボクセルの記憶空間を検索することと
    を含む請求項４に記載の方法。
  6. 現在の画角の画像データを取得することと；
    前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成し、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含むことと；
    前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄することと；
    前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合することと、
    を含み、
    前記第１のボクセルと、記憶されたボクセルとを統合することは：
    記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することと；
    前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することと；
    前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶することと、
    を含み、
    前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することは：
    前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索し、前記マッピング関係情報は、前記記憶されたボクセルと、前記記憶されたボクセルの記憶空間との対応関係を示すために用いられることと；
    前記第１のボクセルの記憶空間を検索した場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含むと判定することと；
    前記第１のボクセルの記憶空間を検索しなかった場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含まないと判定することと、
    を含み、
    前記マッピング関係情報はハッシュテーブルに記憶され、
    前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することは：
    前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することを含み、
    前記ハッシュテーブルに、記憶されたボクセルブロックの位置情報と、前記記憶されたボクセルブロックの記憶空間との対応関係が記録されており、１つのボクセルブロックが、空間が隣接する複数のボクセルを含み、前記記憶されたボクセルブロックの位置情報は、前記記憶されたボクセルブロックの、３次元情景における空間位置を示すために用いられ、
    前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することは：
    前記第１のボクセルが所属する目標ボクセルブロックの位置情報を判定することと；
    前記目標ボクセルブロックの位置情報および前記ハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標ボクセルブロックの記憶空間を検索することと；
    前記第１のボクセルの、前記目標ボクセルブロックにおける位置に基づき、前記目標ボクセルブロックの記憶空間から前記第１のボクセルの記憶空間を検索することと
    を含む、３次元点群の再構成のための方法。
  7. 前記目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリの中に位置し、
    前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することは：
    ＧＰＵが、前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することを含み；
    前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することは：
    前記ＧＰＵが前記ＣＰＵを介して、前記第１のボクセルの記憶空間におけるボクセルの情報を前記目標記憶空間から読み取ることと；
    前記ＧＰＵが前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し、更新されたボクセルの情報を得ることと；
    前記ＧＰＵが前記ＣＰＵを介して、更新されたボクセルの情報を前記第１のボクセルの記憶空間に記憶することと、
    を含む請求項２〜６のいずれか一項に記載の方法。
  8. 現在の画角の画像データを取得することと；
    前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成し、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含むことと；
    前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄することと；
    前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合することと、
    を含み、
    前記第１のボクセルと、記憶されたボクセルとを統合することは：
    記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することと；
    前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することと；
    前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶することと、
    を含み、
    前記目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリの中に位置し、
    前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することは：
    ＧＰＵが、前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することを含み；
    前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することは：
    前記ＧＰＵが前記ＣＰＵを介して、前記第１のボクセルの記憶空間におけるボクセルの情報を前記目標記憶空間から読み取ることと；
    前記ＧＰＵが前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し、更新されたボクセルの情報を得ることと；
    前記ＧＰＵが前記ＣＰＵを介して、更新されたボクセルの情報を前記第１のボクセルの記憶空間に記憶することと、
    を含む、３次元点群の再構成のための方法。
  9. 前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成することは：
    前記画像データに基づき、前記目標物体が移動物体であるか否か判定することと；
    前記目標物体が移動物体である場合に、前記目標物体のボクセルを生成し、前記目標物体中の各々のボクセルの深度情報の取得値が前記所定の範囲内にないようにすることと、
    を含む請求項１〜６のいずれか一項に記載の方法。
  10. 現在の画角の画像データを取得することと；
    前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成し、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含むことと；
    前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄することと；
    前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合することと、
    を含み、
    前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成することは：
    前記画像データに基づき、前記目標物体が移動物体であるか否か判定することと；
    前記目標物体が移動物体である場合に、前記目標物体のボクセルを生成し、前記目標物体中の各々のボクセルの深度情報の取得値が前記所定の範囲内にないようにすることと、
    を含む、３次元点群の再構成のための方法。
  11. 前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成することは：
    前記画像データに基づき、前記現在の画角の深度図を生成することと；
    前記深度図に基づき、前記目標物体をボクセル化し、前記目標物体のボクセルを得ることと、
    を含む請求項１〜１０のいずれか一項に記載の方法。
  12. 前記第１のボクセルは色情報と前記色情報の重みとを含み、
    前記第１のボクセルと、記憶されたボクセルとを統合することは：
    目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの色情報の重みに基づき、前記第１のボクセルの色情報と前記第１のボクセルの記憶空間内のボクセルの色情報とについて加重和を求めることを含む請求項１〜１１のいずれか一項に記載の方法。
  13. 前記第１のボクセルは前記深度情報の重みを備え、
    前記第１のボクセルと、記憶されたボクセルとを統合することは：
    目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの深度情報の重みに基づき、前記第１のボクセルの深度情報と前記第１のボクセルの記憶空間内のボクセルの深度情報とについて加重和を求めることを含む請求項１〜１２のいずれか一項に記載の方法。
  14. 前記第１のボクセルの深度情報の取得値は、第１のボクセルと目標物体表面との間の距離を示すための切断符号付き距離関数値である請求項１〜１３のいずれか一項に記載の方法。
  15. 現在の画角の画像データを取得するための取得モジュールと；
    前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成するための生成モジュールであって、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含む生成モジュールと；
    前記第１のボクセルの深度情報の取得値が前記目標物体の表面を基準として所定の範囲内にない場合、前記第１のボクセルを廃棄するための廃棄モジュールと；
    前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合するための統合モジュールと、
    を備える、３次元点群の再構成のための装置。
  16. 前記統合モジュールは具体的に、記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定し；前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し；前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶するために用いられる請求項１５に記載の装置。
  17. 前記統合モジュールは具体的に、前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索し、前記マッピング関係情報は、前記記憶されたボクセルと、前記記憶されたボクセルの記憶空間との対応関係を示すために用いられ；前記第１のボクセルの記憶空間を検索した場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含むと判定し；前記第１のボクセルの記憶空間を検索しなかった場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含まないと判定するために用いられる請求項１６に記載の装置。
  18. 前記マッピング関係情報はハッシュテーブルに記憶され、前記統合モジュールは具体的に、前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索するために用いられる請求項１７に記載の装置。
  19. 前記ハッシュテーブルに、記憶されたボクセルブロックの位置情報と、前記記憶されたボクセルブロックの記憶空間との対応関係が記録されており、１つのボクセルブロックが、空間が隣接する複数のボクセルを含み、前記記憶されたボクセルブロックの位置情報は、前記記憶されたボクセルブロックの、３次元情景における空間位置を示すために用いられ、前記統合モジュールは具体的に、前記第１のボクセルが所属する目標ボクセルブロックの位置情報を判定し；前記目標ボクセルブロックの位置情報および前記ハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標ボクセルブロックの記憶空間を検索し；前記第１のボクセルの、前記目標ボクセルブロックにおける位置に基づき、前記目標ボクセルブロックの記憶空間から前記第１のボクセルの記憶空間を検索するために用いられる請求項１８に記載の装置。
  20. 現在の画角の画像データを取得するための取得モジュールと；
    前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成するための生成モジュールであって、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含む生成モジュールと；
    前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄するための廃棄モジュールと；
    前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合するための統合モジュールと、
    を備え、
    前記統合モジュールは具体的に、記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定し；前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し；前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶するために用いられ、
    前記統合モジュールは具体的に、前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索し、前記マッピング関係情報は、前記記憶されたボクセルと、前記記憶されたボクセルの記憶空間との対応関係を示すために用いられ；前記第１のボクセルの記憶空間を検索した場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含むと判定し；前記第１のボクセルの記憶空間を検索しなかった場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含まないと判定するために用いられ、
    前記マッピング関係情報はハッシュテーブルに記憶され、前記統合モジュールは具体的に、前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索するために用いられ、
    前記ハッシュテーブルに、記憶されたボクセルブロックの位置情報と、前記記憶されたボクセルブロックの記憶空間との対応関係が記録されており、１つのボクセルブロックが、空間が隣接する複数のボクセルを含み、前記記憶されたボクセルブロックの位置情報は、前記記憶されたボクセルブロックの、３次元情景における空間位置を示すために用いられ、前記統合モジュールは具体的に、前記第１のボクセルが所属する目標ボクセルブロックの位置情報を判定し；前記目標ボクセルブロックの位置情報および前記ハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標ボクセルブロックの記憶空間を検索し；前記第１のボクセルの、前記目標ボクセルブロックにおける位置に基づき、前記目標ボクセルブロックの記憶空間から前記第１のボクセルの記憶空間を検索するために用いられる、３次元点群の再構成のための装置。
  21. 前記目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリの中に位置し、前記統合モジュールは具体的に、ＧＰＵを起動して：前記目標記憶空間中に前記第１のボクセルの記憶空間が含まれるか否か判定する動作と；前記ＣＰＵを介して、前記第１のボクセルの記憶空間におけるボクセルの情報を前記目標記憶空間から読み取る動作と；前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し、更新されたボクセルの情報を得る動作と；前記ＣＰＵを介して、更新されたボクセルの情報を前記第１のボクセルの記憶空間に記憶する動作と、を実行するために用いられる請求項１６〜２０のいずれか一項に記載の装置。
  22. 現在の画角の画像データを取得するための取得モジュールと；
    前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成するための生成モジュールであって、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含む生成モジュールと；
    前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄するための廃棄モジュールと；
    前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合するための統合モジュールと、
    を備え、
    前記統合モジュールは具体的に、記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定し；前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し；前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶するために用いられ、
    前記目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリの中に位置し、前記統合モジュールは具体的に、ＧＰＵを起動して：前記目標記憶空間中に前記第１のボクセルの記憶空間が含まれるか否か判定する動作と；前記ＣＰＵを介して、前記第１のボクセルの記憶空間におけるボクセルの情報を前記目標記憶空間から読み取る動作と；前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し、更新されたボクセルの情報を得る動作と；前記ＣＰＵを介して、更新されたボクセルの情報を前記第１のボクセルの記憶空間に記憶する動作と、を実行するために用いられる、３次元点群の再構成のための装置。
  23. 前記生成モジュールは具体的に、前記画像データに基づき、前記目標物体が移動物体であるか否か判定し；前記目標物体が移動物体である場合に、前記目標物体のボクセルを生成し、前記目標物体中の各々のボクセルの深度情報の取得値が前記所定の範囲内にないようにするために用いられる請求項１５〜２２のいずれか一項に記載の装置。
  24. 現在の画角の画像データを取得するための取得モジュールと；
    前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成するための生成モジュールであって、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含む生成モジュールと；
    前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄するための廃棄モジュールと；
    前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合するための統合モジュールと、
    を備え、
    前記生成モジュールは具体的に、前記画像データに基づき、前記目標物体が移動物体であるか否か判定し；前記目標物体が移動物体である場合に、前記目標物体のボクセルを生成し、前記目標物体中の各々のボクセルの深度情報の取得値が前記所定の範囲内にないようにするために用いられる、３次元点群の再構成のための装置。
  25. 前記生成モジュールは具体的に、前記画像データに基づき、前記現在の画角の深度図を生成し；前記深度図に基づき、前記目標物体をボクセル化し、前記目標物体のボクセルを得るために用いられる請求項１５〜２４のいずれか一項に記載の装置。
  26. 前記第１のボクセルは色情報および前記色情報の重みを含み、前記生成モジュールは具体的に、目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの色情報の重みに基づき、前記第１のボクセルの色情報と前記第１のボクセルの記憶空間内のボクセルの色情報とについて加重和を求めるために用いられる請求項１５〜２５のいずれか一項に記載の装置。
  27. 前記第１のボクセルは前記深度情報の重みをさらに備え、前記生成モジュールは具体的に、目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの深度情報の重みに基づき、前記第１のボクセルの深度情報と前記第１のボクセルの記憶空間内のボクセルの深度情報とについて加重和を求めるために用いられる請求項１５〜２６のいずれか一項に記載の装置。
  28. 前記第１のボクセルの深度情報の取得値は、第１のボクセルと目標物体表面との間の距離を示すための切断符号付き距離関数値である請求項１５〜２７のいずれか一項に記載の装置。
JP2019542474A 2017-02-17 2017-02-17 ３次元点群の再構成のための方法および装置 Active JP6919864B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/073874 WO2018148924A1 (zh) 2017-02-17 2017-02-17 用于三维点云重建的方法和装置

Publications (2)

Publication Number Publication Date
JP2020507853A JP2020507853A (ja) 2020-03-12
JP6919864B2 true JP6919864B2 (ja) 2021-08-18

Family

ID=63170110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019542474A Active JP6919864B2 (ja) 2017-02-17 2017-02-17 ３次元点群の再構成のための方法および装置

Country Status (5)

Country Link
US (1) US20190370989A1 (ja)
EP (1) EP3570253B1 (ja)
JP (1) JP6919864B2 (ja)
CN (1) CN108701374B (ja)
WO (1) WO2018148924A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765498B (zh) * 2018-05-30 2019-08-23 百度在线网络技术（北京）有限公司 单目视觉跟踪方法、装置及存储介质
CN109461207A (zh) * 2018-11-05 2019-03-12 胡翰 一种点云数据建筑物单体化方法及装置
CN110064200B (zh) * 2019-04-25 2022-02-22 腾讯科技（深圳）有限公司 基于虚拟环境的物体构建方法、装置及可读存储介质
CN112017228A (zh) * 2019-05-31 2020-12-01 华为技术有限公司 一种对物体三维重建的方法及相关设备
CN111179394A (zh) * 2019-11-25 2020-05-19 苏州智加科技有限公司 点云场景渲染方法、装置和设备
CN113496138A (zh) * 2020-03-18 2021-10-12 广州极飞科技股份有限公司 稠密点云数据的生成方法、装置、计算机设备及存储介质
CN112703368B (zh) * 2020-04-16 2022-08-09 华为技术有限公司 车辆定位的方法和装置、定位图层生成的方法和装置
CN112465977B (zh) * 2020-12-14 2022-05-10 埃洛克航空科技（北京）有限公司 基于稠密点云修补三维模型水面漏洞的方法
CN113240720B (zh) * 2021-05-25 2022-05-17 中德（珠海）人工智能研究院有限公司 一种三维表面重建方法、装置、服务器以及可读存储介质
CN113362467B (zh) * 2021-06-08 2023-04-07 武汉理工大学 基于点云预处理和ShuffleNet的移动端三维位姿估计方法
US11830140B2 (en) * 2021-09-29 2023-11-28 Verizon Patent And Licensing Inc. Methods and systems for 3D modeling of an object by merging voxelized representations of the object
CN114677315B (zh) 2022-04-11 2022-11-29 探维科技(北京)有限公司 基于图像与激光点云的图像融合方法、装置、设备和介质
CN114863062B (zh) * 2022-06-07 2023-09-15 南京航空航天大学深圳研究院 基于点、体素特征表示的工业场景3d点云模型构建方法
CN115239548A (zh) * 2022-07-11 2022-10-25 小米汽车科技有限公司 目标检测方法、装置、电子设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04126130A (ja) * 1990-09-18 1992-04-27 Toshiba Corp 血流画像処理方式
US7020318B2 (en) * 2001-05-22 2006-03-28 Advanced Mri Technologies, Llc Translucent intensity projection imaging
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
CN103942832B (zh) * 2014-04-11 2016-07-06 浙江大学 一种基于在线结构分析的室内场景实时重建方法
JP6322126B2 (ja) * 2014-12-02 2018-05-09 株式会社日立製作所 変化検出装置、変化検出方法、および、変化検出プログラム
CN105865462B (zh) * 2015-01-19 2019-08-06 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法
CN106228513A (zh) * 2016-07-18 2016-12-14 黄河科技学院 一种计算机图像处理系统

Also Published As

Publication number Publication date
US20190370989A1 (en) 2019-12-05
CN108701374B (zh) 2020-03-06
WO2018148924A1 (zh) 2018-08-23
EP3570253A4 (en) 2020-02-26
JP2020507853A (ja) 2020-03-12
CN108701374A (zh) 2018-10-23
EP3570253B1 (en) 2021-03-17
EP3570253A1 (en) 2019-11-20

Similar Documents

Publication Publication Date Title
JP6919864B2 (ja) ３次元点群の再構成のための方法および装置
Ventura et al. Global localization from monocular slam on a mobile phone
Huitl et al. TUMindoor: An extensive image and point cloud dataset for visual indoor localization and mapping
CN107430686B (zh) 用于移动设备定位的区域描述文件的众包创建和更新
US20190318547A1 (en) System and method for dense, large scale scene reconstruction
US9483703B2 (en) Online coupled camera pose estimation and dense reconstruction from video
CN105009120B (zh) 基于客户端-服务器的动态搜索
CN109461208B (zh) 三维地图处理方法、装置、介质和计算设备
KR20210097145A (ko) 느슨하게 결합된 재국소화 서비스 및 자산 관리 서비스를 통해 인공 환경들 내에서 디지털 자산들을 제공하기 위한 시스템들 및 방법들
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
JP6425847B1 (ja) 画像処理装置、画像処理方法およびプログラム
Hitomi et al. 3D scanning using RGBD imaging devices: A survey
US20190147303A1 (en) Automatic Detection of Noteworthy Locations
KR102118357B1 (ko) 모바일 맵핑 또는 자율 주행용 플랫폼과 관측 데이터의 구조화를 위한 시스템
CN112991534B (zh) 一种基于多粒度物体模型的室内语义地图构建方法及系统
CN110278714B (zh) 障碍物检测方法、移动平台及计算机可读存储介质
CN114185073A (zh) 一种位姿显示方法、装置及系统
CN113763438B (zh) 一种点云配准方法、装置、设备及存储介质
CN112381873A (zh) 一种数据标注方法及装置
CN116843867A (zh) 增强现实虚实融合方法、电子设备和存储介质
WO2022041119A1 (zh) 三维点云处理方法及装置
CN116824068B (zh) 面向复杂动态场景中点云流的实时重建方法、装置及设备
Song et al. Real‐Time Terrain Storage Generation from Multiple Sensors towards Mobile Robot Operation Interface
CN117953050A (zh) 一种视觉定位方法及相关装置
SHI et al. Local Scenario Perception and Web AR Navigation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210713

R150 Certificate of patent or registration of utility model

Ref document number: 6919864

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150