JP7316456B2 - 点群マップ構築方法及びその装置、電子機器、記憶媒体並びにプログラム - Google Patents

点群マップ構築方法及びその装置、電子機器、記憶媒体並びにプログラム Download PDF

Info

Publication number
JP7316456B2
JP7316456B2 JP2022531403A JP2022531403A JP7316456B2 JP 7316456 B2 JP7316456 B2 JP 7316456B2 JP 2022531403 A JP2022531403 A JP 2022531403A JP 2022531403 A JP2022531403 A JP 2022531403A JP 7316456 B2 JP7316456 B2 JP 7316456B2
Authority
JP
Japan
Prior art keywords
scale
point cloud
cloud map
calibration
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022531403A
Other languages
English (en)
Other versions
JP2023510474A (ja
Inventor
ビン ラン
カイ ジャン
ズービン ワン
Original Assignee
シェンチェン テトラス.エーアイ テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シェンチェン テトラス.エーアイ テクノロジー カンパニー リミテッド filed Critical シェンチェン テトラス.エーアイ テクノロジー カンパニー リミテッド
Publication of JP2023510474A publication Critical patent/JP2023510474A/ja
Application granted granted Critical
Publication of JP7316456B2 publication Critical patent/JP7316456B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Analysis (AREA)

Description

[関連出願への相互参照]
本願は、2020年12月25日に中国特許局に提出された、出願番号が202011565328.Xであり、発明の名称が「点群マップ構築方法及びその装置、電子機器並びに記憶媒体」である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照として本願に援用される。
本願は、コンピュータ技術分野に関し、点群マップ構築方法及びその装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムに関するが、これらに限定されない。
SFM(Structure From Motion)空間再構築技術により、空間を再構築でき、従来のマップよりも精度の高い点群マップを構築することができる。画像分析により、点群マップにおけるユーザの位置を測位することができ、更に、現実世界空間におけるユーザの位置を決定することができ、それによって、視覚測位を実現することができる。関連技術では、点群マップと既知の2次元マップを手動で繋ぎ合わせ及び位置合わせすることにより、点群マップの物理スケールを調整する必要があり、例えば、既知の2次元マップは、コンピュータ支援設計(CAD:Computer Aided Design)画像であってもよい。手作業の熟練度の影響により、繋ぎ合わせ及び位置合わせプロセスで誤差が生じ、その結果、構築された点群マップの精度が低下する。
本願は、点群マップ構築方法及びその装置、電子機器、記憶媒体並びにプログラムの技術的解決策を提案する。
本願実施例は、点群マップ構築方法を提供し、前記点群マップ構築方法は、目標領域に対して画像収集を実行することにより取得された少なくとも1つの目標画像を取得することであって、前記目標領域は、物理スケールが既知である少なくとも1つのスケール較正物を含む、ことと、前記少なくとも1つの目標画像に基づいて、前記目標領域に対応する第1点群マップを構築することと、前記少なくとも1つのスケール較正物の物理スケールに基づいて、前記第1点群マップを調整して、目標物理スケールを有する第2点群マップを取得することと、を含む。
本願のいくつかの実施例では、前記少なくとも1つのスケール較正物の物理スケールに基づいて、前記第1点群マップを調整して、目標物理スケールを有する第2点群マップを取得することは、前記第1点群マップにおける前記少なくとも1つのスケール較正物の特徴スケールを決定することと、前記少なくとも1つのスケール較正物の物理スケール、及び前記少なくとも1つのスケール較正物の特徴スケールに基づいて、前記第1点群マップを拡大縮小調整して、前記第2点群マップを取得することと、を含む。
本願のいくつかの実施例では、前記少なくとも1つのスケール較正物の物理スケール、及び前記少なくとも1つのスケール較正物の特徴スケールに基づいて、前記第1点群マップを拡大縮小調整して、前記第2点群マップを取得することは、前記少なくとも1つのスケール較正物の物理スケール、及び前記少なくとも1つのスケール較正物の特徴スケールに基づいて、第1拡大縮小比率を決定することと、前記第1拡大縮小比率に基づいて、前記第1点群マップを拡大縮小調整して、前記第2点群マップを取得することと、を含む。
本願のいくつかの実施例では、前記少なくとも1つのスケール較正物の物理スケール、及び前記少なくとも1つのスケール較正物の特徴スケールに基づいて、第1拡大縮小比率を決定することは、複数の前記スケール較正物がある場合、何れの前記スケール較正物について、前記スケール較正物の物理スケール及び前記スケール較正物の特徴スケールに基づいて、前記スケール較正物に対応する第2拡大縮小比率を決定することと、複数の前記スケール較正物に対応する第2拡大縮小比率を平均して、前記第1拡大縮小比率を決定することと、を含む。
本願のいくつかの実施例では、前記少なくとも1つの目標画像に基づいて、前記目標領域に対応する第1点群マップを構築することは、前記少なくとも1つの目標画像に対して特徴抽出を実行して、前記目標領域に対応する特徴情報を取得することと、前記目標領域に対応する特徴情報に基づいて、前記第1点群マップを構築することと、を含む。
本願のいくつかの実施例では、前記第1点群マップは、前記少なくとも1つのスケール較正物に対応する点群特徴を含み、前記第1点群マップにおける前記少なくとも1つのスケール較正物の特徴スケールを決定することは、前記第1点群マップにおける前記少なくとも1つのスケール較正物に対応する点群特徴に基づいて、前記第1点群マップにおける前記少なくとも1つのスケール較正物の特徴スケールを決定することを含む。
本願のいくつかの実施例では、前記スケール較正物は、物理スケールが既知である2次元コード、及び物理スケールが既知である較正板のうちの少なくとも1つを含む。
本願のいくつかの実施例では、前記点群マップ構築方法は、前記第2点群マップに基づいて、前記目標領域に対して視覚測位を実行して、視覚測位結果を取得することと、前記視覚測位結果に基づいて、拡張現実(AR:Augmented Reality)ナビゲート及びARガイドのうちの少なくとも1つを実行することと、を更に含む。
本願実施例は、点群マップ構築装置を更に提供し、前記点群マップ構築装置は、目標領域に対して画像収集を実行することにより取得された少なくとも1つの目標画像を取得するように構成される画像取得モジュールであって、前記目標領域は、物理スケールが既知である少なくとも1つのスケール較正物を含む、画像取得モジュールと、前記少なくとも1つの目標画像に基づいて、前記目標領域に対応する第1点群マップを構築するように構成される点群マップ構築モジュールと、前記少なくとも1つのスケール較正物の物理スケールに基づいて、前記第1点群マップを調整して、目標物理スケールを有する第2点群マップを取得するように構成されるスケール調整モジュールと、を備える。
本願のいくつかの実施例では、前記スケール調整モジュールは、前記第1点群マップにおける前記少なくとも1つのスケール較正物の特徴スケールを決定するように構成される決定サブモジュールと、前記少なくとも1つのスケール較正物の物理スケール、及び前記少なくとも1つのスケール較正物の特徴スケールに基づいて、前記第1点群マップを拡大縮小調整して、前記第2点群マップを取得するように構成されるスケール拡大縮小サブモジュールと、を備える。
本願のいくつかの実施例では、前記スケール拡大縮小サブモジュールは、前記少なくとも1つのスケール較正物の物理スケール、及び前記少なくとも1つのスケール較正物の特徴スケールに基づいて、第1拡大縮小比率を決定するように構成される決定ユニットと、前記第1拡大縮小比率に基づいて、前記第1点群マップを拡大縮小調整して、前記第2点群マップを取得するように構成されるスケール拡大縮小ユニットと、を備える。
本願のいくつかの実施例では、前記決定ユニットは、具体的に、複数の前記スケール較正物がある場合、何れの前記スケール較正物について、前記スケール較正物の物理スケール及び前記スケール較正物の特徴スケールに基づいて、前記スケール較正物に対応する第2拡大縮小比率を決定し、複数の前記スケール較正物に対応する第2拡大縮小比率を平均して、前記第1拡大縮小比率を決定するように構成される。
本願のいくつかの実施例では、前記点群マップ構築モジュールは、前記少なくとも1つの目標画像に対して特徴抽出を実行して、前記目標領域に対応する特徴情報を取得するように構成される特徴抽出サブモジュールと、前記目標領域に対応する特徴情報に基づいて、前記第1点群マップを構築するように構成される点群マップ構築サブモジュールと、を備える。
本願のいくつかの実施例では、前記第1点群マップは、前記少なくとも1つのスケール較正物に対応する点群特徴を含み、前記決定サブモジュールは、具体的に、前記第1点群マップにおける前記少なくとも1つのスケール較正物に対応する点群特徴に基づいて、前記第1点群マップにおける前記少なくとも1つのスケール較正物の特徴スケールを決定するように構成される。
本願のいくつかの実施例では、前記スケール較正物は、物理スケールが既知である2次元コード、及び物理スケールが既知である較正板のうちの少なくとも1つを含む。
本願のいくつかの実施例では、前記点群マップ構築装置は更に、前記第2点群マップに基づいて、前記目標領域に対して視覚測位を実行して、視覚測位結果を取得するように構成される視覚測位モジュールと、前記視覚測位結果に基づいて、ARナビゲート及びARガイドのうちの少なくとも1つを実行するように構成されるARモジュールと、を備える。
本願の1つの態様によれば、電子機器を提供し、前記電子機器は、プロセッサと、プロセッサ実行可能な命令が記憶されているメモリと、を備え、ここで、前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、上記の方法を実行するように構成される。
本願の1つの態様によれば、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令がプロセッサに、上記の方法を実行させる。
本願実施例は、コンピュータ可読コードを含むコンピュータプログラムを更に提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、上記の任意の方法を実行させる。
本願実施例では、物理スケールが既知である少なくとも1つのスケール較正物を含む目標領域に対して画像収集を実行することにより、少なくとも1つの目標画像を取得し、少なくとも1つの目標画像に基づいて、目標領域に対応する第1点群マップを構築し、少なくとも1つのスケール較正物の物理スケールに基づいて、第1点群マップを調整して、目標物理スケールを有する第2点群マップを取得する。物理スケールが既知である、目標領域における少なくとも1つのスケール較正物を用いて、構築された第1点群マップに対してスケール較正を実行することで、目標物理スケールを有する第2点群マップを取得することができ、それによって、点群マップのマップ構築精度を効果的に向上させることができる。
以上の一般的な説明及び以下の詳細な説明は、説明のための例示的なものに過ぎず、本願を限定するものではないことを理解されたい。以下、図面を参照した例示的な実施例に対する詳細な説明により、本願の他の特徴及び態様は明らかになる。
本願実施例に係る点群マップ構築方法のフローチャートである。 本願実施例に係るスケール較正物の概略図である。 本願実施例に係るスケール較正物の概略図である。 本願実施例に係る点群マップ構築装置のブロック図である。 本願実施例に係る電子機器のブロック図である。 本願実施例に係る電子機器のブロック図である。
上記の図面は、本明細書に組み込まれてその一部を構成し、上記の図面は、本願に準拠する実施例を示し、本明細書とともに本願の技術的解決策を説明するために使用される。
以下、本願の各例示的な実施例、特徴及び態様を、図面を参照して詳細に説明する。図面における同じ参照番号は、同じ又は類似の機能の要素を表す。実施例の様々な態様を図面に示したが、特に明記しない限り、縮尺通りに図面を描く必要がない。
本明細書における「例示的」という用語は、「例、実施例又は説明として使用される」ことを意味する。ここで、「例示的」として記載される任意の実施例は、他の実施例より好ましい又は優れると解釈されるべきではない。
本明細書における「及び/又は」という用語は、単に関連対象の関連関係を表し、3種類の関係が存在し得ることを示し、例えば、A及び/又はBは、Aが独立で存在する場合、AとBが同時に存在する場合、Bが独立で存在する場合のような3つの場合を表す。更に、本明細書における「少なくとも1つ」という用語は、複数のうちの1つ又は複数のうちの少なくとも2つの任意の組み合わせを示し、例えば、A、B、Cのうちの少なくとも1つを含むことは、A、B及びCで構成された集合から選択された任意の1つ又は複数の要素を含むことを示す。
更に、本願をよりよく説明するために、以下の特定の実施形態では多くの具体的な詳細が与えられる。当業者なら自明であるが、本願は、特定の詳細なしにも実施できる。いくつかの実施例において、本願の要旨を強調するために、当業者に周知の方法、手段、要素及び回路について詳細に説明しない。
従来の2次元レーザロボット同時測位及びマップ構築(SLAM:Simultaneous Localization and Mapping)技術と仮想サーバ(VPS:Virtual Private Server)測位技術の組み合わせにより、未知の環境での測位を実行しながらマップを構築することができ、その後、当該マップに基づいて、経路計画とナビゲーションを実行することができる。最初は、VPS測位技術により、測位及びマップ構築シーンにおける現在の機器の初期姿勢情報を決定する。初期姿勢情報に基づいて、SLAM技術における6自由度(6Dof:6 degree of freedom、機器の上下、左右、前後の動き)追跡能力を用いて、測位及びマップ構築シーン空間における機器の姿勢情報を追跡し、それによって、測位及びマップ構築シーンで測位しながらマップを構築し、経路計画とナビゲーションを実現する。しかしながら、追跡プロセスで累積された誤差(機器の慣性ナビゲートシステム(IMU:Inertial measurement unit)の精度、視覚特徴点の充足度など)により、上記の測位及びマップ構築方法がARシーンに適用される場合、ユーザの感覚的側面から見ると、AR物体は元の位置から外れる。累積された誤差を無くすために、SFM空間再構築技術を用いて空間を再構築し、これによって、より高い精度の点群マップを構築することができる。点群マップをARシーンに適用するために、点群マップを現実シーンに一致させる(例えば、物理スケールに一致させるなど)必要がある。関連技術では、SFM空間再構築技術を用いて目標領域の点群マップを構築した後、点群マップと目標領域のCAD画像を繋ぎ合わせ及び位置合わせすることにより、点群マップを現実シーンに一致させることができる。しかしながら、手作業の熟練度の影響により、点群マップとCAD画像の繋ぎ合わせ及び位置合わせプロセスで誤差が生じ、通常、繋ぎ合わせ及び位置合わせの後にARシーンを表示するときに誤差を見つけることが可能になり、そのため、位置合わせを調整して誤差を減らし、それにより、誤差除去プロセスの流れが長くなり、繋ぎ合わせ及び位置合わせのコストが高くなり、マップの構築精度が低くなる。本願実施例では、点群マップ構築方法を提供し、CAD画像と繋ぎ合わせ及び位置合わせすることなく、現実シーンの物理スケールに一致する点群マップを直接に取得することができ、それによって、点群マップのマップ構築精度を効果的に向上させることができる。
図1は、本願実施例に係る点群マップ構築方法のフローチャートであり、当該方法は、端末機器又はサーバなどの電子機器によって実行されてもよく、端末機器は、ユーザ機器(UE:User Equipment)、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話、携帯情報端末(PDA:Personal Digital Assistant)、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよく、前記方法は、プロセッサがメモリに記憶されたコンピュータ可読命令を呼び出すことにより実現されることができる。或いは、サーバを介して当該方法を実行してもよい。図1に示すように、当該方法は、次のステップを含み得る。
ステップS11において、目標領域に対して画像収集を実行することにより取得された少なくとも1つの目標画像を取得し、ここで、目標領域は、物理スケールが既知である少なくとも1つのスケール較正物を含む。
ステップS12において、少なくとも1つの目標画像に基づいて、目標領域に対応する第1点群マップを構築する。
ステップS13において、少なくとも1つのスケール較正物の物理スケールに基づいて、第1点群マップを調整して、目標物理スケールを有する第2点群マップを取得する。
物理スケールが既知である、目標領域における少なくとも1つのスケール較正物を用いて、構築された第1点群マップに対してスケール較正を実行することで、目標物理スケールを有する第2点群マップを取得することができ、それによって、点群マップのマップ構築精度を効果的に向上させることができる。
本願のいくつかの実施例では、スケール較正物は、物理スケールが既知である2次元コード、及び物理スケールが既知である較正板のうちの少なくとも1つを含む。
スケール較正物とは、アルゴリズムによって認識可能な、物理スケールサイズを拘束するための明確な境界を持つ標識画像である。図2は、本願実施例に係るスケール較正物の概略図である。図2に示すように、スケール較正物は、物理スケールが30cm×30cmである2次元コードである。図3は、本願実施例に係るスケール較正物の概略図である。図3に示すように、スケール較正物は、物理スケールが40cm×40cmである較正板である。
点群マップを構築する必要がある目標領域に、物理スケールが既知である少なくとも1つのスケール較正物を配置することにより、目標領域に対して画像収集を実行した場合、得られた目標画像に当該少なくとも1つのスケール較正物の画像が含まれる。例えば、特定の建物の点群マップを構築する必要がある場合、当該建物シーンに物理スケールが既知であるN個のスケール較正物を配置し、N≧1であり、各スケール較正物を見分けるために、各スケール較正物に番号(n1、n2、…)を付け、各スケール較正物の物理スケールは既知であり、例えば、各スケール較正物の物理スケールは、各スケール較正物の幅wと高さhを含み、各スケール較正物の物理スケールは、それぞれ、(n1、w1、h1)、(n2、w2、h2)、…である。建物シーンで画像収集を実行して、少なくとも1つの目標画像を取得する。建物シーンにN個のスケール較正物が配置されているため、収集された各目標画像には当該N個のスケール較正物の画像が含まれる。本願実施例では、実際の状況に応じて、目標領域内のスケール較正物の数及び物理スケールを決定することができ、本願はこれに対して限定しない。
本願のいくつかの実施例では、目標領域におけるスケールが既知である目標物体をスケール較正物(ショッピングモールの案内表示、広告看板等)として使用してもよく、本願はこれに対して限定しない。
本願のいくつかの実施例では、少なくとも1つの目標画像に基づいて、目標領域に対応する第1点群マップを構築することは、少なくとも1つの目標画像に対して特徴抽出を実行して、目標領域に対応する特徴情報を取得することと、目標領域に対応する特徴情報に基づいて、第1点群マップを構築することとを含む。
目標領域に対して画像収集を実行することにより取得された少なくとも1つの目標画像、及び目標領域における各スケール較正物の物理スケールをマップ構築サーバ(理解すべきこととして、いくつかの実施例では、各スケール較正物の物理スケール情報は、マップ構築サーバに予め保存されてもよい)にアップロードする。マップ構築サーバは、少なくとも1つの目標画像を取得した後、少なくとも1つの目標画像に対して特徴抽出を実行して、目標領域に対応する特徴情報を取得し、当該特徴情報は各スケール較正物の特徴情報を含む。マップ構築サーバは、目標領域に対応する特徴情報に基づいて、目標領域に対応する第1点群マップを構築する。この場合、第1点群マップの物理スケールと目標領域的物理スケールは一致しない可能性があり、第1点群マップと目標領域の物理スケールを一致させるために、第1点群マップに対してスケール調整を実行する必要がある。本願実施例では、マップ構築サーバは、点群マップを構築可能な何れのマップ構築サーバであってもよく、本願はこれに対して限定しない。
本願のいくつかの実施例では、少なくとも1つのスケール較正物の物理スケールに基づいて、第1点群マップを調整して、目標物理スケールを有する第2点群マップを取得することは、第1点群マップにおける少なくとも1つのスケール較正物の特徴スケールを決定することと、少なくとも1つのスケール較正物の物理スケール、及び少なくとも1つのスケール較正物の特徴スケールに基づいて、第1点群マップを拡大縮小調整して、第2点群マップを取得することと、を含む。
本願のいくつかの実施例では、第1点群マップは、少なくとも1つのスケール較正物に対応する点群特徴を含み、第1点群マップにおける少なくとも1つのスケール較正物の特徴スケールを決定することは、第1点群マップにおける少なくとも1つのスケール較正物に対応する点群特徴に基づいて、第1点群マップにおける少なくとも1つのスケール較正物の特徴スケールを決定することを含む。
マップ構築サーバによって構築された第1点群マップは、各スケール較正物に対応する点群特徴を含む。マップ構築サーバは、第1点群マップにおける各スケール較正物に対応する点群特徴に基づいて、各スケール較正物を識別し(例えば、各スケール較正物の番号を識別し)、第1点群マップにおける各スケール較正物の特徴スケールを決定し、各スケール較正物の特徴スケールは、それぞれ、(n1、w1′、h1′)、(n2、w2′、h2′)、…である。マップ構築サーバは、第1点群マップにおける各スケール較正物の特徴スケールを決定した後、第1点群マップにおける各スケール較正物の特徴スケールと各スケール較正物の物理スケールを比較し、これによって、比較結果に基づいて第1点群マップを拡大縮小調整して、目標物理スケールを有する第2点群マップを取得する。この場合、第2点群マップの物理スケールは、目標領域の物理スケールと一致する。
本願のいくつかの実施例では、少なくとも1つのスケール較正物の物理スケール、及び少なくとも1つのスケール較正物の特徴スケールに基づいて、第1点群マップを拡大縮小調整して、第2点群マップを取得することは、少なくとも1つのスケール較正物の物理スケール、及び少なくとも1つのスケール較正物の特徴スケールに基づいて、第1拡大縮小比率を決定することと、第1拡大縮小比率に基づいて、第1点群マップを拡大縮小調整して、第2点群マップを取得することと、を含む。
いくつかの実施例では、1つのスケール較正物しかない場合、当該スケール較正物の物理スケールは(w1、h1)であり、第1点群マップにおける当該スケール較正物の特徴スケールは(n1、w1′、h1′)であり、この場合、以下の式(1)により第1拡大縮小比率xを決定することができる。
本願のいくつかの実施例では、少なくとも1つのスケール較正物の物理スケール、及び少なくとも1つのスケール較正物の特徴スケールに基づいて、第1拡大縮小比率を決定することは、複数のスケール較正物がある場合、何れのスケール較正物について、スケール較正物の物理スケール及びスケール較正物の特徴スケールに基づいて、スケール較正物に対応する第2拡大縮小比率を決定することと、複数のスケール較正物に対応する第2拡大縮小比率を平均して、第1拡大縮小比率を決定することと、を含む。
いくつかの実施例では、3つのスケール較正物がある場合、各スケール較正物の番号及び物理スケールは、(n1、w1、h1)、(n2、w2、h2)、(n3、w3、h3)であり、第1点群マップにおける各スケール較正物の特徴スケールは、(n1、w1′、h1′)、(n2、w2′、h2′)、(n3、w3′、h3′)であり、この場合、以下の式(2)により各スケール較正物に対応する第2拡大縮小比率yを決定することができる。
更に、以下の式(3)により、複数のスケール較正物に対応する第2拡大縮小比率yを平均して、第1拡大縮小比率xを決定することができる。
複数のスケール較正物に対応する第2拡大縮小比率を平均することにより、誤差を減らし、決定された第1拡大縮小比率の精度を向上させることができ、これにより、第1拡大縮小比率に基づいて第1点群マップを拡大縮小した後、スケール精度の高い第2点群マップを取得することができる。本願実施例では、上記の複数のスケール較正物に対応する第2拡大縮小比率を平均するアルゴリズムを用いて誤差を減らす代わりに、他のアルゴリズムを用いて誤差を減らしてもよく、本願はこれに対して限定しない。
少なくとも1つのスケール較正物の物理スケール、及び少なくとも1つのスケール較正物の特徴スケールに基づいて、第1拡大縮小比率を決定した後、第1点群マップを拡大縮小調整し、これにより、第2点群マップが目標物理スケールを持ち、且つ目標領域の物理スケールと一致するようにし、つまり、第2点群マップと現実シーンは互いに一致する。
本願のいくつかの実施例では、当該点群マップ構築方法は、第2点群マップに基づいて、目標領域に対して視覚測位を実行して、視覚測位結果を取得することと、視覚測位結果に基づいて、ARナビゲート及びARガイドのうちの少なくとも1つを実行することと、を更に含む。
目標物理スケールを持つ第2点群マップと目標領域の物理スケールが互いに一致するため、第2点群マップに基づいて、目標領域に対して視覚測位を実行して、視覚測位結果を取得することができ、更に、視覚測位結果に基づいて、目標領域に対してARナビゲート及びARガイドのうちの少なくとも1つを実行することができる。
本願実施例では、物理スケールが既知である少なくとも1つのスケール較正物を含む目標領域に対して画像収集を実行することにより、少なくとも1つの目標画像を取得し、少なくとも1つの目標画像に基づいて、目標領域に対応する第1点群マップを構築し、少なくとも1つのスケール較正物の物理スケールに基づいて、第1点群マップを調整して、目標物理スケールを有する第2点群マップを取得する。物理スケールが既知である、目標領域における少なくとも1つのスケール較正物を用いて、構築された第1点群マップに対してスケール較正を実行することで、目標物理スケールを有する第2点群マップを取得することができ、それによって、点群マップのマップ構築精度を効果的に向上させることができる。
本願で述べた上述の各方法の実施例は、原理及び論理に違反することなく、互いに組み合わせて、組み合わされた実施例を形成することができ、紙数に限りがあるので、本願では繰り返して説明しないことを理解されたい。当業者なら自明であるが、具体的な実施形態における上記の方法において、各ステップの具体的な実行順序は、それらの機能と可能な内部ロジックによって決定されるべきである。
加えて、本願は、本願に係る任意の点群マップ構築方法を実現するために使用されることができる、点群マップ構築装置、電子機器、コンピュータ可読記憶媒体、及びプログラムを更に提供し、対応する技術的解決策及び説明は、方法部分の対応する説明を参照することができ、ここでは繰り返して説明しない。
図4は、本願実施例に係る点群マップ構築装置のブロック図である。図4に示すように、装置40は、画像取得モジュール41、点群マップ構築モジュール42、及びスケール調整モジュール43を備える。
画像取得モジュール41は、目標領域に対して画像収集を実行することにより取得された少なくとも1つの目標画像を取得するように構成され、ここで、目標領域は、物理スケールが既知である少なくとも1つのスケール較正物を含む。
点群マップ構築モジュール42は、少なくとも1つの目標画像に基づいて、目標領域に対応する第1点群マップを構築するように構成される。
スケール調整モジュール43は、少なくとも1つのスケール較正物の物理スケールに基づいて、第1点群マップを調整して、目標物理スケールを有する第2点群マップを取得するように構成される。
1つの可能な実施形態では、スケール調整モジュール43は、決定サブモジュール及びスケール拡縮サブモジュールを備える。
前記決定サブモジュールは、第1点群マップにおける少なくとも1つのスケール較正物の特徴スケールを決定するように構成される。
前記スケール拡縮サブモジュールは、少なくとも1つのスケール較正物の物理スケール、及び少なくとも1つのスケール較正物の特徴スケールに基づいて、第1点群マップを拡大縮小調整して、第2点群マップを取得するように構成される。
1つの可能な実施形態では、スケール拡大縮小サブモジュールは、決定ユニット及びスケール拡縮ユニットを備える。
前記決定ユニットは、少なくとも1つのスケール較正物の物理スケール、及び少なくとも1つのスケール較正物の特徴スケールに基づいて、第1拡大縮小比率を決定するように構成される。
前記スケール拡縮ユニットは、第1拡大縮小比率に基づいて、第1点群マップを拡大縮小調整して、第2点群マップを取得するように構成される。
1つの可能な実施形態では、決定ユニットは、具体的に、
複数のスケール較正物がある場合、何れのスケール較正物について、スケール較正物の物理スケール及びスケール較正物の特徴スケールに基づいて、スケール較正物に対応する第2拡大縮小比率を決定し、
複数のスケール較正物に対応する第2拡大縮小比率を平均して、第1拡大縮小比率を決定するように構成される。
1つの可能な実施形態では、点群マップ構築モジュールは、特徴抽出サブモジュール及び点群マップ構築サブモジュールを備える。
前記特徴抽出サブモジュールは、少なくとも1つの目標画像に対して特徴抽出を実行して、目標領域に対応する特徴情報を取得するように構成される。
前記点群マップ構築サブモジュールは、目標領域に対応する特徴情報に基づいて、第1点群マップを構築するように構成される。
1つの可能な実施形態では、第1点群マップは、少なくとも1つのスケール較正物に対応する点群特徴を含み、
決定サブモジュールは、具体的に、
第1点群マップにおける少なくとも1つのスケール較正物に対応する点群特徴に基づいて、第1点群マップにおける少なくとも1つのスケール較正物の特徴スケールを決定するように構成される。
1つの可能な実施形態では、スケール較正物は、物理スケールが既知である2次元コード、及び物理スケールが既知である較正板のうちの少なくとも1つを含む。
1つの可能な実施形態では、装置40は更に、視覚測位モジュール及びARモジュールを備える。
前記視覚測位モジュールは、第2点群マップに基づいて、目標領域に対して視覚測位を実行して、視覚測位結果を取得するように構成される。
前記ARモジュールは、視覚測位結果に基づいて、拡張現実(AR)ナビゲート及びARガイドのうちの少なくとも1つを実行するように構成される。
いくつかの実施例において、本願実施例で提供される装置の機能又は当該装置に含まれるモジュールは、上記の方法の実施例で説明された方法を実行するように構成されることができ、その具体的な実装については、上記の方法の実施例の説明を参照することができ、簡潔にするために、ここでは繰り返して説明しない。
本願実施例は、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体を更に提供し、前記コンピュータプログラム命令がプロセッサに、上記の方法を実行させる。コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体であってもよい。
本願実施例は、電子機器を更に提供し、前記電子機器は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、ここで、前記プロセッサは、前記メモリに記憶された命令を呼び出して実行することにより、上記の方法を実行するように構成される。
本願実施例は、コンピュータ可読コードを含むコンピュータプログラム製品を更に提供し、コンピュータ可読コードが機器で実行されるときに、当該機器のプロセッサに、上記の任意の実施例による点群マップ構築方法を実行させる。
本願実施例は、別のコンピュータプログラム製品を更に提供し、前記コンピュータプログラム製品には、コンピュータ可読命令が記憶されており、前期命令がコンピュータに、上記の任意の実施例による点群マップ構築方法を実行させる。
電子機器は、端末、サーバ又は他の形の機器として提供できる。
図5は、本願実施例に係る電子機器800の構造ブロック図である。例えば、電子機器800は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器又は携帯情報端末などの端末であってもよい。
図5を参照すると、電子機器800は、第1処理コンポーネント802、第1メモリ804、第1電源コンポーネント806、マルチメディアコンポーネント808、オーディオコンポーネント810、第1入力/出力(I/O:Input Output)インターフェース812、センサコンポーネント814、及び通信コンポーネント816のうちの1つ又は複数のコンポーネントを備えることができる。
第1処理コンポーネント802は、一般的に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する操作のような電子機器800の全般的な操作を制御する。第1処理コンポーネント802は、上記の方法のステップの全部又は一部を実行するための命令を実行する1つ又は複数のプロセッサ820を備えることができる。加えて、第1処理コンポーネント802は、第1処理コンポーネント802と他のコンポーネントの間のインタラクションを容易にするための、1つ又は複数のモジュールを備えることができる。例えば、第1処理コンポーネント802は、マルチメディアコンポーネント808と第1処理コンポーネント802との間のインタラクションを容易にするための、マルチメディアモジュールを備えることができる。
第1メモリ804は、電子機器800での操作をサポートするための様々なタイプのデータを格納するように構成される。これらのデータの例には、電子機器800で動作する任意のアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。第1メモリ804は、任意のタイプの揮発性又は不揮発性記憶装置又はそれらの組み合わせによって実現でき、例えば、スタティックランダムアクセスメモリ(SRAM:Static Random-Access Memory)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM:Electrically Erasable Programmable Read Only Memory)、消去可能なプログラム可能な読み取り専用メモリ(EPROM:Electrical Programmable Read Only Memory)、プログラム可能な読み取り専用メモリ(PROM:Programmable Read-Only Memory)、読み取り専用メモリ(ROM:Read-Only Memory)、磁気メモリ、フラッシュメモリ、磁気ディスク、又は光ディスクなど又はそれらの組み合わせによって実現できる。
第1電源コンポーネント806は、電子機器800の各コンポーネントに電力を提供する。第1電源コンポーネント806は、電源管理システム、1つ又は複数の電源、及び電子機器800の電力の生成、管理及び分配に関する他のコンポーネントを備えることができる。
マルチメディアコンポーネント808は、前記電子機器800とユーザとの間の出力インターフェースとして提供されるスクリーンを備える。いくつかの実施例において、スクリーンは、液晶ディスプレイ(LCD:Liquid Crystal Display)及びタッチパネル(TP:Touch Pad)を備えることができる。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実装されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルでのジェスチャーを検知するための1つ又は複数のタッチセンサを備える。前記タッチセンサは、タッチ又はスワイプの操作の境界を感知するだけでなく、前記タッチ又はスワイプ動作に関連する持続時間及び圧力も検出することができる。いくつかの実施例において、マルチメディアコンポーネント808は、1つのフロントカメラ及び/又はリアカメラを備える。電子機器800が撮影モード又はビデオモードなどの動作モードにあるとき、フロントカメラ及び/又はリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは、固定された光学レンズシステムであってもよく、焦点距離と光学ズーム機能を有するものであってもよい。
オーディオコンポーネント810は、オーディオ信号を出力及び/又は入力するように構成される。例えば、オーディオコンポーネント810は、1つのマイクロフォン(MIC)を備え、電子機器800が通話モード、録音モード及び音声識別モードなどの動作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、第1メモリ804に更に記憶されてもよく、又は通信コンポーネント816を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント810は、更に、オーディオ信号を出力するためのスピーカを備える。
第1入力/出力インターフェース812は、第1処理コンポーネント802と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを備えることができるが、これらに限定されない。
センサコンポーネント814は、電子機器800に各態様の状態評価を提供するための1つ又は複数のセンサを備える。例えば、センサコンポーネント814は、電子機器800のオン/オフ状態と、電子機器800のディスプレイやキーパッドなどのコンポーネントの相対的な位置づけを検出することができ、センサコンポーネント814はまた、電子機器800又は電子機器800のコンポーネントの位置の変化、ユーザとの電子機器800の接触の有無、電子機器800の向き又は加速/減速、及び電子機器800の温度の変化も検出することができる。センサコンポーネント814は、物理的接触なしに近くの物体の存在を検出するように構成された近接センサを備えることができる。センサコンポーネント814は、更に、撮像用途で使用するための光センサ、相補型金属酸化膜半導体(CMOS:Complementary Metal Oxide Semiconductor)又は電荷結合素子(CCD:Charge Coupled Device)画像センサなどの光センサを備えることができる。いくつかの実施例において、当該センサコンポーネント814は、更に、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ又は温度センサを備えることができる。
通信コンポーネント816は、電子機器800と他の機器との間の有線又は無線通信を容易にするように構成される。電子機器800は、無線ネットワーク(WiFi)、第2世代モバイル通信技術(2G)、第3世代モバイル通信技術(3G)、又はそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。1つの例示的な実施例において、前記通信コンポーネント816は、放送チャンネルを介して外部放送管理システムからの放送信号又は放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント816は、更に、短距離通信を促進するために、近距離通信(NFC)モジュールを備える。例えば、NFCモジュールでは、無線周波数識別(RFID:Radio Frequency Identification)技術、赤外線データ協会(IrDA:Infrared Data Association)技術、超広帯域(UWB:Ultra Wide Band)技術、ブルートゥース(BT:Bluetooth)技術及び他の技術に基づいて具現されることができる。
例示的な実施例において、電子機器800は、上記の任意の点群マップ構築方法を実行するように構成される、1つ又は複数の特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、デジタル信号プロセッサ(DSP:Digital Signal Processor)、デジタル信号処理装置(DSPD:Digital Signal Process)、プログラマブルロジックデバイス(PLD:Programmable Logic Device)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子によって具現されることができる。
例示的に、コンピュータプログラム命令を含む第1メモリ804などの、不揮発性コンピュータ可読記憶媒体を更に提供し、上記のコンピュータプログラム命令が、電子機器800のプロセッサ820に、上記の任意の点群マップ構築方法を実行させる。
図6は、本願実施例の別の電子機器の概略的な構造図であり、図6に示すように、電子機器1900は、サーバとして提供されることができる。図6を参照すると、電子機器1900は、1つ又は複数のプロセッサを含む第2処理コンポーネント1922と、第2処理コンポーネント1922によって実行可能な命令(アプリケーションなど)を記憶するように構成されるメモリリソースとして表される第2メモリ1932と、を備える。第2メモリ1932に記憶されたアプリケーションプログラムは、1つ又は1つ以上の1セットの命令に対応する各モジュールを備えることができる。更に、第2処理コンポーネント1922は、上記のいずれか1つの点群マップ構築方法を実行するための命令を実行するように構成される。
電子機器1900は、更に、電子装置1900の電源管理を実行するように構成される第2電源コンポーネント1926と、電子装置1900をネットワークに接続するように構成される有線又は無線ネットワークインターフェース1950と、第2入力/出力(I/O)インターフェース1958と、を備えることができる。電子機器1900は、第2メモリ1932に格納されたオペレーティングシステム、例えば、マイクロソフトサーバオペレーティングシステム(Windows ServerTM)、アップル社から出されたグラフィカルユーザインターフェイスオペレーティングシステム(Mac OS XTM)、マルチユーザ及びマルチプロセスコンピュータオペレーティングシステム(UnixTM)、無料オープンソースのUnixライク(Unix-like)オペレーティングシステム(LinuxTM)、オープンソースのUnixライクオペレーティングシステム(FreeBSDTM)又はその類似のシステムを介して操作できる。
例示的に、コンピュータプログラム命令を含む第2メモリ1932などの、不揮発性コンピュータ可読記憶媒体を更に提供し、上記のコンピュータプログラム命令が、電子機器1900の第2処理コンポーネント1922に、上記の任意の点群マップ構築方法を実行させる。
本願は、システム、方法及び/又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を含み得、当該コンピュータ可読記憶媒体には、プロセッサに本願実施例の各態様を実行させるコンピュータ可読プログラム命令が記憶されている。
コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保持及び記憶することができる有形機器であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体記憶機器又は前述の任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的一覧)としては、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、ROM、消去可能プログラマブル読み取り専用メモリ(EPROM又はフラッシュメモリ)、SRAM、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、機械的符号化機器(例えば、命令が記憶されたパンチカード又は溝内の凸状構造)、及び前述の任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、電波や自由に伝播される他の電磁波、導波管や他の伝播媒体を介して伝播される電磁波(光ファイバーケーブルを介した光パルスなど)、又はワイヤを介して伝送される電子信号などの、一時的な信号として解釈されてはならない。
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各コンピューティング/処理機器にダウンロードされるか、インターネット、ローカルエリアネットワーク、広域ネットワーク及び/又は無線ネットワークなどのネットワークを介して外部コンピュータ又は外部記憶機器にダウンロードされることができる。ネットワークは、銅線伝送ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び/又はエッジサーバなどを含み得る。各コンピューティング/処理機器におけるネットワークアダプターカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、他のコンピューティング/処理機器のコンピュータ可読記憶媒体への記憶のために、当該コンピュータ可読プログラム命令を転送する。
本願の操作を実行するためのコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ(ISA:Instruction Set Architecture)命令、機械語命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は以1つ又は複数のプログラミング言語の任意の組み合わせでプログラミングされたソースコード又は目標コードであってもよく、前記プログラミング言語は、Smalltalk、C++などのオブジェクト指向プログラミング言語、及び「C」言語又は類似のプログラミング言語などの一般的な手続き型プログラミング言語を含む。コンピュータ可読プログラム命令は、完全にユーザのコンピュータで実行されてもよいし、その一部がユーザのコンピュータで実行されてもよいし、1つの独立したソフトウェアパッケージとして実行されてもよいし、その一部がユーザのコンピュータで実行されかつその他の部分がリモートコンピュータで実行されてもよいし、完全にリモートコンピュータ又はサーバで実行されてもよい。リモートコンピュータに関する場合において、リモートコンピュータは、ローカルエリアネットワーク(LAN:Local Area Network)又はワイドエリアネットワーク(WAN:Wide Area Network)を含む任意のタイプのネットワークは、ユーザのコンピュータに接続することができ、又は、外部のコンピュータに接続することができる(例えば、インターネットサービスプロバイダを使用してインターネットにアクセスすることができる)。いくつかの実施例において、コンピュータ可読命令の状態情報を使用することにより、プログラマブルロジック回路、FPGA又はプログラマブルロジックアレイ(PLA:Programmable Logic Arrays)などの、電子回路をカスタマイズし、当該電子回路は、コンピュータ可読プログラム命令を実行し、それにより、本願の各態様を実現することができる。
ここで、本願実施例に係る方法、装置(システム)及びコンピュータプログラム製品のフローチャート及び/又はブロックを参照して、本願の各態様について説明したが、フローチャート及び/又はブロック図の各ブロック、及びフローチャート及び/又はブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解されたい。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサに提供することができ、それにより、これらの命令がコンピュータ又は他のプログラム可能なデータ処理装置のプロセッサによって実行されるときに、フローチャート及び/又はブロック図における1つの又は複数のブロックで指定された機能/動作を実現する手段を創出する。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよく、コンピュータ、プログラム可能データ処理装置及び/又は他の機器が、これらの命令に応じて特定方式で動作することができる。したがって、命令が記憶されたコンピュータ可読媒体は、フローチャート及び/又はブロック図における1つ又は複数のブロックで指定された機能/動作の各態様の命令を含む、製品を含むことができる。
また、コンピュータ可読プログラム命令を、コンピュータ、他のプログラム可能なデータ処理装置、又は他の機器にロードすることで、コンピュータ、プログラム可能な数据処理装置又は他の機器に、一連の操作ステップを実行させることにより、コンピュータによって実現されるプロセスを生成し、それにより、コンピュータ、他のプログラム可能な数据処理装置、又は他の機器で実行される命令により、フローチャート及び/又はブロック図における1つ又は複数のブロックで指定された機能/動作を実現することができる。
図面におけるフローチャート及びブロック図は、本願の複数の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能な実装アーキテクチャ、機能及び動作を示す。これに関して、フローチャート又はブロック図における各ブロックは、1つのモジュール、プログラムセグメント又は命令の一部を表すことができ、前記モジュール、プログラムセグメント又は命令の一部は、指定された論理機能を実現するための1つ又は複数の実行可能な命令を含む。いくつかの可能な実現では、ブロックで表示された機能は、図面で表示された順序とは異なる順序で実行されてもよい。例えば、2つの連続するブロックは、実際には、並行して実行されることができ、関連する機能によっては、逆の順序で実行されることもできる。ブロック図及び/又はフローチャートにおける各ブロック、及びブロック図及び/又はフローチャートにおけるブロックの組み合わせは、指定された機能又は動作を実行するハードウェアに基づく専用システムによって実現でき、又は専用ハードウェアとコンピュータ命令の組み合わせによって実現できることに留意されたい。
当該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア、又はそれらの組み合わせによって実現されることができる。1つの可能な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現され、別の可能な実施例において、コンピュータプログラム製品は、具体的には、ソフトウェア開発キット(SDK:Software Development Kit)などのソフトウェア製品として具現される。
以上、本願の各実施例について説明したが、以上の説明は、例示的なものであり、網羅的ではなく、本願は、開示された各実施例に限定されない。説明された各実施例の範囲及び趣旨から逸脱することなく、多くの修正及び変形は、当業者にとって明らかである。本明細書で使用される用語の選択は、各実施例の原理、実際の応用又は市場における技術の改善を最もよく説明することを意図するか、当業者に本明細書で開示された各実施例を理解させることを意図する。
本願実施例は、点群マップ構築方法及びその装置、電子機器、記憶媒体並びにプログラムを提供し、前記点群マップ構築方法は、目標領域に対して画像収集を実行することにより取得された少なくとも1つの目標画像を取得することであって、前記目標領域は、物理スケールが既知である少なくとも1つのスケール較正物を含む、ことと、前記少なくとも1つの目標画像に基づいて、前記目標領域に対応する第1点群マップを構築することと、前記少なくとも1つのスケール較正物の物理スケールに基づいて、前記第1点群マップを調整して、目標物理スケールを有する第2点群マップを取得することと、を含む。本願実施例は、物理スケールが既知である、目標領域における少なくとも1つのスケール較正物を用いて、構築された第1点群マップに対してスケール較正を実行することで、目標物理スケールを有する第2点群マップを取得することができ、それによって、点群マップのマップ構築精度を効果的に向上させることができる。

Claims (8)

  1. 電子機器に適用される点群マップ構築方法であって、
    目標領域に対して画像収集を実行することにより取得された少なくとも1つの目標画像を取得することであって、前記目標領域は、物理スケールが既知である複数のスケール較正物を含む、ことと、
    前記少なくとも1つの目標画像に基づいて、前記目標領域に対応する第1点群マップを構築することと、
    前記第1点群マップにおける前記複数のスケール較正物の特徴スケールを決定することと、
    前記複数のスケール較正物の物理スケール、及び前記複数のスケール較正物の特徴スケールに基づいて、第1拡大縮小比率を決定することと、
    前記第1拡大縮小比率に基づいて、前記第1点群マップを拡大縮小調整して、第2点群マップを取得することと、
    前記第2点群マップに基づいて、前記目標領域に対して視覚測位を実行して、視覚測位結果を取得し、前記視覚測位結果に基づいて、拡張現実(AR)ナビゲートを実行することと、を含み、
    前記複数のスケール較正物の物理スケール、及び前記複数のスケール較正物の特徴スケールに基づいて、第1拡大縮小比率を決定することは、
    何れの前記スケール較正物について、前記スケール較正物の物理スケール及び前記スケール較正物の特徴スケールに基づいて、前記スケール較正物に対応する第2拡大縮小比率を決定することと、
    複数の前記スケール較正物に対応する第2拡大縮小比率を平均して、前記第1拡大縮小比率を決定することと、を含む、前記点群マップ構築方法。
  2. 前記少なくとも1つの目標画像に基づいて、前記目標領域に対応する第1点群マップを構築することは、
    前記少なくとも1つの目標画像に対して特徴抽出を実行して、前記目標領域に対応する特徴情報を取得することと、
    前記目標領域に対応する特徴情報に基づいて、前記第1点群マップを構築することと、を含む、
    請求項1に記載の点群マップ構築方法。
  3. 前記第1点群マップは、前記複数のスケール較正物に対応する点群特徴を含み、
    前記第1点群マップにおける前記複数のスケール較正物の特徴スケールを決定することは、
    前記第1点群マップにおける前記複数のスケール較正物に対応する点群特徴に基づいて、前記第1点群マップにおける前記複数のスケール較正物の特徴スケールを決定することを含む、
    請求項2に記載の点群マップ構築方法。
  4. 前記スケール較正物は、物理スケールが既知である2次元コード、及び物理スケールが既知である較正板のうちの少なくとも1つを含む、
    請求項1ないしのいずれか一項に記載の点群マップ構築方法。
  5. 点群マップ構築装置であって、
    目標領域に対して画像収集を実行することにより取得された少なくとも1つの目標画像を取得するように構成される画像取得モジュールであって、前記目標領域は、物理スケールが既知である複数のスケール較正物を含む、画像取得モジュールと、
    前記少なくとも1つの目標画像に基づいて、前記目標領域に対応する第1点群マップを構築するように構成される点群マップ構築モジュールと、
    前記第1点群マップにおける前記複数のスケール較正物の特徴スケールを決定し、前記複数のスケール較正物の物理スケール、及び前記複数のスケール較正物の特徴スケールに基づいて、第1拡大縮小比率を決定し、前記第1拡大縮小比率に基づいて、前記第1点群マップを拡大縮小調整して、第2点群マップを取得するように構成されるスケール調整モジュールと、
    前記第2点群マップに基づいて、前記目標領域に対して視覚測位を実行して、視覚測位結果を取得し、前記視覚測位結果に基づいて、ARナビゲートを実行するように構成される視覚測位モジュールと、を備え、
    前記スケール調整モジュールは具体的に、何れの前記スケール較正物について、前記スケール較正物の物理スケール及び前記スケール較正物の特徴スケールに基づいて、前記スケール較正物に対応する第2拡大縮小比率を決定し、複数の前記スケール較正物に対応する第2拡大縮小比率を平均して、前記第1拡大縮小比率を決定するように構成される、前記点群マップ構築装置。
  6. 電子機器であって、
    プロセッサと、
    プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
    前記プロセッサは、前記メモリに記憶されている命令を呼び出して実行することにより、請求項1ないしのいずれか一項に記載の方法を実行するように構成される、前記電子機器。
  7. コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、
    前記コンピュータプログラム命令がプロセッサに、請求項1ないしのいずれか一項に記載のデータ処理方法を実行させる、前記コンピュータ可読記憶媒体。
  8. コンピュータ可読コードを含むコンピュータプログラムあって、
    前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、請求項1ないしのいずれか一項に記載の方法を実行させる、前記コンピュータプログラム。
JP2022531403A 2020-12-25 2021-05-31 点群マップ構築方法及びその装置、電子機器、記憶媒体並びにプログラム Active JP7316456B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011565328.X 2020-12-25
CN202011565328.XA CN112541971A (zh) 2020-12-25 2020-12-25 点云地图构建方法及装置、电子设备和存储介质
PCT/CN2021/097541 WO2022134475A1 (zh) 2020-12-25 2021-05-31 点云地图构建方法及装置、电子设备、存储介质和程序

Publications (2)

Publication Number Publication Date
JP2023510474A JP2023510474A (ja) 2023-03-14
JP7316456B2 true JP7316456B2 (ja) 2023-07-27

Family

ID=75017587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022531403A Active JP7316456B2 (ja) 2020-12-25 2021-05-31 点群マップ構築方法及びその装置、電子機器、記憶媒体並びにプログラム

Country Status (4)

Country Link
JP (1) JP7316456B2 (ja)
KR (1) KR20220130707A (ja)
CN (1) CN112541971A (ja)
WO (1) WO2022134475A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541971A (zh) * 2020-12-25 2021-03-23 深圳市慧鲤科技有限公司 点云地图构建方法及装置、电子设备和存储介质
CN115097976B (zh) * 2022-07-13 2024-03-29 北京有竹居网络技术有限公司 用于图像处理的方法、装置、设备和存储介质
CN116029952B (zh) * 2022-07-27 2023-10-20 荣耀终端有限公司 点云评测方法及其相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019065536A1 (ja) 2017-09-26 2019-04-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再構成方法および再構成装置
CN111127661A (zh) 2019-12-17 2020-05-08 北京超图软件股份有限公司 一种数据处理方法、装置及电子设备
CN111127561A (zh) 2019-12-05 2020-05-08 农芯(南京)智慧农业研究院有限公司 一种多视角图像标定装置及方法
CN111445578A (zh) 2020-03-27 2020-07-24 清华大学 一种地图三维道路特征识别方法和系统
US20200249359A1 (en) 2017-07-25 2020-08-06 Waymo Llc Determining Yaw Error from Map Data, Lasers, and Cameras
CN111563934A (zh) 2020-06-10 2020-08-21 浙江欣奕华智能科技有限公司 单目视觉里程计尺度确定方法和装置
CN112105890A (zh) 2019-01-30 2020-12-18 百度时代网络技术(北京)有限公司 用于自动驾驶车辆的基于rgb点云的地图生成系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2567245A (en) * 2017-10-09 2019-04-10 Nokia Technologies Oy Methods and apparatuses for depth rectification processing
CN111145339B (zh) * 2019-12-25 2023-06-02 Oppo广东移动通信有限公司 图像处理方法及装置、设备、存储介质
CN111882657B (zh) * 2020-06-29 2024-01-26 杭州易现先进科技有限公司 三维重建的尺度恢复方法、装置、系统和计算机设备
CN112541971A (zh) * 2020-12-25 2021-03-23 深圳市慧鲤科技有限公司 点云地图构建方法及装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200249359A1 (en) 2017-07-25 2020-08-06 Waymo Llc Determining Yaw Error from Map Data, Lasers, and Cameras
WO2019065536A1 (ja) 2017-09-26 2019-04-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再構成方法および再構成装置
CN112105890A (zh) 2019-01-30 2020-12-18 百度时代网络技术(北京)有限公司 用于自动驾驶车辆的基于rgb点云的地图生成系统
CN111127561A (zh) 2019-12-05 2020-05-08 农芯(南京)智慧农业研究院有限公司 一种多视角图像标定装置及方法
CN111127661A (zh) 2019-12-17 2020-05-08 北京超图软件股份有限公司 一种数据处理方法、装置及电子设备
CN111445578A (zh) 2020-03-27 2020-07-24 清华大学 一种地图三维道路特征识别方法和系统
CN111563934A (zh) 2020-06-10 2020-08-21 浙江欣奕华智能科技有限公司 单目视觉里程计尺度确定方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
井本治孝, 外2名,"ディジタル写真三次元計測の開発と実用化",石川島播磨技報,石川島播磨重工業株式会社,2002年05月01日,第42巻, 第3号,p.157-160

Also Published As

Publication number Publication date
KR20220130707A (ko) 2022-09-27
WO2022134475A1 (zh) 2022-06-30
JP2023510474A (ja) 2023-03-14
CN112541971A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
TWI781359B (zh) 人臉和人手關聯檢測方法及裝置、電子設備和電腦可讀儲存媒體
JP7316456B2 (ja) 点群マップ構築方法及びその装置、電子機器、記憶媒体並びにプログラム
JP7262659B2 (ja) 目標対象物マッチング方法及び装置、電子機器並びに記憶媒体
TWI767596B (zh) 場景深度和相機運動預測方法、電子設備和電腦可讀儲存介質
US20210097715A1 (en) Image generation method and device, electronic device and storage medium
US20210319538A1 (en) Image processing method and device, electronic equipment and storage medium
CN111551191B (zh) 传感器外参数标定方法及装置、电子设备和存储介质
CN112146645B (zh) 一种坐标系对齐的方法及装置、电子设备和存储介质
CN114019473A (zh) 对象检测方法及装置、电子设备和存储介质
CN111401230B (zh) 姿态估计方法及装置、电子设备和存储介质
CN110989901B (zh) 图像定位的交互显示方法及装置、电子设备和存储介质
CN112432637B (zh) 定位方法及装置、电子设备和存储介质
CN111860373B (zh) 目标检测方法及装置、电子设备和存储介质
CN111563138A (zh) 定位方法及装置、电子设备和存储介质
TW202301275A (zh) 深度檢測方法及裝置、電子設備、儲存媒體和程式產品
CN112767541B (zh) 三维重建方法及装置、电子设备和存储介质
CN114581525A (zh) 姿态确定方法及装置、电子设备和存储介质
CN112432636B (zh) 定位方法及装置、电子设备和存储介质
CN112837372A (zh) 数据生成方法及装置、电子设备和存储介质
WO2022110801A1 (zh) 数据处理方法及装置、电子设备和存储介质
CN114549983A (zh) 计算机视觉模型训练方法及装置、电子设备和存储介质
CN114638949A (zh) 虚拟对象显示方法及装置、电子设备和存储介质
CN114266305A (zh) 对象识别方法及装置、电子设备和存储介质
CN114519794A (zh) 特征点匹配方法及装置、电子设备和存储介质
CN112683262A (zh) 定位方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230714

R150 Certificate of patent or registration of utility model

Ref document number: 7316456

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150