TWI743645B - 一種資訊處理方法及裝置、定位方法及裝置、電子設備和電腦可讀儲存媒介 - Google Patents

一種資訊處理方法及裝置、定位方法及裝置、電子設備和電腦可讀儲存媒介 Download PDF

Info

Publication number
TWI743645B
TWI743645B TW109100342A TW109100342A TWI743645B TW I743645 B TWI743645 B TW I743645B TW 109100342 A TW109100342 A TW 109100342A TW 109100342 A TW109100342 A TW 109100342A TW I743645 B TWI743645 B TW I743645B
Authority
TW
Taiwan
Prior art keywords
dimensional point
point cloud
image
dimensional
information
Prior art date
Application number
TW109100342A
Other languages
English (en)
Other versions
TW202105328A (zh
Inventor
馮友計
葉智超
金嘉誠
章國鋒
Original Assignee
大陸商浙江商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商浙江商湯科技開發有限公司 filed Critical 大陸商浙江商湯科技開發有限公司
Publication of TW202105328A publication Critical patent/TW202105328A/zh
Application granted granted Critical
Publication of TWI743645B publication Critical patent/TWI743645B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本公開涉及一種資訊處理方法及裝置、定位方法及裝置、電子設備和電腦可讀儲存媒介，其中，所述資訊處理方法包括：獲取三維點雲的三維點資訊；基於所述三維點資訊，生成所述三維點雲向水平面投影的二維點雲圖像；基於所述二維點雲圖像與參考平面圖的一致程度，確定所述三維點雲中包含的三維點在所述參考平面圖的參考座標系下的投影座標，其中，所述參考平面圖用於表示目標物體在所述水平面投影的帶有參考座標的投影圖，所述三維點雲用於表示所述目標物體的三維空間資訊。

Description

一種資訊處理方法及裝置、定位方法及裝置、電子設備和電腦可讀儲存媒介
本公開涉及電腦視覺技術領域，尤其涉及一種資訊處理方法及裝置、定位方法及裝置、電子設備和電腦可讀儲存媒介。
三維重建技術是近年來新興技術之一，其應用極為廣泛，在工業、醫學乃至生活娛樂等各個領域都有所應用。三維重建技術可以重構場景中的三維物體，利用相機等圖像採集裝置採集的圖像可以重建物體的三維影像，使物體以一種直觀的方式呈現在圖像上。
基於圖像的三維重建可以生成場景的三維點雲，其中三維點的座標通常是定義在某個圖像採集裝置的座標系下的，不具有真實的地理意義。在一些實際應用（如視覺定位）中利用這些三維點雲，具有重要的意義。
本公開提出了一種資訊處理和定位技術方案。
根據本公開的一方面，提供了一種資訊處理方法，包括：獲取三維點雲的三維點資訊；基於所述三維點資訊，生成所述三維點雲向水平面投影的二維點雲圖像；基於所述二維點雲圖像與參考平面圖的一致程度，確定所述三維點雲中包含的三維點在所述參考平面圖的參考座標系下的投影座標，其中，所述參考平面圖用於表示目標物體在所述水平面投影的帶有參考座標的投影圖，所述三維點雲用於表示所述目標物體的三維空間資訊。
在一種可能的實現方案中，所述基於所述三維點資訊，生成所述三維點雲向水平面投影的二維點雲圖像之前，還包括：獲取圖像採集裝置採集圖像資訊過程中的至少兩個位姿資訊，其中，所述圖像資訊用於構建所述三維點雲；根據所述圖像採集裝置的至少兩個位姿資訊，確定所述三維點雲投影的水平面。
在一種可能的實現方案中，所述位姿資訊包括朝向資訊和位置資訊；所述根據所述圖像採集裝置的至少兩個位姿資訊，確定所述三維點雲投影的水平面，包括：根據所述圖像採集裝置的至少兩個位置資訊，確定所述圖像採集裝置在採集圖像資訊過程中的任意兩個位置之間的位移；根據所述圖像採集裝置的至少兩個朝向資訊以及在任意兩個位置之間的位移，確定所述三維點雲投影的水平面。
在一種可能的實現方案中，所述圖像採集裝置滿足以下至少一個預設的基礎條件：所述圖像採集裝置在採集圖像資訊過程中所在的水平軸與所述三維點雲投影的水平面平行；在採集圖像資訊過程中所述圖像採集裝置到地面的高度在預設高度範圍內變化。
在一種可能的實現方案中，所述基於所述三維點資訊，生成所述三維點雲向水平面投影的二維點雲圖像，包括：根據所述三維點雲的三維點資訊，確定所述三維點雲中包括的至少一個平面；根據所述至少一個平面中每個平面包括的三維點的數量以及每個平面的法線方向，確定所述三維點雲中的待濾除三維點；在所述三維點雲中刪除所述待濾除三維點，得到所述三維點雲的剩餘三維點；根據剩餘三維點的三維點資訊，將剩餘三維點投影在所述水平面上，生成所述三維點雲投影的二維點雲圖像。
在一種可能的實現方案中，所述根據所述至少一個平面中每個平面包括的三維點的數量以及每個平面的法線方向，確定所述三維點雲中的待濾除三維點，包括：根據所述至少一個平面中每個平面包括的三維點的數量，確定所述至少一個平面中三維點的數量最多並且大於第一閾值的第一平面；判斷所述第一平面的法線方向是否垂直於所述水平面；在所述第一平面的法線方向垂直於所述水平面的情況下，確定所述第一平面包括的三維點為所述待濾除三維點。
在一種可能的實現方案中，所述三維點資訊包括三維座標向量；所述基於所述三維點資訊，生成所述三維點雲向水平面投影的二維點雲圖像，包括：根據所述三維點雲的三維座標向量以及投影的水平面，確定所述三維點雲在所述水平面投影的二維點雲的座標資訊；根據所述二維點雲的座標資訊，確定所述二維點雲包括的滿足直線條件的目標直線；根據所述目標直線與所述水平面的座標軸的位置關係，確定所述二維點雲的旋轉角；按照所述旋轉角對所述二維點雲進行旋轉，得到所述三維點雲向所述水平面投影的二維點雲圖像。
在一種可能的實現方案中，所述根據所述二維點雲的座標資訊，確定所述二維點雲包括的滿足直線條件的目標直線，包括：根據所述二維點雲的座標資訊，確定所述二維點雲中包括的至少一條直線；其中，所述至少一條直線中每條直線包括的二維點的數量大於第二閾值；統計所述至少一條直線中每條直線所包含的二維點的數量，按照所述二維點的數量對所述至少一條直線排序，得到排序結果；根據所述排序結果逐次獲取所述至少一條直線中的當前直線，確定所述至少一個直線中與所述當前直線垂直的直線的數量；在與當前直線垂直的直線的數量大於第三閾值的情況下，確定當前直線為滿足直線條件的目標直線。
在一種可能的實現方案中，所述基於所述二維點雲圖像與參考平面圖的一致程度，確定所述三維點雲中包含的三維點在所述參考平面圖的參考座標系下的投影座標，包括：對所述二維點雲圖像進行至少一次相似變換；確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度；根據所述至少一次相似變換後確定的一致程度，確定所述三維點雲中三維點匹配到所述參考平面圖中參考點的變換關係；基於所述變換關係，將所述三維點雲向所述參考平面圖進行投影，得到所述三維點雲在所述參考平面圖的參考座標系下的投影座標。
在一種可能的實現方案中，所述對所述二維點雲圖像進行至少一次相似變換，包括：確定所述二維點雲圖像進行相似變換的變換範圍；在所述變換範圍內對所述二維點雲圖像進行至少一次相似變換。
在一種可能的實現方案中，所述相似變換包括平移變換；所述確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度，包括：針對每次平移變換後的二維點雲圖像，對所述二維點雲圖像進行預設次數的降採樣處理，得到每次降採樣處理後的第一採樣圖像；按照降採樣處理次數由大到小的順序，依次針對每次降採樣處理後的第一採樣圖像，確定該第一採樣圖像中二維點與第二採樣圖像中參考點的一致程度；其中，第二採樣圖像為所述參考平面圖經過與該第一採樣圖像相同的降採樣處理得到的；根據第一次降採樣處理後確定的第一採樣圖像與第二採樣圖像的一致程度，確定每次平移變換後的二維點雲圖像中二維點與參考平面圖的參考點的一致程度。
在一種可能的實現方案中，所述確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度，包括：針對每次相似變換後的二維點雲圖像，遍歷所述二維點雲圖像的第一像素點，其中，所述第一像素點為所述二維點雲圖像中構成所述二維點的像素點；確定所述參考平面圖中對應於所述第一像素點的第一圖像區域；在所述第一圖像區域內存在表示所述參考點的第二像素點的情況下，確定所述第一像素點為第一目標像素點；確定所述二維點雲圖像中包含的第一目標像素點的數量與所述二維點雲圖像中包含的第一像素點的數量的第一比例；根據所述第一比例確定每次相似變換後所述二維點雲圖像與所述參考平面圖的一致程度。
在一種可能的實現方案中，所述確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度，包括：每次對所述二維點雲圖像相似變換後，遍歷所述參考平面圖的第二像素點，其中，所述第二像素點為所述參考平面圖中構成所述參考點的像素點；確定所述二維點雲圖像中對應於所述第二像素點的第二圖像區域；在所述第二圖像區域內存在表示所述二維點的第一像素點的情況下，確定所述第二像素點為第二目標像素點；確定所述參考平面圖中包含的第二目標像素點的數量與所述參考平面中包含的第二像素點的數量的第二比例；根據所述第二比例確定每次相似變換後所述二維點雲圖像與參考平面圖的一致程度。
在一種可能的實現方案中，所述確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度，包括：每次對所述二維點雲圖像相似變換後，確定所述二維點雲圖像中位於非封閉區域內的第一像素點，其中，所述第一像素點為所述二維點雲圖像中構成所述二維點的像素點；確定位於所述非封閉區域的第一像素點的數量與所述二維點雲圖像中包含的第一像素點的數量的第三比例；根據所述第三比例確定每次相似變換後所述二維點雲圖像與參考平面圖的一致程度。
在一種可能的實現方案中，所述確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度，包括：每次對所述二維點雲圖像相似變換後，根據所述圖像採集裝置採集圖像資訊過程中的位姿資訊，確定所述圖像採集裝置在所述二維點雲圖像中投影的第三像素點；其中，所述圖像資訊用於構建所述三維點雲；確定位於所述非封閉區域的第三像素點的數量與所述二維點雲圖像中包含的第三像素點的數量的第四比例；根據所述第四比例確定每次相似變換後所述二維點雲圖像與參考平面圖的一致程度。
在一種可能的實現方案中，所述根據所述至少一次相似變換後確定的一致程度，確定所述三維點雲中三維點匹配到所述參考平面圖中參考點的變換關係，包括：根據所述至少一次相似變換後確定的一致程度，確定所述二維點雲圖像中二維點匹配到所述參考平面圖中參考點的二維變換矩陣；基於所述二維變換矩陣，確定所述三維點雲中三維點匹配到所述參考平面圖中參考點的變換關係。
根據本公開的另一方面，提供了一種定位方法，所述方法包括：獲取圖像採集裝置對目標物體採集的目標圖像資訊；將採集的所述目標圖像資訊與三維點雲中的三維點進行比對，其中，所述三維點雲用於表示所述目標物體的三維空間資訊，所述三維點雲中的三維點與投影座標對應，所述投影座標是基於二維點雲圖像與參考平面圖的一致性確定的，所述二維點雲圖像為所述三維點雲向水平面投影生成的，所述參考平面圖用於表示所述目標物體在所述水平面投影的帶有參考座標的投影圖；根據與所述靶心圖表像資訊相匹配的三維點所對應的投影座標，對所述圖像採集裝置進行定位。
根據本公開的另一方面，提供了一種資訊處理裝置，包括：獲取模組，用於獲取三維點雲的三維點資訊；生成模組，用於基於所述三維點資訊，生成所述三維點雲向水平面投影的二維點雲圖像；確定模組，用於基於所述二維點雲圖像與參考平面圖的一致程度，確定所述三維點雲中包含的三維點在所述參考平面圖的參考座標系下的投影座標，其中，所述參考平面圖用於表示目標物體在所述水平面投影的帶有參考座標的投影圖，所述三維點雲用於表示所述目標物體的三維空間資訊。
在一種可能的實現方案中，所述裝置還包括：位姿模組，用於獲取圖像採集裝置採集圖像資訊過程中的至少兩個位姿資訊，其中，所述圖像資訊用於構建所述三維點雲；平面模組，用於根據所述圖像採集裝置的至少兩個位姿資訊，確定所述三維點雲投影的水平面。
在一種可能的實現方案中，所述位姿資訊包括朝向資訊和位置資訊；所述平面模組，具體用於，根據所述圖像採集裝置的至少兩個位置資訊，確定所述圖像採集裝置在採集圖像資訊過程中的任意兩個位置之間的位移；根據所述圖像採集裝置的至少兩個朝向資訊以及在任意兩個位置之間的位移，確定所述三維點雲投影的水平面。
在一種可能的實現方案中，所述圖像採集裝置滿足以下至少一個預設的基礎條件：所述圖像採集裝置在採集圖像資訊過程中所在的水平軸與所述三維點雲投影的水平面平行；在採集圖像資訊過程中所述圖像採集裝置到地面的高度在預設高度範圍內變化。
在一種可能的實現方案中，所述生成模組，具體用於，根據所述三維點雲的三維點資訊，確定所述三維點雲中包括的至少一個平面；根據所述至少一個平面中每個平面包括的三維點的數量以及每個平面的法線方向，確定所述三維點雲中的待濾除三維點；在所述三維點雲中刪除所述待濾除三維點，得到所述三維點雲的剩餘三維點；根據剩餘三維點的三維點資訊，將剩餘三維點投影在所述水平面上，生成所述三維點雲投影的二維點雲圖像。
在一種可能的實現方案中，所述生成模組，具體用於，根據所述至少一個平面中每個平面包括的三維點的數量，確定所述至少一個平面中三維點的數量最多並且大於第一閾值的第一平面；判斷所述第一平面的法線方向是否垂直於所述水平面；在所述第一平面的法線方向垂直於所述水平面的情況下，確定所述第一平面包括的三維點為所述待濾除三維點。
在一種可能的實現方案中，所述三維點資訊包括三維座標向量；所述生成模組，具體用於，根據所述三維點雲的三維座標向量以及投影的水平面，確定所述三維點雲在所述水平面投影的二維點雲的座標資訊；根據所述二維點雲的座標資訊，確定所述二維點雲包括的滿足直線條件的目標直線；根據所述目標直線與所述水平面的座標軸的位置關係，確定所述二維點雲的旋轉角；按照所述旋轉角對所述二維點雲進行旋轉，得到所述三維點雲向所述水平面投影的二維點雲圖像。
在一種可能的實現方案中，所述生成模組，具體用於，根據所述二維點雲的座標資訊，確定所述二維點雲中包括的至少一條直線；其中，所述至少一條直線中每條直線包括的二維點的數量大於第二閾值；統計所述至少一條直線中每條直線所包含的二維點的數量，按照所述二維點的數量對所述至少一條直線排序，得到排序結果；根據所述排序結果逐次獲取所述至少一條直線中的當前直線，確定所述至少一個直線中與所述當前直線垂直的直線的數量；在與當前直線垂直的直線的數量大於第三閾值的情況下，確定當前直線為滿足直線條件的目標直線。
在一種可能的實現方案中，所述確定模組，具體用於，對所述二維點雲圖像進行至少一次相似變換；確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度；根據所述至少一次相似變換後確定的一致程度，確定所述三維點雲中三維點匹配到所述參考平面圖中參考點的變換關係；基於所述變換關係，將所述三維點雲向所述參考平面圖進行投影，得到所述三維點雲在所述參考平面圖的參考座標系下的投影座標。
在一種可能的實現方案中，所述確定模組，具體用於，確定所述二維點雲圖像進行相似變換的變換範圍；在所述變換範圍內對所述二維點雲圖像進行至少一次相似變換。
在一種可能的實現方案中，所述相似變換包括平移變換；所述確定模組，具體用於，針對每次平移變換後的二維點雲圖像，對所述二維點雲圖像進行預設次數的降採樣處理，得到每次降採樣處理後的第一採樣圖像；按照降採樣處理次數由大到小的順序，依次針對每次降採樣處理後的第一採樣圖像，確定該第一採樣圖像中二維點與第二採樣圖像中參考點的一致程度；其中，第二採樣圖像為所述參考平面圖經過與該第一採樣圖像相同的降採樣處理得到的；根據第一次降採樣處理後確定的第一採樣圖像與第二採樣圖像的一致程度，確定每次平移變換後的二維點雲圖像中二維點與參考平面圖的參考點的一致程度。
在一種可能的實現方案中，所述確定模組，具體用於，針對每次相似變換後的二維點雲圖像，遍歷所述二維點雲圖像的第一像素點，其中，所述第一像素點為所述二維點雲圖像中構成所述二維點的像素點；確定所述參考平面圖中對應於所述第一像素點的第一圖像區域；在所述第一圖像區域內存在表示所述參考點的第二像素點的情況下，確定所述第一像素點為第一目標像素點；確定所述二維點雲圖像中包含的第一目標像素點的數量與所述二維點雲圖像中包含的第一像素點的數量的第一比例；根據所述第一比例確定每次相似變換後所述二維點雲圖像與所述參考平面圖的一致程度。
在一種可能的實現方案中，所述確定模組，具體用於，每次對所述二維點雲圖像相似變換後，遍歷所述參考平面圖的第二像素點，其中，所述第二像素點為所述參考平面圖中構成所述參考點的像素點；確定所述二維點雲圖像中對應於所述第二像素點的第二圖像區域；在所述第二圖像區域內存在表示所述二維點的第一像素點的情況下，確定所述第二像素點為第二目標像素點；確定所述參考平面圖中包含的第二目標像素點的數量與所述參考平面中包含的第二像素點的數量的第二比例；根據所述第二比例確定每次相似變換後所述二維點雲圖像與參考平面圖的一致程度。
在一種可能的實現方案中，所述確定模組，具體用於，每次對所述二維點雲圖像相似變換後，確定所述二維點雲圖像中位於非封閉區域內的第一像素點，其中，所述第一像素點為所述二維點雲圖像中構成所述二維點的像素點；確定位於所述非封閉區域的第一像素點的數量與所述二維點雲圖像中包含的第一像素點的數量的第三比例；根據所述第三比例確定每次相似變換後所述二維點雲圖像與參考平面圖的一致程度。
在一種可能的實現方案中，所述確定模組，具體用於，每次對所述二維點雲圖像相似變換後，根據所述圖像採集裝置採集圖像資訊過程中的位姿資訊，確定所述圖像採集裝置在所述二維點雲圖像中投影的第三像素點；其中，所述圖像資訊用於構建所述三維點雲；確定位於所述非封閉區域的第三像素點的數量與所述二維點雲圖像中包含的第三像素點的數量的第四比例；根據所述第四比例確定每次相似變換後所述二維點雲圖像與參考平面圖的一致程度。
在一種可能的實現方案中，所述確定模組，具體用於，根據所述至少一次相似變換後確定的一致程度，確定所述二維點雲圖像中二維點匹配到所述參考平面圖中參考點的二維變換矩陣；基於所述二維變換矩陣，確定所述三維點雲中三維點匹配到所述參考平面圖中參考點的變換關係。
根據本公開的另一方面，提供了一種定位裝置，其中，所述裝置包括：獲取模組，用於獲取圖像採集裝置對目標物體採集的目標圖像資訊；對比模組，用於將採集的所述目標圖像資訊與三維點雲中的三維點進行比對，其中，所述三維點雲用於表示所述目標物體的三維空間資訊，所述三維點雲中的三維點與投影座標對應，所述投影座標是基於二維點雲圖像與參考平面圖的一致性確定的，所述二維點雲圖像為所述三維點雲向水平面投影生成的，所述參考平面圖用於表示所述目標物體在所述水平面投影的帶有參考座標的投影圖；定位模組，用於根據與所述靶心圖表像資訊相匹配的三維點所對應的投影座標，對所述圖像採集裝置進行定位。
根據本公開的另一方面，提供了一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為：執行上述資訊處理方法。
根據本公開的一方面，提供了一種電腦可讀儲存媒介，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述資訊處理方法。
根據本公開的一方面，提供了一種電腦程式，其中，所述電腦程式包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現本公開實施例第一方面任一方法中所描述的部分或全部步驟。
在本公開實施例中，可以獲取三維點雲的三維點資訊，並基於三維點資訊，生成三維點雲向水平面投影的二維點雲圖像，這樣可以將三維點雲轉換為二維點雲圖像。然後，可以基於二維點雲圖像與參考平面的一致程度，確定所述三維點雲中包含的三維點在參考平面圖的參考座標系下的投影座標，其中，參考平面圖用於表示目標物體在水平面投影的帶有參考座標的投影圖，三維點雲用於表示目標物體的三維空間資訊。這樣，可以將三維點雲自動匹配到參考平面圖上，使三維點雲可以正確地標注在參考平面圖上，提高將三維點雲匹配到參考平面圖上的效率和精度。此外，藉由使用者的三維點資訊，可以確定使用者在參考座標系下的位置，實現對用戶進行定位。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本公開。
根據下面參考圖式對示例性實施例的詳細說明，本公開的其它特徵及方面將變得清楚。
以下將參考圖式詳細說明本公開的各種示例性實施例、特徵和方面。圖式中相同的圖式符號表示功能相同或相似的元件。儘管在圖式中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製圖式。在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。另外，為了更好地說明本公開，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本公開同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本公開的主旨。
本公開實施例提供的資訊處理方案，可以獲取由三維重建得到的三維點雲的三維點資訊，然後利用三維點雲的三維點資訊，生成三維點雲向水平面投影的二維點雲圖像，基於生成的二維點雲圖像與參考平面圖的一致程度，確定三維點雲中包含的三維點在參考平面圖的參考座標系下的投影座標，從而可以將圖像採集裝置座標系下的三維點雲轉變到參考平面圖的參考座標下，使三維點雲中包含的三維點自動匹配到參考平面圖對應的位置，使三維點投影的二維點與參考平面圖中表示相同目標物體的參考點對齊。其中，參考平面圖用於表示目標物體在水平面投影的帶有參考座標的投影圖，三維點雲用於表示目標物體的三維空間資訊。
在相關技術中，在將三維點雲匹配到參考平面圖中時，是通過人工方式將三維點雲的三維點匹配到參考平面圖中，例如，匹配到室內地圖中，通過肉眼觀察一些視覺線索如形狀、邊界和轉角等，手動調整三維點雲的尺度、旋轉和平移使之與參考平面圖進行對齊。這種方法效率低，不利於處理大規模的任務，而且人工處理方式沒有統一的標準，不同人操作的精度也可能會差別很大。本公開實施例提供的資訊處理方案，可以通過三維點雲對應的二維點雲圖像與參考平面圖的一致程度，將三維點雲中的三維點自動匹配到參考平面圖上，不僅可以節省大量的人力，提高匹配效率，還可以提高三維點雲匹配到參考平面圖的準確率。
本公開實施例提供的資訊處理方案，可以應用於任何將三維點投影到平面上的場景，例如，將某個大型建築室內場景對應的三維點雲自動匹配到建築物的平面圖上。還可以應用於利用三維點進行定位、導航的場景，例如，用戶可以通過手機等設備拍攝的圖像得到的三維點資訊，估計使用者在當前場景中的位置，實現視覺定位。下面通過實施例對本公開提供的資訊處理方案進行說明。
圖1示出根據本公開實施例的資訊處理方法的流程圖。該資訊處理方法可以由終端設備、伺服器或其它資訊處理設備執行，其中，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂巢式電話、室內無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該資訊處理方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。下面以資訊處理設備為例對本公開實施例的資訊處理方法進行說明。
如圖1所示，所述資訊處理方法包括以下步驟：
步驟S11，獲取三維點雲的三維點資訊。
在本公開實施例中，資訊處理設備可以獲取三維重建的三維點雲，並獲取該三維點雲的三維點資訊。三維點雲可以是由多個三維點形成的三維點集合，該集合中的三維點可以是根據圖像採集裝置採集某個場景的圖像資訊得到的。三維點雲的三維點資訊可以包括三維點的位置資訊，該位置資訊可以是三維點在圖像採集裝置座標系下的位置資訊，可以表示為圖像採集裝置座標系下的三維座標，或者，表示為圖像採集裝置座標系下的三維向量。三維點雲可以用於表示目標物體所在的三維空間資訊，例如，目標物體所在的某個場景的三維空間資訊。目標物體可以是場景中存在的任意物體，例如，牆面、立柱、桌椅、標識、建築物等固定的物體，再例如，目標物體可以是車輛、行人等移動的物體。
這裡，三維點雲中包含的三維點可以是由一個或多個圖像裝置採集的圖像資訊得到的，圖像採集裝置可以從不同角度拍攝場景中的目標物體，由圖像採集裝置拍攝的目標物體形成的圖像資訊可以形成該目標物體對應的三維點，多個三維點可以形成該場景中三維點雲。在具體實現中，形成的三維點在三維空間座標系中帶有對應的座標，這樣目標物體的三維點按照對應的座標在三維空間座標系中排列，組成一個立體的三維模型，該三維模型即為三維點雲。
步驟S12，基於所述三維點資訊，生成所述三維點雲向水平面投影的二維點雲圖像。
在本公開實施例中，可以基於獲取的三維點雲的三維點資訊，將三維點雲投影在水平面上。這裡的水平面可以是根據圖像採集裝置拍攝過程中所在的拍攝平面確定的虛擬平面，將三維點雲投影在水平面上可以生成三維點雲投影之後的二維點雲圖像。
這裡，在基於三維點資訊，生成三維點雲投影的二維點雲圖像之前，可以根據圖像採集裝置的位姿資訊確定圖像採集裝置拍攝過程中的拍攝平面，然後根據該拍攝平面確定三維點雲投影的水平面，從而可以將三維點雲投影到確定的水平面上，生成三維點雲的二維點雲圖像。這裡的水平面可以是在圖像採集裝置的座標系下的平面，與真實三維空間中的水平面可以相同，也可以不同，三維點雲在圖像採集裝置的座標系下進行投影，生成投影之後二維點雲圖像。
圖2示出根據本公開實施例的三維點雲投影的二維點雲圖像的框圖。如圖2所示，三維點雲投影的水平面與真實三維空間中的Z軸並不垂直。三維點雲經過向水平面的投影後，可以得到三維點雲的二維點雲圖像。
步驟S13，基於所述二維點雲圖像與參考平面圖的一致程度，確定所述三維點雲中包含的三維點在所述參考平面圖的參考座標系下的投影座標，其中，所述參考平面圖用於表示目標物體在所述水平面投影的帶有參考座標的投影圖，所述三維點雲用於表示所述目標物體的三維空間資訊。
在本公開實施例中，二維點雲圖像與參考平面圖一致程度可以理解為，在相同的圖像區域內，二維點雲圖像中的二維點與參考平面圖中參考點之間的相互匹配程度。根據二維點雲圖像與參考平面的一致程度，可以確定二維點雲圖像匹配到參考平面圖的相似變換，然後基於確定的相似變換可以將二維點雲圖與參考平面圖進行對齊，得到三維點雲中的三維點在參考平面圖的參考座標系下的投影座標。或者，可以根據基於確定的相似變換，確定三維點雲在參考平面圖的參考座標系下進行投影的投影變換，從而可以利用投影變換將三維點雲投影在參考平面圖上，得到三維點雲在參考平面圖的參考座標系下的投影圖像。這裡，相似變換是指從二維點雲圖像轉換到參考平面圖的變換關係。具體的，二維點雲圖像匹配到參考平面圖的相似變換，可以但不限於包括二維點雲圖像的旋轉、平移、放縮等圖像變換。通過相似變換可以將二維點雲圖像匹配到參考平面圖的對應位置，使二維點雲圖像中表示某個目標物體的二維點與參考平面圖中表示該目標物體的參考點對齊。
這裡，參考平面圖可以是目標物體的向水平面投射的平面圖，例如，建築物的平面圖、測繪的二維地圖等。本公開實施例中可以利用牆面、立柱等顯著的結構將三維點雲自動匹配到參看平面圖中，為了減少無關資訊的影響，這裡的參考平面圖可以是經過簡化的平面圖，即參考平面圖中可以保留表示牆面、立柱等顯著結構的參考點或輔助線段。在參考平面圖中，保留的參考點或輔助線段的像素值可以設置為1，其他的像素點可以設置為0，這樣可以對參考平面圖進行簡化。
圖3示出根據本公開實施例的三維點雲在參考座標系下的投影圖像的框圖。如圖3所示，三維點雲向水平面投影得到二維點雲圖像後，二維點雲圖像與參考平面圖自動對齊。通過本公開實施例提供的資訊處理方案，可以根據二維點雲圖像與參考平面圖的一致程度，將三維點雲投影在參考平面圖中，使在圖像採集裝置的座標系下的三維點雲自動變換到參考平面圖的參考座標系下，可以節省大量的人力，提高匹配效率。
本公開實施例中提供了生成三維點雲投影的水平面的一種可能的實現方式。上述資訊處理方法還包括以下步驟：
步驟S121，獲取圖像採集裝置採集圖像資訊過程中的至少兩個位姿資訊，其中，所述圖像資訊用於構建所述三維點雲；
步驟S122，根據所述圖像採集裝置的至少兩個位姿資訊，確定所述三維點雲投影的水平面。
在該實現方式中，由於三維點雲是以圖像採集裝置的座標系為基準的，圖像採集裝置的座標系與實際三維空間的座標系可以不同，可以先確定三維點雲進行投影的水平面。這裡，圖像採集裝置的座標系可以是以圖像採集裝置的圖像感測器所在平面建立的座標系。實際三維空間的座標系可以是世界座標系。從而可以獲取圖像採集裝置拍攝過程中至少兩個時刻對應的位姿資訊，每個時刻的位姿資訊可以是一個位姿資訊。或者，可以獲取兩個圖像採集裝置在拍攝過程中的位姿資訊，一個圖像採集裝置的位姿資訊可以是一個位姿資訊。位姿資訊可以包括圖像採集裝置的位置資訊和朝向資訊，這裡的位置資訊可以是在圖像採集裝置的座標系下的位置。根據圖像採集裝置的至少兩個位姿資訊，可以確定圖像採集裝置的拍攝平面，根據該拍攝平面可以確定三維點雲投影的水平面。從而可以將三維點雲的三維點資訊投影在該水平面的座標系下，生成三維點雲的二維點雲圖像。
在一種可能的實現方式中，上述步驟S122可以包括以下步驟：
步驟S1221，根據所述圖像採集裝置的至少兩個位置資訊，確定所述圖像採集裝置在採集圖像資訊過程中的任意兩個位置之間的位移；
步驟S1222，根據所述圖像採集裝置的至少兩個朝向資訊以及在任意兩個位置之間的位移，確定所述三維點雲投影的水平面。
在該實現方式中，可以認為三維點雲投影的水平面與圖像採集裝置所在的水平軸平行，並且，該水平面與圖像採集裝置移動的平面平行。從而圖像採集裝置的至少兩個朝向資訊對應的朝向與水平面平行，圖像採集裝置的至少兩個位置資訊確定的位移與水平面平行，從而可以根據圖像採集裝置的至少兩個位置資訊，確定圖像採集裝置在採集圖像資訊過程中的任意兩個位置之間的位移，然後根據水平面與圖像採集裝置的朝向、位移的平行關係，確定三維點雲投影的水平面。
這裡，上述圖像採集裝置滿足以下至少一個預設的基礎條件：所述圖像採集裝置在採集圖像資訊過程中所在的水平軸與所述三維點雲投影的水平面平行；所述圖像採集裝置在採集圖像資訊過程中的採集高度在預設高度範圍內變化。其中，圖像採集裝置在採集圖像資訊過程中所在的水平軸與三維點雲投影的水平面平行，可以表明圖像採集裝置在拍攝用於重建三維點雲的圖像資訊時，圖像採集裝置是水平的，即基於圖像採集裝置的朝向確定的圖像採集裝置座標系的x或y軸平行於拍攝的水平面。
這裡，可以將圖像採集裝置的成像平面的中心作為圖像採集裝置座標系的原點，垂直於圖像採集裝置的成像平面且經過上述原點的方向可以作為圖像採集裝置座標系的z軸，圖像採集裝置的成像平面所在平面的任意兩個相垂直的方向可以作為圖像採集裝置座標系的x軸或y軸。圖像採集裝置在採集圖像資訊過程中的採集高度在預設高度範圍內變化，可以表明圖像採集裝置拍攝的高度可以是大致固定的，從而圖像採集裝置的位移平行於水平面。這樣，可以根據至少一個上述基礎條件確定三維點雲投影的水平面。即，在圖像採集裝置所在的水平軸與三維點雲投影的水平面平行的情況下，可以藉由圖像採集裝置在採集圖像資訊過程中至少兩個時刻所在的水平軸形成的平面，確定三維點雲投影的水平面。或者，在圖像採集裝置的採集高度在預設高度範圍內變化的情況下，可以通過採集圖像資訊過程中不同方向的位移向量，確定三維點雲投影的水平面，從而即使三維點雲所在的圖像採集裝置座標系與世界座標系不同，也可以快速地確定三維點雲投影的水平面，為三維點雲生成向水平面投影的二維點雲圖像提供投影條件。
舉例來說，可以基於上述基礎條件先確定三維點雲投影的水平面的x軸方向，再確定水平面的y軸與z軸方向。假設A可以是基於圖像採集裝置的朝向確定的矩陣，A的每行可以表示一個採集時刻圖像採集裝置的水平軸x軸的方向向量的轉置，如果圖像採集裝置在該採集時刻確定位姿的旋轉矩陣為R，則該採集時刻圖像採集裝置的x軸的方向向量可以為R的第一行行向量(1,0,0)T ；假設B可以是基於兩個採集時刻圖像採集裝置的位移得到的矩陣，為了提高穩定性，可以位移大於一定閾值的兩個採集時刻圖像採集裝置，例如，可以將該閾值設置為兩個採集時刻圖像採集裝置的最大位移的0.2倍，從而可以過濾過小的位移。根據上述矩陣A和B，可以建立關於水平面的法線向量的線性關係，如公式（1）所示：
Figure 02_image001
公式（1）
其中，n是水平面的法線向量。公式（1）可以表示待求取的水平面的法線方向垂直於圖像採集裝置的x軸，同時，垂直於圖像採集裝置的位移。
上述公式（1）可以藉由奇異值分解（Singular Value Decomposition，SVD）求取n的最小二乘解。假設
Figure 02_image003
，M進行SVD後可以表示為M=UDVT ；其中，U是m×m階的酉矩陣；D是半正定m×3階的對角矩陣；而V是3×3階的奇異向量矩陣。V中最小奇異值對應的奇異向量可以為n的最小二乘解，若奇異值按照降序排列，V對應的奇異向量分別為V1 、V2 和V3 ，則有n=V3 。
為了將三維點雲投影到水平面生成二維點雲圖，除了確定三維點雲投影的水平面的法線方向之外，還可以確定三維點雲投影的水平面的x軸方向和y軸方向。舉例來說，可以將上述V中的其它兩個奇異向量，即V1 和V2 分別作為投影的水平面的x軸的方向向量和y軸的方向向量。
藉由上述方式，可以確定三維點雲投影的水平面所在的座標系，從而可以進一步將三維點雲向確定的水平面進行投影。
在一種可能的實現方式中，上述步驟S12可以包括以下步驟：
步驟S123，根據所述三維點雲的三維點資訊，確定所述三維點雲中包括的至少一個平面；
步驟S124，根據所述至少一個平面中每個平面包括的三維點的數量以及每個平面的法線方向，確定所述三維點雲中的待濾除三維點；
步驟S125，在所述三維點雲中刪除所述待濾除三維點，得到所述三維點雲的剩餘三維點；
步驟S126，根據剩餘三維點的三維點資訊，將剩餘三維點投影在所述水平面上，生成所述三維點雲投影的二維點雲圖像。
在該實現方式中，在室內場景下，可以利用牆面、立柱等標識性結構，將三維點雲匹配到參考平面圖中，由於三維點雲可以包括表示室內場景中任意一個或多個目標物體的三維點，如果將三維點雲中的三維點向水平面投影，一些非標識性結構對應的三維點向水平面投影之後，會對標識性結構對應的三維點向水平面投影生成的二維點造成干擾，會增加分辨表示牆面、立柱等標識性結構的二維點難度。從而為了提高三維點雲的二維點雲圖像匹配參考平面圖的效果，在將三維點雲投影到水平面時，可以對三維點雲中的三維點進行濾除，例如，可以濾除三維點雲中表示天花板、地面等物體的三維點，從而可以減少三維點中大量的非標識性結構對應的三維點。在濾除三維點雲的三維點時，可以根據三維點資訊中的位置資訊，確定三維點雲形成的一個或多個平面，然後可以統計每個形成的平面所包括的三維點的數量，並獲取每個平面的法線方向。一般認為，天花板和地面所在的平面內包含的三維點數量比較多，且天花板和地面所在的平面的法線方向是垂直於地面的。因此，根據每個平面包括的三維點數量和法線方向，確定天花板、地面等物體的平面，然後可以將天花板、地面等物體的平面包括的三維點確定為待濾除三維點，從而可以將該平面上的三維點從三維點雲中濾除，得到三維點雲的剩餘三維點。然後可以根據剩餘三維點的位置資訊，將剩餘三維點投影在水平面上，生成三維點雲投影的二維點雲圖像。
在該實現方式的一個示例中，上述步驟S124可以包括：根據所述至少一個平面中每個平面包括的三維點的數量，確定所述至少一個平面中三維點的數量最多並且大於第一閾值的第一平面；判斷所述第一平面的法線方向是否垂直於所述水平面；在所述第一平面的法線方向垂直於所述水平面的情況下，確定所述第一平面包括的三維點為所述待濾除三維點。
在該示例中，可以根據獲取的每個平面包括的三維點的數量，確定三維點集合中的三維點包括的一個或多個平面中，三維點的數量最多並且大於第一閾值的第一平面。然後可以判斷第一平面的法線方向是否與水平面垂直，如果第一平面的法向方向與水平面垂直，則可以認為第一平面表示的是天花板或地面所在的平面，第一平面包括的三維點是三維點雲中的待濾除三維點，否則可以將第一平面上的三維點由上述三維點集合轉移到保留三維點集合中，得到三維點集合中剩餘的三維點，然後重複確定三維點集合中的三維點包括的一個或多個平面中，三維點的數量最多並且大於第一閾值的第一平面的步驟，直到上述三維點集合中三維點的數量小於或等於預設的剩餘數量閾值。這裡，剩餘三維點可以是由三維點集合中剩餘的三維點以及保留三維點集合中的三維點組成的。第一閾值可以根據實際應用場景進行設置。
在一種可能的實現方式中，上述步驟S12可以包括以下步驟：
步驟S12a，根據所述三維點雲的三維座標向量以及投影的水平面，確定所述三維點雲在所述水平面投影的二維點雲的座標資訊；
步驟S12b，根據所述二維點雲的座標資訊，確定所述二維點雲包括的滿足直線條件的目標直線；
步驟S12c，根據所述目標直線與所述水平面的座標軸的位置關係，確定所述二維點雲的旋轉角；
步驟S12d，按照所述旋轉角對所述二維點雲進行旋轉，得到所述三維點雲向所述水平面投影的二維點雲圖像。
在該實現方式中，三維點資訊可以包括三維座標向量，該三維向量座標可以是在圖像採集裝置座標系下的座標向量。在生成三維點雲投影的二維點雲圖像時，可以根據在參考平面圖中標識性結構的圖像位置，將三維點雲投影到水平面中。例如，可以根據參考平面圖中牆面或立柱等標識性結構，通常平行於參考平面圖座標系的x軸或y軸這一性質，將三維點雲投影到水平面中。進而可以將三維點雲中每個三維點的三維座標向量向水平面進行投影，得到投影之後二維點雲中二維點的座標資訊，例如一個三維點i的座標向量為Xi ，則三維點i向水平面投影後得到的二維點xi 的座標為(xi ,yi )，xi =V1 ⋅Xi ，yi =V2 ⋅Xi 。然後根據二維點雲的座標資訊，將二維點雲擬合成至少一條直線，在擬合的直線中確定滿足直線條件的目標直線，並將滿足直線條件的目標直線上包括的二維點作為表示標識性結構的二維點。然後可以根據目標直線與所述水平面的座標軸的位置關係，確定目標直線與水平面的x軸或y軸的夾角，並將該夾角作為二維點雲的旋轉角，將二維點雲按照旋轉角進行旋轉，使滿足目標直線平行或垂直於水平面座標軸的x軸或y軸，得到最終三維點雲投影的二維點雲圖像。
舉例來說，假設二維點雲的旋轉角為rini ，則可以對二維點雲的進行旋轉角為rini 的旋轉，使得目標直線平行於水平面的x軸或y軸。然後可以根據二維點雲的座標資訊，確定二維點雲的座標的極值，得到二維點雲的極值座標可以表示為(xl ,yt )。二維點雲所在的矩形區域的長和寬分別以表示為w和h，該矩形區域可以包含二維點雲的至少一個二維點。保持該矩形區域的長寬比不變，對該矩形區域放縮sini 倍，可以生成一幅長為一定數值的二維點雲圖像。這裡，二維點雲圖像的尺寸可以根據參考平面圖的解析度進行調整。例如，可以將二維點雲圖像的長度設置為參考平面圖中某個區域的長度，二維點雲圖像中二維點所在位置的像素值可以設置為1，其它位置的像素值可以設置為0，這樣，可以得到三維點雲投影的二維點雲圖像。
在該實現方式的一個示例中，根據所述二維點雲的座標資訊，確定所述二維點雲包括的滿足直線條件的目標直線，可以包括：根據所述二維點雲的座標資訊，確定所述二維點雲中包括的至少一條直線；統計所述至少一條直線中每條直線所包含的二維點的數量，按照所述二維點的數量對所述至少一條直線排序，得到排序結果；根據所述排序結果逐次獲取所述至少一條直線中的當前直線，確定所述至少一個直線中與所述當前直線垂直的直線的數量；在與當前直線垂直的直線的數量大於第三閾值的情況下，確定當前直線為滿足直線條件的目標直線。其中，所述至少一條直線中每條直線包括的二維點的數量大於第二閾值。在該示例中，室內的參考平面圖中，牆面、立柱等顯著的結構通常平行於x軸或y軸。基於此，確定二維點雲包括的滿足直線條件的目標直線可以包括以下步驟：
步驟1，在針對二維點雲的二維點集合，可以對二維點進行直線擬合，例如，利用RANSAC演算法。獲取直線上二維點的數量最多並且大於第二閾值的直線，將該直線放入直線佇列，並從二維點集合中去除這條直線上的二維點。這裡二維點的數量最多可以理解為二維點的數量達到峰值。
步驟2，若二維點集合中剩下的二維點的數量大於一定的剩餘數量閾值，則重複上一步驟。藉由這種方式可以確定二維點的數量大於第二閾值的至少一條直線。
步驟3，根據統計的每條直線所包含的二維點的數量，從直線佇列中取出排在最靠前的當前直線，排在最靠前的當前直線可以理解為直線中二維點的數量最多的直線。計算當前直線與其他直線的夾角。如果與當前直線垂直的直線的數量大於第三閾值，則可以認為當前直線表示某個平行於x軸或y軸的標識性結構，確定當前直線為滿足直線條件的目標直線。否則，重複步驟3直到滿足直線條件的目標直線出現或者直線佇列為空。如果直線佇列中都沒找到滿足直線條件的直線，則可以將最先加入佇列的直線，即直線包括的二維點數量最多的直線作為目標直線。
本公開實施例還提供了確定三維點雲中包含的三維點在參考座標系下投影座標的一種可能的實現方式。下面對上述步驟S13進行說明，上述步驟S13可以包括以下步驟：
步驟S131，對所述二維點雲圖像進行至少一次相似變換；
步驟S132，確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度；
步驟S133，根據所述至少一次相似變換後確定的一致程度，確定所述三維點雲中三維點匹配到所述參考平面圖中參考點的變換關係；
步驟S134，基於所述變換關係，將所述三維點雲向所述參考平面圖進行投影，得到所述三維點雲在所述參考平面圖的參考座標系下的投影座標。
在該實現方式中，由於二維點雲圖像與參考平面圖可能在尺寸和位置並不匹配，從而需要將二維點雲圖像經過至少一次相似變換，使二維點雲圖像與參考平面圖表示相同物體的圖像對齊。這裡，相似變換可以包括旋轉、放縮和平移。每次經過相似變換後，可以確定相似變換後的二維點雲圖像中二維點與參考平面圖中參考點的一致程度，一致程度最高的相似變換可以是最終確定的相似變換。由於最終確定的相似變換是二維點雲圖像匹配到參考平面圖的二維相似變換，從而可以根據最終確定的相似變換確定三維點雲中三維點匹配到參考平面圖中參考點的變換關係，即可以根據二維的相似變換確定三維的變換關係，根據該三維的變換關係可以將三維點雲匹配到參考平面圖，得到三維點雲在參考座標系下的投影座標。
在一種可能的實現方式中，上述步驟S131可以包括以下步驟：
步驟S1311，確定所述二維點雲圖像進行相似變換的變換範圍；
步驟S1312，在所述變換範圍內對所述二維點雲圖像進行至少一次相似變換。
在該實現方式中，可以先確定二維點雲圖像進行相似變換的變換範圍，這裡的相似變換的變換範圍可以包括旋轉角度、放縮尺度以及平移區間，在確定的變化範圍內可以對二維點雲圖像進行一次或多次相似變換，使二維點雲圖像與參考平面圖相匹配。
舉例來說，二維點雲圖像可以經過上述旋轉角為rini 的旋轉，二維點雲圖像中表示牆面等標識性結構的二維點平行於x軸或y軸，參考平面圖中表示牆面等標識性結構的參考點同樣平行於x軸或y軸，從而二維點雲圖像的旋轉角度可以包括4個旋轉角度，即旋轉角度可以是{0°, 90°, 180°, 270°}。放縮尺度可以在區間[0.55, 1.4]進行等間隔變換，間隔可以設置為0.05。
平移區間可以設置為參考平面圖中心周圍的一個矩形區域內，假設平移向量為（tx , ty ），
Figure 02_image005
，
Figure 02_image007
，平移向量的變化間隔可以為1個像素。其中，wf 表示參考平面圖的寬；hf 表示參考平面圖的高；
Figure 02_image009
表示參考平面圖中心的x座標；
Figure 02_image011
表示平面圖中心的y座標；
Figure 02_image013
表示二維點雲圖像中心的x座標；
Figure 02_image015
表示二維點雲圖像中心的y座標。此平移區間可以表示將二維點雲圖像的中心移動至參考平面圖中心周圍的一個矩形區域內，該矩形區域與參考平面圖的大小相同。
在一個可能的實現方式中，所述相似變換包括平移變換；上述步驟S132可以包括：針對每次平移變換後的二維點雲圖像，對所述二維點雲圖像進行預設次數的降採樣處理，得到每次降採樣處理後的第一採樣圖像；針對每次降採樣處理後的第一採樣圖像，確定該第一採樣圖像中二維點與第二採樣圖像中參考點的一致程度；其中，第二採樣圖像為所述參考平面圖經過與該第一採樣圖像相同的降採樣處理得到的；根據第一次降採樣處理後確定的第一採樣圖像與第二採樣圖像的一致程度，確定每次平移變換後的二維點雲圖像中二維點與參考平面圖的參考點的一致程度。
在該實現方式中，為了提高確定最佳相似變換的效率，在對二維點雲圖像進行平移變換時，可以採用由粗到細的方式確定每次平移變換後二維點雲圖像與參考平面圖的一致程度。即，針對每次平移變換後的二維點雲圖像，可以對該二維點雲圖像進行預設次數的降採樣處理，每次降採樣處理後可以得到二維點雲圖像對應的第一採樣圖像。同時，對參考平面圖進行預設次數的降採樣處理，每次降採樣處理後可以得到參考平面圖對應的第二採樣圖像。多個第一採樣圖像和二維點雲圖像可以形成圖像金字塔，圖像金字塔包括多層，最底層可以表示二維點雲圖像，其他層可以表示二維點雲圖像經過降採樣處理得到的第一採樣圖像，例如，表示二維點雲圖像經過最大池化操作得到的第一採樣圖像。層數越高，第一採樣圖像對應的升採樣處理次數越多。相應地，多個第二採樣圖像和參考平面圖可以形成圖像金字塔，圖像金字塔的最底層可以表示參考平面圖，其他層可以表示參考平面圖經過降採樣處理得到的第二採樣圖像，參考平面圖對應的圖像金字塔的層數與二維點雲圖像對應的圖像金字塔的層數相同。由圖像金字塔的頂端開始，依次確定每層的第一採樣圖像和第二採樣圖像的一致程度，即，按照降採樣處理次數由大到小的順序，依次確定相同降採樣處理次數的第一採樣圖像和第二採樣圖像的一致程度，確定每一層的第一採樣圖像和第二採樣圖像中每個像素點位置的一致程度，可以保留最佳的20個候選位置，下一層可以在保留的候選位置周圍的7x7像素點位置的鄰域，確定該層第一採樣圖像和第二採樣圖像的一致程度，直到最底層，即，確定二維點雲圖像和參考平面圖的一致程度。藉由這種方式可以提高確定最佳相似變換的效率。
在一種可能的實現方式中，上述步驟S132可以包括以下步驟：
步驟S1321，針對每次相似變換後的二維點雲圖像，遍歷所述二維點雲圖像的第一像素點，其中，所述第一像素點為所述二維點雲圖像中構成所述二維點的像素點；
步驟S1322，確定所述參考平面圖中對應於所述第一像素點的第一圖像區域；
步驟S1323，在所述第一圖像區域內存在表示所述參考點的第二像素點的情況下，確定所述第一像素點為第一目標像素點；
步驟S1324，確定所述二維點雲圖像中包含的第一目標像素點的數量與所述二維點雲圖像中包含的第一像素點的數量的第一比例；
步驟S1325，根據所述第一比例確定每次相似變換後所述二維點雲圖像與所述參考平面圖的一致程度。
在該實現方式中，可以確定每次經過相似變換後的二維點雲圖像與參考平面圖的一致程度。這裡的一致程度可以是在相同的圖像區域內，二維點雲圖像到參考平面圖的一致程度。從而可以遍歷二維點雲圖像中每個表示二維點的第一像素點。針對任意一個第一像素點，確定該第一像素點的圖像位置，然後在參考平面圖的相同圖像位置處，確定第一圖像區域，例如，可以將相同圖像位置的鄰域作為第一圖像區域。然後判斷第一圖像區域內是否存在表示參考點的第二像素點，如果存在，可以將第一像素點確定為第一目標像素點，然後計算二維點雲圖像中的第一目標像素點的數量與第一像素點的數量之間的第一比例，該第一比例可以確定為二維點雲圖像到參考平面圖的一致程度。
舉例來說，可以用Cp2f 表示二維點雲圖像到參考平面圖的一致程度。在二維點雲圖像中表示二維點的像素點可以是第一像素點，第一像素點可以認為是有意義的像素點。例如可以將二維點雲圖像中的第一像素點的像素值設置為1，除第一像素點之外的其他像素點的像素值設置為0。在二維點雲圖像的任意一個第一像素點的圖像位置處，判斷在該第一像素點的圖像位置的相同位置處，參考平面圖在該相同位置的像素點是否為第二像素點，如果存在，該第一像素點是第一目標像素點。確定第一目標像素點占第一像素點的第一比例。為了提高容錯性，可以將相同位置調整為附近位置，例如，可以將附近位置設置為7×7像素點的鄰域。
在一種可能的實現方式中，上述步驟S132可以包括：每次對所述二維點雲圖像相似變換後，遍歷所述參考平面圖的第二像素點，其中，所述第二像素點為所述參考平面圖中構成所述參考點的像素點；確定所述二維點雲圖像中對應於所述第二像素點的第二圖像區域；在所述第二圖像區域內存在表示所述二維點的第一像素點的情況下，確定所述第二像素點為第二目標像素點；確定所述參考平面圖中包含的第二目標像素點的數量與所述參考平面中包含的第二像素點的數量的第二比例；根據所述第二比例確定每次相似變換後所述二維點雲圖像與參考平面圖的一致程度。
在一種可能的實現方式中，上述步驟S132可以包括：每次對所述二維點雲圖像相似變換後，遍歷所述參考平面圖的第二像素點，其中，所述第二像素點為所述參考平面圖中構成所述參考點的像素點；確定所述二維點雲圖像中對應於所述第二像素點的第二圖像區域；在所述第二圖像區域內存在表示所述二維點的第一像素點的情況下，確定所述第二像素點為第二目標像素點；確定所述參考平面圖中包含的第二目標像素點的數量與所述參考平面中包含的第二像素點的數量的第二比例；根據所述第二比例確定每次相似變換後所述二維點雲圖像與參考平面圖的一致程度。
在一種可能的實現方式中，上述步驟S132還可以包括以下步驟：
步驟S132a，每次對所述二維點雲圖像相似變換後，確定所述二維點雲圖像中位於非封閉區域內的第一像素點，其中，所述第一像素點為所述二維點雲圖像中構成所述二維點的像素點；
步驟S132b，確定位於所述非封閉區域的第一像素點的數量與所述二維點雲圖像中包含的第一像素點的數量的第三比例；
步驟S132c，根據所述第三比例確定每次相似變換後所述二維點雲圖像與參考平面圖的一致程度。
在該實現方式中，為了提高三維點雲參考座標系下投影的強健性，可以在確定二維點雲圖像與參考平面圖的一致程度時，考慮三維點雲的投影存在限制區域的約束條件，即可以理解為，三維點雲中的三維點不應出現在某些區域，例如，不出現在某些封閉的圖像空間。相應地，三維點投影的二維點也不應出現在某些圖像區域。從而可以統計二維點雲圖像中位於非封閉區域內的第一像素點，然後計算位於非封閉區域的第一像素點的數量與二維點雲圖像中包含的第一像素點的數量之間的第三比例，該第三比例可以表示二維點雲圖像與參考平面圖的一致程度。
在一種可能的實現方式中，上述步驟S132還可以包括：每次對所述二維點雲圖像相似變換後，根據所述圖像採集裝置採集圖像資訊過程中的位姿資訊，確定所述圖像採集裝置在所述二維點雲圖像中投影的第三像素點；其中，所述圖像資訊用於構建所述三維點雲；確定位於所述非封閉區域的第三像素點的數量與所述二維點雲圖像中包含的第三像素點的數量的第四比例；根據所述第四比例確定每次相似變換後所述二維點雲圖像與參考平面圖的一致程度。
在該實現方式中，在確定二維點雲圖像與參考平面圖的一致程度時，還可以考慮圖像採集裝置在採集圖像資訊過程中存在的約束條件，即，圖像採集裝置在採集圖像資訊過程中不應出現在某些空間，例如，不應出現在某些封閉空間內。相應地，圖像採集裝置投影在二維點雲圖像的二維點不應出現在某些區域。從而可以根據圖像採集裝置採集圖像資訊過程中的位姿資訊，確定圖像採集裝置在二維點雲圖像中投影的第三像素點，然後統計位於非封閉區域內的第三像素點的數量，計算位於非封閉區域內的第三像素點的數量與二維點雲圖像中包含的第三像素點的第四比例，該第三比例可以表示二維點雲圖像與參考平面圖的一致程度。
在一些實現方式中，為了更加全面地確定二維點雲圖像與參考平面圖的一致程度，還可以考慮上述第一比例、第二比例、第三比例、第四比例中一個或多個比例，確定二維點雲圖像與參考平面圖的一致程度。該一致程度越大，表示二維點雲圖像與參考平面圖的對齊程度越高。基於上述各個實現方式，在一個示例中，在確定每次相似變換後二維點雲圖像與參考平面圖的一致程度時，可以基於上述第一比例、第二比例、第三比例和第四比例，共同確定每次相似變換後二維點雲圖像與參考平面圖的一致程度，相應的一致程度的運算式可以由公式（2）所示： C = Cp2f + Cf2p + Clc +Clp 公式（2）
其中，"C" 可以是二維點雲圖像與參考平面圖的一致程度，一致程度越大，表示二維點雲圖像與參考平面圖的對齊程度越高；Cp2f 可以表示上述第一比例；Cf2p 可以表示上述第二比例；Clc 可以表示上述第三比例；Clp 可以表示上述第四比例。
在一種可能的實現方式中，上述步驟S133可以包括以下步驟：
步驟S1331，根據所述至少一次相似變換後確定的一致程度，確定所述二維點雲圖像中二維點匹配到所述參考平面圖中參考點的二維變換矩陣；
步驟S1332，基於所述二維變換矩陣，確定所述三維點雲中三維點匹配到所述參考平面圖中參考點的變換關係。
在該種可能的實現方式中，可以將至少一次相似變換中一致程度最高的相似變換作為最終的相似變換，根據最終的相似變換可以確定二維點雲圖像匹配到參考平面圖的二維變換矩陣。然後基於二維變換矩陣可以得到由三維點雲中三維點匹配到參考平面圖中參考點的變換關係，該變換關係可以用三維變換矩陣進行表徵。舉例來說，一致程度最高的相似變換對應的旋轉角可以為rbest ，放縮尺度可以為sbest 。其中，rbest 可以已經包括初始的旋轉角rini ，sbest 可以已經包括初始的放縮尺度sini 。該旋轉角和縮放尺度下的最佳平移可以為tbest 。從而可以得到由二維點雲圖中二維點到參考平面圖中參考點相似變換的二維變換矩陣，該二維變換矩陣S2D 可以如公式（3）所示：
Figure 02_image017
公式（3）
其中，
Figure 02_image019
可以表示旋轉角為rbest 的2×2的旋轉矩陣。
得到二維相似矩陣之後，可以由二維相似矩陣得到三維變換矩陣，三維變換矩陣S3D 可以如公式（4）所示：
Figure 02_image021
公式（4）
其中，
Figure 02_image023
可以表示以z軸為旋轉軸旋轉
Figure 02_image025
的三維旋轉矩陣，V可以是上述步驟S1222中的奇異向量矩陣，V三個列向量V1 、V2 和V3 可以分別為投影的水平面的x軸、y軸和z軸。
藉由上述三維變換矩陣，可以根據三維點雲的三維點資訊，得到三維點雲中任意一個三維點在參考平面圖中的投影座標，可以提高將三維點雲匹配到參考平面圖上的效率和精度。
基於本公開實施例提供的上述資訊處理方法，本公開實施例還提供了一種定位方法。圖4示出根據本公開實施例的定位方法的流程圖。該定位方法可以由終端設備、伺服器或其它資訊處理設備執行，其中，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂巢式電話、室內無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該定位方法可以藉由處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
如圖4所示，所述定位方法包括以下步驟：
步驟S21，獲取圖像採集裝置對目標物體採集的目標圖像資訊；
步驟S22，將採集的所述目標圖像資訊與三維點雲中的三維點進行比對，其中，所述三維點雲用於表示所述目標物體的三維空間資訊，所述三維點雲中的三維點與投影座標對應，所述投影座標是基於二維點雲圖像與參考平面圖的一致性確定的，所述二維點雲圖像為所述三維點雲向水平面投影生成的，所述參考平面圖用於表示所述目標物體在所述水平面投影的帶有參考座標的投影圖；
步驟S23，根據與所述目標圖像資訊相匹配的三維點所對應的投影座標，對所述圖像採集裝置進行定位。
在本公開實施例中，定位裝置可以獲取圖像採集裝置採集當前場景中目標物體的目標圖像資訊，然後可以將採集的目標圖像與當前場景的三維點雲中的三維點進行對比，確定採集的目標圖像資訊相匹配的三維點。然後可以根據該三維點的三維點資訊，確定該三維點在參考平面圖中的投影座標，例如，利用上述三維投影矩陣，確定該三維點在參考平面圖中的投影座標。然後根據該三維點的投影座標，可以確定圖像採集裝置在當前場景中的位置。舉例來說，使用者可以使用圖像採集裝置採集對目標物體進行拍照，定位裝置可以根據圖像採集裝置拍攝的目標圖像資訊，確定使用者在當前場景的參考平面圖中的位置，實現對用戶進行定位。
可以理解，本公開提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本公開不再贅述。
此外，本公開還提供了資訊處理裝置、電子設備、電腦可讀儲存媒介、程式，上述均可用來實現本公開提供的任一種資訊處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
本公開實施例提供的資訊處理方案，可以根據二維點雲圖像與參考平面圖的一致程度，將三維點雲投影在參考平面圖中，使在圖像採集裝置的座標系下的三維點雲自動變換到參考平面圖的參考座標系下，可以節省大量的人力，提高匹配效率。並且藉由對三維點雲進行濾除的預處理以及多種約束條件結合的方式來進行自動匹配註冊，提高匹配的準確率。對於某個大型建築室內場景，可以先採集場景的圖像進行三維重建，然後使用本公開實施例提供的資訊處理方案將三維重建得到的三維點雲自動匹配到建築物的平面圖上。基於匹配後得到的投影圖像，使用者可以藉由手機等設備拍攝圖像估計出使用者在建築物的平面圖中的位置，即在當前場景中的位置，實現視覺定位。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
圖5示出根據本公開實施例的資訊處理裝置的框圖，如圖5所示，所述資訊處理裝置包括：
獲取模組31，用於獲取三維點雲的三維點資訊；生成模組32，用於基於所述三維點資訊，生成所述三維點雲向水平面投影的二維點雲圖像；確定模組33，用於基於所述二維點雲圖像與參考平面圖的一致程度，確定所述三維點雲中包含的三維點在所述參考平面圖的參考座標系下的投影座標，其中，所述參考平面圖用於表示目標物體在所述水平面投影的帶有參考座標的投影圖，所述三維點雲用於表示所述目標物體的三維空間資訊。
圖6示出根據本公開實施例的定位裝置的框圖，所述定位裝置包括：獲取模組41，用於獲取圖像採集裝置對目標物體採集的目標圖像資訊；對比模組42，用於將採集的所述目標圖像資訊與三維點雲中的三維點進行比對，其中，所述三維點雲用於表示所述目標物體的三維空間資訊，所述三維點雲中的三維點與投影座標對應，所述投影座標是基於二維點雲圖像與參考平面圖的一致性確定的，所述二維點雲圖像為所述三維點雲向水平面投影生成的，所述參考平面圖用於表示所述目標物體在所述水平面投影的帶有參考座標的投影圖；定位模組43，用於根據與所述目標圖像資訊相匹配的三維點所對應的投影座標，對所述圖像採集裝置進行定位。
在一些實施例中，本公開實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本公開實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為執行上述方法。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖7是根據一示例性實施例示出的一種電子設備1900的框圖。例如，電子設備1900可以被提供為一伺服器。參照圖7，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和一個輸入輸出（I/O）介面1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或類似的作業系統。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒介，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本公開可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存媒介，其上載有用於使處理器實現本公開的各個方面的電腦可讀程式指令。
電腦可讀儲存媒介可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒介例如可以是―但不限於―電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒介的更具體的例子（非窮舉的列表）包括：可擕式電腦硬碟、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可擦除可規劃式唯讀記憶體（EPROM或快閃記憶體）、靜態隨機存取記憶體（SRAM）、唯獨記憶光碟（CD-ROM）、數位多功能影音光碟（DVD）、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存媒介不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、藉由波導或其他傳輸媒介傳播的電磁波（例如，藉由光纖電纜的光脈衝）、或者藉由電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存媒介下載到各個計算/處理設備，或者藉由網路、例如網際網路、區域網路、廣域網路和/或無線網路下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存媒介中。
用於執行本公開操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括物件導向的程式設計語言—諸如Smalltalk、C++等，以及常規的過程式程式設計語言—諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以藉由任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到使用者電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供者來藉由網際網路連接）。在一些實施例中，藉由利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列（FPGA）或可程式設計邏輯陣列（PLA），該電子電路可以執行電腦可讀程式指令，從而實現本公開的各個方面。
這裡參照根據本公開實施例的方法、裝置（系統）和電腦程式產品的流程圖和/或框圖描述了本公開的各個方面。應當理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在藉由電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒介中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀媒介則包括一個製造品，其包括實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作。
圖式中的流程圖和框圖顯示了根據本公開的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方框中所標注的功能也可以以不同於圖式中所標注的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本公開的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
S11~S23:流程步驟 1900:電子設備 31、41:獲取模組 1922:處理組件 32:生成模組 1926:電源組件 33:確定模組 1932:記憶體 42:對比模組 1950:網路介面 43:定位模組 1958:輸入輸出介面
為了更清楚地說明本公開實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹。 圖1示出根據本公開實施例的資訊處理方法的流程圖。 圖2示出根據本公開實施例的三維點雲投影的二維點雲圖像的框圖。 圖3示出根據本公開實施例的三維點雲在參考座標系下的投影圖像的框圖。 圖4示出根據本公開實施例的定位方法的流程圖。 圖5示出根據本公開實施例的資訊處理裝置的框圖。 圖6示出根據本公開實施例的定位裝置的框圖。 圖7示出根據本公開實施例的一種電子設備一示例的框圖。
S11~S13:流程步驟

Claims (21)

  1. 一種資訊處理方法，包括： 獲取三維點雲的三維點資訊； 基於所述三維點資訊，生成所述三維點雲向水平面投影的二維點雲圖像； 基於所述二維點雲圖像與參考平面圖的一致程度，確定所述三維點雲中包含的三維點在所述參考平面圖的參考座標系下的投影座標，其中，所述參考平面圖用於表示目標物體在所述水平面投影的帶有參考座標的投影圖，所述三維點雲用於表示所述目標物體的三維空間資訊。
  2. 根據請求項1所述的方法，其中，所述基於所述三維點資訊，生成所述三維點雲向水平面投影的二維點雲圖像之前，還包括： 獲取圖像採集裝置採集圖像資訊過程中的至少兩個位姿資訊，其中，所述圖像資訊用於構建所述三維點雲； 根據所述圖像採集裝置的至少兩個位姿資訊，確定所述三維點雲投影的水平面。
  3. 根據請求項2所述的方法，其中，所述位姿資訊包括朝向資訊和位置資訊；所述根據所述圖像採集裝置的至少兩個位姿資訊，確定所述三維點雲投影的水平面，包括： 根據所述圖像採集裝置的至少兩個位置資訊，確定所述圖像採集裝置在採集圖像資訊過程中的任意兩個位置之間的位移； 根據所述圖像採集裝置的至少兩個朝向資訊以及在任意兩個位置之間的位移，確定所述三維點雲投影的水平面。
  4. 根據請求項2或3所述的方法，其中，所述圖像採集裝置滿足以下至少一個預設的基礎條件： 所述圖像採集裝置在採集圖像資訊過程中所在的水平軸與所述三維點雲投影的水平面平行； 在採集圖像資訊過程中所述圖像採集裝置到地面的高度在預設高度範圍內變化。
  5. 根據請求項1至3任意一項所述的方法，其中，所述基於所述三維點資訊，生成所述三維點雲向水平面投影的二維點雲圖像，包括： 根據所述三維點雲的三維點資訊，確定所述三維點雲中包括的至少一個平面； 根據所述至少一個平面中每個平面包括的三維點的數量以及每個平面的法線方向，確定所述三維點雲中的待濾除三維點； 在所述三維點雲中刪除所述待濾除三維點，得到所述三維點雲的剩餘三維點； 根據剩餘三維點的三維點資訊，將剩餘三維點投影在所述水平面上，生成所述三維點雲投影的二維點雲圖像。
  6. 根據請求項5所述的方法，其中，所述根據所述至少一個平面中每個平面包括的三維點的數量以及每個平面的法線方向，確定所述三維點雲中的待濾除三維點，包括： 根據所述至少一個平面中每個平面包括的三維點的數量，確定所述至少一個平面中三維點的數量最多並且大於第一閾值的第一平面； 判斷所述第一平面的法線方向是否垂直於所述水平面； 在所述第一平面的法線方向垂直於所述水平面的情況下，確定所述第一平面包括的三維點為所述待濾除三維點。
  7. 根據請求項2所述的方法，其中，所述三維點資訊包括三維座標向量；所述基於所述三維點資訊，生成所述三維點雲向水平面投影的二維點雲圖像，包括： 根據所述三維點雲的三維座標向量以及投影的水平面，確定所述三維點雲在所述水平面投影的二維點雲的座標資訊； 根據所述二維點雲的座標資訊，確定所述二維點雲包括的滿足直線條件的目標直線； 根據所述目標直線與所述水平面的座標軸的位置關係，確定所述二維點雲的旋轉角； 按照所述旋轉角對所述二維點雲進行旋轉，得到所述三維點雲向所述水平面投影的二維點雲圖像。
  8. 根據請求項7所述的方法，其中，所述根據所述二維點雲的座標資訊，確定所述二維點雲包括的滿足直線條件的目標直線，包括： 根據所述二維點雲的座標資訊，確定所述二維點雲中包括的至少一條直線；其中，所述至少一條直線中每條直線包括的二維點的數量大於第二閾值； 統計所述至少一條直線中每條直線所包含的二維點的數量，按照所述二維點的數量對所述至少一條直線排序，得到排序結果； 根據所述排序結果逐次獲取所述至少一條直線中的當前直線，確定所述至少一個直線中與所述當前直線垂直的直線的數量； 在與當前直線垂直的直線的數量大於第三閾值的情況下，確定當前直線為滿足直線條件的目標直線。
  9. 根據請求項1至3任意一項所述的方法，其中，所述基於所述二維點雲圖像與參考平面圖的一致程度，確定所述三維點雲中包含的三維點在所述參考平面圖的參考座標系下的投影座標，包括 對所述二維點雲圖像進行至少一次相似變換； 確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度； 根據所述至少一次相似變換後確定的一致程度，確定所述三維點雲中三維點匹配到所述參考平面圖中參考點的變換關係； 基於所述變換關係，將所述三維點雲向所述參考平面圖進行投影，得到所述三維點雲在所述參考平面圖的參考座標系下的投影座標。
  10. 根據請求項9所述的方法，其中，所述對所述二維點雲圖像進行至少一次相似變換，包括： 確定所述二維點雲圖像進行相似變換的變換範圍； 在所述變換範圍內對所述二維點雲圖像進行至少一次相似變換。
  11. 根據請求項9所述的方法，其中，所述相似變換包括平移變換；所述確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度，包括： 針對每次平移變換後的二維點雲圖像，對所述二維點雲圖像進行預設次數的降採樣處理，得到每次降採樣處理後的第一採樣圖像； 針對每次降採樣處理後的第一採樣圖像，確定該第一採樣圖像中二維點與第二採樣圖像中參考點的一致程度；其中，第二採樣圖像為所述參考平面圖經過與該第一採樣圖像相同的降採樣處理得到的； 根據第一次降採樣處理後確定的第一採樣圖像與第二採樣圖像的一致程度，確定每次平移變換後的二維點雲圖像中二維點與參考平面圖的參考點的一致程度。
  12. 根據請求項9所述的方法，其中，所述確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度，包括： 針對每次相似變換後的二維點雲圖像，遍歷所述二維點雲圖像的第一像素點，其中，所述第一像素點為所述二維點雲圖像中構成所述二維點的像素點； 確定所述參考平面圖中對應於所述第一像素點的第一圖像區域； 在所述第一圖像區域內存在表示所述參考點的第二像素點的情況下，確定所述第一像素點為第一目標像素點； 確定所述二維點雲圖像中包含的第一目標像素點的數量與所述二維點雲圖像中包含的第一像素點的數量的第一比例； 根據所述第一比例確定每次相似變換後所述二維點雲圖像與所述參考平面圖的一致程度。
  13. 根據請求項9所述的方法，其中，所述確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度，包括： 每次對所述二維點雲圖像相似變換後，遍歷所述參考平面圖的第二像素點，其中，所述第二像素點為所述參考平面圖中構成所述參考點的像素點； 確定所述二維點雲圖像中對應於所述第二像素點的第二圖像區域； 在所述第二圖像區域內存在表示所述二維點的第一像素點的情況下，確定所述第二像素點為第二目標像素點； 確定所述參考平面圖中包含的第二目標像素點的數量與所述參考平面中包含的第二像素點的數量的第二比例； 根據所述第二比例確定每次相似變換後所述二維點雲圖像與參考平面圖的一致程度。
  14. 根據請求項9所述的方法，其中，所述確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度，包括： 每次對所述二維點雲圖像相似變換後，確定所述二維點雲圖像中位於非封閉區域內的第一像素點，其中，所述第一像素點為所述二維點雲圖像中構成所述二維點的像素點； 確定位於所述非封閉區域的第一像素點的數量與所述二維點雲圖像中包含的第一像素點的數量的第三比例； 根據所述第三比例確定每次相似變換後所述二維點雲圖像與參考平面圖的一致程度。
  15. 根據請求項9所述的方法，其中，所述確定每次相似變換後所述二維點雲圖像中二維點與參考平面圖的參考點的一致程度，包括： 每次對所述二維點雲圖像相似變換後，根據所述圖像採集裝置採集圖像資訊過程中的位姿資訊，確定所述圖像採集裝置在所述二維點雲圖像中投影的第三像素點；其中，所述圖像資訊用於構建所述三維點雲； 確定位於非封閉區域的第三像素點的數量與所述二維點雲圖像中包含的第三像素點的數量的第四比例； 根據所述第四比例確定每次相似變換後所述二維點雲圖像與參考平面圖的一致程度。
  16. 根據請求項9所述的方法，其中，所述根據所述至少一次相似變換後確定的一致程度，確定所述三維點雲中三維點匹配到所述參考平面圖中參考點的變換關係，包括： 根據所述至少一次相似變換後確定的一致程度，確定所述二維點雲圖像中二維點匹配到所述參考平面圖中參考點的二維變換矩陣； 基於所述二維變換矩陣，確定所述三維點雲中三維點匹配到所述參考平面圖中參考點的變換關係。
  17. 一種定位方法，所述方法包括： 獲取圖像採集裝置對目標物體採集的目標圖像資訊； 將採集的所述目標圖像資訊與三維點雲中的三維點進行比對，其中，所述三維點雲用於表示所述目標物體的三維空間資訊，所述三維點雲中的三維點與投影座標對應，所述投影座標是基於二維點雲圖像與參考平面圖的一致性確定的，所述二維點雲圖像為所述三維點雲向水平面投影生成的，所述參考平面圖用於表示所述目標物體在所述水平面投影的帶有參考座標的投影圖； 根據與所述目標圖像資訊相匹配的三維點所對應的投影座標，對所述圖像採集裝置進行定位。
  18. 一種資訊處理裝置，包括： 獲取模組，用於獲取三維點雲的三維點資訊； 生成模組，用於基於所述三維點資訊，生成所述三維點雲向水平面投影的二維點雲圖像； 確定模組，用於基於所述二維點雲圖像與參考平面圖的一致程度，確定所述三維點雲中包含的三維點在所述參考平面圖的參考座標系下的投影座標，其中，所述參考平面圖用於表示目標物體在所述水平面投影的帶有參考座標的投影圖，所述三維點雲用於表示所述目標物體的三維空間資訊。
  19. 一種定位裝置，所述裝置包括： 獲取模組，用於獲取圖像採集裝置對目標物體採集的目標圖像資訊； 對比模組，用於將採集的所述目標圖像資訊與三維點雲中的三維點進行比對，其中，所述三維點雲用於表示所述目標物體的三維空間資訊，所述三維點雲中的三維點與投影座標對應，所述投影座標是基於二維點雲圖像與參考平面圖的一致性確定的，所述二維點雲圖像為所述三維點雲向水平面投影生成的，所述參考平面圖用於表示所述目標物體在所述水平面投影的帶有參考座標的投影圖； 定位模組，用於根據與所述目標圖像資訊相匹配的三維點所對應的投影座標，對所述圖像採集裝置進行定位。
  20. 一種電子設備，包括： 處理器； 用於儲存處理器可執行指令的記憶體； 其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行請求項1至16中任意一項所述的方法，或者，以執行請求項17所述的方法。
  21. 一種電腦可讀儲存媒介，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至16中任意一項所述的方法，或者，所述電腦程式指令被處理器執行時實現請求項17所述的方法。
TW109100342A 2019-07-29 2020-01-06 一種資訊處理方法及裝置、定位方法及裝置、電子設備和電腦可讀儲存媒介 TWI743645B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910690235.0A CN112381919B (zh) 2019-07-29 2019-07-29 信息处理方法、定位方法及装置、电子设备和存储介质
CN201910690235.0 2019-07-29

Publications (2)

Publication Number Publication Date
TW202105328A TW202105328A (zh) 2021-02-01
TWI743645B true TWI743645B (zh) 2021-10-21

Family

ID=74228306

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109100342A TWI743645B (zh) 2019-07-29 2020-01-06 一種資訊處理方法及裝置、定位方法及裝置、電子設備和電腦可讀儲存媒介

Country Status (4)

Country Link
JP (1) JP7328366B2 (zh)
CN (1) CN112381919B (zh)
TW (1) TWI743645B (zh)
WO (1) WO2021017314A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077500A (zh) * 2021-03-12 2021-07-06 上海杰图天下网络科技有限公司 基于平面图的全景视点定位定姿方法、系统、设备及介质
CN113223179B (zh) * 2021-05-12 2022-08-05 武汉中仪物联技术股份有限公司 管道选定线路长度的确定方法和装置
CN113657074A (zh) * 2021-08-13 2021-11-16 杭州安恒信息技术股份有限公司 三维空间内的线性文本布局方法、电子装置及存储介质
CN113744409B (zh) * 2021-09-09 2023-08-15 上海柏楚电子科技股份有限公司 工件定位方法、装置、系统、设备与介质
CN114004882A (zh) * 2021-09-24 2022-02-01 奥比中光科技集团股份有限公司 一种二维地图生成方法、装置、终端设备及存储介质
CN113970295B (zh) * 2021-09-28 2024-04-16 湖南三一中益机械有限公司 一种摊铺厚度测量方法、装置及摊铺机
CN113587930B (zh) * 2021-10-08 2022-04-05 广东省科学院智能制造研究所 基于多传感融合的自主移动机器人室内外导航方法及装置
CN113607166B (zh) * 2021-10-08 2022-01-07 广东省科学院智能制造研究所 基于多传感融合的自主移动机器人室内外定位方法及装置
CN114442101B (zh) * 2022-01-28 2023-11-14 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
CN114781056B (zh) * 2022-04-13 2023-02-03 南京航空航天大学 一种基于特征匹配的飞机整机外形测量方法
CN115423933B (zh) * 2022-08-12 2023-09-29 北京城市网邻信息技术有限公司 户型图生成方法、装置、电子设备及存储介质
CN115330652B (zh) * 2022-08-15 2023-06-16 北京城市网邻信息技术有限公司 点云拼接方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201514445A (zh) * 2013-08-30 2015-04-16 Hon Hai Prec Ind Co Ltd 平面度量測系統及方法
US20150279087A1 (en) * 2014-03-27 2015-10-01 Knockout Concepts, Llc 3d data to 2d and isometric views for layout and creation of documents
CN105469388A (zh) * 2015-11-16 2016-04-06 集美大学 基于降维的建筑物点云配准算法
TW201624326A (zh) * 2014-12-24 2016-07-01 財團法人工業技術研究院 三維點雲融合二維影像的方法、裝置與儲存媒體

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5471626B2 (ja) * 2010-03-09 2014-04-16 ソニー株式会社 情報処理装置、マップ更新方法、プログラム及び情報処理システム
CN104217458B (zh) * 2014-08-22 2017-02-15 长沙中科院文化创意与科技产业研究院 一种三维点云的快速配准方法
WO2017103862A1 (en) * 2015-12-15 2017-06-22 St. Jude Medical International Holding S.A R.L. Motion box visualization for electromagnetic sensor tracking system
WO2018039871A1 (zh) * 2016-08-29 2018-03-08 北京清影机器视觉技术有限公司 三维视觉测量数据的处理方法和装置
CN108932475B (zh) * 2018-05-31 2021-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和单目视觉的三维目标识别系统及方法
CN109035329A (zh) * 2018-08-03 2018-12-18 厦门大学 基于深度特征的相机姿态估计优化方法
US10353073B1 (en) * 2019-01-11 2019-07-16 Nurulize, Inc. Point cloud colorization system with real-time 3D visualization
CN109872350A (zh) * 2019-02-18 2019-06-11 重庆市勘测院 一种新的点云自动配准方法
CN109993793B (zh) * 2019-03-29 2021-09-07 北京易达图灵科技有限公司 视觉定位方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201514445A (zh) * 2013-08-30 2015-04-16 Hon Hai Prec Ind Co Ltd 平面度量測系統及方法
US20150279087A1 (en) * 2014-03-27 2015-10-01 Knockout Concepts, Llc 3d data to 2d and isometric views for layout and creation of documents
TW201624326A (zh) * 2014-12-24 2016-07-01 財團法人工業技術研究院 三維點雲融合二維影像的方法、裝置與儲存媒體
CN105469388A (zh) * 2015-11-16 2016-04-06 集美大学 基于降维的建筑物点云配准算法

Also Published As

Publication number Publication date
JP2022537984A (ja) 2022-08-31
US20220108528A1 (en) 2022-04-07
CN112381919B (zh) 2022-09-27
WO2021017314A1 (zh) 2021-02-04
TW202105328A (zh) 2021-02-01
CN112381919A (zh) 2021-02-19
JP7328366B2 (ja) 2023-08-16

Similar Documents

Publication Publication Date Title
TWI743645B (zh) 一種資訊處理方法及裝置、定位方法及裝置、電子設備和電腦可讀儲存媒介
CN108986161B (zh) 一种三维空间坐标估计方法、装置、终端和存储介质
US11887247B2 (en) Visual localization
US20220262039A1 (en) Positioning method, electronic device, and storage medium
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
Liang et al. Image based localization in indoor environments
KR102096673B1 (ko) 포인트 클라우드에서의 포인트 백필링
WO2020206903A1 (zh) 影像匹配方法、装置及计算机可读存储介质
TWI587241B (zh) Method, device and system for generating two - dimensional floor plan
WO2022262160A1 (zh) 传感器标定方法及装置、电子设备和存储介质
CN105719277B (zh) 一种基于测绘与二维图像的变电站三维建模方法及系统
WO2023280038A1 (zh) 一种三维实景模型的构建方法及相关装置
WO2022087916A1 (zh) 定位方法、装置、电子设备和存储介质
Feng et al. Visual map construction using RGB-D sensors for image-based localization in indoor environments
KR102566300B1 (ko) 실내 측위 방법, 장치, 장비 및 저장 매체
Hu et al. An indoor positioning framework based on panoramic visual odometry for visually impaired people
CN110807413B (zh) 目标显示方法以及相关装置
CN112002007A (zh) 基于空地影像的模型获取方法及装置、设备、存储介质
US9852542B1 (en) Methods and apparatus related to georeferenced pose of 3D models
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质
US11983820B2 (en) Information processing method and device, positioning method and device, electronic device and storage medium
CN117635875B (zh) 一种三维重建方法、装置及终端
Sahin The geometry and usage of the supplementary fisheye lenses in smartphones
CN114187417A (zh) 高精地图三维数据处理方法、装置、设备及存储介质
CN117635875A (zh) 一种三维重建方法、装置及终端