TWI632487B - 用於處理具有多點之輸入點雲端之系統及方法 - Google Patents

用於處理具有多點之輸入點雲端之系統及方法 Download PDF

Info

Publication number
TWI632487B
TWI632487B TW106137930A TW106137930A TWI632487B TW I632487 B TWI632487 B TW I632487B TW 106137930 A TW106137930 A TW 106137930A TW 106137930 A TW106137930 A TW 106137930A TW I632487 B TWI632487 B TW I632487B
Authority
TW
Taiwan
Prior art keywords
point cloud
points
point
graph
input
Prior art date
Application number
TW106137930A
Other languages
English (en)
Other versions
TW201818197A (zh
Inventor
棟 田
陳思衡
馮晨
安東尼 韋特羅
Original Assignee
日商三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商三菱電機股份有限公司 filed Critical 日商三菱電機股份有限公司
Publication of TW201818197A publication Critical patent/TW201818197A/zh
Application granted granted Critical
Publication of TWI632487B publication Critical patent/TWI632487B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Medicines That Contain Protein Lipid Enzymes And Other Medicines (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

用於對代表機器操作之時間序列資料中之型樣進行判定之系統及方法。記憶體用來儲存並提供該機器之感測器所產生之訓練資料實施例集合，其中對於隨著該機器故障而結束之時間期，各訓練資料實施例代表該機器之操作。處理器係組配成用來將各訓練資料實施例反復劃分成正常區域與異常區域、判定該等正常區域不存在且各異常區域僅存在一次之預測性型樣、以及判定該異常區域之長度。經由與該處理器通訊之輸出介面輸出該預測型樣，或在記憶體中儲存該預測性型樣，其中該預測性型樣為將臨故障之預測性估測，並且輔助管理該機器。

Description

用於處理具有多點之輸入點雲端之系統及方法
本揭露大體上係關於簡化點雲，而且尤其是簡化經組織或未經組織之點雲。
憑藉3D感測技術近來的發展，3D點雲已成為許多應用中用以代表資料點之實踐格式。感測裝置測量物件之表面上的大量點，並且點雲代表已測量之點集合。點雲一般包括在一些坐標系統中界定大量資料點之大規模資料集。舉例而言，實體物件之雷射掃描一般會產生含有數百萬個資料點之資料集，各資料點係使用代表3D空間(例如x、y、z)之正交坐標以3元組來指定。
此大型點雲資料集在處理、分析及報告方面會有所困難。特別的是，點雲資料集之大小通常超出需要利用此資料之系統之設計與表現能力。所以，用於將點雲資料集之大小縮減之方法為重要的預處理步驟，為的是要將資料量縮減到適用於消費系統之程度。接著，可更有效率地處理已簡化或已縮減之點雲資料。
用於簡化點雲資料之相關技術方法有若干種。 然而，這些相關技術方法不是帶有顯著的資料遺失風險，諸如該資料所代表之物件及/或表面之關鍵特徵遺失之風險(例如分階取樣疏化、均勻空間群聚)，便是複雜到難以實施而需要更昂貴的運算，並且需要更多處理時間。
因此，所屬技術領域需要用以從大量資料偵檢及/或預測機器故障之改良型作法。
本揭露之具體實施例係針對藉由重取樣點雲以保留關鍵點子集，來簡化經組織或未經組織之點雲。此方法減少點數但不變更原點之位置。
本揭露之具體實施例係基於了解點雲不需要表示成適用於所有應用之格式。具體而言，點雲可表示成就特定應用或就不同應用而裁製之格式，使得可將點雲重訂格式成不同格式/表徵。藉由將點雲重訂格式成不同格式/表徵，點雲可經重訂格式或修剪而僅保留特定應用所需之點。至少一個目標是要設計應用相依性重取樣策略，取決於特定下層應用來保留所選擇之資訊。舉例而言，進行點雲中之輪廓偵檢時，這通常需要仔細且密集的運算，諸如計算表面法線及將多點分類。並非運作整個點雲，重取樣對所需輪廓資訊敏感之小型點子集反而更有效率，使後續運算便宜很多，而且不會損及偵檢效率。其它實施例可包括視覺化及/或物件建模應用，可保留特定物件(但非其它物件)之輪廓及一些紋理。
我們了解相較於適用於所有目的之一種點雲 版本，儲存為特定目的而修剪之多種點雲版本會更有效率。即使不同的經修剪點雲共用相同點，仍然會如此。舉例而言，原點雲中之100,000個點可轉成60,000個點，或修剪成五個各有5,000個點之不同經修剪點群組。因此，藉由就不同應用修剪點雲以產生不同的經修剪點，並且以對應之經修剪點執行特定應用，修剪動作可保留特定於關鍵點之應用的子集。相較於嘗試使用整個點雲來運算執行應用。其它優點可包括縮減複雜度與時間，以及減少執行特定應用之總成本。
本揭露揭示根植於圖信號處理中之點子集的選擇技巧，其為信號與(多個)圖結構間交互作用之架構。我們將一圖用於擷取多點之間的局部相依性，代表物件之表面之離散版本。使用一圖之至少一個優點在於擷取點雲之局部與全域兩種結構。在本揭露架構下，與各點相關聯之3D坐標及其它屬性為藉由下層圖之節點來標引之圖信號。因此，變為有可能將重取樣問題制定為圖信號之取樣。然而，圖取樣技巧在選擇樣本方面通常用的是確定性方法，這種方法解決非凸最佳化問題以循序獲得樣本，並且需要昂貴的運算。為了制衡運算成本，本揭露將有效率的隨機化重取樣策略用於從輸入點雲選擇關鍵點子集。主要的想法是要根據某一取樣分布產生子樣本，這對保留原始輸入點雲中之資訊不僅快速，還明顯有用。
換句話說，本揭露考量基於特徵提取之重取樣架構，亦即，重取樣點取決於特定應用之特別需求而保 留所選擇之資訊。接著，基於通用之特徵提取運算子，有可能藉由使用重建誤差來量化重取樣之品質，並且能夠推導精準形式。最佳取樣分布可藉由將預期之重建誤差最佳化來獲得。本揭露提供一種保證位移與旋轉不變之最佳取樣分布。其提供特徵提取運算子成為濾圖器，還基於全通、低通與高通濾圖研討重取樣策略。在各情況中，有可能推導最佳取樣分布，並且在模擬與真實兩種資料上確證效能。
另一作法闡釋此實現或更了解可如何完成修剪，本揭露藉由根據圖之結構評分各節點來使用各節點，係以圖之鄰近節點之值為基礎來使用的。(多個)評分函數可基於特定應用而選擇，使得各不同應用可具有其本身的評分函數或大量評分函數。舉例而言，對於輪廓判定，評分函數可以是以鄰近節點為函數來表示節點之誤差。另一實施例可以是不同的評分函數，其可考量節點之不同屬性。我們了解評分可判定節點之機率，其可配合「隨機」重取樣用於處置具有相同「分數」值之點。
就重取樣或處理輸入點雲求解時，至少一個系統首先開始存取輸入點雲。其中輸入點雲包括多點，並且各點包括含二維(2D)與三維(3D)坐標之屬性、及其它屬性的集合。下一個步驟是要基於該輸入點雲中代表一圖中一節點之各點而建構代表該輸入點雲之該圖(即由圖頂點與圖緣所組成之圖)，以及識別並連接該圖中之兩個鄰近節點以獲得圖緣。
接著，基於該建構之圖判定濾圖函數，亦即，按照某一準則判定圖運算子以促進或維持該輸入點雲中之某資訊。其中，亦可根據特定應用要求來選擇出自該輸入點雲之屬性集合，例如維持幾何資訊及/或紋理結構。
之後，藉由就該等點選擇屬性子集、及透過該濾圖函數套用於該所選擇之屬性子集上來過濾該輸入點雲中之各點，以就該輸入點雲中之各點判定至少一個值。基於該點之與該輸入點雲中該等點之所有值之總計相比較的該至少一個值、及輸出點雲中點之預定數目，將該至少一個值用於該輸入點雲中之各點，產生各點之機率。換句話說，可使用該所選擇之圖運算子就該點雲中之各點計算重要性分數。使得基於該等重要性分數而就各點產生機率。
最後，使用各點之該等機率之隨機評估來取樣該輸入點雲，以獲得該輸入點雲中之點子集，其中該點子集為該輸出點雲。這意味著點子集係基於該機率來判定，並且可就進一步使用輸出預期總點數。舉例而言，該輸出點雲可儲存於記憶體中，或經由與該處理器通訊之輸出介面來輸出。注意到的是，該輸入點雲相較於該所選擇之輸出點雲，即選自於該系統之該關鍵點子集，可在之後以更有效率的方式來處理。
舉例而言，在大規模視覺化之一具體實施例中，觀察者在使用基於高通濾圖之重取樣時，可更輕易地捕集城市環境之點雲中的重要細節。對於大規模視覺化之 一具體實施例，我們有可能可將基於所提出高通濾圖之重取樣策略用於選擇小型點子集，以凸顯建築物的輪廓及都市場景中的街道。
在另一具體實施例中，本揭露可具有穩健形狀建模之另一具體實施例，使得將基於所提出低通濾圖之重取樣策略用於選擇小型點子集時，可更有效率且準確地識別物件模型參數。其中此建模可涉及求出存在有雜訊或離群值之點雲中的表面，並且可將本揭露用於解決該(等)問題。
根據本揭露之一具體實施例，一種具有多點之輸入點雲之處理系統，其中各點包括含二維(2D)與三維(3D)坐標之屬性、及其它屬性的集合。該系統包括感測器，其感測場景，並且與電腦可讀記憶體通訊以產生該輸入點雲。該系統包括輸出介面。與該電腦可讀記憶體通訊之處理器，其中該處理器係組配成用來基於該輸入點雲中代表一圖中一節點之各點而存取該輸入點雲、及建構代表該輸入點雲之該圖，以及識別並連接該圖中之兩個鄰近節點以獲得圖緣。基於該建構之圖判定濾圖函數。藉由就該等點選擇屬性子集、及透過該濾圖函數套用於該所選擇之屬性子集上來過濾該輸入點雲中之各點，以就該輸入點雲中之各點判定至少一個值。基於該點之與該輸入點雲中該等點之所有值之總計相比較的該至少一個值、及輸出點雲中點之預定數目，產生各點之機率。使用各點之該等機率之隨機評估來取樣該輸入點雲，以獲得該輸入點雲中之點子集， 其中該點子集為該輸出點雲。最後，在該電腦可讀記憶體中儲存該輸出點雲，或經由與該處理器通訊之該輸出介面輸出該輸出點雲，其中該輸出點雲係用於輔助後續處理及輔助管理該輸入雲資料。
根據本揭露之另一具體實施例，一種具有多點之輸入點雲之處理方法，其中各點包括含二維(2D)與三維(3D)坐標之屬性、及其它屬性的集合。該方法包括經由感測器感測場景，該等感測器與電腦可讀記憶體通訊以產生該輸入點雲。使用與該電腦可讀記憶體通訊之處理器，其中該處理器係經組配而用於基於該輸入點雲中代表一圖中一節點之各點而存取該輸入點雲、及建構代表該輸入點雲之該圖，以及識別並連接該圖中之兩個鄰近節點以獲得圖緣。基於該建構之圖判定濾圖函數。藉由就該等點選擇屬性子集、及透過該濾圖函數套用於該所選擇之屬性子集上來過濾該輸入點雲中之各點，以就該輸入點雲中之各點判定至少一個值。基於該點之與該輸入點雲中該等點之所有值之總計相比較的該至少一個值、及輸出點雲中點之預定數目，產生各點之機率。使用各點之該等機率之隨機評估來取樣該輸入點雲，以獲得該輸入點雲中之點子集，其中該點子集為該輸出點雲。最後，在該電腦可讀記憶體中儲存該輸出點雲，或經由與該處理器通訊之該輸出介面輸出該輸出點雲，其中該輸出點雲係用於輔助後續處理及輔助管理該輸入雲資料。
根據本揭露之另一具體實施例，一種非暫態 電腦可讀儲存媒體，其上體現可藉由電腦執行以進行一種方法之程式。對具有多點之所儲存輸入點雲進行處理之方法，其中各點包括含二維(2D)與三維(3D)坐標之屬性、及其它屬性的集合。該方法包括經由感測器感測場景，該等感測器與該非暫態電腦可讀儲存媒體通訊以產生該輸入點雲。基於該輸入點雲中代表一圖中一節點之各點而建構代表該輸入點雲之該圖，以及識別並連接該圖中之兩個鄰近節點以獲得圖緣。基於該建構之圖判定濾圖函數。藉由就該等點選擇屬性子集、及透過該濾圖函數套用於該所選擇之屬性子集上來過濾該輸入點雲中之各點，以就該輸入點雲中之各點判定至少一個值。基於該點之與該輸入點雲中該等點之所有值之總計相比較的該至少一個值、及輸出點雲點中之預定數目，產生各點之機率。使用各點之該等機率之隨機評估來取樣該輸入點雲，以獲得該輸入點雲中之點子集，其中該點子集為該輸出點雲。最後，在該非暫態電腦可讀儲存媒體中儲存該輸出點雲，或經由與該電腦通訊之輸出介面輸出該輸出點雲，其中該輸出點雲係用於輔助後續處理及輔助管理該輸入雲資料。
現揭具體實施例將參照附圖進一步闡釋。所示圖式未必按照比例，而是大致著重於說明現揭具體實施例的原理。
100‧‧‧系統
104‧‧‧感測器
105‧‧‧場景
106‧‧‧外部記憶體
108‧‧‧輸入介面/預處理器
112‧‧‧電腦可讀記憶體
114‧‧‧處理器
116‧‧‧輸出介面
120‧‧‧圖
125‧‧‧濾圖函數
130‧‧‧屬性
135‧‧‧點
140‧‧‧點
145‧‧‧點
150‧‧‧輸出點雲
155‧‧‧輸出介面
160‧‧‧已處理物件
305‧‧‧子圖
310‧‧‧子圖
505‧‧‧原點雲
510‧‧‧重取樣版本
515‧‧‧重取樣版本
605‧‧‧子圖
610‧‧‧子圖
705‧‧‧子圖
710‧‧‧子圖
715‧‧‧子圖
720‧‧‧子圖
725‧‧‧子圖
805‧‧‧子圖
810‧‧‧子圖
815‧‧‧子圖
820‧‧‧子圖
905‧‧‧子圖
910‧‧‧子圖
915‧‧‧子圖
920‧‧‧子圖
930‧‧‧子圖
935‧‧‧子圖
940‧‧‧子圖
1005‧‧‧子圖
1010‧‧‧子圖
1015‧‧‧子圖
1020‧‧‧子圖
1025‧‧‧子圖
1030‧‧‧子圖
1105‧‧‧子圖
1110‧‧‧子圖
1264‧‧‧使用者介面
1305‧‧‧子圖
1310‧‧‧子圖
1405‧‧‧子圖
1410‧‧‧子圖
1708‧‧‧輸入介面
1709‧‧‧輸出介面
1711‧‧‧電腦
1712‧‧‧電腦可讀記憶體
1732‧‧‧列印裝置
1734‧‧‧網路介面控制器
1736‧‧‧網路
1738‧‧‧外部接收器
1739‧‧‧外部傳送器
1740‧‧‧處理器
1741‧‧‧外部輸出入裝置
1742‧‧‧外部電腦
1744‧‧‧外部感測裝置
1746‧‧‧接收器
1747‧‧‧傳送器
1748‧‧‧顯示裝置
1749‧‧‧使用者介面
1751‧‧‧鍵盤
1752‧‧‧顯示器
1754‧‧‧電力源
1756‧‧‧匯流排
1757‧‧‧使用者輸入介面
1758‧‧‧儲存系統
1759‧‧‧印表機介面
1764‧‧‧鍵盤表面
第1圖根據本揭露之一具體實施例為一方塊圖，繪示 用於對具有多點之輸入點雲進行重取樣或處理之系統。
第2圖根據本揭露之一具體實施例為一方塊圖，繪示第1圖中用於重取樣或處理該輸入點雲、及進行重取樣以產生輸出點雲之系統。
第3A圖根據本揭露之具體實施例為一圖，繪示局部變異可如何藉由圖運算子來擷取，即展示點2為點1與3之凸組合，並且點2之局部變異從而為零。
第3B圖根據本揭露之具體實施例為一示意圖，繪示局部變異可如何藉由圖運算子來擷取，亦即所有節點都在一圓圈上均勻散布，並且具有相同的創新量，其乃表示為從點4延展至虛線的線條。
第4圖根據本揭露之具體實施例為一示意圖，對於在一立方體上具有多點之一實施例，繪示基於成對差異之局部變異如何失效。
第5圖根據本揭露之具體實施例為一示意圖，繪示所提出之局部變異測量如何表現優於基於成對差異之方法。
第6圖根據本揭露之具體實施例為一示意圖，繪示基於高通濾圖之重取樣偵檢幾何輪廓與紋理邊緣兩者。
第7圖根據本揭露之具體實施例為一示意圖，繪示低通逼近代表一點雲之主要形狀。
第8圖根據本揭露之具體實施例為一示意圖，繪示藉由在一例示性點雲上使用一所提出重取樣方法而進行之去雜訊效能。
第9圖根據本揭露之具體實施例為一示意圖，繪示基於 所提出高通濾圖器以有效率的方式視覺化大規模都市場景之視覺化結果。
第10圖根據本揭露之具體實施例為一示意圖，繪示基於所提出高通濾圖器以有效率的方式視覺化大規模都市場景之視覺化結果的細節。
第11圖根據本揭露之具體實施例為一示意圖，繪示先前技術物件擬合法就健身球在點雲上之結果。
第12圖根據本揭露之具體實施例為使用基於所提出低通濾波器之重取樣時比較物件擬合結果之表格。
第13A圖與第13B圖根據本揭露之具體實施例，立方物件之一面上無底限之圖隨機漫步(第13A圖)與有底限之圖隨機漫步(第13B圖)的取樣結果比較圖。
第14A圖與第14B圖根據本揭露之具體實施例，為與基於所提出低通濾圖器之重取樣可整合度不同之k-POLY(第14A圖)與k-CG(第14B圖)的譜響應比較圖。
第15圖根據本揭露之具體實施例為一表示，展示所提出條件式重取樣的流程圖。
第16圖根據本揭露之具體實施例為一表示，展示所提出基於參考之重取樣的流程圖。
第17圖為一方塊圖，繪示第1圖之方法。
儘管以上指認之圖式提出現揭具體實施例，其它具體實施例亦列入考量範圍內，如論述中所提。本揭露透過表徵且非限制的方式來介紹說明性具體實施例。所 屬技術領域中具有通常知識者可擬出落在現揭具體實施例之原理之範疇與精神內的許多其它修改與具體實施例。
以下說明僅提供例示性具體實施例，並且用意不在於限制本揭露之範疇、適用性或組態。反而，以下對於例示性具體實施例之說明將會向所屬技術領域中具有通常知識者提供用於實施一或多項例示性具體實施例之實現說明。所思為元件之功能與配置的各種可能變更，但不脫離如隨附申請專利範圍中所提而揭示之專利標的之精神與範疇。
以下說明中提供特定細節使人透徹理解具體實施例。然而，所屬技術領域中具有通常知識者可瞭解無這些特定細節也可實踐具體實施例。舉例而言，可將所揭示專利標的中之系統、程序與其它元件展示為呈方塊圖形式之組件，以免非必要的細節混淆具體實施例。在其它實例中，可展示眾所周知的程序、結構及技巧，但不需要展示細節，以免混淆具體實施例。再者，各個圖式中相似的數字與符號表示相似的元件。
此外，可將個別具體實施例描述為繪製成流程圖、流動圖、資料流動圖、結構圖或方塊圖的程序。雖然流程圖可將操作描述為循序的程序，仍可平行或並行地進行該等程序中的許多程序。另外，可重新排列該等操作之順序。一程序可於其操作完成時終止，但可具有圖中未論述或包括之附加步驟。再者，所有具體實施例中並非任何特別說明之程序中的所有操作都可出現。程序可對應於 方法、函數、程序、子程序、子程式等。當一程序對應於一函數時，該函數之終止可對應於該函數對呼叫函數或主要函數之回傳。
再者，無論是手動還是自動，皆可至少部分實施所揭示之專利標的之具體實施例。手動或自動實作態樣可透過使用機器、硬體、軟體、韌體、中間軟體、微碼、硬體描述語言、或以上之任何組合來執行、或至少輔助。用以進行必要工作之程式碼或碼段若是實施成軟體、韌體、中間軟體或微碼，則可儲存於機器可讀媒體中。一(多)個處理器可進行該等必要工作。
本揭露之具體實施例的概述
第1圖與第2圖根據本揭露之一具體實施例為方塊圖，繪示用於對具有多點之輸入點雲進行重取樣或處理之系統100。系統100包括感測器104，其產生場景105之輸入點雲資料、物件或從感測器104產生之一些其它資料。感測器104可以是相機或視訊攝影機、或產生輸入點雲資料之一些其它裝置。電腦可讀記憶體112可儲存及/或提供藉由感測器104所產生之輸入點雲資料。感測器104收集場景105之輸入點雲資料，可將該輸入點雲資料供選擇地儲存於外部記憶體106中、或直接發送至輸入介面/預處理器108，然後再發送至處理器114。該資料在經過處理之後，可儲存於記憶體112中、或經由輸出介面116輸出。處理器114在處理期間，可與記憶體112通訊，以儲存或擷取 所儲存之指令、或與處理輸入點雲資料相關的其它資料。
論及輸入點雲之處理，本揭露之具體實施例係基於了解點雲不需要表示成適用於所有應用之格式。事實上，點雲可表示成就特定應用或就不同應用而裁製之格式，並且重訂格式成不同格式/表徵。完成輸入點雲之重訂格式或重取樣而僅保留特定應用或多種應用所需的點。從輸入點雲保留之點係專為特定應用需求所選擇之資訊。舉例而言，對於視覺化與物件建模應用，還保留一些特定物件之輪廓與一些紋理。具體而言，我們了解相較於適用於所有目的之一種點雲版本，儲存為特定目的而重訂格式或重取樣之多種點雲版本會更有效率。藉由為不同應用而重取樣點雲，我們實質產生不同的重取樣點群組或總體輸入點雲子群，接著以對應的重取樣點就特定應用予以執行。透過此實現，我們觀察到，相較於嘗試使用整個輸入點雲來運算執行應用，複雜度與時間縮減，且執行特定應用之總成本減少。
點子集之選擇根植於圖信號處理中，其為用以學習信號與(多個)圖結構間交互作用之架構。我們發現，將一圖用於擷取多點之間的局部相依性、以及代表一物件之表面之離散版本，本揭露能夠遞送局部與全域這兩種點雲結構。在此架構下，與各點相關聯之3D坐標及其它屬性為藉由下層圖之節點來標引之圖信號。我們所發現者有可能將重取樣問題制定為圖信號之取樣。此基於特徵提取之重取樣架構即重取樣點保留每個特定應用之所選擇 資訊，係以通用特徵提取運算子為基礎，如此，我們使用重建誤差來量化重取樣之品質以推導精準形式。最佳取樣分布係藉由將預期之重建誤差最佳化所獲得。所提出之最佳取樣分布保證位移與旋轉不變。其中，我們將特徵提取運算子介紹為濾圖器，還基於全通、低通與高通濾圖分析重取樣策略。在各情況中，我們獲得最佳取樣分布，並且在模擬與真實兩種資料上確證效能。
輸入點雲之重取樣或修剪在實現方面，大致可基於其鄰近節點之值，藉由使用圖上之各點、及根據該圖之結構評分各節點來闡釋。我們了解評分可判定節點之機率，其可配合「隨機」重取樣用於處置具有相同「分數」值之點。舉例而言，對於輪廓判定，評分函數可以是以鄰近節點為函數來表示節點之誤差，或另一實施例可以是不同的評分函數，其可考量節點之不同屬性。(多個)評分函數係基於特定應用而選擇，其中各不同應用可具有其本身的評分函數或大量評分函數。
請參閱第1圖及第2圖，為了解決輸入點雲之重取樣，一開始，從記憶體112或直接從感測器104存取輸入點雲。請記住，輸入點雲包括多點，並且各點包括含二維(2D)與三維(3D)坐標之屬性、及其它屬性的集合。下一個步驟是要基於該輸入點雲中代表圖120中一節點之各點而建構代表該輸入點雲之該圖，即由圖頂點與圖緣所組成之圖，以及識別並連接該圖中之兩個鄰近節點以獲得圖緣。
接著，基於該建構之圖120判定濾圖函數125，亦即，按照某一準則判定圖運算子以促進或維持該輸入點雲中之某資訊。其中，亦可根據特定應用要求來選擇出自該輸入點雲之屬性集合130，例如維持幾何資訊及/或紋理結構。
之後，就各點135判定一值，其中藉由就該等點選擇屬性子集130、及透過該濾圖函數套用於所選擇之屬性子集135上來過濾該輸入點雲中之各點，以就該輸入點雲中之各點135判定至少一個值。基於點135之與該輸入點雲中該等點之所有值之總計相比較的該至少一個值、及輸出點雲中點之預定數目，將該至少一個值用於該輸入點雲中之各點135，以產生各點140之機率。換句話說，可使用該所選擇之圖運算子就該點雲中之各點計算重要性分數。使得基於該等重要性分數而就各點產生機率。
最後，仍請參閱第1圖與第2圖，使用各點之該等機率之隨機評估來取樣該輸入點雲，以獲得該輸入點雲中之點子集145，其中點子集145為輸出點雲150。這意味著點子集145係基於該機率來判定、及可就進一步使用而輸出之預期總點數。舉例而言，輸出點雲150可儲存於記憶體112中，或經由與該處理器通訊之輸出介面155來輸出。注意到的是，該輸入點雲相較於所選擇之輸出點雲150，即選自於該系統之關鍵點子集145，可在之後以更有效率的方式來處理。
請參閱第2圖，舉一例來說，在大規模視覺 化之一具體實施例中，觀察者在使用基於高通濾圖之重取樣時，可更輕易地捕集預處理物件105或城市環境之點雲中的重要細節。此外，對於大規模視覺化之一具體實施例，有可能將基於所提出高通濾圖之重取樣策略用於選擇小型點子集，以凸顯所處理物件160、或城市中或都市場景中建築物或街道的輪廓。
再者，本揭露之另一具體實施例可針對穩健形狀建模。其中，將基於所提出低通濾圖之重取樣策略用於選擇小型點子集時，可更有效率且準確地識別物件模型參數。其中此建模可涉及求出存在有雜訊或離群值之點雲中的表面，並且可將本揭露用於解決該(等)問題。
輸入點雲重取樣工作公式化
為了更佳了解3D點雲重取樣工作之制定，我們需要介紹圖信號處理，其就本揭露之具體實施例說明(outlay)方法與系統之基礎。
點雲重取樣
我們考量具有N個點與K個屬性的矩陣表徵， 其中s i R N 代表第i個屬性，並且x i R K 代表第i個點。取決於感測裝置，屬性可以是3D坐標、RGB顏色、紋理及許多 其它屬性。為了區別3D坐標與其它屬性，我們使用X c R N×3代表3D坐標並使用X o R N×(K-3)代表其它屬性。
點數N通常很大。舉例而言，建築物的3D掃描通常需要數十億個3D點。從儲存與資料分析兩觀點運作大規模點雲有挑戰性。然而，在許多應用中，我們對具有特定性質之3D點子集感興趣，諸如點雲套準(registration)中之關鍵點及輪廓偵檢中之輪廓點。為了制衡儲存與運算，我們想到從原點雲取樣代表點子集以縮減規模。由於該原點雲係取樣自一物件，我們稱此工作為重取樣。重取樣程序為對出自點雲之點進行重取樣，或從點雲矩陣X選擇M列。重取樣之點雲為X M=ΨX R M×K , (2)其中M=(M1,．,M M )表示重取樣索引序列，或稱為重取樣集合，以及M i {1,…,N}且| M |=M，而重取樣運算子Ψ為自R N 至R M 之線性映射，定義為
所提出重取樣策略之效率至關重要。我們運作的是大規模點雲，因而想要避免昂貴的運算。為了以有效率的方式實施重取樣，我們考量隨機化重取樣策略。這意味著，重取樣索引係根據取樣分布所選擇。令為一連串取樣機率，其中π i 表示各隨機試探中選擇第i個樣本的機率。一旦選擇該取樣分布，產生樣本便有效率。這裡的目標在於求出保留原點雲中資訊之取樣分布。
所提出重取樣策略之不變性質亦至關重要。當我們使點雲位移或旋轉時，3D點之本質分布未改變，而且所提出的重取樣策略不應該改變。
定義1 重取樣策略在就點雲X=[X c X o]設計π取樣分布時為位移不變，然後就其位移之點雲[X c+1a T X o]設計相同的取樣分布π，其中 a R3。
定義2 重取樣策略在就點雲X=[X c X o]設計π取樣分布時為旋轉不變，然後就其旋轉之點雲[X c R X o]設計相同的取樣分布π，其中R R3×3 為3D旋轉矩陣。
我們應該保證所提出的重取樣策略屬於位移與旋轉皆不變。
點雲之圖信號處理
一圖為一物件之表面上的離散表徵，因而是用以代表點雲之自然且有效率的方式。在電腦圖形中，由於圖類別有特定連接性限制，多角網目係廣泛用於代表一物件之形狀。為了建構可靠網目，我們通常需要精良的幾何分析，諸如計算表面法線。網目表徵是一種簡易視覺化工具，但在分析點雲方面可能並不好。我們在此藉由鬆開連接性限制使多角網目延展至通用圖。此類圖在建構方面有效率且在擷取幾何資訊方面有靈活性。
圖建構
我們藉由將相鄰矩陣W R N×N 中的局部幾何資訊編碼來 建構點雲之通用圖。令 R3為第i個點的3D坐標；亦即，X c的第i列。兩個點與之間的邊緣權重為 其中變異σ與閾值τ為超參數。方程式(4)表示當兩個點之歐幾里德距離小於閾值τ時，我們藉由一邊緣將兩個點連接，並且邊緣權重取決於3D空間中兩個點之相似性。在本發明中，我們將此種類型之圖稱為τ圖。經過加權之度矩陣D為一種對角矩陣，在第i點週圍具有反映密度之對角元素D i,i =Σ j W i,j 。此圖大約為原始表面之離散表徵，並且可經由諸如八叉樹之樹狀資料結構以有效率的方式建構。在這裡，我們僅使用3D坐標建構一圖，但將其它屬性列入考量亦屬可行(4)。給定此圖，點雲之屬性稱為圖信號。舉例而言，(1)中之一屬性s為依該圖之信號索引。我們假設τ圖正使用中，不用明確敘述。
在圖建構之另一實施例中，一點係連接至其某一數目之最接近鄰近體。
濾圖
濾圖器為為取用圖信號作為輸入並產生另一圖信號作為輸出之系統。令A RN ×N 為圖位移運算子，其為最基本的重要濾圖器。圖位移運算子之一些共通選擇為相鄰矩陣W(4)、轉移矩陣T=D -1 W、圖拉普拉斯矩陣L=D-W、以及許多 其它結構相關矩陣。圖位移以其鄰近體處值之加權線性組合取代節點處之信號值；亦即，y=A s R N ，其中s R N 為輸入圖信號(點雲之屬性)。每個線性、位移不變濾圖器皆是圖位移中之多項式 其中h i 為濾波器係數，並且L為此濾波器之長度。其輸出係由矩陣向量乘積給定y=h(A)s R N .
圖傅利葉轉換
圖位移運算子A之特徵分解為A=VΛV T , (6)其中A之特徵向量形成矩陣V之行，並且特徵值矩陣Λ R N×N 為A之對應特徵值λ 1,...,λ N 之對角矩陣(λ 1 λ 2 ..., λ N )。這些特徵值代表圖[？]上之頻率，其中λ 1為最低頻率且λ N 為最高頻率。對應地，v 1擷取該圖上的最小變異，並且v N 擷取該圖上的最高變異。V亦稱為圖傅利葉基礎。圖信號s R N 之圖傅利葉轉換為 反圖傅利葉轉換為 其中v k 為V的第k行且為中的第k個成分。(7)式中的代表特徵向量基礎中信號之展開，並且說明圖信號s之頻率成分。反圖傅利葉轉換藉由組合多個圖頻率成分來重建圖信號。
基於特徵提取進行重取樣
重取樣期間，我們縮減點數，並且無法避免地損耗點雲中之資訊。我們在這裡的目標是要設計應用相依性重取樣策略，取決於特定需求而保留所選擇的資訊。舉例而言，進行點雲中之輪廓偵檢時，我們通常需要仔細且密集的運算，諸如計算表面法線及將多點[？,？]分類。我們並不運作大量點，反而是考量有效率地重取樣對所需輪廓資訊敏感之小型點子集，使後續運算便宜很多，且不會損及輪廓資訊。
基於特徵提取之公式化
令f(．)為根據特定需求從點雲提取目標資訊之特徵提取運算子；亦即，特徵f(X) R N×K 係提取自點雲X R N×K 。我們重取樣點雲M次。第j次時，我們獨立地選擇機率為π i 的點M j =i。令Ψ R M×N 為重取樣運算子(3)且S R N×N 為對角重標矩陣，其中。我們將重取樣運算子之效能量化如下： 其中∥．∥2為譜範數。Ψ T Ψ R N×N 為填零運算子，取樣第i點時對角矩陣之對角元素為(Ψ T Ψ) i,i =1，否則為0。填零運算子Ψ T Ψ確 保重取樣點與原點大小相同。S係用於在重取樣期間補償非均勻權重。SΨ T Ψf(X)代表重取樣後呈填零形式之保留特徵。從另一態樣來看，SΨ T 為最簡算之內插運算子，從其重取樣版本Ψf(X)重建原始特徵f(X)。評估度量D f(X)(Ψ)衡量重建誤差；亦即，未使用精細內插運算子進行重取樣後損失的特徵資訊。D f(X)(Ψ)若小，則重取樣後的保留特徵接近於原始特徵，意指損失的資訊少。期望EΨ：π (D f(X)(Ψ))提供將取樣分布π之效能重取樣及量化後所造成的預期誤差。我們的目標是要對π最小化EΨ：π (D f(X)(Ψ))而按保留特徵f(X)獲得最佳取樣分布。我們此時來推導物件函數之均方誤差之精準形式。
引理1 無加權版保留特徵為對原始特徵之有偏估計量 EΨ：π (Ψ T Ψf(X)) πef(X),for all f(X) R N×K .其中e為逐列乘法。再加權版保留特徵為對原始特徵之不偏估計量，亦即，EΨ：π (SΨ T Ψf(X))=f(X),for all f(X) R N×K .
定理1 保留特徵與原始特徵間均方誤差之精準形式為EΨ：π (D f(X)(Ψ))=Tr(f(X)Qf(X) T ), (9)其中Q R N×N 為對角矩陣，其中Q i,i =1/π i -1。
所提出重取樣策略之位移與旋轉不變之充分條件在於評估度量(8)為位移與旋轉不變。
定義3 當提取自點雲之特徵與其位移版本相同時，特徵提取運算子f(．)為位移不變；亦即，f([X c X o])=f([X c+1a T X o])，其中位移 a R3。
定義4 當提取自點雲之特徵與其旋轉版本相同時， 特徵提取運算子f(．)為旋轉不變；亦即，f([X c X o])=f([X c R X o])，其中R R3×3為3D旋轉矩陣。
當f(．)為位移/旋轉不變時，(8)未透過位移或旋轉而變化，導致位移/旋轉不變重取樣策略，而且足以最小化EΨ：π (D f(X)(Ψ))以獲得重取樣策略；然而，當f(．)為位移/旋轉變異時，(8)可透過位移或旋轉變化，導致位移/旋轉變異重取樣策略。
若要處理位移變異，我們總是可在任何程序之前先將點雲重定心至起源；亦即，我們將3D點之均值坐標正規化至零。為了處理f(．)之旋轉變異，我們考量以下評估度量： 其中∥．∥2為譜範數且常數c=∥X c∥2為原始3D坐標之譜範數。評估度量D f (Ψ)考量旋轉所造成之最差可能重建誤差以移除旋轉影響。在(？？)中，我們因旋轉而考量3D坐標為變數。我們約束3D坐標之譜範數，因此旋轉矩陣為單範正交，並且3D坐標之譜範數在旋轉期間未改變。接著，我們將EΨ：π (D f (Ψ))最小化，即使f(．)變異，仍獲得不變性重取樣策略。
定理2 令f(．)為旋轉變異線性特徵提取運算子，其中f(X)=FX且F R N×N 。EΨ：π D f (Ψ)之精準形式為EΨ：π (D f (Ψ))=c 2Tr(FQF T )+Tr(FX o Q(FX o) T ), (10) 其中c=∥X c∥2與Q R N×N 為對角矩陣且Q i,i =1/π i -1。
最佳取樣分布
我們此時藉由將預期之重建誤差最小化來推導最佳取樣分布。
對於位移與旋轉不變特徵提取運算子，我們將(8)最小化。
定理3 令f(．)為位移與旋轉不變特徵提取運算子。
對應的最佳重取樣策略π * 為 其中f i (X) R K 為f(X)之第i列。
對於位移與旋轉變異特徵提取運算子，我們進行最小化。
定理4 令f(．)為位移與旋轉變異線性特徵提取運算子，其中f(X)=FX且F R N×N 。對應的最佳重取樣策略π * 為 其中常數c=∥X c∥2，F i 為F之第i列且(FX o) i 為FX o之第i列。
基於濾圖進行重取樣
在本節中，我們設計濾圖器以從點雲提取特徵。令從點雲X提取之特徵為 其遵循濾圖器(5)之定義。類似於古典信號處理中之濾波器 設計，我們在圖頂點域中或圖譜域中設計濾圖器。
在圖頂點域中，對於各點，濾圖器對其局部點之屬性的取平均。舉例而言，第i點之輸出為離第i點之L次跳躍內多點屬性之加權平均。第l濾圖器係數h l 將來自第l次跳躍鄰近體之貢獻度量化。
我們設計濾波器係數以改變局部平均處理中之權重。
在圖譜域中，我們首先設計圖譜分布，然後將濾圖器係數用於擬合此分布。舉例而言，長度為L之濾圖器為 其中V為圖傅利葉基礎，且λ i 為圖頻率(6)。當我們希望第i圖頻率之響應為c i ，我們設定 並且求解一組線性方程式以獲得濾圖器係數h l 。也有可能使用切比雪夫多項式設計濾圖器係數[？]。我們此時考量濾圖器之一些特例。
全通濾圖
令h(λ i )=1；亦即，h(A)為單位矩陣且h 0=1及h i =0，其中i=1,...,L-1。此設定背後的直觀為，原始點雲值得信賴，並且所有點都均勻取樣自物件且無雜訊，反映該物件之真確幾何結構。我們想要保留所有資訊，且特徵本身從而為原始屬性。由於f(X)=X，特徵提取運算子f(．)為位移與旋轉變異。基於定理4，最佳重取樣策略為
(12)中之特徵提取矩陣F在這裡為單位矩陣，並且F之各列之範數為1。當我們僅保留3D坐標時，我們忽略X o項，並且獲得各點之定取樣機率，意指均勻取樣為用以保留整體幾何資訊之最佳重取樣策略。
高通濾圖
在影像處理中，高通濾波器係用於提取邊緣與輪廓。類似的是，我們將高通濾圖器用於提取點雲中之輪廓。我們在此僅將3D坐標視為屬性(X=X c=R N×3)，但所提出之方法可輕易地擴充至其它屬性。
關鍵問題在於如何定義點雲中之輪廓。我們認為輪廓點打破其鄰近點所形成之趨勢並且帶來創新。先前的工作有許多需要諸如表面法線之精細幾何相關運算才能偵檢輪廓[？]。並不衡量精細幾何性質，我們反而藉由圖上之局部變異來描述成為輪廓點之可能性，其為高通濾圖之響應。第i點的對應局部變異為 其中h(A)為高通濾圖器。局部變異在高通濾圖之後量化響應之能量。背後的直觀在於，一點之局部變異若高，便無法從其鄰近點之3D坐標逼近其3D坐標；換句話說，此點藉由打破其鄰近點所形成之趨勢而帶來創新，並且有成為輪廓點之高度可能性。
以下定理展示局部變異並非旋轉不變，而是位移變異。
定理5 令f(X)=diag(h(A)XX T h(A) T ) R N ，其中對角(．)提取對角元素。f(X)為旋轉不變且位移不變，除非h(A)1=0 R N 。
若要保證該局部變異既屬位移不變又屬旋轉不變，我們使用轉移矩陣當作圖位移運算子；亦即A=D -1 W，其中D為對角度矩陣。理由在於1 R N 為轉移矩陣A1=D -1 W1=1之特徵向 量。因此，若，則。一種簡易設計為哈爾樣高通濾圖器 要注意λ max =max i | λ i |=1，其中λ i 為A的特徵值，因為圖位移運算子為轉移矩陣。在這種情況下，h 0=1,h 1=-1，並且當所有i>1 則h i =0,。因此，哈爾樣高通濾圖器既屬位移不變，又屬旋轉不變。哈爾樣高通濾圖器之圖頻率響應為 h HH (λ i )=1-λ i 。由於特徵值按遞降排序，我們有1-λ i 1-λ i+1，意指低頻響應相對衰減且高頻響應相對放大。
在圖頂點域中，第i點之響應為 因為A為轉移矩陣，與h HH (A)比較一點與其鄰近體之凸組合之間的差異。所提出局部變異之幾何詮釋為原點與其鄰近體之凸組合之間的歐幾里德距離，反映關於一點離其鄰近體我們知道的資訊多寡。一點之局部變異若大，則此點與其鄰近體之凸組合之間的歐幾里德距離便長，並且此點提供大量創新。
我們可驗證一些簡易實施例上所提出之局部變異。
實施例1 一點雲若形成3D線條，則兩端點便屬於此輪廓。
實施例2 一點雲若形成3D多邊形/多面體，則頂點(角點)與邊緣(連接兩個相鄰頂點之線段)屬於此輪廓。
實施例3 一點雲若形成3D圓形/球形，則沒有輪廓。
該等點若沿著定義的形狀均勻散布，則從幾何觀點來看，所提出之局部變異(14)滿足實施例1、2及3。舉例而言，在第3圖中，子圖305，點2為點1與點3之凸組合，點2之局部變異因此為零。然而，點4不為點3與點5之凸組合，並且紅線之長度指出點4之局部變異(創新)。事實證明，僅點1、點4與點7有非零局部變異，此 為我們所期望。在第3圖中，子圖310，所有節點都在一圓圈上均勻散布，並且具有相同的創新量，其乃以紅線表示。類似的論點表示所提出之局部變異(14)滿足實施例1、2及3。
特徵提取運算子為位移與旋轉不變。基於定理3，最佳取樣分布為 其中A=D -1 W為轉移矩陣。
要注意的是，圖拉普拉斯常用於衡量變異。令L=D-W R N×N 為圖拉普拉斯矩陣。基於拉普拉斯之總變異為 其中N i 為第i節點之鄰近體，並且第i點所促成之變異為
這裡的變異係基於成對差異之累積而定義。我們稱呼(18)為基於成對差異之局部差異。
該基於成對差異之局部變異無法擷取幾何變化且違反實施例2。我們在第4圖中展示反例。該等點沿著立方體之多面均勻散布，並且第4圖展示兩面。各點以 同一邊緣權重連接至其相鄰的四個點。所有點之基於成對差異之局部變異都相同，這意指此點雲中沒有輪廓。然而，帶註點(黑色箭號所指)應該為輪廓點。
第5圖展示包括絞鏈、錐體、桌子、椅子及垃圾容器等該點雲之一些實施例上基於局部變異之取樣分數。第一列展示(505)原點雲；第二(510)與第三(515)列就兩個局部變異展示重取樣版本：基於成對差異之局部變異(18)與基於哈爾樣高通濾圖之局部差異(14)。兩個重取樣版本有相同的點數，其為原點雲中10%之點。
對於絞鏈與錐體(前兩列)這兩個模擬物件，基於成對差異之局部變異(18)無法偵檢輪廓，並且基於哈爾樣高通濾圖之局部變異(14)偵檢所有輪廓。對於真實物件，基於哈爾樣高通濾圖之重取樣(14)亦表現優於基於成對差異之局部變異(18)。總言之，基於哈爾樣高通濾圖之局部變異(14)藉由僅使用10%之點來展示物件之輪廓。
可輕易地延展基於高通濾圖之重取樣策略以偵檢其它屬性中之暫態變化。在第6圖中，子圖605模擬具有兩個不同紋理之絞鏈。黑色的點有值為0之同一紋理，並且綠色圓圈所示之點有值為1之不同紋理。我們將紋理當作新屬性以及點雲矩陣X R N×4，其中前三行為3D坐標且第四行為紋理。我們以基於高通濾圖之局部變異(14)為基礎，重取樣10%之點。在第6圖中，子圖610展示重取樣之點雲，其清楚偵檢幾何輪廓與紋理輪廓兩者。
低通濾圖
在古典信號處理中，低通濾波器係用於擷取平滑信號之主要形狀及降低雜訊。類似的是，我們將低通濾圖器用於擷取點雲之主要形狀並在獲得3D點期間降低取樣雜訊。由於我們將多點之3D坐標用於建構一點(4)，因此該等3D坐標在此點上自然平滑，意指該圖中的兩個相鄰點在3D空間中有類似的坐標。當雜訊與離群值出現時，低通濾圖器作為去雜訊運算子，將局部鄰近資訊用於逼近各點之真確位置。由於低通濾圖之後的輸出為原點雲之去雜訊版本，因此相較於原點，從去雜訊點重取樣可更吸引人。
理想低通濾圖器
直接的選擇是理想低通濾圖器，其完全消除高於一頻寬之所有圖頻率，同時使低於該頻寬之圖頻率未變。具有頻寬b之理想低通濾圖器為 其中V (b)為V的前b行，並且圖頻率響應為
理想低通濾圖器h IL 將輸入圖信號投射到帶限子空間，並且h IL (A)s為對原始圖信號s之帶限逼近。我們在第7圖中展示一實施例，其中子圖705為原點雲，是一茶 壺，子圖710、715及720表示頻寬b增大時對茶壺之3D坐標之帶限逼近更佳。我們看出該帶限近似法快速改變茶壺之形狀：以10個圖頻率，我們僅獲得茶壺之粗略結構。該帶限近似法從而在編輯方面比去雜訊更有用處。子圖725展示主要能量在低通圖頻帶內集中。
此特徵提取運算子為位移與旋轉變異。基於定理4，對應的最佳重取樣策略為 其中v i R b 為V (b)之第i列。
用以獲得∥v i ∥2之直接作法需要截略之特徵分解(7)，其運算成本為O(Nb 2)，其中b為頻寬。透過快速演算法[？,？]逼近制衡分數有潛在可能性，其中我們使用隨機化技巧來避免特徵分解，並且運算成本為O(Nb log(N))。用以制衡運算之另一作法是將一圖劃分成數個子圖，並且獲得各子圖中之制衡分數。
注意此重取樣策略類似於近似帶限圖信號之取樣與復原，其想法是要在少量節點取樣信號係數，並且在所有其它節點近似復原信號係數。我們在此將點雲之屬性建模為圖信號，取樣少量點之屬性，並且近似復原所有其它點之屬性。
我們可看出，基於理想低通濾圖之重取樣策 略有助於將更多樣本放在多點上，其鄰近點在3D空間中快速變動，因為小變異區域引進許多冗餘資訊，而且我們不需要取用許多樣本。該圖顧及點雲之空間分布，並且經由圖傅利葉基礎來分析各點之資訊量。我們亦看出，利用增加圖頻率數，取樣分數易於均勻。這意味著當我們想要保留總體資訊時，重要性分數變為在每一處都相等。
哈爾樣低通濾圖器
另一簡易選擇為哈爾樣低通濾圖器；亦即， 其中具有λ i 之λ max =max i | λ i |為A之特徵值。正規化因子λ max 是用來避免幅度之放大。為簡單起見，我們表示A norm =A/| λ max |。圖頻率響應為h HL (λ i )=1+λ i /| λ max |。由於特徵值按遞降排序，我們有1+λ i 1+λ i+1，意指低頻響應相對放大且高頻響應相對衰減。
在圖頂點域中，第i點之響應為 其中N i 為第i點之鄰近體。我們看出h HL (A)對各點及其鄰近體 之屬性取平均以提供平滑輸出。
此特徵提取運算子f(X)=h HL (A)X為位移與旋轉變異。基於定理4，對應的最佳重取樣策略為 為了獲得此最佳取樣分布，我們需要運算最 大幅度特徵值λ max ，其取用O(N)，還需要運算各列之 與，其取用圖位移運算子中之非零元素，附∥vec(A)∥0之O(∥vec(A)∥0)。藉由將正規化相鄰矩陣或轉移矩陣當作圖位移運算子使用，我們可不用運算該最大幅度。正規化相鄰矩陣為，其中D為對角度矩陣，並且轉移矩陣係藉由將相鄰矩陣之各列之總和正規化為1而獲得；亦即D -1 W。在兩例中，轉移矩陣之最大特徵值為1，我們因此有A=A norm 。
第8圖藉由在小兔子上使用基於哈爾樣低通濾圖(？？)之重取樣來展示去雜訊效能。小兔子之點雲包括35,947個點。各坐標受均值為零且變異數為0.002之高斯雜訊所污染。在第8圖中，子圖805展示有雜訊之小兔子。我們均勻地重取樣來自有雜訊小兔子之多點中的10%，子圖810中有展示。我們看出重取樣版本亦有雜訊。基於所提出之哈爾樣低通濾圖，我們在子圖815中獲得去雜訊小兔子，並且我們根據來自該去雜訊小兔子之最佳取樣分布(？？)而重取樣10%之點。子圖820中展示該有雜訊小兔子之重取樣版本。我們看出，藉由使用同一點數，基於哈爾樣低通濾圖820之重取樣版本比基於重取樣版本之均勻取樣 810雜訊更小且更具代表性。
為了定量評估重取樣之效能，我們衡量原始無雜訊點雲中各重取樣點與最接近點之間的歐幾里德距離；亦即， 其中X R N×k 為無雜訊點雲且X M R M×k 為重取樣之點雲。由於我們從有雜訊點雲進行重取樣，因此重取樣點係位移自原點。 (22)中之誤差度量將總位移量化。更小的位移意指原點雲之表徵更佳。舉例而言，子圖810中重取樣點雲之誤差為6.1824，並且子圖820中重取樣點雲之誤差為3.7077。此確證重取樣期間使用低通濾圖之優點。
另一具體實施例
以上我們提出一些基於基本濾圖之重取樣工具，包括全通、低通及高通濾圖器，在本節中，我們提出一些變型設計，展示如何將其調整成滿足特殊要求。
點密度考量
對於如第3.2節中所提出之純高通濾圖器，重要性分數的用處單純地有利於點雲中之局部變異。對於例如根據關注層級而動態分配點密度之點雲，我們喜歡連同局部變異將點密度共同列入考量。
在一項具體實施例中，鑑於度矩陣D可以是 密度分布之表徵，我們提出採用以下方式來修改方程式15中之哈爾樣高通濾波器h HH (A)=D(I-A)=D-W=L,(23)其中所產生的高通圖運算子實際上為圖拉普拉斯運算子L。注意以上度矩陣D可由另一密度表徵取代，並且所產生的運算子無需成為圖拉普拉斯。
憑藉所考量的點密度，邊緣區域與平坦區域之間的取樣機率轉移會變為更平滑。若將輸入點雲預處理以強調注意區，此方法可能更有利。
最小取樣機率保證
對於如第3.2節或第3.4.1節中所提出之高通濾圖器，賦予一些點之重要性分數可遠小於其它點之重要性分數。一般而言，相較於邊緣或轉角附近的點，出自最平滑區域之點可具有幾乎為零之取樣機率。結果是，那些出自平坦區域之點在重取樣期間獲得選擇的機會小。
對於用以從點雲組建表面之習知表面建模方法，在邊緣/轉角區域上過度強調並且讓內側表面幾乎淨空方面可能造成挑戰。為了克服此挑戰，有動機要在維持點雲中總體幾何資訊與輪廓資訊之間作出取捨。為了確保點雲各處的取樣機率最小，我們提出強制施行最小取樣機率。
第13圖將取樣結果與立方物件之一面上無底限之圖隨機漫步相對有底限者作比較。子圖1305為使用 純圖隨機漫步時的取樣位置。子圖1310為強制施行最小機率之對應結果。可看出如何藉由設定最小取樣機率使取樣點位移以考慮平坦區域及邊緣區域。
幾乎低通濾圖
假設我們為了移除高頻成分而希望將低通濾波器應用於點雲上之圖譜，第3.3節中所提出之理想低通濾圖器需要至少運算一些特徵值與特徵向量對，這可能造成非所欲的運算複雜度。我們在此提出要在本發明所提出之架構中利用的k-多項式或k-共軛梯度濾波器[？]。其次，我們假設基本圖運算子為對稱正規化圖拉普拉斯運算子L，不用犧牲使用其它圖運算子之一般性。
k-POLY
我們若例如因運算考量而自我設限於多項式濾波，則會設立最佳多項式低通濾波器問題。最佳多項式低通濾波器是以切比雪夫多項式為基礎。
具體而言，我們提出配合從l (0,2)延展至2之阻帶，使用界定於[0,2]區間內之k度切比雪夫多項式h k-CHEB。由於我們按對稱正規化拉普拉斯L之特徵空間定義圖譜，L的所有特徵值全都落在[0,2]區間內。切比雪夫多項式之構 造係藉由運算k度切比雪夫多項式for i=1...k之根來輕易獲得。在[-1,1]區間內，然後經由線性轉換將該等根位移至[l,2]區間以獲得多項式h k-CHEB之根r i ，並且使用r 0比例換算多項式，使得h K-CHEB(0)=1。這導致公式 切比雪夫多項式屬於大中取小最佳，均勻地抑制[l,2]區間內之所有譜成分，並且比[l,2]外之任何其它多項式更快成長。阻帶頻率l使必須在濾波前先設定之設計參數保持不變。
k-CG
再者，k-CG低通濾波器[？]亦可用於仿效本發明所提出架構中之低通濾波器。
第14圖展示k-POLY(子圖1405)與k-CG(子圖1410)方法之譜響應，其中k=1,2,3。
條件式取樣
憑藉第3節中所提出之方法，假設與各點相關聯之重要性分數獨立於任何其它點，因此無論取樣程序期間已選擇的是哪些點，分數都保持一樣。在本節中，我們考量取樣程序期間將一點之重要性分數主動更新的例子，亦即，一點之重要性分數會受那些已取樣之點所影響。直觀地，對於已取樣之點，重要性分數應該變為零，而最遠離該取樣點之點應該保持分數不變。
直接使用取樣分布π當作本節中重要性分數之衡量。
我們在此相對於參考點r提出一點i之主動重要性分數。
其中x f 為最遠離點x r 之點。此外，判定新取樣點之後，重要性分數會更新如下。
不幸的是，由於必須計數所有其它點的距離，π a 從而還有pi之更新在計算方面涉及高運算複雜度。限制所涉及複雜度之一種作法為避免在選擇每個新取樣點之後更新重要性分數。反而，可僅在取樣第一點群組之後及第二點群組待取樣之前更新該等分數。若此更新是在很粗略的步驟進行，這可能導通效能更加衰減。其次，我們提出兩種用以提升複雜度負擔的新穎作法。
體素近似法
並不對每個點運算確切的重要性分數更新因子π a ，反而可共享某一鄰域內多點之因子。
其中為x i 所屬體素之矩心點。可使用例如八叉樹分解之快速演算法將多點劃分成多體素。
m-跳躍近似法
在另一具體實施例中，我們假設對離新取樣點夠遠之點沒有影響。假定半徑τ係用於在點雲上方建構該圖，令mτ 為內有重要性分數需更新之近似半徑。
不幸的是，使用以上公式減少距離運算數並不直接，因為必須評估對閾值的全部距離。減輕此問題之簡算法仍是使用體素矩心逼近每點距離。除了此簡算法，在此子節中，我們提出如第15圖中所示可更有效率實施之新穎方法。
如第15圖中所示，點雲係以X表示，其中各列對應於一點，各行對應於一屬性。A為已定圖運算子(形式例如為矩陣)、或基本圖運算子之函數。先前已取樣之點集合係以Min表示。
目的是要藉由考量舊取樣點對其在半徑mτ內之鄰域上的影響，求出具有n個新取樣點之新取樣集合Mout。
在步驟1中，起始與A相同之Q。
在步驟2中，我們提出對於取樣點 i Min，以1 i 取代Q中的諸列，其中列向量1 i 之項目內容全都為0，差別在於第i個項目內容等於1。圖運算子中所提出之變化意指(定向)圖結構中一些對應的修改，亦即，用以移除與已取樣點連結之圖緣、及用以加入已取樣點上的自迴路邊緣。
在步驟3中，將重要性分數ξ M與π M初始化為PX-AXProw，其中P.Prow為逐列範數運算子。可基於下層圖結構， 將初始重要性分數視為局部資訊之衡量。
在步驟4中，重要性分數ξ M經修改而使其對應於非取樣點之項目內容重設成0。此時，ξ M代表正由舊取樣點集合M所攜載之局部資訊。
在步驟5之各迭代中，局部資訊係從舊取樣點傳播至其在半徑τ內之鄰域。藉由在步驟5中執行迴圈m次，此資訊在mτ之範圍內傳播，並且是以ξ M來表示。
在步驟6中，將舊取樣點集合所攜載之資訊ξ M從出自原點雲之總資訊減去之後，我們此時有新的資訊衡量π M。
最後，在步驟7中，我們可基於新資訊衡量π M來選擇具有n個新取樣點之新取樣集合Mout。
可反復呼叫以上所提出之演算法使取樣集合一點一滴成長(granular grow)，以基於非常粗略的表徵來達到原點雲之階層式表徵。所產生的方法為「單程」分解程序，因為可在產生各層之後立即調用各層之後續處理，不用等待另一表徵層之產生。
在另一具體實施例中，我們可不進行步驟3中之範數操作，但使X-AX保持在ξ M 內以儲存實際的局部資訊。直到步驟6中為止，我們在更新π M之前先在ξ M上進行範數操作。傳播局部資訊而非傳播局部重要性分數是有助益的，當局部資訊屬於多維時尤其如此。
基於參考之重取樣
我們考量重取樣出自大規模點雲之參考點集合。參考點係用於代表其它點之位置，其可用於點雲之壓縮、標引及視覺化。此想法是先編碼參考點之坐標，然後將相對坐標編碼成所有其它點之最接近參考點。令M=(M1,．,M K )表示K個參考索引之序列，其中M j {1,…,N}。目的是要藉由最小化以下函數來求出參考點集合。
其中求出各點之秘密(closet)參考點，並且w m 為第m點之權重。舉例而言，視覺化3D點雲時，人眼對物件的輪廓更敏感。我們因此對輪廓點賦予更高的權重。
當該等權重均勻時，(28)與K均值群聚類似，差別在於叢集中心來自原點。我們單純地將(28)稱為加權K均值群聚問題。然而，我們無法將普通群聚演算法用於大規模3D點雲。已知K均值群聚難以運算(NP困難)。即使存在有效率的啟發式演算法，諸如Lloyds演算法及其變型，這些演算法仍需進行多次迭代才能求出叢集，並且各迭代涉及K個叢集中心與N個資料點各者間距離之運算。K若巨大，總運算成本也跟著巨大。我們運作的是大規模點雲及數百萬個參考點，因此希望不用反復執行便可求出參考點；換句話說，任務是要就加權之K均值群聚有效率地選擇接種點。
透過來自K均值++[？]的靈感，我們的想法 是要循序更新取樣分布。令π (i)表示第i次的取樣分布。每一次，我們都從π (i)產生一個樣本，並且根據此新樣本來更新取樣分布。此取樣分布係基於到最接近參照點之歐幾里德距離來更新。我們避免取樣局部區域中之許多點。所提出的加權K均值++與原來的K均值++之間的差異在於我們亦考量特徵性質。演算法看第16圖。
在步驟1中，起始參考索引集合M=及取樣分布π，其中取樣第i個樣本之機率與特徵值成比例；亦即π i =w i /Σ j w j 。
在步驟2中，從取樣分布π產生一個參考索引M1，並且將其放入集合M。
在步驟3中，重複步驟3.1與3.2，直到M之基數達到K為止。
在步驟3.1中，藉由賦予π i =w i D 2(x i )/Σ j w j D 2(x j )來 更新取樣分布π，其中為第i個點與其最接近參考點之間的歐幾里德距離。
在步驟3.2中，從取樣分布π產生另一參考索引M2，並且將其放入集合M。
類似於原來的K均值++，我們就誤差推導理論界限。我們將第4.1節中的類似技巧用於提升複雜度負擔。
應用
在本節中，我們將所提出之重取樣策略套用至一些應 用：大規模視覺化、穩健形狀建模、特徵分析及階層式表徵。
大規模視覺化
在此工作中，我們將所提出的重取樣策略用於以有效率的方式視覺化大規模都市場景。我們對都市場景中建築物與街道之輪廓敏感，因此並不展示整個點雲，而是僅展示所選擇之點子集。我們考量大規模資料集，其涉及總計具有超過30億個點的數個自然場景，並且涵蓋一系列的多種都市場景：教堂、街道、鐵軌、廣場、村落、足球場、城堡。在第9圖中，子圖905展示「domfountain3」之點雲，其含有15,105,667個點(我們忽略地上的點)。我們基於兩種重取樣策略對重取樣之點雲進行比較：均勻取樣及基於高通濾圖之取樣。子圖910、915、920分別以151,057、15,105及1,510(1%、0.1%及0.01%)個點，基於均勻取樣來展示重取樣之點雲。子圖930、935、940分別以151,057、15,105及1,510(1%、0.1%及0.01%)個點，基於高通濾圖來展示重取樣之點雲。我們看出，子圖930、935及940比子圖910、915及920展示清楚很多的輪廓。這確證基於高通濾圖之重取樣策略為大規模都市場景提供視覺友善的結果。包括圖建構、局部變異運算及重取樣在內的整個運算過程都是用桌上型電腦的Matlab執行，而且所花的時間少於200秒。
為了查看一些細節，我們在第10圖中展示兩個放大實施例，包括一建築物及一教堂，其分別含有381,903個點及1,622,239個點。子圖1005及1010展示原 點雲。在子圖1015及1020中，使用的是均勻取樣。並且在子圖1025及1030中，使用的是所提出基於高通濾圖之重取樣。可觀察到，我們成功以輪廓偵檢該建築物與該教堂兩者的外形。此外，還凸顯一些細節，諸如建築物之大門與窗戶、及教堂之掛鐘與屋頂。這確證所提出局部變異之功效。將第三行與第二行作比較，基於高通濾圖之重取樣點保留了輪廓。相較於1015與1020，從1025與1030中之重取樣點，更易於辨識建築物之大門與窗戶的輪廓。
穩健形狀建模
在此工作中，我們將所提出的重取樣策略用於達成穩健形狀建模。目標是要藉由使用小型點子集來獲得模型，而不是使用原點雲中之全部點來獲得。我們希望此模型反映物件之真確表面，尤其是對於有雜訊之點雲。
在第11圖中，子圖1105展示健身球之點雲，其含有62,235個點。在此無雜訊例子中，該健身物之表面可藉由球體來建模。子圖1110將綠球擬合成健身球。此球體之半徑與3D中央點為0.318238與[0.0832627 0.190267 1.1725]。為了制衡此運算，我們重取樣點子集並將另一球體擬合成重取樣點。我們希望原點雲所產生之兩個球體與重取樣之點雲類似。
在許多真實例子中，所收集的原點有雜訊。為了模擬有雜訊之例子，我們將均值為零且變異數為0.02之高斯雜訊加入各點。我們首先獲得均勻重取樣之點雲。 接著，藉由低通濾圖(21)獲得去雜訊之點雲，而且重取樣策略是以(20)為基礎。最後，我們擬合出自四個點雲之球體、原始球(無雜訊)、雜訊球(有加入高斯雜訊)、出自雜訊球之均勻重取樣球、以及使用所提出低通濾圖器之重取樣球。第12圖中展示該等球體之統計資料。我們看出去雜訊球及其重取樣版本表現優於雜訊球及均勻取樣版本，因為估計之半徑及中央點更靠近原來的半徑及中央點。這確證所提出具有低通濾圖之重取樣策略為有雜訊的點雲提供穩健形狀建模。
特徵分析
憑藉所提出基於高通濾圖器之重取樣，可判定具有高重要性分數之小型點集合。由於此一小型點子集對應於點雲中之邊緣、轉角，可將其視為原點雲之關鍵點。
此外，原點雲之所選擇關鍵點上可定義特徵描述符，其為對局部鄰域內諸點上例如位置、梯度、方位及規模等一些相關聯屬性之局部描述符集合。
基於所推導之特徵描述符，可進行一些點雲分析工作。舉例而言，為點雲資料庫提供查詢點雲，可搜尋及檢索類似的點雲。兩個點雲之間的相似性可藉由運算其特徵描述符之間的差異來衡量。
階層式表徵
由於處理能力有限，通常需要控制點之群聚。舉例而 言，點雲呈現裝置同時僅可能夠顯示某一數目上限的點。或者，用以從一點雲提取特徵之裝置可因為可用運算資源有限而僅能夠處置大小有限的點集合。某一點密度對應於點雲之規模程度。再者，如放大/縮小之操作需要一點雲之一連串規模程度，這導致需要產生一點雲之階層式表徵。
假設該表徵之更高層是以更多點來填滿，令S i 為第i層中之點集合且i=1為最粗層，i=M為最細層。
用以產生此一階層式表徵之簡算法是用來獨立地從裸點雲以不同規模產生一連串點子集，並且如之前所提使用較佳重取樣策略。憑藉此一簡算法，較粗層中之一點不需要在較細層中呈現。
然而，若假設 i S l 則可提供優點，i S k 會與k<l保持一樣久。按照這個方式，切換至較粗層時，不會將資訊從較粗層捨棄。出自較細層之新資訊對較粗層會有加成性而產生改進之輸出。換句話說，當移動至較粗層時，若將資訊從較粗層丟棄，對儲存空間或傳輸率是一種浪費。
我們在下文提出一種先進方法，以反復方式產生點雲之階層式表徵。
令最細層S N 等於裸點雲。假設我們在有較細層S j+1可用的前提下需要較粗層S i 。
建議在點集合S j+1上應用以上所提出之重取樣策略。亦即，獨立的最接近鄰域圖會建構在點集合S i+1上，其中最接近鄰域需要藉由考量目前層j+1中之點密度而定義有適當的半徑。該半徑應該從較細層增加至粗層。接著， 應用較佳隨機取樣法以從S i+1產生子集S i 。憑藉所提出之程序，從最密集點集合(最細解析度)至最稀疏點集合(最粗解析度)產生階層式表徵。
觀察者在檢視原點雲時，可藉由在此一階層式表徵之不同層之間進行導覽來進行放大、縮小操作。
另外，可在階層式表徵產生後，設計空間可調式寫碼方案。較佳空間可調式編碼方案為雙程程序，其中第一遍是從S N 到S 1產生階層式表徵，且第二遍係用於從S 1到S N 進行實際寫碼。亦即，該編碼始於最粗層S 1。假定S i 已寫碼，我們提出基於S i 以預測方式編碼額外的點S i+1\S i 。
在一項實作態樣中，我們將例如八叉樹寫碼法之現有方法用於編碼最粗層S 1。其次，為了將S i-1中的點當作點預測子用來編碼較細層S i ，我們提出基於歐幾里德距離將S i-1中之點當作矩心用來群聚S i 中之點。按照此一方式，可藉由S i-1中之點而有效率地預測S i \S i-1中之新點。
在本揭露中，我們提出選擇點子集之重取樣架構，用以提取關鍵特徵，並且制衡大規模點雲中之後續運算。我們制定最佳化問題以獲得最佳取樣分布，亦保證其為位移與旋轉不變。接著，我們指定特徵提取運算子成為濾圖器，還基於全通、低通與高通濾圖研討重取樣策略。介紹了包括大規模視覺化、穩健形狀建模、特徵描述符提取、階層式表徵及寫碼在內的數種應用以確證所提出重取樣方法之功效及效率。
第17圖根據本揭露之具體實施例，為繪示第 1圖所示方法之方塊圖，其可使用替代電腦或處理器來實施。電腦1711包括透過匯流排1256連接之處理器1740、電腦可讀記憶體1712、儲存器1758以及具有顯示器1752與鍵盤1751之使用者介面1749。舉例而言，與處理器1740及電腦可讀記憶體1712通訊之使用者介面1264在使用者從使用者介面1764之表面(鍵盤表面1764)收到輸入後，取得並儲存電腦可讀記憶體1712中之輸入點雲資料。
電腦1711可包括電力源1754，取決於應用，電力源1254可供選擇地位於電腦1711之外側。透過匯流排1756連結的可以是適於連接至顯示裝置1748之使用者輸入介面1757，其中顯示裝置1248還可包括電腦顯示器、攝影機、電視、投影機或行動裝置。印表機介面1759亦可透過匯流排1756連接，並且適於連接至列印裝置1732，其中列印裝置1732還可包括液體噴墨印表機、噴蠟式印表機、大型商用印表機、熱印表機、UV印表機、或染料昇華印表機。網路介面控制器(NIC)1234適於透過匯流排1756連接至網路1736，其中除此之外，時間序列資料或其它資料可在電腦1711外側之第三方顯示裝置、第三方成像裝置、及/或第三方列印裝置上呈現。
仍請參閱第17圖，除此之外，輸入點雲資料、輸出點資料或其它資料可透過網路1736之通訊通道來傳輸，及/或儲存於儲存系統1758內以供儲存及/或進一步處理之用。再者，輸入點雲資料、輸出點資料或其它資料可採無線方式或硬有線方式從接收器1746(或外部接收器 1738)接收，或經由傳送器1747(或外部傳送器1739)採無線方式或硬有線方式傳送，接收器1746與傳送器1747兩者係透過匯流排1756連接。電腦1711可經由輸入介面1708連接至外部感測裝置1744及外部輸出入裝置1741。舉例而言，外部感測裝置1244可包括感測器，蒐集機器收集時間序列資料前中後的資料。舉例來說，逼近機器或未逼近機器之環境條件即機器處或附近之溫度、機器位置建築物中之溫度、機器之建築物外部的戶外溫度、機器本身之視訊、逼近機器之區域的視訊、未逼近機器之區域的溫度、與機器之態樣相關的其它資料。電腦1711可連接至其它外部電腦1742。輸出介面1709可用於從處理器1740輸出已處理資料。
還有，本文所提的各種方法或流程都可編碼成軟體，可在一或多個運用各種作業系統或平台中任一者之處理器上執行。此外，此軟體可使用一些適當程式語言及/或程式編製或腳本編製工具中的任一者予以編寫，還可予以編譯成在架構或虛擬機器上執行的可執行機器語言代碼或中間碼。一般而言，可視各項具體實施例之所欲，將程式模組的功能組合或分散。
還有，可將本揭露之具體實施例體現成一種方法，這種方法之一項實施例已提供。如本方法某部分執行之動作可用任何適當方式排序。所建構的具體實施例從而其動作可用有別於所述之順序進行，即使例示性具體實施例中係顯示成循序動作，其仍可包括同時進行某些動作。 再者，申請專利範圍中將諸如「第一」、「第二」等有序詞彙用於修改主張要素本身並未暗示任何優先順序、優先性、或一個主張要素優於另一者之順序、或方法之動作進行時之時間順序，而是僅當作標籤用於將具有某一名稱之一個主張要素與具有同一名稱(但對於有序詞彙之使用)之另一要素區別開來，用以區別該等主張要素。

Claims (20)

  1. 一種用來處理具有多點之輸入點雲之系統，其中，各點包括含二維(2D)與三維(3D)坐標之屬性、及其它屬性的集合，其包含：感測器，其感測場景，並且與電腦可讀記憶體通訊以產生該輸入點雲；輸出介面；處理器，其與該電腦可讀記憶體通訊，該處理器係組配成用來：存取該輸入點雲；基於該輸入點雲中代表一圖中一節點之各點而建構代表該輸入點雲之該圖，以及識別並連接該圖中之兩個鄰近節點以獲得圖緣；基於該建構之圖判定濾圖函數；藉由就該等點選擇屬性子集、及透過該濾圖函數套用於該所選擇之屬性子集上來過濾該輸入點雲中之各點，以就該輸入點雲中之各點判定至少一個值；基於該點之與該輸入點雲中該等點之所有值之總計相比較的該至少一個值、及輸出點雲中點之預定數目，產生各點之機率；使用各點之該等機率之隨機評估來取樣該輸入點雲，以獲得該輸入點雲中之點子集，其中，該點子集為該輸出點雲；以及 在該電腦可讀記憶體中儲存該輸出點雲，或經由與該處理器通訊之該輸出介面輸出該輸出點雲，其中，該輸出點雲係用於輔助後續處理及輔助管理該輸入雲資料。
  2. 如申請專利範圍第1項所述之系統，其中，該等點之該屬性子集係基於使用者輸入所選擇。
  3. 如申請專利範圍第1項所述之系統，其中，就各點產生該機率以取樣該輸入點雲係基於該點之與該輸入點雲中該等點之所有值之總計相比較之該至少一個值乘以該輸出點雲中點之該預定數目。
  4. 如申請專利範圍第1項所述之系統，其中，該輸出點雲中點之該預定數目係藉由與該處理器通訊之使用者輸入介面之表面上之使用者輸入來判定，以將點的使用者數目設定為該輸出點雲中點之該預定數目。
  5. 如申請專利範圍第1項所述之系統，其中，該輸入點雲中之該等點經組織或未經組織。
  6. 如申請專利範圍第1項所述之系統，其中，各點在該屬性集合中之該等其它屬性係出自由顏色、溫度、透明度或反射率之一者或組合所組成之群組。
  7. 如申請專利範圍第1項所述之系統，其中，該等圖緣係從一圖節點連接至位在τ之半徑內之所有鄰近圖節點。
  8. 如申請專利範圍第1項所述之系統，其中，該等圖緣係從一圖節點連接至其K個最接近之鄰近圖節點。
  9. 如申請專利範圍第1項所述之系統，其中，該所選擇之屬性子集包括各點之3D坐標，使得該等3D坐標係於判定該輸出點雲時使用。
  10. 如申請專利範圍第1項所述之系統，其中，該所選擇之屬性子集包括與各點相關聯之顏色，使得該顏色係於判定該輸出點雲時使用。
  11. 如申請專利範圍第1項所述之系統，其中，各點之該等機率對於每個圖節點為任何預定義之正常數。
  12. 如申請專利範圍第1項所述之系統，其中，各點之該等機率係計算自由圖隨機漫步(轉移)矩陣、圖拉普拉斯矩陣或圖相鄰矩陣的其中一者之函數所代表之該濾圖函數。
  13. 如申請專利範圍第1項所述之系統，其更包含：就視覺化、物件建模、階層式表徵或呈現的其中一者所組成之群組輸出該輸出點雲。
  14. 如申請專利範圍第1項所述之系統，其更包含：就該輸出點雲中之各點產生匯總該輸入點雲之特徵描述符；以及基於該等特徵描述符偵檢物件。
  15. 如申請專利範圍第1項所述之系統，其中，該判定該輸入點雲中之點子集包括：判定第二點子集，其中，選擇並將附加點加入該判定之點子集，使得該第二點子集比該輸入點雲之該判定之點子集之細節提供更多之該輸入點雲之細節。
  16. 如申請專利範圍第15項所述之系統，其更包含：以與剩餘點離該判定之點子集中之該等點的歐幾里德距離成比例之尺度來更新該等剩餘點之機率因子。
  17. 如申請專利範圍第15項所述之系統，其更包含：基於從有該等圖緣要移除之該原始濾圖函數修改之圖結構來判定第二濾圖函數，該等圖緣係連結至該第一點子集內之該等點、且其上有自迴路圖緣要加入；選擇資訊描述符，其有元素等於該第一點子集內該等點上之該特徵描述符、且有其它元素等於零；藉由以特定次數於該所選擇之資訊描述符上套用該判定之第二圖運算子來計算更新之資訊描述符；以及使用該更新之資訊描述符來更新該重要性分數。
  18. 如申請專利範圍第1項所述之系統，其中，該判定該輸入點雲中之點子集包括：判定第二點子集，其中，選擇並將附加點從該判定之點子集移除，使得該第二點子集比該輸入點雲之該判定之點子集之細節提供更少之該輸入點雲之細節；以及基於該階層式點集合按照可調方式將該輸入點雲從托碟(coaster)層級寫碼成較細層級。
  19. 一種用來處理具有多點之輸入點雲之方法，其中，各點包括含二維(2D)與三維(3D)坐標之屬性、及其它屬性的集合，其包含：經由感測器感測場景，該等感測器與電腦可讀記憶 體通訊以產生該輸入點雲；使用與該電腦可讀記憶體通訊之處理器，該處理器係組配成用於：存取該輸入點雲；基於該輸入點雲中代表一圖中一節點之各點而建構代表該輸入點雲之該圖，以及識別並連接該圖中之兩個鄰近節點以獲得圖緣；基於該建構之圖判定濾圖函數；藉由就該等點選擇屬性子集、及透過該濾圖函數套用於該所選擇之屬性子集上來過濾該輸入點雲中之各點，以就該輸入點雲中之各點判定至少一個值，基於該點之與該輸入點雲中該等點之所有值之總計相比較的該至少一個值、及輸出點雲中點之預定數目，產生各點之機率；使用各點之該等機率之隨機評估來取樣該輸入點雲，以獲得該輸入點雲中之點子集，其中，該點子集為該輸出點雲；以及在該電腦可讀記憶體中儲存該輸出點雲，或經由與該處理器通訊之該輸出介面輸出該輸出點雲，其中，該輸出點雲係用於輔助後續處理及輔助管理該輸入雲資料。
  20. 一種非暫態電腦可讀儲存媒體，其上體現可藉由電腦執行以進行一種方法之程式，該方法係用於處理所儲存之 具有多點之輸入點雲，其中，各點包括含二維(2D)與三維(3D)坐標之屬性、及其它屬性的集合，該方法包含：經由感測器感測場景，該等感測器與該非暫態電腦可讀儲存媒體通訊以產生該輸入點雲；基於該輸入點雲中代表一圖中一節點之各點而建構代表該輸入點雲之該圖，以及識別並連接該圖中之兩個鄰近節點以獲得圖緣；基於該建構之圖判定濾圖函數；藉由就該等點選擇屬性子集、及透過該濾圖函數套用於該所選擇之屬性子集上來過濾該輸入點雲中之各點，以就該輸入點雲中之各點判定至少一個值，基於該點之與該輸入點雲中該等點之所有值之總計相比較的該至少一個值、及輸出點雲中點之預定數目，產生各點之機率；使用各點之該等機率之隨機評估來取樣該輸入點雲，以獲得該輸入點雲中之點子集，其中，該點子集為該輸出點雲；以及在該非暫態電腦可讀儲存媒體中儲存該輸出點雲，或經由與該電腦通訊之輸出介面輸出該輸出點雲，其中，該輸出點雲係用於輔助後續處理及輔助管理該輸入雲資料。
TW106137930A 2016-11-03 2017-11-02 用於處理具有多點之輸入點雲端之系統及方法 TWI632487B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662417007P 2016-11-03 2016-11-03
US62/417,007 2016-11-03
US15/358,346 2016-11-22
US15/358,346 US10229533B2 (en) 2016-11-03 2016-11-22 Methods and systems for fast resampling method and apparatus for point cloud data
??PCT/JP2017/037287 2017-10-06
PCT/JP2017/037287 WO2018083963A1 (en) 2016-11-03 2017-10-06 System and method for processing input point cloud having points

Publications (2)

Publication Number Publication Date
TW201818197A TW201818197A (zh) 2018-05-16
TWI632487B true TWI632487B (zh) 2018-08-11

Family

ID=62020526

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106137930A TWI632487B (zh) 2016-11-03 2017-11-02 用於處理具有多點之輸入點雲端之系統及方法

Country Status (9)

Country Link
US (1) US10229533B2 (zh)
EP (1) EP3535662B1 (zh)
JP (1) JP6692464B2 (zh)
KR (1) KR102216823B1 (zh)
CN (1) CN109964222B (zh)
AU (1) AU2017354183B2 (zh)
SG (1) SG11201902091YA (zh)
TW (1) TWI632487B (zh)
WO (1) WO2018083963A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI818670B (zh) * 2021-10-19 2023-10-11 美商萬國商業機器公司 用於使用時間序列資料之組型偵測及預測之方法、電腦程式產品及系統

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10916022B2 (en) * 2017-03-27 2021-02-09 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Texture synthesis method, and device for same
US10600199B2 (en) * 2017-06-27 2020-03-24 Toyota Research Institute, Inc. Extending object detection and identification capability for an object sensor device
US10776111B2 (en) * 2017-07-12 2020-09-15 Topcon Positioning Systems, Inc. Point cloud data method and apparatus
US10482628B2 (en) * 2017-09-30 2019-11-19 United States Of America As Represented By The Secretary Of The Army Photogrammetric point cloud compression for tactical networks
US11004202B2 (en) * 2017-10-09 2021-05-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for semantic segmentation of 3D point clouds
US11244502B2 (en) * 2017-11-29 2022-02-08 Adobe Inc. Generating 3D structures using genetic programming to satisfy functional and geometric constraints
US12051137B1 (en) * 2018-06-08 2024-07-30 Ioannis G Tollis Channel-based framework for hierarchical drawings
WO2019241776A1 (en) * 2018-06-15 2019-12-19 Geomni, Inc. Computer vision systems and methods for modeling roofs of structures using two-dimensional and partial three-dimensional data
EP3617999B1 (en) * 2018-09-01 2023-04-19 Tata Consultancy Services Limited Systems and methods for dense surface reconstruction of an object using graph signal processing
EP3671531A1 (en) * 2018-12-17 2020-06-24 Promaton Holding B.V. Semantic segmentation of non-euclidean 3d data sets using deep learning
WO2020189876A1 (ko) * 2019-03-15 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN109889840B (zh) * 2019-03-20 2022-11-22 北京大学深圳研究生院 点云编码和解码的方法、编码设备和解码设备
US10915779B2 (en) * 2019-04-26 2021-02-09 Unikie Oy Method for extracting uniform features from point cloud and system therefor
CN110310322B (zh) * 2019-07-06 2021-08-10 北方工业大学 一种10微米级高精度器件装配表面检测方法
CN112307809B (zh) * 2019-07-26 2023-07-25 中国科学院沈阳自动化研究所 一种基于稀疏特征点云的主动目标识别方法
CN111630520A (zh) * 2019-07-30 2020-09-04 深圳市大疆创新科技有限公司 处理点云的方法和装置
US11132834B2 (en) * 2019-08-09 2021-09-28 Facebook Technologies, Llc Privacy-aware artificial reality mapping
CN110807774B (zh) * 2019-09-30 2022-07-12 九天创新(广东)智能科技有限公司 一种点云分类与语义分割方法
US11348285B2 (en) * 2019-12-10 2022-05-31 Sony Group Corporation Mesh compression via point cloud representation
CN113021333A (zh) * 2019-12-25 2021-06-25 沈阳新松机器人自动化股份有限公司 一种物体的抓取方法、系统及终端设备
CN111242997B (zh) * 2020-01-13 2023-11-10 北京大学深圳研究生院 一种基于滤波器的点云属性预测方法及设备
US11580140B2 (en) * 2020-01-22 2023-02-14 International Institute Of Information Technology, Hyderabad System of visualizing and querying data using data-pearls
CN111429494B (zh) * 2020-04-13 2023-04-07 中国空气动力研究与发展中心超高速空气动力研究所 一种基于生物视觉的点云高精度自动配准方法
WO2021246796A1 (ko) * 2020-06-05 2021-12-09 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN112241676A (zh) * 2020-07-07 2021-01-19 西北农林科技大学 一种地形杂物自动识别的方法
CN112348921B (zh) * 2020-11-05 2024-03-29 上海汽车集团股份有限公司 一种基于视觉语义点云的建图方法及系统
CN112529010B (zh) * 2020-12-04 2023-03-24 浙江大学计算机创新技术研究院 一种基于在线局部特征提取的点云识别方法
CN113361558B (zh) * 2021-01-29 2024-04-02 南京航空航天大学 基于ihpso-kmsvdd的航空发动机故障检测方法
CN112819960B (zh) * 2021-02-01 2022-06-24 电子科技大学 一种对抗性点云生成方法、存储介质和终端
CN113052955B (zh) * 2021-03-19 2023-06-30 西安电子科技大学 一种点云补全方法、系统及应用
CN112991557A (zh) * 2021-04-25 2021-06-18 广东工业大学 应用于点云分析模型的局部中心最近点采样方法及装置
CN113761238B (zh) * 2021-08-27 2022-08-23 广州文远知行科技有限公司 点云存储方法、装置、设备及存储介质
CN114462493B (zh) * 2021-12-29 2024-05-10 浙江大华技术股份有限公司 聚类方法、聚类装置及计算机可读存储介质
GB202207459D0 (en) * 2022-05-20 2022-07-06 Cobra Simulation Ltd Content generation from sparse point datasets
WO2024072856A1 (en) * 2022-09-27 2024-04-04 Visa International Service Association Method, system, and computer program product for universal depth graph neural networks
WO2024100708A1 (ja) * 2022-11-07 2024-05-16 日本電信電話株式会社 グラフ信号処理装置、グラフ信号処理方法及びプログラム
CN116342666B (zh) * 2023-02-10 2024-03-19 西安电子科技大学 基于多形式优化的三维点云配准方法及电子设备
CN115984827B (zh) * 2023-03-06 2024-02-02 安徽蔚来智驾科技有限公司 点云感知方法、计算机设备及计算机可读存储介质
CN116994071A (zh) * 2023-09-25 2023-11-03 云南联合视觉科技有限公司 一种基于自适应光谱残差的多光谱激光雷达点云分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040088413A1 (en) * 2002-11-04 2004-05-06 Bhogi Sankara R. Dynamically configurable resource pool
TW201351933A (zh) * 2012-06-01 2013-12-16 Broadcom Corp 執行數據直通轉發的入口節點、數據傳輸系統及其方法
TW201403542A (zh) * 2012-03-09 2014-01-16 Nvidia Corp 圖形處理單元中３ｄ加速結構之完全並列原地建構
TW201506843A (zh) * 2012-11-28 2015-02-16 Nvidia Corp 提供給遠端顯示器的基於雲端虛擬圖形處理的方法與系統

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5345535A (en) * 1990-04-04 1994-09-06 Doddington George R Speech analysis method and apparatus
KR100450823B1 (ko) * 2001-11-27 2004-10-01 삼성전자주식회사 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
US8972329B2 (en) * 2008-05-02 2015-03-03 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for ranking nodes of a graph using random parameters
US20130144135A1 (en) * 2011-08-02 2013-06-06 Mohamed R. Mahfouz Method and apparatus for three dimensional reconstruction of a joint using ultrasound
JP2013186464A (ja) * 2012-03-12 2013-09-19 Aisin Aw Co Ltd 写真データ提供システム
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9460553B2 (en) * 2012-06-18 2016-10-04 Dreamworks Animation Llc Point-based global illumination directional importance mapping
CN104298971B (zh) * 2014-09-28 2017-09-19 北京理工大学 一种3d点云数据中的目标识别方法
CN104463922B (zh) * 2014-12-03 2017-09-08 天津大学 一种基于集成学习的图像特征编码及识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040088413A1 (en) * 2002-11-04 2004-05-06 Bhogi Sankara R. Dynamically configurable resource pool
TW201403542A (zh) * 2012-03-09 2014-01-16 Nvidia Corp 圖形處理單元中３ｄ加速結構之完全並列原地建構
TW201351933A (zh) * 2012-06-01 2013-12-16 Broadcom Corp 執行數據直通轉發的入口節點、數據傳輸系統及其方法
TW201506843A (zh) * 2012-11-28 2015-02-16 Nvidia Corp 提供給遠端顯示器的基於雲端虛擬圖形處理的方法與系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI818670B (zh) * 2021-10-19 2023-10-11 美商萬國商業機器公司 用於使用時間序列資料之組型偵測及預測之方法、電腦程式產品及系統

Also Published As

Publication number Publication date
KR20190057361A (ko) 2019-05-28
KR102216823B1 (ko) 2021-02-17
JP6692464B2 (ja) 2020-05-13
EP3535662B1 (en) 2023-03-22
EP3535662A1 (en) 2019-09-11
AU2017354183A1 (en) 2019-03-21
WO2018083963A1 (en) 2018-05-11
SG11201902091YA (en) 2019-05-30
CN109964222B (zh) 2023-04-18
AU2017354183B2 (en) 2020-01-30
US20180122137A1 (en) 2018-05-03
CN109964222A (zh) 2019-07-02
JP2019528500A (ja) 2019-10-10
TW201818197A (zh) 2018-05-16
US10229533B2 (en) 2019-03-12

Similar Documents

Publication Publication Date Title
TWI632487B (zh) 用於處理具有多點之輸入點雲端之系統及方法
Limberger et al. Real-time detection of planar regions in unorganized point clouds
Gilani et al. Segmentation of airborne point cloud data for automatic building roof extraction
Touati et al. An energy-based model encoding nonlocal pairwise pixel interactions for multisensor change detection
Mura et al. Automatic room detection and reconstruction in cluttered indoor environments with complex room layouts
Berger et al. State of the art in surface reconstruction from point clouds
Schnabel et al. Efficient RANSAC for point‐cloud shape detection
Zhang et al. Saliency detection based on self-adaptive multiple feature fusion for remote sensing images
Giachetti et al. Radial symmetry detection and shape characterization with the multiscale area projection transform
CN110321873A (zh) 基于深度学习卷积神经网络的敏感图片识别方法及系统
Palou et al. Monocular depth ordering using T-junctions and convexity occlusion cues
Friedman et al. Online detection of repeated structures in point clouds of urban scenes for compression and registration
Chen et al. Contour-enhanced resampling of 3D point clouds via graphs
CN112907569A (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
Unnikrishnan et al. Robust extraction of multiple structures from non-uniformly sampled data
Fu et al. Dynamic point cloud inpainting via spatial-temporal graph learning
CN110007764B (zh) 一种手势骨架识别方法、装置、系统及存储介质
Zhang et al. Semisupervised change detection based on bihierarchical feature aggregation and extraction network
CN115147726A (zh) 城市形态图的生成方法、装置、电子设备和可读存储介质
Torsello Matching hierarchical structures for shape recognition
Hammond et al. Image denoising with nonlocal spectral graph wavelets
KR100587570B1 (ko) 그래프 정합기반의 얼굴 인식방법 및 장치
Gudivada et al. Ortho-diffusion decompositions of graph-based representation of images
Wang Representative isovalue detection and isosurface segmentation using novel isosurface measures
Alderson Regularity-Preserving Terrain Simplification For Faster Line-of-Sight