TWI766218B - 三維平面重建方法、三維平面重建系統與計算裝置 - Google Patents

三維平面重建方法、三維平面重建系統與計算裝置 Download PDF

Info

Publication number
TWI766218B
TWI766218B TW108148098A TW108148098A TWI766218B TW I766218 B TWI766218 B TW I766218B TW 108148098 A TW108148098 A TW 108148098A TW 108148098 A TW108148098 A TW 108148098A TW I766218 B TWI766218 B TW I766218B
Authority
TW
Taiwan
Prior art keywords
information
feature points
dimensional
grid
planar object
Prior art date
Application number
TW108148098A
Other languages
English (en)
Other versions
TW202125413A (zh
Inventor
汪德美
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW108148098A priority Critical patent/TWI766218B/zh
Priority to CN202010116733.7A priority patent/CN113129428A/zh
Priority to US16/881,104 priority patent/US11699264B2/en
Publication of TW202125413A publication Critical patent/TW202125413A/zh
Application granted granted Critical
Publication of TWI766218B publication Critical patent/TWI766218B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一種三維平面重建方法、三維平面重建系統與計算裝置。三維平面重建方法包括以下步驟：以感測裝置連續取得動態場景之彩色資訊、深度資訊及方位資訊。依據這些彩色資訊及深度資訊計算數個特徵點，並標示出非平面物體。非平面物體包括動態物體及零碎物體。依據未標示為非平面物體之特徵點及方位資訊計算點雲，並即時轉換點雲為三維網格。依據包圍或鄰近非平面物體的三維網格資訊，擴增三維網格，以填補對應於非平面物體之空缺部分。

Description

三維平面重建方法、三維平面重建系統與計算裝 置
本揭露是有關於三維平面重建方法、三維平面重建系統與計算裝置。
一般是以移動式相機模組掃描場景建立三維場景模型。然而，在掃瞄場景時，常有人員走動，而無法重建正確的三維場景模型。
在許多應用中，只需重建三維場景中的平面結構，不需包含凌亂的小物體或人員。
用一般方法掃描場景所產生的點雲資料量非常大，而且需取得所有點雲後才轉換成網格，如此會佔用大量記憶體及處理器資源，無法有效地應用於頭戴裝置。
因此，研究人員致力於開發一種新的技術用於掃描並重建動態場景中的三維平面結構，以降低運算所需的記憶體及處理器資源，並提高處理效率及品質。
本揭露係有關於一種三維平面重建方法、三維平面重建系統與計算裝置，結合彩色資訊、深度資訊及特徵點的分析，除去動態物體及零碎物體，以精準地獲得三維平面結構。並且可於取得局部點雲後，即時轉換成三維網格，以降低儲存點雲所需的記憶體。同時依據新產生的點雲持續更新三維網格，以提高處理效率。
根據本揭露之一實施例，提出一種三維平面重建方法，包括以下步驟：以感測裝置連續取得動態場景之彩色資訊、深度資訊及方位資訊。依據彩色資訊及深度資訊，計算數個特徵點，並標示出非平面物體。非平面物體包括動態物體及零碎物體。依據未標示為非平面物體之特徵點及該方位資訊計算點雲資訊，並即時轉換點雲資訊為三維網格。依據包圍或鄰近非平面物體的三維網格資訊，擴增三維網格，以填補對應於非平面物體之空缺部分。
根據本揭露之一實施例，提出一種三維平面重建系統，包括：感測裝置及計算裝置。感測裝置用以連續取得動態場景之彩色資訊、深度資訊及方位資訊。計算裝置包括特徵點計算 單元、非平面物體標示單元、網格計算單元及網格填補單元。特徵點計算單元用以依據彩色資訊及深度資訊，計算數個特徵點。非平面物體標示單元用以標示出非平面物體，包括動態物體及零碎物體。網格計算單元用以依據未標示為非平面物體之特徵點及方位資訊計算點雲資訊，並即時轉換點雲資訊為三維網格。網格填補單元依據包圍或鄰近非平面物體的三維網格資訊，擴增三維網格，以填補對應於非平面物體之空缺部分。
根據本揭露之一實施例，提出一種計算裝置。計算裝置包括特徵點計算單元、非平面物體標示單元、網格計算單元及網格填補單元。特徵點計算單元，用以依據依彩色資訊及深度資訊，計算數個特徵點。非平面物體標示單元用以標示出非平面物體，包括動態物體及零碎物體。網格計算單元用以依據未標示為非平面物體之特徵點及方位資訊計算點雲資訊，並即時轉換點雲資訊為三維網格。網格填補單元用以依據包圍或鄰近非平面物體的三維網格資訊，擴增三維網格，以填補對應於非平面物體之空缺部分。
為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
1000:三維平面重建系統
100:感測裝置
110:彩色相機
120:深度相機
130:方位感測器
200:計算裝置
210:特徵點計算單元
220:非平面物體標示單元
221:重複程度記錄器
222:動態物體標示器
223:尺寸計算器
224:零碎物體標示器
230:網格計算單元
240:網格填補單元
CP1、CP2:點雲資訊
F1:特徵點
FN-2、FN-1、FN:影像
MS1、MS2、MS3:三維網格
O1:非動態物體特徵點
O2:非動態及非零碎物體特徵點
OB1:移動物體
S1:彩色資訊
S2:深度資訊
S3:方位資訊
S4:信賴度資訊
S5:三維尺寸
S6:三維網格
S101、S102、S1021、S1022、S1023、S1024、S103、S1031、S1032、S1033、S104:步驟
第1圖繪示根據一實施例之動態場景之三維平面的重建系統的示意圖。
第2圖繪示根據一實施例之動態場景之三維平面重建方法的流程圖。
第3圖繪示根據一實施例之動態物體之標示程序的細部流程圖。
第4~5圖繪示根據一實施例之物體的示意圖。
第6圖繪示根據一實施例之零碎物體之標示程序的細部流程圖。
第7圖繪示第2圖之步驟S103之細部流程圖。
第8~11圖繪示第7圖之各步驟的示例圖。
第12~13圖繪示第2圖之步驟S104之示意圖。
請參照第1圖，其繪示根據一實施例之三維平面重建系統1000的示意圖。三維平面重建系統1000包括感測裝置100及計算裝置200。感測裝置100包括彩色相機110、深度相機120及方位感測器130。彩色相機110例如是攝影機或具有連拍功能之相機。深度相機120例如是雙相機、結構光深度相機或飛時測距(time of flight,ToF)深度感測器等。方位感測器130可感測至少三軸旋轉方向及三軸移動位置，例如由一或多個廣角或魚眼相機及慣性量測單元(Inertial measurement unit)組成。慣性量測單元例如是多自由度(degrees of freedom,DOF)微機電元 件(MEMS)，其由陀螺儀(gyroscopes)、加速度計(accelerometers)、磁力計等組合而成。
如第1圖所示，計算裝置200包括特徵點計算單元210、非平面物體標示單元220、網格計算單元230及網格填補單元240。計算裝置200例如是電腦、伺服器、雲端運算中心、頭戴式裝置內的處理器、晶片、電路等裝置。特徵點計算單元210依據彩色資訊及深度資訊，計算數個特徵點。非平面物體標示單元220包括重複程度記錄器221、動態物體標示器222、尺寸計算器223及零碎物體標示器224。其中重複程度記錄器221比對連續取得的數張畫面，計算每個特徵點的信賴度，再以動態物體標示器222排除動態物體，保留非動態物體特徵點O1。尺寸計算器223依據彩色資訊及深度資訊(例如為深度圖depth maps)，計算物體的三維尺寸，再以零碎物體標示器224排除零碎物體，保留非零碎物體特徵點。網格計算單元230再依據這些非動態及非零碎物體特徵點O2及方位資訊(例如為yaw/roll/pitch旋轉量及方向、XYZ移動位置等)計算點雲(point clouds)，並即時轉換為對應的三維網格。對於動態物體與零碎物體的空缺部分則由網格填補單元240依據包圍或鄰近空缺區域的三維網格資訊，擴增三維網格進行填補，以建立完整的三維平面結構。在本實施例中，特徵點計算單元210、非平面物體標示單元220、網格計算單元230及網格填補單元240係採用持續更新技術進行處理，以減少運算所需的記憶 體及處理器資源。以下更搭配流程圖詳細說明上述各項元件之運作。
第2圖繪示根據一實施例之三維平面重建方法的流程圖。在步驟S101中，以感測裝置100連續取得動態場景之彩色資訊S1、深度資訊S2及方位資訊S3。在此步驟中，彩色資訊S1、深度資訊S2及方位資訊S3係連續地由數張畫面中取得。使用者例如是戴著裝設感測裝置100的頭戴式裝置邊走動邊擷取影像，以連續地取得多張畫面。本實施例所謂的動態場景係指場景中有移動的物體，例如走動的人。每一張畫面的彩色資訊S1、深度資訊S2及方位資訊S3均一一對應，透過這些資訊相互關係即可觀察出動態物體在場景中的變化。
接著，在步驟S102中，特徵點計算單元210依據彩色資訊及深度資訊，計算數個特徵點F1，並由非平面物體標示單元220標示出非平面物體(包括動態物體及零碎物體)。在此步驟中，非平面物體標示單元220係針對一段時間之連續數張彩色資訊、深度資訊及對應的特徵點進行比對，標示畫面中被判定為動態物體或零碎物體的特徵點並刪除。動態物體例如是工作中的人員、車輛等；零碎物體例如是凌亂的文具等。以下更透過細部流程圖說明如何標示出動態物體與零碎物體。
請參照第3圖，其繪示根據一實施例之動態物體之標示程序的細部流程圖。第2圖之步驟S102包括步驟S1021及S1022。在步驟S1021中，重複程度記錄器221比對這些特徵點F1 的位置及重複出現次數，以獲得這些特徵點F1的數個信賴度資訊S4。
舉例來說，請參照第4~5圖，其繪示根據一實施例判斷特徵點信賴度的示意圖。第4圖繪示在沒有移動物體OB1干擾的情形下，靜態場景的特徵點可以從連續數張影像FN-2、FN-1、FN取得，其信賴度高(影像FN-2、FN-1、FN中的特徵點不會被移動物體OB1遮蔽)。第5圖則繪示若有移動物體OB1，其對應的特徵點不會穩定地出現在連續數張影像FN-2、FN-1、FN中，並且會干擾靜態場景的特徵點，故其信賴度低(舉例來說影像FN-2中的特徵點被移動物體OB1遮蔽)。
在步驟S1022中，動態物體標示器222依據這些信賴度資訊S4，將小於信賴度門檻值的特徵點F1標示為動態物體並刪除，保留非動態物體特徵點O1再進行零碎物體的標示及刪除。
請參照第6圖，其繪示根據一實施例之零碎物體標示程序的細部流程圖。第2圖之步驟S102更包括步驟S1023及S1024。在步驟S1023中，尺寸計算器223依據非動態物體特徵點O1所對應的彩色資訊S1及深度資訊S2切割物體，計算其三維尺寸S5。舉例來說，可在彩色資訊S1中尋找顏色或紋理明顯變化之處暫定為為物體的邊緣，再尋找對應的深度資訊S2不連續的邊界，用以分割物體，估算其三維尺寸S5。
在步驟S1024中，零碎物體標示器224將三維尺寸S5小於尺寸門檻值之特徵點F1標示為零碎物體並刪除。經過步驟 S1022及步驟S1024後，保留非動態及非零碎物體特徵點O2，再計算點雲及網格。
被標示為動態物體或零碎物體的特徵點F1會被排除，不會用來建立/修正三維網格。請參照第2圖之步驟S103，網格計算單元230使用非動態及非零碎物體特徵點O2，及其方位資訊S3計算點雲資訊，並即時轉換點雲資訊為三維網格S6。
請參照第7~11圖，第7圖繪示第2圖之步驟S103中轉換點雲資訊為三維網格之細部流程圖，第8~11圖繪示第7圖之各步驟的示例圖。在步驟S1031中，如第8~9圖所示，網格計算單元230刪減位於已建立之三維網格MS1內的點雲資訊CP1，可以減少處理這些點雲的運算資源，而不影響三維網格的結構。
在步驟S1032中，如第9~10圖所示，網格計算單元230依據三維網格MS1外的點雲資訊CP2，新增三維網格MS2。
接著，在步驟S1033中，如第10~11圖所示，網格計算單元230比較新增的三維網格MS2的方向向量與相鄰的已建立三維網格MS1的方向向量，若方向向量的差異小於差異門檻值，則合併為三維網格MS3，以減少網格數量。
接著說明第2圖之步驟S104，請參照第12~13圖。在步驟S104中，網格填補單元240依據包圍或鄰近非平面物體(例如是動態物體)的三維網格S6，擴增三圍網格，以填補對應於非平面物體(例如是動態物體)之空缺部分。在此步驟中，填補之 三維網格與鄰近或包圍被標示為非平面物體(例如是動態物體)之三維網格的方向向量差異小於差異門檻值。
如此一來，在運算過程中不需要儲存大量的點雲資訊，只需使用少量記憶體及處理器資源，即可建立三維平面結構。綜上所述，本揭露之三維平面重建方法、三維平面重建系統與計算裝置結合彩色資訊、深度資訊及特徵點的分析，除去動態物體及零碎物體，以精準地獲得三維平面結構。並且可於取得局部點雲後，即時轉換成三維網格，以降低儲存點雲所需的記憶體。同時依據新產生的點雲持續更新三維網格，以提高處理效率。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
1000:三維平面重建系統
100:感測裝置
110:彩色相機
120:深度相機
130:方位感測器
200:計算裝置
210:特徵點計算單元
220:非平面物體標示單元
221:重複程度記錄器
222:動態物體標示器
223:尺寸計算器
224:零碎物體標示器
230:網格計算單元
240:網格填補單元
F1:特徵點
O1:非動態物體特徵點
O2:非動態及非零碎物體特徵點
S1:彩色資訊
S2:深度資訊
S3:方位資訊
S4:信賴度資訊
S5:三維尺寸
S6:三維網格

Claims (14)

  1. 一種三維平面重建方法，包括：以感測裝置連續取得動態場景之彩色資訊、深度資訊及方位資訊；依據該彩色資訊及該深度資訊，計算複數個特徵點，並標示出非平面物體，該非平面物體包括動態物體及零碎物體；依據未標示為該非平面物體之該些特徵點及該方位資訊計算已去除該非平面物體之點雲資訊，並即時轉換已去除該非平面物體之該點雲資訊為三維網格；以及依據包圍或鄰近該非平面物體的三維網格資訊，擴增該三維網格，以填補對應於該非平面物體之空缺部分；其中依據未標示為該非平面物體之該些特徵點及該方位資訊計算該點雲資訊，並即時轉換該點雲資訊為該三維網格之步驟包括：刪減位於已建立之該三維網格內的該點雲資訊；依據刪減後之該點雲資訊，新增三維網格；以及比較新增三維網格的方向向量與已建立三維網格的方向向量，合併方向向量差異小於差異門檻值的三維網格。
  2. 如申請專利範圍第1項所述之三維平面重建方法，其中該感測裝置包括彩色相機、深度相機及方位感測器。
  3. 如申請專利範圍第1項所述之三維平面重建方法，其中依據該彩色資訊及該深度資訊計算該些特徵點，並標示出該非平面物體之步驟包括： 比對該些特徵點的位置及重複出現次數，以獲得該些特徵點的複數個信賴度資訊；以及依據該些特徵點的該些信賴度資訊，將部分之該些特徵點，標示為該動態物體，該動態物體所對應之該些特徵點的該些信賴度資訊小於信賴度門檻值。
  4. 如申請專利範圍第1項所述之三維平面重建方法，其中依據該彩色資訊及該深度資訊計算該些特徵點，並標示出該非平面物體之步驟包括：依據該彩色資訊及該深度資訊，計算物體的三維尺寸；以及依據該三維尺寸，將部分之該些特徵點標示為該零碎物體，該零碎物體的該三維尺寸小於尺寸門檻值。
  5. 如申請專利範圍第1項所述之三維平面重建方法，其中在以包圍或鄰近該非平面物體的該三維網格資訊，擴增該三維網格，以填補對應於該非平面物體之空缺部分的步驟中，填補之三維網格與鄰近或包圍被標示為該非平面物體之三維網格的方向向量差異小於差異門檻值。
  6. 一種三維平面重建系統，包括：感測裝置，用以連續取得動態場景之彩色資訊、深度資訊及方位資訊；以及計算裝置，包括：特徵點計算單元，用以依據該彩色資訊及該深度資訊計算複數個特徵點；非平面物體標示單元，用以標示出非平面物體，該非平面物體包括動態物體及零碎物體； 網格計算單元，用以依據未標示為該非平面物體之該些特徵點及該方位資訊計算已去除該非平面物體之點雲資訊，並即時轉換已去除該非平面物體之該點雲資訊為三維網格；及網格填補單元，用以依據包圍或鄰近該非平面物體的三維網格資訊，擴增該三維網格，以填補對應於該非平面物體之空缺部分；其中該網格計算單元刪減位於已建立之該三維網格內的該點雲資訊；依據刪減後之該點雲資訊，新增三維網格；並比較新增三維網格的方向向量與已建立三維網格的方向向量，合併方向向量的差異小於差異門檻值的三維網格。
  7. 如申請專利範圍第6項所述之三維平面重建系統，其中該感測裝置包括深度彩色相機、深度相機及方位感測器。
  8. 如申請專利範圍第6項所述之三維平面重建系統，其中該非平面物體標示單元包括：重複程度記錄器，用以比對該些特徵點的位置及重複出現次數，以獲得該些特徵點的複數個信賴度資訊；以及動態物體標示器，用以依據該些特徵點的該些信賴度資訊，將部分之該些特徵點，標示為該動態物體，該動態物體所對應之該些特徵點的該些信賴度資訊小於信賴度門檻值。
  9. 如申請專利範圍第6項所述之三維平面重建系統，其中該非平面物體標示單元包括：尺寸計算器，用以依據該彩色資訊及該深度資訊，計算物體的三維尺寸；以及 零碎物體標示器，用以依據該三維尺寸，將部分之該些特徵點標示為該零碎物體，該零碎物體的該三維尺寸小於尺寸門檻值。
  10. 如申請專利範圍第6項所述之三維平面重建系統，其中該網格填補單元填補之三維網格與鄰近或包圍被標示為該非平面物體之三維網格的方向向量差異小於差異門檻值。
  11. 一種計算裝置，包括：特徵點計算單元，用以依據依彩色資訊及深度資訊計算複數個特徵點；非平面物體標示單元，用以標示出非平面物體，該非平面物體包括動態物體及零碎物體；網格計算單元，用以依據未標示為該非平面物體之該些特徵點及方位資訊計算已去除該非平面物體之點雲資訊，並即時轉換已去除該非平面物體之該點雲資訊為三維網格；以及網格填補單元，用以依據包圍或鄰近該非平面物體的三維網格資訊，擴增該三維網格，以填補對應於該非平面物體之空缺部分；其中該網格計算單元刪減位於已建立之該三維網格內的該點雲資訊；依據刪減後之該點雲資訊，新增三維網格；並比較新增三維網格的方向向量與已建立三維網格的方向向量，合併方向向量的差異小於差異門檻值的三維網格。
  12. 如申請專利範圍第11項所述之計算裝置，其中該非平面物體標示單元包括： 重複程度記錄器，用以比對該些特徵點的位置及重複出現次數，以獲得該些特徵點的複數個信賴度資訊；以及動態物體標示器，用以依據該些特徵點的該些信賴度資訊，將部分之該些特徵點，標示為該動態物體，該動態物體所對應之該些特徵點的該些信賴度資訊小於信賴度門檻值。
  13. 如申請專利範圍第11項所述之計算裝置，其中該非平面物體標示單元包括：尺寸計算器，用以依據該彩色資訊及該深度資訊，計算物體的三維尺寸；以及零碎物體標示器，用以依據該三維尺寸，將部分之該些特徵點標示為該零碎物體，該零碎物體的該三維尺寸小於尺寸門檻值。
  14. 如申請專利範圍第11項所述之計算裝置，其中該網格填補單元填補之三維網格與鄰近或包圍被標示為該非平面物體之三維網格的方向向量差異小於差異門檻值。
TW108148098A 2019-12-27 2019-12-27 三維平面重建方法、三維平面重建系統與計算裝置 TWI766218B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108148098A TWI766218B (zh) 2019-12-27 2019-12-27 三維平面重建方法、三維平面重建系統與計算裝置
CN202010116733.7A CN113129428A (zh) 2019-12-27 2020-02-25 三维平面重建方法、三维平面重建系统与计算装置
US16/881,104 US11699264B2 (en) 2019-12-27 2020-05-22 Method, system and computing device for reconstructing three-dimensional planes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108148098A TWI766218B (zh) 2019-12-27 2019-12-27 三維平面重建方法、三維平面重建系統與計算裝置

Publications (2)

Publication Number Publication Date
TW202125413A TW202125413A (zh) 2021-07-01
TWI766218B true TWI766218B (zh) 2022-06-01

Family

ID=76546522

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108148098A TWI766218B (zh) 2019-12-27 2019-12-27 三維平面重建方法、三維平面重建系統與計算裝置

Country Status (3)

Country Link
US (1) US11699264B2 (zh)
CN (1) CN113129428A (zh)
TW (1) TWI766218B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12062145B2 (en) 2022-02-01 2024-08-13 Samsung Electronics Co., Ltd. System and method for three-dimensional scene reconstruction and understanding in extended reality (XR) applications
US11875447B1 (en) * 2023-05-26 2024-01-16 Illuscio, Inc. Systems and methods for color correcting three-dimensional objects formed by point cloud data points

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599314A (zh) * 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统
CN105493155A (zh) * 2013-08-30 2016-04-13 高通股份有限公司 用于表示物理场景的方法和设备
US9646410B2 (en) * 2015-06-30 2017-05-09 Microsoft Technology Licensing, Llc Mixed three dimensional scene reconstruction from plural surface models
CN108171780A (zh) * 2017-12-28 2018-06-15 电子科技大学 一种基于激光雷达构建室内真实三维地图的方法
CN110148217A (zh) * 2019-05-24 2019-08-20 北京华捷艾米科技有限公司 一种实时三维重建方法、装置及设备
TW201944358A (zh) * 2018-04-18 2019-11-16 坤眾科技股份有限公司 三維建模方法及系統

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100581895B1 (ko) * 2003-03-14 2006-05-23 재단법인서울대학교산학협력재단 3차원 물체 움직임의 준균일 메쉬 표현장치
CN102308320B (zh) 2009-02-06 2013-05-29 香港科技大学 从图像生成三维模型
TWI463435B (zh) 2010-02-01 2014-12-01 Hon Hai Prec Ind Co Ltd 點雲三角網格面構建系統及方法
US9953618B2 (en) 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
US9953111B2 (en) * 2014-06-06 2018-04-24 Matterport, Inc. Semantic understanding of 3D data
CN104318622B (zh) 2014-10-25 2017-02-22 大连理工大学 一种室内场景非均匀三维点云数据的三角网格建模方法
US9613423B2 (en) 2015-06-12 2017-04-04 Google Inc. Using a depth map of a monitored scene to identify floors, walls, and ceilings
WO2017079278A1 (en) 2015-11-04 2017-05-11 Intel Corporation Hybrid foreground-background technique for 3d model reconstruction of dynamic scenes
US10573018B2 (en) 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
CN106780646B (zh) 2016-12-01 2020-06-16 中科唯实科技（北京）有限公司 一种适用多场景的无参数背景建模方法
US10628950B2 (en) 2017-03-01 2020-04-21 Microsoft Technology Licensing, Llc Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
CN107274477B (zh) 2017-05-03 2019-12-17 西安电子科技大学 一种基于三维空间表层的背景建模方法
CN108335357A (zh) 2018-01-12 2018-07-27 华中科技大学 一种显示三维重建场景纹理的方法
WO2019165194A1 (en) * 2018-02-23 2019-08-29 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
CN109509256B (zh) * 2018-06-21 2023-07-18 华南理工大学 基于激光雷达的建筑结构自动测量及3d模型生成方法
SG11201811410RA (en) * 2018-06-25 2020-01-30 Beijing Didi Infinity Technology & Development Co Ltd Integrated sensor calibration in natural scenes
CN108921078A (zh) 2018-06-27 2018-11-30 天津大学 基于视频的时空背景建模运动前景检测算法
CN109087388A (zh) * 2018-07-12 2018-12-25 南京邮电大学 基于深度传感器的物体三维建模方法
CN109146943B (zh) * 2018-08-03 2019-12-03 百度在线网络技术（北京）有限公司 静止物体的检测方法、装置及电子设备
GB2583687B (en) * 2018-09-12 2022-07-20 Sony Interactive Entertainment Inc Method and system for generating a 3D reconstruction of a human
EP3707467A1 (en) * 2019-01-30 2020-09-16 Baidu.com Times Technology (Beijing) Co., Ltd. A rgb point clouds based map generation system for autonomous vehicles
US11726209B2 (en) * 2019-06-25 2023-08-15 Faro Technologies, Inc. Artifact filtering using artificial intelligence
EP3994673A4 (en) * 2019-07-03 2023-10-04 Magic Leap, Inc. SIMPLE AMBIENT RESOLVER WITH PLANAR EXTRACTION

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105493155A (zh) * 2013-08-30 2016-04-13 高通股份有限公司 用于表示物理场景的方法和设备
CN104599314A (zh) * 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统
US9646410B2 (en) * 2015-06-30 2017-05-09 Microsoft Technology Licensing, Llc Mixed three dimensional scene reconstruction from plural surface models
CN108171780A (zh) * 2017-12-28 2018-06-15 电子科技大学 一种基于激光雷达构建室内真实三维地图的方法
TW201944358A (zh) * 2018-04-18 2019-11-16 坤眾科技股份有限公司 三維建模方法及系統
CN110148217A (zh) * 2019-05-24 2019-08-20 北京华捷艾米科技有限公司 一种实时三维重建方法、装置及设备

Also Published As

Publication number Publication date
US20210201577A1 (en) 2021-07-01
US11699264B2 (en) 2023-07-11
TW202125413A (zh) 2021-07-01
CN113129428A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN110717527B (zh) 结合空洞空间金字塔结构的目标检测模型确定方法
US10354129B2 (en) Hand gesture recognition for virtual reality and augmented reality devices
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
US20190005670A1 (en) Method and system for performing simultaneous localization and mapping using convolutional image transformation
CN111242908B (zh) 一种平面检测方法及装置、平面跟踪方法及装置
CN111062981B (zh) 图像处理方法、装置及存储介质
TWI766218B (zh) 三維平面重建方法、三維平面重建系統與計算裝置
CN103914876A (zh) 用于在3d地图上显示视频的方法和设备
CN111246189B (zh) 虚拟屏幕投影实现方法、装置及电子设备
CN108961385B (zh) 一种slam构图方法及装置
US20220309708A1 (en) System and method for automated estimation of 3d orientation of a physical asset
JP7164589B2 (ja) 室内測位方法、装置、機器および記憶媒体
US11373329B2 (en) Method of generating 3-dimensional model data
CN111951368A (zh) 一种点云、体素和多视图融合的深度学习方法
CN107203962B (zh) 一种利用2d图片制作伪3d图像的方法及电子设备
CN114494388A (zh) 一种大视场环境下图像三维重建方法、装置、设备及介质
CN114067060A (zh) 用于三维建模的稠密点云快速生成方法
CN113379826A (zh) 物流件的体积测量方法以及装置
US10861174B2 (en) Selective 3D registration
CN111192350A (zh) 一种基于5g通信vr头盔的动作捕捉系统及方法
JP2018063635A (ja) 画像処理装置、画像処理方法およびプログラム
CN113496138A (zh) 稠密点云数据的生成方法、装置、计算机设备及存储介质
CN114900621B (zh) 特效视频确定方法、装置、电子设备及存储介质
CN114757822A (zh) 一种基于双目的人体三维关键点检测方法及系统
CN113048950B (zh) 基站天线倾角测量方法、装置、存储介质和计算机设备