TWI731604B - 三維點雲資料處理方法 - Google Patents

三維點雲資料處理方法 Download PDF

Info

Publication number
TWI731604B
TWI731604B TW109106746A TW109106746A TWI731604B TW I731604 B TWI731604 B TW I731604B TW 109106746 A TW109106746 A TW 109106746A TW 109106746 A TW109106746 A TW 109106746A TW I731604 B TWI731604 B TW I731604B
Authority
TW
Taiwan
Prior art keywords
axis
dimensional
data
layer
grid
Prior art date
Application number
TW109106746A
Other languages
English (en)
Other versions
TW202135007A (zh
Inventor
林建州
林冠志
Original Assignee
國立雲林科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立雲林科技大學 filed Critical 國立雲林科技大學
Priority to TW109106746A priority Critical patent/TWI731604B/zh
Priority to US16/854,744 priority patent/US11348261B2/en
Application granted granted Critical
Publication of TWI731604B publication Critical patent/TWI731604B/zh
Publication of TW202135007A publication Critical patent/TW202135007A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Electromagnetism (AREA)
  • Molecular Biology (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

一種三維點雲資料處理方法，其包含有資料建立步驟、分層化步驟、網格化步驟、資料處理步驟及二維影像生成步驟，可將三維點雲資料轉換二維影像，並達到使二維影像可對應、辨識及儲存該點雲資料於三軸之軸向深度及資訊點特徵。

Description

三維點雲資料處理方法
本發明係與一種三維點雲資料有關，特別是指一種三維點雲資料處理方法。
近年來自駕車的相關研究越來越多，主要應用於判斷行人與車輛，目前自駕車採用使用光達(Light Detection and Ranging,LiDar)感測器以獲取車輛周遭訊息，因此三維物體辨識技術成為自駕車最主要的研究方向；由於光達係用於獲取物體輪廓的特性，得到的物體輪廓為該物體對於光達的視角輪廓，並非完整的物體模型，所以若只針對某個維度進行資料處理，將有可能造成點雲資料之三維資訊量降低，進一步使模型的訓練與測試之準確度降低；所以若三維物體要維持其基本資訊量，應考慮光達輪廓特性，並透過三維度的計算才能保留其三維物體之特性。目前神經網路對於影像判斷的技術已趨近成熟，惟三維物體的辨識技術多半經轉換為二維資料才能進行辨識，而在轉換過程中往往會造成深度資訊的遺失，有可能造成辨識結果的不準確之缺點；舉例來說，卷積神經網路(Convolutional Neural Network,CNN)在辨識影像上有卓越的表現；然而，根據卷積神經網路所提出的架構，輸入模型須為二維的資料，三維點雲資料將無法直接輸入至卷積神經網路的架構內進行辨識，需要將三維點雲資料壓縮成為二維資 訊後才能進行，但是若將三維點雲資料壓縮轉換為二維資訊將可能造成資訊點及深度的遺失，這也是目前三維點雲辨識時所遇到的主要問題。
有鑑於此，本案發明人在觀察到上述缺失後，乃秉持著精益求精之精神，潛心研究改良，而終有本發明之產生。
本發明之主要目的係在提供一種三維點雲資料處理方法，於三維點雲資料轉換為二維資料時，使點雲資料於三軸之軸向深度可供辨識。
為達上述目的，本發明所提供之三維點雲資料處理方法，其包含有一資料建立步驟，建立一三維座標，將一點雲資料對應於該三維座標，該三維座標具有三軸向，該點雲資料具有複數個資訊點，該等資訊點包含有複數個一般資訊點，使該等資訊點所在之空間於該三維座標上共同形成一資料區塊；一分層化步驟，將該資料區塊沿前述該等軸向中的至少一軸向，並依順序劃分為複數個資料層，藉由該分層化步驟，使該點雲資料及該等資料層之深度可供辨識。
本發明所提供之三維點雲資料處理方法，透過資料建立步驟及分層化步驟，達到使該點雲資料於三軸之軸向深度可供辨識。
S1:資料建立步驟
S2:分層化步驟
S3:網格化步驟
S4:資料處理步驟
S5:二維影像生成步驟
10:三維座標
11:軸向
12:X軸
13:Y軸
14:Z軸
20:點雲資料
21:資訊點
211:一般資訊點
212:補充資訊點
22:資料區塊
23:資料層
231:網格
24:X軸資料層
241:X軸資料層之網格
25:Y軸資料層
251:Y軸資料層之網格
26:Z軸資料層
261:Z軸資料層之網格
27:目標網格
28:目標資料層
40:二維像素圖層
41:像素
42:二維灰階圖層
421:X軸像素區
4211:X軸像素區之像素
422:Y軸像素區
4221:Y軸像素區之像素
423:Z軸像素區
4231:Z軸像素區之像素
43:二維RGB像素圖層
431:二維RGB像素圖層之像素
435:RGB像素區
200:二維灰階影像
300:二維RGB彩色影像
第1圖係本發明之流程示意圖。
第2圖係本發明第一實施例之資料建立步驟及資料區塊沿X軸分層化步驟之使用示意圖。
第3圖係本發明第一實施例之資料區塊沿X軸分層化步驟之使用示意圖。
第4圖係本發明第一實施例之資料區塊沿X軸分層化步驟之使用示意圖。
第5圖係本發明第一實施例之資料區塊沿Y軸分層化步驟之使用示意圖。
第6圖係本發明第一實施例之資料區塊沿Z軸分層化步驟之使用示意圖。
第7圖係本發明第一實施例之Y軸資料層網格化步驟之使用示意圖。
第8圖係本發明之資料處理步驟之使用示意圖。
第9圖係本發明第一實施例之二維影像生成步驟之單一Y軸像素區對應單一Y軸資料層之使用示意圖。
第10圖係本發明第一實施例之二維影像生成步驟之二維灰階圖層對應該等Y軸資料層之使用示意圖。
第11圖係本發明第一實施例之二維影像生成步驟之二維灰階圖層對應該點雲資料之資料層之使用示意圖。
第12圖係本發明第一實施例之二維影像生成步驟之生成二維灰階影像之使用示意圖。
第13圖係本發明第二實施例之二維RGB像素圖層對應該點雲資料之資料層之使用示意圖。
第14圖係本發明第二實施例之二維影像生成步驟之生成二維RGB彩色影像之使用示意圖。
第15圖係本發明之點雲資料之一般資訊點之使用示意圖。
第16圖係本發明之點雲資料之一般資訊點及補充資訊點之使用示意圖。
第17圖係本發明之點雲資料未旋轉及位移之使用示意圖。
第18圖係本發明之點雲資料已旋轉及位移之使用示意圖。
第19圖係本發明之二維像素圖層係為二維灰階圖層時，二維灰階影像輸入卷積神經網路的架構後之辨識結果圖表。
第20圖係本發明之二維像素圖層係為二維RGB像素圖層時，二維RGB彩色影像輸入卷積神經網路的架構後之辨識結果圖表。
請參閱第1圖至第12圖所示，係為本發明之第一實施例之使用示意圖，一種三維點雲資料處理方法，其包含有：一資料建立步驟S1，請參閱第1圖至第2圖，其係顯示資料建立步驟S1之狀態，建立一三維座標10，將一點雲資料20對應於該三維座標10，該三維座標10具有三軸向11，該等軸向11係定義為一X軸12、一Y軸13及一Z軸14，該點雲資料20係可於三維座標10旋轉及位移，該點雲資料20具有數資訊點21，該等資訊點21包含有數一般資訊點211及數補充資訊點212，每一補充資訊點212係插入於兩相鄰一般資訊點211之間，使該等資訊點21所在之空間於該三維座標10上共同形成一資料區塊22，而該等資訊點21係分佈於該資料區塊22。
一分層化步驟S2，請搭配參閱第2圖至第6圖，將該資料區塊22沿前述三軸向11中的至少一軸向11，並依順序劃分為複數個資料層23，藉由該分層化步驟S2及該等資料層23，使該點雲資料20及該等資料層23之軸向深度可供辨識，其中，於本發明之第一實施例，該資料區塊22係分別沿該X軸12、該Y軸13及該Z軸14各依序劃分複數個資料層23，該資料區塊22沿該X軸12劃分之資料層23係定義為X軸資料層24，而該資料區塊22沿該Y軸13劃分之資料層23係定義為Y軸資料層25，且該資料區塊22沿該Z軸14劃分之資料層23係定義為Z軸資料層26，其中，第2圖至第6圖係顯示分層化步驟S2之狀態，且第2圖及第3圖僅顯示該 資料區塊22沿X軸12向依序劃分複數個X軸資料層24之狀態，圖示省略該資料區塊22分別沿該Y軸13及該Z軸14各依序劃分複數個資料層23部分，另第4圖至第6圖僅分別顯示將該資料區塊22分別沿該等軸向11各劃分單一資料層23之狀態，圖示省略該資料區塊22分別沿該等軸向11各依序劃分複數個資料層23部分。
一網格化步驟S3，將每一資料層23分別網格化為複數個網格231，請參閱第7圖，其僅顯示單一Y軸資料層25部分網格化之狀態，圖示省略其他資料層23網格化部分。
一資料處理步驟S4，計算每一網格231中所含資訊點21數量，將每一網格231之資訊點21數量依一轉換規則分別轉換為一網格值，其中，於本發明之第一實施例，該網格值範圍為0到255，該轉換規則可將每一網格231之資訊點21數量之最小值至最大值依比例對應該網格值範圍0到255，其中，計算該網格231之網格值時，該網格231係定義為一目標網格27，該目標網格27之網格值定義為一目標網格值，該目標網格27所位於的資料層23係定義為一目標資料層28，該轉換規則由以下[數學式1]表示，Vtarget=(Ntarget/Nmax)*255‧‧‧式(1)，其中，Vtarget為目標網格值，而Ntarget為該目標網格27之資訊點21數量，且Nmax為該目標資料層28之所有網格231之資訊點21數量中的最大值，該目標網格值取四捨五入，請搭配參閱第8圖，其係舉例顯示資訊點21數量依轉換規則分別轉換為網格值之狀態，例如該目標資料層28之網格231之資訊點21數量中的最大值為25，該目標網格27之資訊點21數量為6，經該轉換規則轉換後可得到該目標網格值為61。
一二維影像生成步驟S5，請再搭配參閱第9圖至第12圖，其係顯示二維影像生成之狀態，設置一二維像素圖層40，該二維像素圖層40由複數個像素41組成，每一像素41分別具有一像素值，該二維像素圖層40之像素41及像素值與 該至少一軸向11之每一資料層23之網格231及網格值對應，以供該二維像素圖層40生成二維影像，其中，於本發明之第一實施例，該二維像素圖層40係為二維灰階圖層42，該二維灰階圖層42之像素41係為灰階像素，且該二維灰階圖層42之像素41之像素值為灰階值，該二維灰階圖層42係對應每一X軸資料層24分別設有一X軸像素區421，該等X軸像素區421之像素4211及像素值與該等X軸資料層24之網格241及網格值對應，該二維灰階圖層42係對應每一Y軸資料層25分別設有一Y軸像素區422，該等Y軸像素區422之像素4221及像素值與該等Y軸資料層25之網格251及網格值對應，該二維灰階圖層42係對應每一Z軸資料層26分別設有一Z軸像素區423，該等Z軸像素區423之像素4231及像素值與該等Z軸資料層26之網格261及網格值對應，以供該二維灰階圖層42生成二維灰階影像200，使該二維像素圖層40、二維灰階影像200對應及儲存該點雲資料20於三軸之資訊點特徵及深度資訊。
為供進一步瞭解本發明構造特徵、運用技術手段及所預期達成之功效，茲將本發明使用方式加以敘述，相信當可由此而對本發明有更深入且具體之瞭解，如下所述：於本發明之第一實施例，為了方便說明，本段僅舉該點雲資料20之資料區塊22之Y軸資料層25為例，因過程皆相同因此省略X軸資料層及Z軸資料層之圖示及說明，請參閱第5圖及第7圖至第10圖，當該點雲資料20依該資料建立步驟S1完成後，該點雲資料20之資料區塊22於該分層化步驟S2，沿該Y軸13劃分為複數個Y軸資料層25，以供識別該點雲資料20於Y軸13之深度資訊，並接續於網格化步驟S3將該等Y軸資料層25分別劃分為複數個網格231，透過資料處理步驟S4，計算每一Y軸資料層25之網格251之資訊點21數量，將每一Y軸資料層25 之網格251之資訊點21數量依該轉換規則分別轉換為網格值，如第7圖及第8圖所示。
為了方便說明，本段僅舉該二維灰階圖層42係對應單一Y軸資料層25設有該Y軸像素區422為例，因過程皆相同因此省略X軸資料層及Z軸資料層之圖示及說明，該Y軸像素區422之像素4221及像素值與該Y軸資料層25之網格251及網格值對應，如第7圖及第9圖所示，第9圖僅顯示單一Y軸像素區422對應單一Y軸資料層25之狀態。
為了方便說明，本段僅舉該二維灰階圖層42係對應該等Y軸資料層25設有該等Y軸像素區422為例，因過程皆相同因此省略X軸資料層及Z軸資料層之圖示及說明，當該二維灰階圖層42係對應每一Y軸資料層25分別設有該Y軸像素區422時，該等Y軸像素區422之像素4221及像素值與該等Y軸資料層25之網格251及網格值對應，進一步使該二維灰階圖層42對應該點雲資料20之Y軸資料層25之軸向深度資訊及網格251之資訊點特徵，如第10圖所示。
請再參閱第11圖，當該二維灰階圖層42更進一步對應每一X軸資料層24分別設有該X軸像素區421，且該二維灰階圖層42進一步對應每一Z軸資料層26分別設有該Z軸像素區423時，其後續過程與前述所述步驟相同，本段落省略其說明，由於該二維灰階圖層42之X軸像素區421、Y軸像素區422及Z軸像素區423之像素41、像素值與該等X軸資料層24、該等Y軸資料層25及該等Z軸資料層26之網格231、網格值對應，藉此以供該二維灰階圖層42生成二維灰階影像200，如第12圖所示，進一步使該二維像素圖層40、二維灰階影像200達到對應、識別及儲存該點雲資料20於三軸之軸向深度資訊及資訊點特徵效果，以供卷積神經網路架構進行辨識。
請再參閱第13圖至第14圖所示，係為本發明第二實施例之使用示意圖，以顯示本發明之第二實施例之狀態，其中，該二維像素圖層40係為二維RGB像素圖層43，該二維RGB像素圖層43之像素431係為RGB像素，而每一二維RGB像素圖層43之像素431分別具有一R值、一G值及一B值，該二維RGB像素圖層43具有複數個RGB像素區435，該等RGB像素區435與該等X軸資料層24對應，該等RGB像素區435之像素431及像素431之R值係與該等X軸資料層24之網格241及網格值對應，該等RGB像素區435與該等Y軸資料層25對應，該等RGB像素區435之像素431及像素431之G值係與該等Y軸資料層25之網格251及網格值對應，該等RGB像素區435與該等Z軸資料層26對應，該等RGB像素區435之像素431及像素431之B值係與該等Z軸資料層26之網格261及網格值對應，由於該二維RGB像素圖層43之RGB像素區435之像素431、R值、G值及B值與該等X軸資料層24、該等Y軸資料層25及該等Z軸資料層26之網格231、網格值對應，藉此以供該二維RGB像素圖層43生成二維RGB彩色影像300，如第14圖所示，進一步使該二維RGB像素圖層43、二維RGB彩色影像300達到對應、識別及儲存該點雲資料20於三軸之軸向深度及資訊點特徵效果，以供卷積神經網路架構進行辨識，另，該二維像素圖層40採用二維RGB像素圖層43時，相較於採用二維灰階圖層42，由於單一二維RGB像素圖層43之像素具有可儲存三個值之特徵，可容納的資訊點特徵數量多於二維灰階圖層42之像素三倍以上。
請再參閱第15圖及第16圖所示，其中，第15圖顯示該等資訊點21包含一般資訊點211之狀態，當該點雲資料20之資訊點21包含有該等一般資訊點211及該等補充資訊點212，如第16圖所示，且每一補充資訊點212係分別位於兩相鄰一般資訊點211之間，可以確保所增加的該等補充資訊點212在原始的該等 一般資訊點211內，也可使後續的處理不會因為該等資訊點21數量過多而導致處理時間的增加，進一步可於二維影像輸入至卷積神經網路的架構內進行辨識後，避免因該等資訊點21的數量過少所產生之辨識誤差。
請再參閱第17圖以及第18圖所示，係為本發明之使用示意圖，其中，光達(LiDar)所取得的點雲資料20為物體部分表面的資訊點，對於同一物體所取得的資訊點會因為物體視角而有所不同，又因為光達所提取的資訊點與當時的光達座標相關，所以物體的資訊點也會因光達座標改變而有所差異，針對物體視角不同的問題，可以透過旋轉物體進行多次掃描來建構較完整的資訊點，而光達坐標不同所產生的差異將會導致點雲資料20之資料區分層時方向不一致，透過該點雲資料20於三維座標10透過旋轉及位移，以確保該點雲資料20之資料區塊22於分層化步驟S2時有相同的座標系統。
請再參閱第19圖所示，其顯示該二維像素圖層40係為二維灰階圖層42時，該點雲資料20經座標轉換及資訊點補充，對於二維灰階影像輸入卷積神經網路架構辨識後之結果，顯示該點雲資料20經座標轉換及資訊點補充後準確率及綜合評價指標皆有提升。
請再參閱第20圖所示，其顯示該二維像素圖層40係為二維RGB像素圖層43時，該點雲資料20經座標轉換及資訊點補充，對於二維RGB彩色影像輸入卷積神經網路架構辨識後之結果，顯示該點雲資料20經座標轉換及資訊點補充後準確率及綜合評價指標皆有提升。
茲，再將本發明之特徵及其可達成之預期功效陳述如下：本發明之三維點雲資料20處理方法，透過資料建立步驟S1、分層化步驟S2、網格化步驟S3、資料處理步驟S4及二維影像生成步驟S5，可將三維 點雲資料20轉換二維影像，並達到對應、識別及儲存該點雲資料20於三軸之軸向深度及資訊點特徵效果，以供卷積神經網路架構進行辨識。
綜上所述，本發明在同類產品中實有其極佳之進步實用性，同時遍查國內外關於此類結構之技術資料，文獻中亦未發現有相同的構造存在在先，是以，本發明實已具備發明專利要件，爰依法提出申請。
惟，以上所述者，僅係本發明之一較佳可行實施例而已，故舉凡 應用本發明說明書及申請專利範圍所為之等效結構變化，理應包含在本發明之專利範圍內。
S1:資料建立步驟
S2:分層化步驟
S3:網格化步驟
S4:資料處理步驟
S5:二維影像生成步驟

Claims (9)

  1. 一種三維點雲資料處理方法，其係包含：一資料建立步驟，建立一三維座標，將一點雲資料對應於該三維座標，該三維座標具有三軸向，該點雲資料具有複數個資訊點，該等資訊點包含有複數個一般資訊點，使該等資訊點所在之空間於該三維座標上共同形成一資料區塊；一分層化步驟，將該資料區塊沿前述三軸向中的至少一軸向，並依順序劃分為複數個資料層，藉由該分層化步驟，使該點雲資料及該等資料層之軸向深度可供辨識。
  2. 依據申請專利範圍第1項所述之三維點雲資料處理方法，其中，該三維點雲資料處理方法更包含有一網格化步驟，將每一資料層分別網格化為複數個網格；一資料處理步驟，計算每一網格中所含資訊點數量，將每一網格之資訊點數量依一轉換規則分別轉換為一網格值；一二維影像生成步驟，設置一二維像素圖層，該二維像素圖層由複數個像素組成，每一像素分別具有一像素值，該二維像素圖層之像素及像素值與該至少一軸向之每一資料層之網格及網格值對應，以供該二維像素圖層生成二維影像。
  3. 依據申請專利範圍第2項所述之三維點雲資料處理方法，其中，該等軸向係定義為一X軸、一Y軸及一Z軸，該資料區塊係分別沿該X軸、該Y軸及該Z軸各依序劃分複數個資料層，該資料區塊沿該X軸劃分之資料層係定義為X軸資料層，而該資料區塊沿該Y軸劃分之資料層係定義為Y軸資料層，且該資料區塊沿該Z軸劃分之資料層係定義為Z軸資料層。
  4. 依據申請專利範圍第3項所述之三維點雲資料處理方法，其中，該二維像素圖層係為二維灰階圖層，該二維灰階圖層之像素係為灰階像素，且該像素之像素值為灰階值，該二維灰階圖層係對應每一X軸資料層分別設有一X軸像素區，該等X軸像素區之像素及像素值與該等X軸資料層之網格及網格值對應，該二維灰階圖層係對應每一Y軸資料層分別設有一Y軸像素區，該等Y軸像素區之像素及像素值與該等Y軸資料層之網格及網格值對應，該二維灰階圖層係對應每一Z軸資料層分別設有一Z軸像素區，該等Z軸像素區之像素及像素值與該等Z軸資料層之網格及網格值對應。
  5. 依據申請專利範圍第3項所述之三維點雲資料處理方法，其中，該二維像素圖層係為二維RGB像素圖層，該二維RGB像素圖層之像素係為RGB像素，而每一二維RGB像素圖層之像素分別具有一R值、一G值及一B值，該二維RGB像素圖層具有複數個RGB像素區，該等RGB像素區與該等X軸資料層對應，該等RGB像素區之像素及像素之R值係與該等X軸資料層之網格及網格值對應，該等RGB像素區與該等Y軸資料層對應，該等RGB像素區之像素及像素之G值係與該等Y軸資料層之網格及網格值對應，該等RGB像素區與該等Z軸資料層對應，該等RGB像素區之像素及像素之B值係與該等Z軸資料層之網格及網格值對應。
  6. 依據申請專利範圍第2項所述之三維點雲資料處理方法，其中，該網格值範圍為0到255，該轉換規則可將每一網格之資訊點數量之最小值至最大值依比例對應該網格值範圍0到255。
  7. 依據申請專利範圍第6項所述之三維點雲資料處理方法，其中，欲計算該網格之網格值時，該網格係定義為一目標網格，該目標網格之網格值定義為一目標網格值，該目標網格所位於的資料層係定義為一目標資料層，該轉換規則由以下[數學式1]表示，Vtarget=(Ntarget/Nmax)*255‧‧‧式(1)，其中，Vtarget為目標網格值，而Ntarget為該目標網格之資訊點數量，且Nmax為該目標資料層之所有網格之資訊點數量中的最大值，該目標網格值取四捨五入。
  8. 依據申請專利範圍第1項所述之三維點雲資料處理方法，其中，該等資訊點更包含有複數個補充資訊點，每一補充資訊點係分別位於兩相鄰一般資訊點之間。
  9. 依據申請專利範圍第1項所述之三維點雲資料處理方法，其中，該點雲資料係可於三維座標旋轉及位移。
TW109106746A 2020-03-02 2020-03-02 三維點雲資料處理方法 TWI731604B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109106746A TWI731604B (zh) 2020-03-02 2020-03-02 三維點雲資料處理方法
US16/854,744 US11348261B2 (en) 2020-03-02 2020-04-21 Method for processing three-dimensional point cloud data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109106746A TWI731604B (zh) 2020-03-02 2020-03-02 三維點雲資料處理方法

Publications (2)

Publication Number Publication Date
TWI731604B true TWI731604B (zh) 2021-06-21
TW202135007A TW202135007A (zh) 2021-09-16

Family

ID=77463650

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109106746A TWI731604B (zh) 2020-03-02 2020-03-02 三維點雲資料處理方法

Country Status (2)

Country Link
US (1) US11348261B2 (zh)
TW (1) TWI731604B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109692B (zh) * 2023-02-22 2023-09-26 中钢集团马鞍山矿山研究总院股份有限公司 基于三维点云计算尾矿坝体积和表面形变体积的方法
CN117152164B (zh) * 2023-11-01 2024-02-09 武汉精一微仪器有限公司 一种透明多层材料的点云数据分层方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200512670A (en) * 2003-09-19 2005-04-01 Ind Tech Res Inst Method for constructing a three dimensional (3D) model
TW201516958A (zh) * 2013-10-31 2015-05-01 Univ Nat Taipei Technology 二維至三維的深度影像建立方法及裝置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3844722A4 (en) * 2018-08-29 2022-06-01 Movidius Ltd. COMPUTER VISION SYSTEM
CN111126242B (zh) * 2018-10-16 2023-03-21 腾讯科技（深圳）有限公司 肺部图像的语义分割方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200512670A (en) * 2003-09-19 2005-04-01 Ind Tech Res Inst Method for constructing a three dimensional (3D) model
TW201516958A (zh) * 2013-10-31 2015-05-01 Univ Nat Taipei Technology 二維至三維的深度影像建立方法及裝置

Also Published As

Publication number Publication date
US20210272301A1 (en) 2021-09-02
TW202135007A (zh) 2021-09-16
US11348261B2 (en) 2022-05-31

Similar Documents

Publication Publication Date Title
CN110264416B (zh) 稀疏点云分割方法及装置
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN108921926B (zh) 一种基于单张图像的端到端三维人脸重建方法
CN104574432B (zh) 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
CN110264563A (zh) 一种基于orbslam2的八叉树建图方法
CN110633628B (zh) 基于人工神经网络的rgb图像场景三维模型重建方法
CN111524233B (zh) 一种静态场景动态目标的三维重建方法
CN113888695A (zh) 基于分支重构配准的非合作目标三维重建方法
CN109035327B (zh) 基于深度学习的全景相机姿态估计方法
CN113192200B (zh) 一种基于空三并行计算算法的城市实景三维模型的构建方法
TWI731604B (zh) 三維點雲資料處理方法
CN107292956B (zh) 一种基于曼哈顿假设的场景重建方法
CN112862736B (zh) 一种基于点的实时三维重建与优化方法
CN104851127B (zh) 一种基于交互的建筑物点云模型纹理映射方法及装置
Zhang et al. RI-Fusion: 3D object detection using enhanced point features with range-image fusion for autonomous driving
CN115482268A (zh) 一种基于散斑匹配网络的高精度三维形貌测量方法与系统
Zou et al. Efficient urban-scale point clouds segmentation with bev projection
CN113628170A (zh) 一种基于深度学习的激光线提取方法及系统
US8837815B2 (en) Method of filtering a disparity mesh obtained from pixel images
CN112802101A (zh) 一种基于多维金字塔的分层模板匹配方法
CN113129348B (zh) 一种基于单目视觉的道路场景中车辆目标的三维重建方法
CN113284249B (zh) 一种基于图神经网络的多视角三维人体重建方法及系统
CN113192204B (zh) 单幅倾斜遥感图像中建筑物的三维重建方法