TWI636429B - 數字編碼結構光之三維空間重建方法 - Google Patents

Abstract

本發明提供一種數字編碼結構光之三維空間重建方法，其包括：提供數碼結構光；投射數碼結構光於待量測物體上形成一變形結構光；取得一變形結構光之一投射影像；偵測投射影像並產生一全域二值影像；辨識全域二值影像，定義出每一定位圖元及其他編碼圖元，以產生複數個標籤圖元；藉由該些標籤圖元組成複數個標籤碼塊，再組成一全域標籤影像；對每一標籤碼塊進行解碼，以產生複數個合格碼塊；以及依照該些合格碼塊產生一全域深度圖。藉由本發明之實施，可以快速及精準的完成三維空間重建。

Description

數字編碼結構光之三維空間重建方法

本發明為一種數字編碼結構光之三維空間重建方法，特別為一種將實體空間3D物件完成3D數位模型重建之數字編碼結構光之三維空間重建方法。

結構光（Structure Light）是三維成像技術之一，方式是投射特定結構的光影到物體表面，該特定結構的光影可以例如是離散光斑、條紋光、面結構光…等。經攝影成像後根據物體表面的光影結構變化，重組物體表面位置或深度資訊，然後回復物體表面的三維空間資訊。

與其他三維成像技術，例如光飛行時間(Time of flight, TOF)或雙鏡立體比較，結構光可以在相對較低硬體成本要求下，捕捉較大面積物體表面資料。其中面結構光能以一次投影即可獲得物體深度圖，量測速度較快，但在成像的空間精度要求較高、或物體表面變形較大時，圖元過於單純或碼塊過大都不利解碼。

本發明為一種數字編碼結構光之三維空間重建方法，其主要是解決3D空間模型建立時，因為編碼複雜、編碼設計不良及過度大量資料運算，造成三維空間重建時之低效率及容易失真…等問題。

本發明提供一種數字編碼結構光之三維空間重建方法，其包括：提供一數碼結構光，數碼結構光係由複數個碼塊所形成，又每一碼塊係由複數個編碼圖元間格排列而成，該些編碼圖元又包括有一定位圖元、複數個數字圖元及一檢查圖元；投射數碼結構光，其係將數碼結構光投射於一待量測物體上，並於待量測物體上形成一變形結構光；取得一投射影像，其係以取像裝置擷取變形結構光之一投射影像；產生全域二值影像，其係對投射影像進行偵測並定義出變形結構光又將其二值化以產生一全域二值影像；產生標籤圖元，其係辨識全域變形影像，以定義出每一定位圖元的位置，然後再由定位圖元找出同屬同一碼塊之其他編碼圖元的位置並賦予每一圖元一標籤，以產生複數個標籤圖元；產生全域標籤影像，其係藉由該些標籤圖元組成又被標籤的複數個標籤碼塊，再由該些標籤碼塊組成一全域標籤影像；進行全域解碼，其係對該全域標籤影像或一粗校正全域影像或一細校正全域影像中之每一標籤碼塊進行解碼，以產生複數個合格碼塊；以及產生全域深度圖，其係依照該些合格碼塊或至少一補正碼塊產生一全域深度圖。

本發明又提供一種數碼結構光結構，其係由複數個碼塊所形成，又每一該碼塊係由複數個編碼圖元間格排列而成，該些編碼圖元又包括有一定位圖元、複數個數字圖元及一檢查圖元。

藉由本發明之實施，至少可以達成下列之進步功效： 一、 可以使每一編碼單位所佔用之空間大幅縮小。 二、 可以產生可表達較多資訊量的圖元及加入定位點的區塊。 三、 可以使單位面積內之編碼效益大幅提升。 四、 可以提高結構光解碼的計算速度及解碼的強健性並提升被重建三維空間之解析度。 五、 可以在相對較低硬體成本要求下，捕捉較大面積物體表面資料。以及 六、 面結構光能以一次投影即可獲得物體深度圖，量測速度較快。

如第1圖及第2圖所示，本實施例為一種數字編碼結構光之三維空間重建方法S100，其可執行於一電子計算機系統（computer）中包括：提供數碼結構光S110；投射數碼結構光S120；取得一投射影像S130；產生全域二值影像S140；產生標籤圖元S150；產生全域標籤影像S160；進行全域解碼S170；以及產生全域深度圖S180。

如第3A圖及第3B圖所示，提供數碼結構光S110，數碼結構光100係由複數個碼塊10所形成，又每一碼塊10係由複數個編碼圖元20間格排列而成，例如，其中每一碼塊10可以由一3 x 3編碼圖元20間格排列而成，又該些編碼圖元20又包括有一定位圖元210、複數個數字圖元220及一檢查圖元230。

定位圖元210主要是作為碼塊10之定位用，定位圖元210可以位於碼塊10多個位置之一指定位置，例如是在一角位或者一中間位置也可以。定位圖元210可以設計為一L形色塊，又L形色塊之中間部位，可以定義為定位圖元210之定位形心211。

數字圖元220，碼塊10之編碼及解碼，主要是靠數字圖元220進行，數字圖元220可以由複數個位於週邊的數碼單元221及一位於中心的一數碼形心所組成，又編碼時至少一數碼單元221為空白，藉由數碼單元221空白處的改變，可以使數碼單元221產生不同數值的變化，又設計數字圖元220時，係將數碼形心永遠保持為一非空白的色塊。

檢查圖元230，其結構及運作方式與數字圖元220完全相同，其不同處在於檢查圖元230係用以檢核每一圖碼中的所有數字圖元220，藉由檢查圖元230的檢核，可以辨識出投影後之碼塊10，是否仍然為一合格碼塊10。

請在參閱第3B圖，上述之數字圖元220及檢查圖元230，在第3B圖中可以依照不同缺口的位置，對應至下方的數字，因此每一個編碼圖元20可以產生一介於0~7之間的一個數字碼。

投射數碼結構光S120，其係將編碼後之數碼結構光100投射於一待量測物體上，由於待量測物體可能是一3D結構，因此當被數碼結構光100投射後，會於待量測物體上形成具有變形之結構光。

取得一投射影像S130，其係以取像裝置擷取變形結構光之一投射影像，以作為後續影像分析使用。

產生全域二值影像S140，其係對投射影像進行偵測，並從投射影像中，定義出變形結構光之輪廓，接著將原本可能是彩色之變形結構光轉成一灰度圖，又統計灰度圖之灰度直方圖並計算門檻閥值，然後將變形結構光進行影像白色或黑色之二值化，以產生一全域二值影像。

產生標籤圖元S150，其係辨識全域二值影像，以定義出每一定位圖元210的位置，當定位圖元210的位置確定後，然後再由定位圖元找出同屬同一碼塊之其他編碼圖元，也就是數字圖元220及檢查圖元230的位置，再辨識的過程中，同時賦予每一定位圖元210、每一數字圖元220及每一檢查圖元230一標籤，以產生複數個標籤圖元。

產生全域標籤影像S160，當該些標籤圖元被定義完成後，接著藉由該些標籤圖元就可以組成複數個碼塊10，又將每一碼塊又再次賦予一標籤，如此就可以形成複數個標籤碼塊，最後再藉由該些標籤碼塊，就可以組成一全域標籤影像。

進行全域解碼，其係對全域標籤影像或一粗校正全域影像或一細校正全域影像中之每一標籤碼塊進行解碼，以產生複數個合格碼塊，以作為後續產生全域深度圖使用。

如第4圖所示，有關粗校正全域影S200，其產生步驟可以包括：進行標籤圖元分類S210；找出形心S220；描繪全域外框S230；以及完成粗校正全域影S240。

進行標籤圖元分類S210，其係計算每一標籤圖元，計算前先計算 將每一標籤圖元之黑色像元面積。計算時當其像元面積小於標籤外框總面積之60%者，將該標籤圖元為一定位圖元210，而其他則為數字圖元220及檢查圖元230。

找出形心S220，其係找出每一標籤圖元之一定位形心或一數碼形心；其中一定位圖元210之形心定義為定位形心211，又任一數字圖元220或一檢查圖元230之形心定義為數碼形心221,231。

描繪全域外框S230，其係以全域二值影像四週最外緣之複數個碼塊10之該些定位形心或該些數碼形所形成之連線，作為一全域變形外框。

完成粗校正全域影S240，其係對全域變形外框進行校正以產生一粗校正全域影S200。

如第5圖所示，有關細校正全域影像S300，其產生步驟可以包括：劃分區域影像S310；產生細標籤圖元S320；以及產生細校正全域影像S330。

劃分區域影像S310，其依序將至少一標籤碼塊10定義為一區域影像。

產生細標籤圖元S320，其係以相連性分析對該區域影像進行辨識，將同色之區塊定義成一細辨識圖元，因此可以產生複數個細辨識圖元，又對每一細辨識圖元進行標籤，因此可以產生該複數個細標籤圖元。

產生細校正全域影像S330，其係將該些細標籤圖元再次組合，如此就可以組成一細校正全域影像S300。

如第6A圖所示，有關合格碼塊10之定義，包括下列步驟S400：校正標籤碼塊S410；產生數碼碼塊S420；以及進行碼塊檢核S430。

校正標籤碼塊S410，其係將一標籤碼塊10之每一標籤圖元劃分成9塊均等之次圖元，又每一次圖元係由3X3之矩陣所組成，此時每一次圖元實際上包含有複數個像素(pixel)，而每一個像素依照其灰階狀態，均有一個0或1的值。

在進行標籤碼塊10校正時，其係依序計算每一次圖元中，像素分別為0或1之總數，並以0或1之眾數者，作為次圖元之值，也就是9個像素中，有5個是0值，則設定該次圖元為0值，但如果9個像素中，有5個是1值，則設定該次圖元為1值，藉此可以依序產生複數個校正圖元，並可進一步組成對應之一校正標籤碼塊S410。

產生數碼碼塊S420，其係將一碼塊10中每一校正圖元解碼號後，以每一校正圖元解碼號後的值做為表示方式，然後組成ㄧ數碼碼塊10。

如第6B圖所示，有關每一校正圖元的值，除了可以用圖形比對產生得到外，以可以使用演算方式得到，當使用演算方式時，可以先提供一數碼矩陣311，數碼矩陣311是將一數字圖元220或檢查圖元230所有數字碼集合在一起所形成，又將欲進行數字解碼之標籤圖元依照缺口位置，轉換成一還原矩陣312，最後將數碼矩陣311與還原矩陣312進行逐元素計算，所得到的矩陣總合313，就是該數字圖元220或檢查圖元230解碼後的數字碼。

進行碼塊檢核S430，其係將數碼碼塊10中各數字圖元220，依照編碼時之檢核原則進行計算後，再與檢查圖元230進行核對，核對通過者，則校正標籤碼塊S410對應之標籤碼塊10，定義為一合格碼塊10。上述的檢核方式可以例如，將一碼塊10中七個數字圖元220經過數字解碼後的數值相加，然後將相加後的總合再除以7以得到一檢核解碼值，又將檢核解碼值與檢查圖元230之解碼數值進行核對，相同者就是核對通過。

如第7A圖至第8B圖所示，所示，合格碼塊10產生後，針對無法辨識或者核對無法通過之碼塊，可進一步包括產生補正碼塊步驟S500，其包括：對比碼塊序號510；建立一全域空矩陣S520；標註碼塊屬性S530；定序補正碼塊S540；以及補正遺失圖元S550。

對比碼塊序號510，其係於該全域解碼後，每一標籤碼塊中7個數字碼塊所組合的值，就是該標籤碼塊的序號，所謂對每一標籤碼塊進行序號對比，就是每一標籤碼塊的序號與原始編碼的序號進行對比，藉此以形成趨近於原始編碼時的一全域圖元座標。

建立一全域空矩陣S520，其係依照該全域圖元座標形成以圖元為單位之一全域空矩陣，且具有複數個屬性圖元。

標註碼塊屬性S530，其係於該全域空矩陣，將每一該屬性圖元參照一對應之標籤碼塊，當該對應之標籤碼塊為一合格碼塊（在7B圖中標示為方塊），則將該屬性圖元設為有值圖元，其他不屬合格碼塊之屬性圖元（在7B圖中標示為星號），保持為一空值圖元。

定序補正碼塊S540，其係將每一空值圖元依照週邊有值圖元以推算出不合格碼塊之座標序號以形成一補正碼塊。

補正遺失圖元S550，其係對該補正碼塊進行圖元分析，將合格的圖元保留，作為有效圖元並給予標籤。藉此可從一些無法辨識或具有汙染區塊321之不合格碼塊中，再次找回一些可使用圖元322，藉此提高全域深度圖的解析度。

產生全域深度圖S180，其係依照該些合格碼塊10或補正碼塊10產生一全域深度圖。

惟上述各實施例係用以說明本創作之特點，其目的在使熟習該技術者能瞭解本創作之內容並據以實施，而非限定本創作之專利範圍，故凡其他未脫離本創作所揭示之精神而完成之等效修飾或修改，仍應包含在以下所述之申請專利範圍中。

S100‧‧‧數字編碼結構光之三維空間重建方法

S110‧‧‧提供數碼結構光

S120‧‧‧投射數碼結構光

S130‧‧‧取得一投射影像

S140‧‧‧產生全域二值影像

S150‧‧‧產生標籤圖元

S160‧‧‧產生全域標籤影像

S170‧‧‧進行全域解碼

S180‧‧‧產生全域深度圖

S200‧‧‧粗校正全域影

S210‧‧‧進行標籤圖元分類

S220‧‧‧找出形心

S230‧‧‧描繪全域外框

S240‧‧‧完成粗校正全域影

S300‧‧‧細校正全域影像

S310‧‧‧劃分區域影像

S320‧‧‧產生細標籤圖元

S330‧‧‧產生細校正全域影像

S400‧‧‧合格碼塊定義步驟

S410‧‧‧校正標籤碼塊

S420‧‧‧產生數碼碼塊

S430‧‧‧進行碼塊檢核

S500‧‧‧產生補正碼塊步驟

S510‧‧‧對比碼塊序號

S520‧‧‧建立一全域空矩陣

S530‧‧‧標註碼塊屬性

S540‧‧‧定序補正碼塊

S550‧‧‧補正遺失圖元

100‧‧‧數碼結構光

10‧‧‧碼塊

20‧‧‧編碼圖元

210‧‧‧定位圖元

211‧‧‧定位形心

220‧‧‧數字圖元

221‧‧‧數碼單元

230‧‧‧檢查圖元

221,231‧‧‧數碼形心

310‧‧‧合格碼塊

311‧‧‧數碼矩陣

312‧‧‧還原矩陣

313‧‧‧矩陣總合

320‧‧‧不合格碼塊

321‧‧‧汙染區塊

322‧‧‧可使用圖元

[第1圖]為本發明之一種數字編碼結構光之三維空間重建方法流程實施例圖； [第2圖]為本發明之一種數碼結構光實施例圖； [第3A圖]為本發明之一種碼塊實施例圖； [第3B圖]為本發明之一種數字圖元或檢查圖元其對應數字碼實施例圖； [第4圖]為本發明之一種粗校正全域影像產生步驟實施例圖； [第5圖]為本發明之一種細校正全域影像產生步驟實施例圖； [第6A圖]為本發明之一種合格碼塊定義步驟實施例圖； [第6B圖]為本發明之一種數字圖元或檢查圖元解碼演算實施例圖； [第7A圖]為本發明之一種產生補正碼塊步驟之實施例圖； [第7B圖]為本發明之一種合格及不合格碼塊座標標示實施例圖； [第8圖]為本發明之一種投影後產生不合格碼塊之數碼結構光實施例圖； [第8A圖]為第8圖之局部放大圖；以及 [第8B圖]為不合格碼塊仍具有可使用圖元之實施例圖； [第9圖]為本發明之一種全域深度圖之實施例圖。

Claims (9)

1. 一種數字編碼結構光之三維空間重建方法，其包括：提供一數碼結構光，該數碼結構光係由複數個碼塊所形成，又每一該碼塊係由複數個編碼圖元間格排列而成，該些編碼圖元又包括有一定位圖元、複數個數字圖元及一檢查圖元；投射數碼結構光，其係將該數碼結構光投射於一待量測物體上，並於該待量測物體上形成一變形結構光；取得一投射影像，其係以取像裝置擷取該變形結構光之一投射影像；產生全域二值影像，其係對該投射影像進行偵測並定義出該變形結構光又將其二值化以產生一二值全域影像；產生標籤圖元，其係該全域二值影像，以定義出每一該定位圖元的位置，然後再由該定位圖元找出同屬同一該碼塊之其他編碼圖元的位置並賦予每一圖元一標籤，以產生複數個標籤圖元；產生全域標籤影像，其係藉由該些標籤圖元組成又被標籤的複數個標籤碼塊，再由該些標籤碼塊組成一全域標籤影像；進行全域解碼，其係對該全域標籤影像或一粗校正全域影像或一細校正全域影像中之每一該標籤碼塊進行解碼，以產生複數個合格碼塊；以及產生全域深度圖，其係依照該些合格碼塊或至少一補正碼塊產生一全域深度圖；其中該粗校正全域影像，其產生步驟包括：進行標籤圖元分類，其係計算每一該標籤圖元，當其黑色像元面積小於總面積之60%者為一該定位圖元，其他則為該數字圖元及該檢查圖元；找出形心，其係找出每一該標籤圖元之一定位形心或一數碼形心； 描繪全域外框，其係以該全域二值影像最外緣之該些定位形心或該些數碼形心所形成之連線作為一全域變形外框；及完成粗校正全域影像，其係對該全域變形外框進行校正以產生一粗校正全域影像。
2. 如申請專利範圍第1項所述之三維空間重建方法，其中每一該碼塊係由一3 x 3之該編碼圖元間格排列而成。
3. 如申請專利範圍第1項所述之三維空間重建方法，其中該定位圖元係位於該碼塊之一指定角之位置。
4. 如申請專利範圍第3項所述之三維空間重建方法，其中該定位圖元係為一L形色塊，又該L形色塊之中間部位為一定位形心。
5. 如申請專利範圍第1項所述之三維空間重建方法，其中該數字圖元或該檢查圖元，係由複數個位於週邊的數碼單元及一位於中心的一數碼形心所組成，又編碼時至少一數碼單元為空白，又該數碼形心保持為一色塊。
6. 如申請專利範圍第1項所述之三維空間重建方法，其中該檢查核圖元係用以檢核該些數字圖元。
7. 如申請專利範圍第1項所述之三維空間重建方法，其中該細校正全域影像，其產生步驟包括：劃分區域影像，其依序將至少一該標籤碼塊定義為一區域影像；產生細標籤圖元，其係以相連性分析對該區域影像進行辨識，以產生該複數個細標籤圖元；以及產生細校正全域影像，其係將該些細標籤圖元組成一細校正全域影像。
8. 如申請專利範圍第1項所述之三維空間重建方法，其中該合 格碼塊之定義，包括下列步驟：校正標籤碼塊，其係將一該標籤碼塊之每一該標籤圖元劃分成9塊均等之次圖元，依序計算每一該次圖元中像元之0或1之眾數者，作為該次圖元之值，藉此以產生複數個校正圖元代表數字並組成一校正標籤碼塊；產生數碼碼塊，其係將每一該校正圖元解碼號後並組成一數碼碼塊；以及進行碼塊檢核，其係將該數碼碼塊中各數字圖元運算後與檢查圖元進行核對，核對通過者，則該校正標籤碼塊對應之標籤碼塊，定義為一合格碼塊。
9. 如申請專利範圍第1項所述之三維空間重建方法，其中該些合格碼塊產生後，進一步包括產生補正碼塊步驟，其包括下列步驟：對比碼塊序號，其係於該全域解碼後，對每一該標籤碼塊進行序號對比，並形成一全域圖元座標；建立一全域空矩陣，其係依照該全域圖元座標形成以圖元為單位之一全域空矩陣，且具有複數個屬性圖元；標註碼塊屬性，其係於該全域空矩陣，將每一該屬性圖元參照一對應之標籤碼塊，當該對應之標籤碼塊為一合格碼塊，則將該屬性圖元設為有值圖元，其他不屬合格碼塊之屬性圖元，保持為一空值圖元；定序補正碼塊，其係將每一該空值圖元依照週邊有值圖元以推算出該不合格碼塊之座標序號以形成一補正碼塊；以及補正遺失圖元，其係對該補正碼塊進行圖元分析，將合格的圖元保留，作為有效圖元並給予標籤。