TWI779867B

TWI779867B - 4d高光譜影像建模之方法

Info

Publication number: TWI779867B
Application number: TW110137311A
Authority: TW
Inventors: 歐陽盟; 顏永哲; 于鈞; 黃韋蒼; 孫善強; 黃基倬; 陳宗正; 林穎宏; 林修國
Original assignee: 國立陽明交通大學
Priority date: 2021-10-07
Filing date: 2021-10-07
Publication date: 2022-10-01
Also published as: TW202316380A

Abstract

一種4D高光譜影像建模之方法，針對一目標物之不同角度擷取複數可見光影像及複數高光譜影像；對可見光影像進行3D建模，產生目標物之一3D模型，及將每一角度之可見光影像及高光譜影像進行影像對位，形成對應每一角度之複數可見光高光譜匹配影像；計算一可見光材質檔與3D模型的關係，得到包含可見光材質檔之一可見光3D模型；利用可見光高光譜匹配影像製作一4D材質檔，再將其整合到可見光3D模型中，形成一4D高光譜模型。藉由本發明，使用者選擇任一波段的4D材質檔，即可在4D高光譜模型上綜覽目標物的每一像素的資料。

Description

4D高光譜影像建模之方法

本發明係有關一種影像處理的技術，特別是指一種4D高光譜影像建模之方法。

新型冠狀病毒感染疾病（COVID-19）使全球社會、經濟混亂，改變事業營運的形態。由於在家工作和社交距離等的新習慣，必須建立遠端監控、智慧付款技術，並大規模的部署的數位基礎設施。隨著遠端工作者的劇增，有效保存、保護大量的資料，對先進的3D繪圖及建模為基礎的軟體工具及服務的需求也提高。

在先前技術中已有數種將高光譜影像與三維影像數據相結合的方法。其中之一的系統包含兩個鏡頭，且此二鏡頭之間的空間關係是已知的，便可將從不同相機擷取的影像數據合併，但此方法覆蓋三維網格模型的材質檔仍然是RGB數值，而非高光譜資料。另一個方法則是使用能夠捕捉RGB影像和高光譜影像的多波段相機，從生成3D模型場景開始，接著收集高光譜材料。然後通過組合三個高光譜波段，形成一種新材質檔，並可以通過3D模型渲染而顯示。此方法的3D模型渲染會在每個時間幀更新其幾何形狀和高光譜的材質檔。此方法3D模型不是基於實際對象而產生，且因為其只有單一鏡頭，雖然能避免影像匹配的問題，但藉由此鏡頭所擷取的可見光影像的質量將明顯低於高解析度相機的解析度，致使3D模型解析度低。

有鑑於此，本發明針對上述習知技術之缺失及未來之需求，提出一種4D高光譜影像建模之方法，以有效解決上述該等問題，具體架構及其實施方式將詳述於下：

本發明之主要目的在提供一種4D高光譜影像建模之方法，其將多種生物特徵建立在一4D材質檔中，將其融合到可見光3D模型中製成4D高光譜模型，使4D高光譜模型可任意抽換並從不同波段的4D材質檔中選擇一波段的4D材質檔顯示在4D高光譜模型上，便於使用者查詢4D高光譜模型中每一座標點的在特定波段的成分組成。

本發明之另一目的在提供一種4D高光譜影像建模之方法，其先利用可見光影像建立可見光3D模型後，才與可見光高光譜匹配影像進行影像對位，而非將可見光影像直接與解析度低的高光譜影像對位並建模，因此本發明之可見光3D模型的解析度好，精準度佳。

為達上述目的，本發明提供一種4D高光譜影像建模之方法，包括下列步驟：針對一目標物之不同角度擷取複數可見光影像及複數高光譜影像；對可見光影像進行3D建模，產生目標物之一3D模型，及將每一角度之可見光影像及高光譜影像進行影像對位，形成對應每一角度之複數可見光高光譜匹配影像；計算一可見光材質檔與3D模型的關係，得到包含可見光材質檔之一可見光3D模型；利用可見光高光譜匹配影像製作一4D材質檔；以及將4D材質檔整合到可見光3D模型中，形成一4D高光譜模型。

依據本發明之實施例，3D模型為網格狀模型，與可見光材質檔匹配後形成由可見光影像所構成之可見光3D模型。

依據本發明之實施例，在計算可見光材質檔與3D模型的關係之前，更包括：利用不同波段的高光譜影像，製作可見光材質檔。

依據本發明之實施例，在利用可見光高光譜匹配影像製作4D材質檔的步驟中，包括：不同維度之高光譜影像係對應可見光材質檔中的一項生物特徵。

依據本發明之實施例，生物特徵包括水分、糖分、葉綠素。

依據本發明之實施例，可見光影像及高光譜影像係利用至少一特徵點演算法進行影像對位，特徵點演算法包括加速分割測試特徵提取演算法(Features from Accelerated Segment Test, FAST)、尺度不變特徵轉換演算法(Scale-invariant feature transform, SIFT)或加速穩健特徵演算法(Speeded Up Robust Features, SURF)。

依據本發明之實施例，4D材質檔係透過一光譜分析演算法分析生物特徵，光譜分析演算法包括主成分迴歸演算法(Principal components Regression, PCR)或淨最小平方迴歸演算法(partial least squares regression, PLSR)。

依據本發明之實施例，可見光影像由一相機拍攝，高光譜影像由一高光譜相機拍攝。

本發明提供一種4D高光譜影像建模之方法，可用於植株的監控和分析，例如監控果樹的生長狀態、果實成熟度、甜度、是否生病等，以便在第一時間進行治療或改善。

請參考第1圖，其為本發明4D高光譜影像建模之方法之流程圖。首先於步驟S10中，針對一目標物之不同角度擷取複數可見光影像及複數高光譜影像。在此步驟中可見光影像由一相機拍攝，高光譜影像由一高光譜相機拍攝，可見光影像為高解析度的彩色影像，而高光譜影像則包括不同波長的多張影像。高光譜相機除了可見光的波段之外，還可擷取到波段小於500nm、大於700nm的影像，例如可擷取400~1700nm的影像。由於波段範圍大，可設定分別擷取多個波段的影像，例如波長400~600nm擷取一張影像，波長600~800nm擷取一張影像，以此類推。因此在同一個視角對著目標物，利用高光譜相機就可擷取到複數張不同波段的影像。

接著步驟S12中，對可見光影像進行3D建模，產生目標物之一3D模型，及將每一角度之可見光影像及高光譜影像進行影像對位，形成對應每一角度之複數可見光高光譜匹配影像。此步驟中，3D模型之建立方法係將不同角度之可見光影像加以拼接，如同利用多張影像拼接成環景影像的方法，在此不再贅述，特別的是3D模型是網格狀模型。此外，步驟S12中的影像對位的方法係利用至少一特徵點演算法在可見光影像與高光譜影像上分別取複數特徵點，再利用這些特徵點對可見光影像與高光譜影像進行影像對位，此特徵點演算法包括加速分割測試特徵提取演算法(Features from Accelerated Segment Test, FAST)、尺度不變特徵轉換演算法(Scale-invariant feature transform, SIFT)或加速穩健特徵演算法(Speeded Up Robust Features, SURF)。

接著步驟S14，計算一可見光材質檔與3D模型的關係，得到包含可見光材質檔之一可見光3D模型，可見光材質檔為3D模型中各像素點的RGB數值，而可見光3D模型由可見光影像所構成，加上可見光材質檔的RGB數值後，就會從網格狀轉換成平滑影像。而且，由於可見光影像是高解析度影像，而3D建模是採用立體視覺法，因此可見光影像的解析度愈高，可見光3D模型就會愈精細。最後於步驟S16中，利用可見光高光譜匹配影像製作一4D材質檔；以及步驟S18，將4D材質檔整合到可見光3D模型中，形成一4D高光譜模型。

4D材質檔係透過一光譜分析演算法分析生物特徵，計算每一張高光譜影像中是否包含至少一生物特徵及其含量，當4D材質檔與可見光3D模型融合成4D高光譜模型後，4D高光譜模型中之每一像素便包含了4D材質檔中的資料，即生物特徵。本發明中，光譜分析演算法包括主成分迴歸演算法(Principal components Regression, PCR)或淨最小平方迴歸演算法(Partial Least Square Regression, PLSR)等，可使精細度達到1像素內。生物特徵包括水分、糖分、葉綠素等。每一生物特徵係對應不同維度之高光譜影像，假設糖分的特徵波段為600~1000nm，則將在這些波段內的可見光高光譜匹配影像利用上述光譜分析演算法進行計算，即可得到糖分含量或是甜度值。製作4D材質檔的優點是可以抽換每一波段的資料，再由4D高光譜模型去顯示該波段的資料。

第2圖為本發明4D高光譜影像建模之方法之實施例示意圖。圖中以一棵樹為例，可見光影像10為彩色影像，高光譜影像12為多張同一視角、同一時間、不同波段的灰階影像。先將各個角度的可見光影像進行3D建模，利用影像拼接的技術製作出3D模型14。同時，取某一視角的可見光影像10與高光譜影像12中的複數個特徵點，利用特徵點比對的演算法將可見光影像10與高光譜影像12進行影像對位，疊合後得到此視角的可見光高光譜匹配影像16，並重複對不同視角的可見光影像10與高光譜影像12進行影像對位。接著，取得預先計算的可見光材質檔22，比對其與3D模型14的關係，得到這棵樹包含可見光材質檔22之可見光3D模型18。接著，利用光譜分析演算法對可見光高光譜匹配影像16進行成分分析，製作出4D材質檔24。最後將4D材質檔24整合到可見光3D模型18中，便可得到這棵樹的4D高光譜模型20，4D高光譜模型20除了包含可見光的立體模型之外，還包括了多維度的高光譜影像及每一像素點的資訊，形成4D的模型。

由於本發明將包含了不同波段生物特徵的4D材質檔融合在4D高光譜模型20中，因此使用者可任意抽換要顯示哪個波段的資料，舉例而言，假設糖分的特徵波段為600~1000nm，使用者欲查詢這棵樹的糖分資料時，只需將換成4D高光譜模型20的4D材質檔抽換成波段為600~1000nm的，便可直接在畫面上顯示各個像素點的糖分。使用者不須點擊4D高光譜模型20上的任一點，便可總覽整棵樹的糖分，快速看出哪個位置的糖分最高或最低，對於成分分析而言更便利。亦可將波段影像經過處理換算後變成一個索引檔，將索引檔放到可見光3D模型18上後，也可以形成4D高光譜模型20。

第3圖為本發明4D高光譜影像建模之方法中製作4D材質檔之實施例示意圖。建成可見光3D模型18後，計算可見光影像10和可見光材質檔22的關係，如關係表26上顯示每一個可見光影像座標(x, y)對應的可見光材質檔座標(U, V)，可見光材質檔座標代表在光譜軸上的某一個位置。再將關係表26和已對位完成的可見光高光譜匹配影像16結合，用可見光高光譜匹配影像16置換掉關係表26中的可見光影像10，便可得到擁有很多波段的4D材質檔24。

綜上所述，本發明所提供之一種4D高光譜影像建模之方法具有以下優點： 1. 由於高光譜影像無法達到如可見光影像般那麼高的解析度，若先將可見光影像和高光譜影像對位疊合後再建立3D模型，將使3D模型的解析度下降，因此本發明先建立可見光3D模型後，再結合可見光影像與高光譜影像對位後產生的匹配影像，使4D高光譜模型的解析度好，精準度佳。 2. 利用一可見光材質檔建立可見光3D模型，及利用製作4D材質檔以產生4D高光譜模型，藉由材質檔（Material Template Library, MTL）可抽換的特性使4D高光譜模型可任意抽換並顯示單一波段的4D材質檔，便於使用者查詢4D高光譜模型中每一座標點的在特定波段的成分組成。 3. 由於本發明是利用光譜快速且非破壞性的特質提供非侵入式的檢測，可應用於果實品質分級與相關農產監控，將可以大幅提升農產相關附加價值。再者，本發明還不限於農業檢測，其影像融合及高光譜影像分析技術亦可延伸應用在其他物體的檢測分析上。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

10:可見光影像 12:高光譜影像 14:3D模型 16:可見光高光譜匹配影像 18:可見光3D模型 20:4D高光譜模型 22:可見光材質檔 24:4D材質檔 26:關係表

第1圖為本發明4D高光譜影像建模之方法之流程圖。第2圖為本發明4D高光譜影像建模之方法之實施例示意圖。第3圖為本發明4D高光譜影像建模之方法中製作4D材質檔之實施例示意圖。

10:可見光影像

12:高光譜影像

14:3D模型

16:可見光高光譜匹配影像

18:可見光3D模型

20:4D高光譜模型

22:可見光材質檔

24:4D材質檔

Claims

一種4D高光譜影像建模之方法，包括下列步驟：針對一目標物之不同角度擷取複數可見光影像及複數高光譜影像；對該等可見光影像進行3D建模，產生該目標物之一3D模型，及將每一角度之該等可見光影像及該等高光譜影像進行影像對位，形成對應每一角度之複數可見光高光譜匹配影像；計算一可見光材質檔與該3D模型的關係，得到包含該可見光材質檔之一可見光3D模型；利用該等可見光高光譜匹配影像製作一4D材質檔；以及將該4D材質檔整合到該可見光3D模型中，形成一4D高光譜模型。
如請求項1所述之4D高光譜影像建模之方法，其中該3D模型為網格狀模型，與該可見光材質檔匹配後形成由可見光影像所構成之該可見光3D模型。
如請求項1所述之4D高光譜影像建模之方法，其中在計算該可見光材質檔與該3D模型的關係之前，更包括：利用不同波段的該等高光譜影像，製作該可見光材質檔。
如請求項1所述之4D高光譜影像建模之方法，其中在利用該等可見光高光譜匹配影像製作該4D材質檔的步驟中，包括：不同維度之該等高光譜影像係分別與該4D材質檔中的多項生物特徵其中之一對應。
如請求項4所述之4D高光譜影像建模之方法，其中該些生物特徵包括水分、糖分以及葉綠素。
如請求項1所述之4D高光譜影像建模之方法，其中該等可見光影像及該等高光譜影像係利用至少一特徵點演算法進行影像對位，該特徵點演算法包括加速分割測試特徵提取演算法(Features from Accelerated Segment Test, FAST)、尺度不變特徵轉換演算法(Scale-Invariant Feature Transform, SIFT)或加速穩健特徵演算法(Speeded Up Robust Features, SURF)。
如請求項4所述之4D高光譜影像建模之方法，其中該4D材質檔係透過一光譜分析演算法分析該生物特徵，該光譜分析演算法包括主成分迴歸演算法(Principal Components Regression, PCR)或淨最小平方迴歸演算法(Partial Least Squares Regression, PLSR)。
如請求項1所述之4D高光譜影像建模之方法，其中該等可見光影像由一相機拍攝，該等高光譜影像由一高光譜相機拍攝。