TWI728902B - 高光譜三維影像建模之裝置與方法 - Google Patents

高光譜三維影像建模之裝置與方法 Download PDF

Info

Publication number
TWI728902B
TWI728902B TW109128783A TW109128783A TWI728902B TW I728902 B TWI728902 B TW I728902B TW 109128783 A TW109128783 A TW 109128783A TW 109128783 A TW109128783 A TW 109128783A TW I728902 B TWI728902 B TW I728902B
Authority
TW
Taiwan
Prior art keywords
hyperspectral
image
images
dimensional
algorithm
Prior art date
Application number
TW109128783A
Other languages
English (en)
Other versions
TW202209260A (zh
Inventor
歐陽盟
顏永哲
于鈞
黃韋蒼
黃基倬
陳宗正
林穎宏
林修國
陳怡君
Original Assignee
國立陽明交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立陽明交通大學 filed Critical 國立陽明交通大學
Priority to TW109128783A priority Critical patent/TWI728902B/zh
Application granted granted Critical
Publication of TWI728902B publication Critical patent/TWI728902B/zh
Publication of TW202209260A publication Critical patent/TW202209260A/zh

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一種高光譜三維影像建模之裝置與方法，利用一第一影像感測元件及一第二影像感測元件，分別擷取一目標物於不同角度的複數可見光影像及複數高光譜影像；將每一角度之可見光影像及高光譜影像進行對位並疊合成複數多維度影像；將不同角度之多維度影像拼接，以建立該目標物之三維立體模型；並透過一光譜分析演算法分析該三維立體模型之至少一生物特徵，並將該至少一生物特徵融合在該三維立體模型之每一像素中。藉由本發明，使用者點選三維立體模型中的任一像素，即可得到多種生物特徵的分析結果。

Description

高光譜三維影像建模之裝置與方法
本發明係有關一種影像處理的技術，特別是指一種高光譜三維影像建模之裝置與方法。
科技務農的技術逐漸提升，藉由科技方法控制農作物的生長狀況，可得到最佳的產出率和良品保證。但植株的健康狀態、營養是否足夠、葉綠素含量多寡等等皆需要即時監控，栽植人員才能即時在病徵出現前採用相應的園藝操作預防果樹疾病的發生。
目前有一種方法是透過三維雲空間訊息與高光譜圖像組合而形成高光譜三維植物立體模型，但在高光譜三維植物立體模型上單次只能顯示單筆光譜資訊。於是，不但無法顯示複合的光譜資訊，也將無法提供使用者對物體全面性的參照。另有一種利用高光譜成像設備獲得植物的波段圖像的方法，其係運用運動結構法重建植物三維立體建模。然而，高光譜影像解析度過低，因此所重建的三維模型並不完整，且皆使用單波段進行建模，並無使用多波段的高光譜演算法提供光譜資訊。另有一種透過雷射測距儀量測點雲數據，再結合光譜數據、形態數據以監測植物活力的方法。但此類的監測方法並無將三維模型與光譜數據進行融合，而無法達到非侵入式的植物疾病檢測。再有一種方法是基於運動結構法對蒐集到的高光譜數據進行建模，並 將空間維度及頻譜維度組合而生成三維內容。然而，此種方法並無建立物體的三維立體模型，且並未對高光譜資料進行分析，而無法提供有效參考值。
有鑑於此，本發明針對上述習知技術之缺失及未來之需求，提出一種高光譜三維影像建模之裝置與方法，以有效解決上述該等問題，具體架構及其實施方式將詳述於下：
本發明之主要目的在提供一種高光譜三維影像建模之裝置與方法，其利用可見光影像與高光譜影像對位建立目標物的三維立體模型，且藉由高光譜的光譜分析演算法分析每一像素中每一維度的生物特徵，以達到在三維立體模型中包含多種生物特徵資料，多面向監控植株的目的。
本發明之另一目的在提供一種高光譜三維影像建模之裝置與方法，其利用高光譜相機可擷取目標物在同一角度的多張不同波段的高光譜影像，以進行不同的成分分析。
本發明之再一目的在提供一種高光譜三維影像建模之裝置與方法，其利用三維建模的方式重現植株的三維立體模型，並將分析出的多種生物特徵資料融合到三維立體模型中，便於使用者查詢三維立體模型中每一位置的成分組成。
為達上述目的，本發明提供一種高光譜三維影像建模之裝置，包括：一第一影像感測元件，擷取一目標物不同角度的複數可見光影像；一第二影像感測元件，設置於該第一影像感測元件的一側，擷取該目標物不同角度的複數高光譜影像；以及一處理模組，連接該第一影像感測元件及該第二 影像感測元件，將每一角度之該等可見光影像及該等高光譜影像進行對位並疊合成複數多維度影像後，再將不同角度之該等多維度影像拼接，以建立該目標物之一三維立體模型，再透過一光譜分析演算法分析該三維立體模型之至少一生物特徵，並將該至少一生物特徵融合在該三維立體模型之每一像素中。
依據本發明之實施例，該第一影像感測元件為相機，該第二影像感測元件為高光譜相機。
依據本發明之實施例，該第一影像感測元件及該第二影像感測元件係設置於同一水平面。
依據本發明之實施例，該等高光譜影像中包括該目標物之同一角度在不同維度之複數高光譜影像。
依據本發明之實施例，該至少一生物特徵係對應不同維度之高光譜影像。
依據本發明之實施例，該至少一生物特徵包括水分、糖分、葉綠素。
依據本發明之實施例，該等可見光影像及該等高光譜影像係利用至少一特徵點演算法進行影像對位，該特徵點演算法包括加速分割測試特徵提取演算法(Features from Accelerated Segment Test,FAST)、尺度不變特徵轉換演算法(Scale-invariant feature transform,SIFT)或加速穩健特徵演算法(Speeded Up Robust Features,SURF)。
依據本發明之實施例，該光譜分析演算法包括主成分迴歸演算法(Principal components Regression,PCR)或淨最小平方迴歸演算法(partial least squares regression,PLSR)。
本發明另提供一種高光譜三維影像建模之方法，包括下列步驟：利用一第一影像感測元件及一第二影像感測元件，分別擷取一目標物不同角度的複數可見光影像及複數高光譜影像；將每一角度之該等可見光影像及該等高光譜影像進行對位並疊合成複數多維度影像；將不同角度之該等多維度影像拼接，以建立該目標物之一三維立體模型；以及透過一光譜分析演算法分析該三維立體模型之至少一生物特徵，並將該至少一生物特徵融合在該三維立體模型之每一像素中。
10:高光譜三維影像建模之裝置
12:第一影像感測元件
14:第二影像感測元件
16:處理模組
20:可見光影像
22:高光譜影像
24:三維立體模型
第1圖為本發明高光譜三維影像建模之裝置之一實施例之立體圖。
第2圖為本發明高光譜三維影像建模之方法之流程圖。
第3圖為本發明高光譜三維影像建模之裝置與方法之實施例示意圖。
第4圖為利用本發明分析生物特徵資訊之曲線圖範例。
本發明提供一種高光譜三維影像建模之裝置與方法，可用於植株的監控，例如監控果樹的生長狀態、果實成熟度、甜度、是否生病等，以便在第一時間進行治療或改善。
請參考第1圖，其為本發明高光譜三維影像建模之裝置一實施例之立體圖。本發明之高光譜三維影像建模之裝置10包含一第一影像感測元件12、一第二影像感測元件14及一處理模組16。第一影像感測元件12為一般的相機，用以擷取一目標物不同角度的複數可見光影像，可見光的波段為500~700nm，第一影像感測元件12擷取的可見光影像彩色影像。第二影像感測元件14設置於第一影像感測元件12的一側，用以擷取目標物不同角度的複數高光譜影像。在本發明之實施例中，第二影像感測元件14為高光譜相機，除了可見光的波段之外，還可擷取到波段小於500nm、大於700nm的影像，例如可擷取400~1700nm的影像。由於波段範圍大，可設定分別擷取多個波段的影像，例如波長400~600nm擷取一張影像，波長600~800nm擷取一張影像，以此類推。因此在同一個視角對著目標物，利用高光譜相機就可擷取到複數張不同波段的影像。處理模組16連接第一影像感測元件12及第二影像感測元件14，接收該二者所擷取之可見光影像及高光譜影像並進行影像處理。具體流程請同時參考第2圖。
第2圖為本發明高光譜三維影像建模之方法之流程圖。首先於步驟S10中，利用第一影像感測元件12及第二影像感測元件14，分別擷取一目標物不同角度的複數可見光影像及複數高光譜影像。接著步驟S12中，利用處理模組16將每一角度之可見光影像及高光譜影像進行對位並疊合成複數不同波段的多維度影像。此步驟中，利用至少一特徵點演算法在可見光影像與高光譜影像上分別取複數特徵點，再利用這些特徵點對可見光影像與高光譜影像進行影像對位，此特徵點演算法包括加速分割測試特徵提取演算法(Features from Accelerated Segment Test,FAST)、尺度不變特徵轉換演算法 (Scale-invariant feature transform,SIFT)或加速穩健特徵演算法(Speeded Up Robust Features,SURF)。本發明之高光譜三維影像建模之裝置10可將第一影像感測元件12與第二影像感測元件14擺在同一水平面，使特徵點的對位更為精確快速。此外，由於第一影像感測元件12與第二影像感測元件14已結合在高光譜三維影像建模之裝置10中，所以可固定二者的相對座標，更有利於特徵點對位。縱使將高光譜三維影像建模之裝置10放置在移動裝置上，如無人車、無人機，同樣可將擷取的可見光影像及高光譜影像快速對位，並疊合成多維度影像。
接著步驟S14中，處理模組16將不同角度之該些多維度影像拼接，以建立目標物之一三維立體模型。舉例來說，對該些多維度影像進行拼接的方法如同利用多張影像拼接成環景影像的方法，在此不再贅述。最後，如步驟S16所述，處理模組16透過一光譜分析演算法對三維立體模型進行分析，找出其中是否包含至少一生物特徵及其含量，並將生物特徵包含在三維立體模型之每一像素中。本發明中，光譜分析演算法包括主成分迴歸演算法(Principal components Regression,PCR)或淨最小平方迴歸演算法(Partial Least Square Regression,PLSR)等，可使精細度達到1像素內。生物特徵包括水分、糖分、葉綠素等。每一生物特徵係對應不同維度之高光譜影像，假設糖分的特徵波段為600~1000nm，則將在這些波段內的高光譜影像利用上述光譜分析演算法進行計算，即可得到糖分含量或是甜度值。
第3圖為本發明高光譜三維影像建模之裝置與方法之實施例示意圖。圖中以一棵樹為例，可見光影像20為彩色影像，高光譜影像22為灰階影像，且包含同一視角、同一時間、不同波段的多張高光譜影像22。先擷取某 一視角的可見光影像20與高光譜影像22，將二者進行影像對位(如圖中可見光影像20與高光譜影像22之間的線條連結)，疊合後得到此視角的多維度影像。接著再將不同角度的多維度影像進行拼接，即可得到此棵樹的三維立體模型24。
本發明中假設每一個位置的光源都相當充足，使擷取到的影像都相當清晰，足以利用光譜分析演算法進行成分分析。但在另一未繪示的實施例中，高光譜三維影像建模之裝置更可包括一補光燈。因此，若有光源不足的位置，則可利用補光燈進行打光補強。最終得到不論各個角度皆有精確生物特徵資料的目標物三維立體模型。
由於本發明將生物特徵融合在三維立體模型中，因此使用者只要點擊三維立體模型上的任一位置，便可顯示出該位置的生物特徵，例如該位置的糖分含量、水分含量、葉綠素含量等。或是顯示該位置的成分曲線圖。如第4圖所示。
第4圖為利用本發明分析生物特徵資訊之曲線圖範例。其為第3圖中反白箭頭所指處，對應波長400~1800nm之反射率曲線。舉例來說，此位置包含8個像素，因此曲線圖中有8條曲線，分別對應每一像素。在波長600nm的波段，有兩個像素的反射率為0.8，遠超出其他六個像素的反射率0.2~0.3。由於糖分的特徵波段為600~1000nm，因此可判斷在反射率為0.8的兩個像素點具有果實，才會使反射率高於其他像素。
再以蓮霧果實做糖度預測為例。須先建立蓮霧果實的光譜資料庫與糖度預測演算模型。因此使用了自行開發的同軸式高光譜成像系統(包含可見光和高光譜的相機)來建立光譜資料庫，該儀器光譜範圍包括可見光 450nm至1650nm的紅外光，以收集蓮霧果實表面的光譜信息以獲得甜度信息。藉由高光譜的光譜分析演算法來選擇出蓮霧糖度的光譜特徵波段，目前在蓮霧糖度所選擇進行回歸的特徵波段為650nm、950nm、1350nm等。將這些特徵波段藉由上述光譜分析演算法來計算蓮霧果實的真實糖度，目前對於蓮霧果實真實糖度的預測誤差為±1Brix內。
綜上所述，本發明所提供之一種高光譜三維影像建模之裝置與方法係將高光譜感測器與可見光感測器結合，不但利用可見光影像建立三維立體模型，並利用分析不同波段的高光譜影像，對目標物的營養成分分布、生長情況、地質狀況等做詳細的分析，再將分析結果融合到三維立體模型中。如此一來，藉由三維立體模型呈現光譜分析結果，以便利且直觀的方式讓使用者觀看。由於本發明是利用光譜快速且非破壞性的特質提供非侵入式的檢測，可應用於果實品質分級與相關農產監控，將可以大幅提升農產相關附加價值。此外，本發明還不限於農業檢測，其影像融合及高光譜影像分析技術亦可延伸應用在其他物體的檢測分析上。
唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

Claims (16)

  1. 一種高光譜三維影像建模之裝置，包括：一第一影像感測元件，擷取一目標物不同角度的複數可見光影像；一第二影像感測元件，設置於該第一影像感測元件的一側，擷取該目標物不同角度的複數高光譜影像；以及一處理模組，連接該第一影像感測元件及該第二影像感測元件，將每一角度之該等可見光影像及該等高光譜影像進行對位並疊合成複數多維度影像後，再將不同角度之該等多維度影像拼接，以建立該目標物之一三維立體模型，再透過一光譜分析演算法分析該三維立體模型之至少一生物特徵，並將該至少一生物特徵融合在該三維立體模型之每一像素中。
  2. 如請求項1所述之高光譜三維影像建模之裝置，其中該第一影像感測元件為相機，該第二影像感測元件為高光譜相機。
  3. 如請求項1所述之高光譜三維影像建模之裝置，其中該第一影像感測元件及該第二影像感測元件係設置於同一水平面。
  4. 如請求項1所述之高光譜三維影像建模之裝置，其中該等高光譜影像中包括該目標物之同一角度在不同維度之複數高光譜影像。
  5. 如請求項4所述之高光譜三維影像建模之裝置，其中該至少一生物特徵係對應不同維度之高光譜影像。
  6. 如請求項1所述之高光譜三維影像建模之裝置，其中該至少一生物特徵包括水分、糖分、葉綠素。
  7. 如請求項1所述之高光譜三維影像建模之裝置，其中該等可見光影像及該等高光譜影像係利用至少一特徵點演算法進行影像對位， 該特徵點演算法包括加速分割測試特徵提取演算法(Features from Accelerated Segment Test,FAST)、尺度不變特徵轉換演算法(Scale-Invariant Feature Transform,SIFT)或加速穩健特徵演算法(Speeded Up Robust Features,SURF)。
  8. 如請求項1所述之高光譜三維影像建模之裝置，其中該光譜分析演算法包括主成分迴歸演算法(Principal Components Regression,PCR)或淨最小平方迴歸演算法(Partial Least Squares Regression,PLSR)。
  9. 一種高光譜三維影像建模之方法，包括下列步驟：利用一第一影像感測元件及一第二影像感測元件，分別擷取一目標物不同角度的複數可見光影像及複數高光譜影像；將每一角度之該等可見光影像及該等高光譜影像進行對位並疊合成複數多維度影像；將不同角度之該等多維度影像拼接，以建立該目標物之一三維立體模型；以及透過一光譜分析演算法分析該三維立體模型之至少一生物特徵，並將該至少一生物特徵融合在該三維立體模型之每一像素中。
  10. 如請求項9所述之高光譜三維影像建模之方法，其中該第一影像感測元件為相機，該第二影像感測元件為高光譜相機。
  11. 如請求項9所述之高光譜三維影像建模之方法，其中該第一影像感測元件及該第二影像感測元件係設置於同一水平面。
  12. 如請求項9所述之高光譜三維影像建模之方法，其中該等高光譜影像中包括該目標物之同一角度在不同維度之複數高光譜影像。
  13. 如請求項12所述之高光譜三維影像建模之方法，其中該至少一生物特徵係對應不同維度之高光譜影像。
  14. 如請求項9所述之高光譜三維影像建模之方法，其中該至少一生物特徵包括水分、糖分、葉綠素。
  15. 如請求項9所述之高光譜三維影像建模之方法，其中該等可見光影像及該等高光譜影像係利用至少一特徵點演算法進行影像對位，該特徵點演算法包括加速分割測試特徵提取演算法(Features from Accelerated Segment Test,FAST)、尺度不變特徵轉換演算法(Scale-Invariant Feature Transform,SIFT)或加速穩健特徵演算法(Speeded Up Robust Features,SURF)。
  16. 如請求項9所述之高光譜三維影像建模之方法，其中該光譜分析演算法包括主成分迴歸演算法(Principal Components Regression,PCR)或淨最小平方迴歸演算法(Partial Least Squares Regression,PLSR)。
TW109128783A 2020-08-24 2020-08-24 高光譜三維影像建模之裝置與方法 TWI728902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109128783A TWI728902B (zh) 2020-08-24 2020-08-24 高光譜三維影像建模之裝置與方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109128783A TWI728902B (zh) 2020-08-24 2020-08-24 高光譜三維影像建模之裝置與方法

Publications (2)

Publication Number Publication Date
TWI728902B true TWI728902B (zh) 2021-05-21
TW202209260A TW202209260A (zh) 2022-03-01

Family

ID=77036233

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109128783A TWI728902B (zh) 2020-08-24 2020-08-24 高光譜三維影像建模之裝置與方法

Country Status (1)

Country Link
TW (1) TWI728902B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI779867B (zh) * 2021-10-07 2022-10-01 國立陽明交通大學 4d高光譜影像建模之方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101718683A (zh) * 2009-11-10 2010-06-02 中国农业大学 快速检测叶片叶绿素含量的装置、建模方法及检测方法
CN102081039A (zh) * 2010-08-17 2011-06-01 江苏大学 一种环境可控的作物营养水分高光谱图像检测装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101718683A (zh) * 2009-11-10 2010-06-02 中国农业大学 快速检测叶片叶绿素含量的装置、建模方法及检测方法
CN102081039A (zh) * 2010-08-17 2011-06-01 江苏大学 一种环境可控的作物营养水分高光谱图像检测装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jurado, Juan Manuel, et al. "Multispectral mapping on 3D models and multi-temporal monitoring for individual characterization of olive trees." Remote Sensing 12.7 (2020): 1106. 2020/03/31 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI779867B (zh) * 2021-10-07 2022-10-01 國立陽明交通大學 4d高光譜影像建模之方法

Also Published As

Publication number Publication date
TW202209260A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
Liu et al. Estimating leaf area index using unmanned aerial vehicle data: shallow vs. deep machine learning algorithms
Underwood et al. Mapping almond orchard canopy volume, flowers, fruit and yield using lidar and vision sensors
Tian et al. Computer vision technology in agricultural automation—A review
US20140168412A1 (en) Methods and systems for automated micro farming
López et al. A framework for registering UAV-based imagery for crop-tracking in Precision Agriculture
de Oca et al. The AgriQ: A low-cost unmanned aerial system for precision agriculture
Bao et al. UAV remote sensing detection of tea leaf blight based on DDMA-YOLO
US20180373937A1 (en) Methods and systems for automated micro farming
Lv et al. Modeling of winter wheat fAPAR by integrating Unmanned Aircraft Vehicle-based optical, structural and thermal measurement
Zhao et al. Spatial-aware SAR-optical time-series deep integration for crop phenology tracking
CN113657158A (zh) 基于Google Earth Engine的大尺度大豆种植区域提取算法
Olenskyj et al. End-to-end deep learning for directly estimating grape yield from ground-based imagery
TWI728902B (zh) 高光譜三維影像建模之裝置與方法
Zhou et al. Wheat phenology detection with the methodology of classification based on the time-series UAV images
Rizk et al. Robotized early plant health monitoring system
Izzuddin et al. Analysis of multispectral imagery from unmanned aerial vehicle (UAV) using object-based image analysis for detection of ganoderma disease in oil palm
Swarup et al. Strawberry plant wetness detection using color and thermal imaging
Zhang et al. Chlorophyll content detection of field maize using RGB-NIR camera
Wei et al. Identification of seedling cabbages and weeds using hyperspectral imaging
Barreto et al. Disease incidence and severity of cercospora leaf spot in sugar beet assessed by multispectral unmanned aerial images and machine learning
Wang et al. Monitoring leaf area index of the sown mixture pasture through UAV multispectral image and texture characteristics
De Silva et al. Plant disease detection using deep learning on natural environment images
Husin et al. Distribution map of oil palm fresh fruit bunch using LiDAR
Wijitdechakul et al. A multispectral imaging and semantic computing system for agricultural monitoring and analysis
Okamoto et al. Unified hyperspectral imaging methodology for agricultural sensing using software framework