TWI415012B - 一種基於影像之燃燒品質量測方法 - Google Patents

Description

一種基於影像之燃燒品質量測方法

本發明係有關於一種以基於影像之製程品質量測方法，且特別有關於一種基於影像之燃燒製程品質量測方法。

一般而言，半導體廠或化工廠進行製程監測與診斷等應用之前，會先收集並評估製程相關變數的數據。常見的製程變數包括溫度、壓力、流量...等物理量，這些物理量的感測資訊通常是線上可即時連續獲得的且量測成本較低的，因此在半導體或化工工業中被大量使用，藉以提升工業製程的良率和降低生產成本。

然而，有些製程變數或是產品品質，例如固體表面的塗佈(Coating)濃度、肉品或咖啡豆的品質等，其量測資訊是無法即時獲得的，並且需要等待實驗室分析化驗後才能得知量測結果。由於人力成本和時效之考量，使得該些製程變數或是產品品質量測資訊不易導入實際製程之應用。另外，有些製程變數的感測資訊存在時間延遲特性，或者用來量測該些製程變數之量測分析儀器價格昂貴且維護不易，例如燃燒系統的氣體排放濃度之量測，故使得無法取得即時且可靠的感測資訊。

由於部分工業程序缺乏取得必要資訊的線上感測器，所以傳統非流體品質性質通常無法自動化有效量測，製程也無法導入有效的自動化控制系統，因而造成生產成本過高以及產品品質無法提升。因此，開發可信賴、快速及不昂貴的線上品質感測器，是提高業者市場競爭力之基本需求，其中又以燃燒系統的燃燒品質量測最為重要，因其關連大量的燃料成本與環境保護議題。

近年來隨著半導體產業的蓬勃發展，攝影機等多頻譜影像擷取裝置的成本越來越低，也大量普及於民生及工業用途，因此利用含有豐富資訊的影像來代替無法即時量測品質指標的技術，是最適當的解決方案。

基於上述目的，本發明提出一種基於影像之燃燒品質量測方法，用以藉由計算單元(例如，電腦)，從所擷取之火焰影像萃取出火焰影像之全域特徵，並建立製程參數以及對應製程參數之具強韌性的影像特徵迴歸模型，以便估算無法即時量測之燃燒品質特性，藉以提供即時和更可靠的量測資訊，並作為燃燒系統監測與控制之延伸應用。

本發明實施例揭露了一種基於影像之燃燒品質量測方法。此方法利用一影像擷取裝置取得一爐膛內含火焰影像之一原始影像，並且利用至少一色彩空間將原始影像轉換映射至一維度空間。接著，利用一數學函數對轉換後之影像中之每一維度的影像空間進行全域特徵選取。當取得各維度的特徵後，即根據選取的影像特徵產生一特徵向量，並且對特徵向量執行資料前處理操作。執行資料前處理操作後，根據先前實驗所得之複數個量測參數，利用一迴歸技術建立製程參數之至少一迴歸模型，並且利用已建立之迴歸模型來推估後續製程的量測參數。

為了讓本發明之目的、特徵、及優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式第1圖至第10圖，做詳細之說明。本發明說明書提供不同的實施例來說明本發明不同實施方式的技術特徵。其中，實施例中的各元件之配置係為說明之用，並非用以限制本發明。且實施例中圖式標號之部分重複，係為了簡化說明，並非意指不同實施例之間的關聯性。

本發明實施例揭露了一種基於影像之燃燒品質量測方法。

本發明實施例之基於影像之燃燒品質量測方法係藉由各種製程環境中得到的資訊含量充分之原始影像，結合多維度影像特徵萃取之演算法，以便由原始影像萃取出全域特徵。該全域特徵具有物理含意且對外界干擾具有強韌性，並能有較廣的適用性。藉由資料前處理技術和迴歸模型的導入，建立影像和品質量測之關係，以作為線上即時品質量測之推論模型。本發明實施例之裝置與方法所使用的迴歸技術，需對訓練集合外之影像的品質推估具備容忍性，也就是要具有可接受之準確度以確保其可信賴度。

除了基於影像之虛擬品質感測外，本發明實施例之基於影像之燃燒品質量測方法也涵蓋基於視覺之監測與控制，其所產生之衍生利益相當可觀，特別是高科技產業的應用。

第1圖係顯示本發明實施例之基於影像之燃燒品質量測方法的步驟流程圖。本實施例之基於影像之燃燒品質量測方法主要分為兩個階段，第一階段為特徵萃取，主要是針對多維度影像的特徵進行萃取，而第二階段為參數推估，主要是影像特徵與製程參數的迴歸。

參考第2圖，在多維度影像特徵萃取階段中，原始影像可被萃取出多種維度之影像空間，例如是一維之灰階(Gray)空間、二維之多變量(如T-image)空間或是三維之RGB空間。請回到第1圖，假設原始影像包含RGB之三維影像資訊，以解析度492×658的影像為例，該影像共包括323736個像素。由於其資料量過大，故需從大量的像素資料中萃取出有代表性之影像特徵。本發明方法係將原始影像進行空間轉換(步驟S31)，在本實施例中係可分別利用灰階投影和多變量影像分析(Multivariate Image Analysis,MIA)將原始影像轉換映射至一維的灰階空間和二維的T-image空間，以產生一維的灰階空間和二維的T-image空間，然後利用基於亮度值之累加分配函數(Cumulative Distribution Function,CDF)對轉換後之影像進行灰階、T-image和原始RGB空間的全域特徵選取(步驟S32)。上述操作可以有效將原始影像的像素分別減至為256、512以及768個特徵數。當取得各維度的特徵後，即根據取得之全部影像特徵產生特徵向量(步驟S34)。需注意到，在本發明之其它實施例中亦可僅選取不同維度空間中之部分全域影像特徵，即區域影像特徵之區域選定(步驟S33)，以產生特徵向量(步驟S34)。

本發明提出的特徵萃取法具有重要的物理意義，故能達成高準確度的分析。以一張爐膛火焰的原始影像為例，當進行了一維灰階空間轉換之後，經由CDF所繪得之影像全域特徵向量曲線如第3圖所示，橫軸表示為0至255之亮度值，而縱軸表示為0至1的維度像素面積累加比例值。在本實施例中，灰階強度小的區域即為原始影像亮度較灰暗之部位，例如灰階強度值<10，可表示爐壁部分，灰階強度大的區域即為原始影像亮度較明亮之部位，例如灰階強度≧235，可表示火焰內心，然而介於中等的灰階強度則分別表示火焰及其外圍部分，因此從火焰影像的特徵向量可解讀火焰的燃燒狀況。

在此實施例之步驟S32中，亦可利用基於幾何座標的累加分配函數對轉換後之影像進行灰階、T-image和原始RGB空間的全域特徵選取。同樣地，以一張爐膛火焰的原始影像為例，當進行了一維灰階空間轉換之後，經由基於幾何座標之CDF可繪得X座標累積映射強度曲線以及Y座標累積映射強度曲線，分別作為影像在X方向與Y方向上的幾何特徴曲線。

舉例而言，X座標累積映射強度曲線之求法為：計算出每欄(即每縱向單位)之平均灰階值，再將各欄平均灰階值除以”各欄平均灰階值之加總”，以得到標準化之X方向映射強度曲線，如第4A圖下方第一個座標圖所示。此時，橫軸表示為X座標，而縱軸表示映射強度值，曲線下方的面積應為1。接著，將此X方向映射強度曲線由左至右進行累加，以得到X座標累積映射強度曲線，如第4A圖下方第二個座標圖所示。此時，橫軸表示為X座標，而縱軸表示累積映射強度值。相對地，Y座標累積映射強度曲線之求法為計算出每列(即每橫向單位)之平均灰階值，再將各列平均灰階值除以”各列平均灰階值之加總”，以得到標準化之Y方向映射強度曲線，如第4B圖左方第一個座標圖所示。此時，橫軸表示為Y座標，而縱軸表示映射強度值，曲線下方的面積應為1。接著，將此Y方向映射強度曲線由左至右進行累加，以得到Y座標累積映射強度曲線，如第4B圖左方第二個座標圖所示。此時，橫軸表示為Y座標，而縱軸表示累積映射強度值。

幾何座標特徴曲線的物理意義在於X、Y座標累積映射強度曲線為X、Y軸方向之投影，故以火焰影像而言，所在的X、Y位置代表X、Y座標累積映射強度曲線的斜率較大之處。因此，X、Y座標累積映射強度曲線具有火焰影像之位置資訊。基於亮度值之CDF所到的特徴曲線係以影像明亮度為基礎，且其物理意義在於累積明亮度的比例，但如果火焰的明亮度不變，而位置有所差異時，應僅能得到相同的特徴曲線。然而，火焰位置改變的資訊會反應在幾何特徴曲線的改變上，故，X、Y座標累積映射強度曲線可以補強基於亮度值之CDF所到的特徴曲線在影像幾何座標資訊上的不足。在此實施例之步驟S32中，亦可同時以基於亮度值與幾何座標之累加分配函數對轉換後之影像進行灰階、T-image和原始RGB空間的全域特徵選取。

本發明所提出之多維度影像特徵萃取技術的特點為：(1)所取得之全域影像特徵具廣泛適用性及強韌性，其中自影像擷取的所有特徵能適用於各應用平台及異常狀況，而採用累加分配函數(CDF)的作法則因為含有累加的處理，所以其計算的特徵會較具有強韌性；(2)影像特徵具有淺顯易懂的物理意義，其中根據累加分配函數(CDF)所取得之每一點特徵表示小於某明亮度之面積比例，故容易從一維(度)特徵描述高維(度)的影像狀況；(3)本發明之影像特徵萃取技術不受限於影像的訓練集合或設定門檻值，例如傳統以MIA為基礎(MIA-based)的特徵萃取，若要推估的影像超出建模階段的影像訓練集合，則無法進行特徵萃取，此外典型灰階影像的特徵萃取需定義一個門檻值參數；以及(4)本發明方法在運用上簡單且快速，其中概念簡單有效且計算量少。

特徵向量已於特徵萃取階段時從火焰影像中擷取出來，包括灰階之特徵、T-image之特徵與RGB之特徵，之後進入參數推估階段，請參考第1圖，其包括前處理流程、量測資訊以及迴歸模型建立。其中，量測資訊包含製程參數的量測(如爐膛的溫度及排放氣體濃度)。

在參數推估階段中，需將萃取出之特徵向量進行資料前處理(步驟S35)，例如：特徵向量過濾與延遲處理(時間延遲)。在對特徵向量過濾方面，主因是火焰在爐膛為立體分佈，而影像是火焰在平面上之投影。因此，在同樣的製程操作條件下，會有火焰影像的大小不同，但是排放氣體濃度等量測相同的情況發生，所以就需要先對火焰影像的特徵向量過濾，進行移動平均的運算。至於在延遲處理方面，假設量測製程參數是針對排放的氣體濃度進行量測，因為氣體濃度的量測可能受到氣體分析儀的取樣延遲(Time Delay)，故在建立迴歸模型前，需將此因素納入考慮。

另一方面，可根據先前實驗所得之量測參數300例如為：如爐膛的溫度及排放氣體濃度，利用迴歸技術來建立出氣體濃度之一迴歸模型(步驟S36)。針對燃燒系統，建立迴歸模型所使用的迴歸方式可以選擇：主成分迴歸(Principal Component Regression，PCR)、部分最小平方(Partial Least Square，PLS)、類神經網路(Neural Network，NN)、具主成分分析之類神經網路(Neural Network with Principal Component Analysis(PCA))等迴歸模型。要說明的是，迴歸模型的建立(即步驟S36)僅需在第一次使用時建立即可，當後續使用時，待資料前處理(步驟S35)完成，即可與建立好的氣體濃度迴歸模型進行比對，最後再來推估後續製程的量測參數(步驟S37)。

需注意到，本發明實施例之基於影像之燃燒品質量測方法所使用之色彩空間包括：灰階、MIA、RGB、HSB(Hue/Saturation/Brightness)、HSL(Hue/Saturation/Lightness)、HSV(Hue/Saturation/Value)、YIQ(Luminace/Inphase/Quadrature)、CMYK(Cyan/Magenta/Yellow/Black)、YUV(Luminace/Chrominance)、YCbCr(Luminace/blue and red Chrominance)或是溫度場，但其並非用以限制本發明。

本發明實施例之基於影像之燃燒品質量測裝置已獲得實際驗證，其中燃燒機使用重油作為燃料，而空氣來源為直驅式空壓機，使用氣體分析儀和影像擷取裝置來蒐集爐膛影像和製程參數，其中操作條件及相關設定如下：操作變數：調整空氣流量/燃料流量；輸出參數：火焰影像，並測量排氣口氣體之CO、CO₂ 、NO_X 與O₂ 濃度資訊；採樣頻率：每秒記錄1張火焰影像與1筆氣體濃度數據；採樣時間：每次改變燃燒空氣流量，每次至少收集5~10分鐘數據；以及穩定狀態：爐內溫度升溫至1,000度並穩定。

將實驗數據分成兩部分，一部份是訓練資料，用來建構三種迴歸模型，分別是利用灰階空間、MIA空間和RGB空間所萃取之影像特徵和排放氣體濃度建立的PLS迴歸模型，另一部份為用來驗證迴歸模型之準確度。三種迴歸模型所推估的參數分別為爐壁溫度、O₂ 和NO濃度，迴歸模型與實際量測值的趨勢圖分別如第5A～7C圖所示，其中橫軸代表時間，而縱軸是物理量，虛線是根據火焰影像所推估的物理量，實線則是實際量測值。第5A～第5C圖為以灰階空間轉換建立之迴歸模型與實際量測值的趨勢圖，由第5A圖的爐壁溫度推估、第5B圖的O₂ 濃度推估以及第5C圖的NO濃度推估，皆可看出與實際量測值之誤差是很小的。而第6A～第6C圖為以MIA空間轉換建立之迴歸模型與實際量測值的趨勢圖，由第6A圖的爐壁溫度推估、第6B圖的O₂ 濃度推估以及第6C圖的NO濃度推估，皆可看出與實際量測值之誤差是很小的。第7A～第7C圖為以RGB空間轉換建立之推估模型與實際量測值的趨勢圖，由第7A圖的爐壁溫度推估、第7B圖的O₂ 濃度推估以及第7C圖的NO濃度推估，皆可看出與實際量測值之誤差是很小的。

此外，三種空間轉換迴歸模型之爐壁溫度、O₂ 和NO濃度之實際值和推估值的散佈圖分別如第8A～8C圖所示，第8A圖灰階空間轉換所建立的迴歸模型，可以看出爐壁溫度、O₂ 和NO濃度的推估值與實際值呈現趨近線性的關係；第8B圖的MIA空間轉換建立的迴歸模型與第8C圖RGB空間轉換建立的迴歸模型也相同的可以看出爐壁溫度、O₂ 和NO濃度的推估值與實際值呈現趨近線性的關係，這表示本實施例之量測方法可以得到高的準確度的推估結果。

其中推估誤差如第9圖的表格所示。比較的推估誤差指標有均方根誤差(Root-Mean-Square Error，RMSE)、平均絕對誤差(Mean Absolute Error，MAE)以及絕對平均百分比誤差(Mean Absolute Percentage Error，MAPE)，相對應之誤差指標的定義也列於第9圖的表格。從結果發現，本實施例之基於影像之燃燒品質量測方法可以得到非常高準確度的氣體濃度推估結果，且隨著越高維的特徵擷取，推估準確度更加提高。

本發明實施例之基於影像之燃燒品質量測方法可以從各種製程環境中擷取資訊含量夠豐富之影像，並結合了多維度影像特徵萃取之演算法，將原始照片萃取出影像的全域特徵。此影像特徵能具有物理含意且對外界擾動具有強韌性，並能有較廣的適用性。接著，藉由資料前處理技術和迴歸模型的導入，建立影像和製程量測之迴歸關係以作為線上即時品質量測之推論模型，此階段之迴歸技術需對訓練集合外之影像的品質推估要具容忍性，也就是要具有可接受之準確度來確保其可信賴度，所開發之虛擬感測器可以推估燃燒系統的爐壁溫度和O₂ 、CO、CO₂ 、NO_x 、SO_x 等氣體濃度。

本發明實施例另揭露一種用以執行基於影像之燃燒品質量測方法之電腦程式之儲存媒體。第10圖係顯示本發明實施例之電腦可讀取儲存媒體的示意圖。本發明實施例之電腦可讀取儲存媒體1000用以儲存一電腦程式1500。電腦程式1500用以載入至一電腦系統中，並且使得上述電腦系統執行如前所述之基於影像之燃燒品質量測方法之步驟。電腦程式1500主要包括取得一原始影像之程式邏輯1510、利用至少一色彩空間將原始影像轉換映射至一維度空間之程式邏輯1520、利用一數學函數對該轉換後影像中之每一維度的影像進行全域特徵選取之程式邏輯1530、根據選取或全部的影像特徵產生一特徵向量之程式邏輯1540、對該特徵向量執行資料前處理操作之程式邏輯1550、根據先前實驗所得之複數個量測參數並利用一迴歸技術建立氣體濃度之至少一迴歸模型之程式邏輯1560以及利用已建立之迴歸模型來推估後續製程的量測參數之程式邏輯1570。

本發明之方法，或特定型態或其部份，可以以程式碼的型態存在。程式碼可以包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置。程式碼也可以透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置。當在一般用途處理單元實作時，程式碼結合處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

300．．．量測參數

1000．．．電腦可讀取儲存媒體

1500．．．電腦程式

1510～1570．．．程式邏輯

S31～S37．．．流程步驟

第1圖係顯示本發明實施例之基於影像之燃燒品質量測方法的步驟流程圖。

第2圖係顯示本發明實施例之影像空間轉換的示意圖。

第3圖係顯示本發明實施例之影像全域特徵的示意圖。

第4A圖係顯示本發明實施例之影像全域特徵的另一示意圖。

第4B圖係顯示本發明實施例之影像全域特徵的另一示意圖。

第5A～第5C圖係顯示本發明實施例之以灰階空間轉換建立之迴歸模型所推估的爐壁溫度、O2和NO濃度與實際量測值的趨勢圖。

第6A～第6C圖係顯示本發明實施例之以MIA空間轉換建立之迴歸模型所推估的爐壁溫度、O2和NO濃度與實際量測值的趨勢圖。

第7A～第7C圖係顯示本發明實施例之以RGB空間轉換建立之迴歸模型所推估的爐壁溫度、O2和NO濃度與實際量測值的趨勢圖。

第8A圖係顯示本發明實施例之以灰階空間轉換建立的迴歸模型所推估的爐壁溫度、O2和NO濃度推估值和實際值的散佈圖。

第8B圖係顯示本發明實施例之以MIA空間轉換建立的迴歸模型所推估的爐壁溫度、O2和NO濃度推估值和實際值的散佈圖。

第8C圖係顯示本發明實施例之以RGB空間轉換建立的迴歸模型所推估的爐壁溫度、O2和NO濃度推估值和實際值的散佈圖。

第9圖係顯示本發明實施例之PLS之誤差指標的示意圖。

第10圖係顯示本發明實施例之電腦可讀取儲存媒體的示意圖。

300．．．量測參數

S31～S37．．．流程步驟

Claims (14)

1. 一種基於影像之燃燒品質量測方法，包括下列步驟：取得一爐膛內含火焰影像之一原始影像；利用至少一色彩空間將該原始影像轉換映射至一維度空間；利用一數學函數對該轉換後影像中之每一維度的影像空間進行全域特徵選取，其中該數學函數為基於亮度值或幾何座標之累加分配函數；根據選取的影像特徵產生一特徵向量；對該特徵向量執行資料前處理操作；根據先前實驗所得之複數個量測參數，利用一迴歸技術建立製程參數之至少一迴歸模型；以及利用已建立之該迴歸模型來推估後續製程的量測參數。
2. 如申請專利範圍第1項所述的基於影像之燃燒品質量測方法，其中利用該色彩空間將該原始影像轉換映射至該維度空間之步驟包括：利用灰階投影將該原始影像轉換映射至一維的灰階空間。
3. 如申請專利範圍第2項所述的基於影像之燃燒品質量測方法，其中利用該數學函數對該轉換後影像中之每一維度的影像空間進行全域特徵選取之步驟包括：利用一基於亮度值之累加分配函數對該原始影像轉換後之該一維影像灰階的空間進行全域特徵選取。
4. 如申請專利範圍第2項所述的基於影像之燃燒品質量測方法，其中利用該數學函數對該轉換後影像中之每一 維度的影像空間進行全域特徵選取之步驟包括：利用一基於幾何座標之累加分配函數對該原始影像轉換後之該一維影像灰階的空間進行全域特徵選取。
5. 如申請專利範圍第1項所述的基於影像之燃燒品質量測方法，其中利用該色彩空間將該原始影像轉換映射至該維度空間之步驟包括：利用多變量影像分析將該原始影像轉換映射至二維的T-image空間。
6. 如申請專利範圍第5項所述的基於影像之燃燒品質量測方法，其中利用該數學函數對該轉換後影像中之每一維度的影像空間進行全域特徵選取之步驟包括：利用一基於亮度值之累加分配函數對該原始影像轉換後之該二維的T-image空間進行全域特徵選取。
7. 如申請專利範圍第5項所述的基於影像之燃燒品質量測方法，其中利用該數學函數對該轉換後影像中之每一維度的影像空間進行全域特徵選取之步驟包括：利用一基於幾何座標之累加分配函數對該原始影像轉換後之該二維的T-image空間進行全域特徵選取。
8. 如申請專利範圍第1項所述的基於影像之燃燒品質量測方法，其中利用該數學函數對該轉換後影像中之每一維度的影像空間進行全域特徵選取之步驟包括：利用一基於亮度值之累加分配函數對該原始影像中之原始RGB空間的全域特徵選取。
9. 如申請專利範圍第1項所述的基於影像之燃燒品質量測方法，其中利用該數學函數對該轉換後影像中之每一維度的影像空間進行全域特徵選取之步驟包括：利用一基 於幾何座標之累加分配函數對該原始影像中之原始RGB空間進行全域特徵選取。
10. 如申請專利範圍第1項所述的基於影像之燃燒品質量測方法，其中利用該數學函數對該轉換後影像中之每一維度的影像空間進行全域特徵選取之步驟包括：利用一基於亮度值與幾何座標之累加分配函數對該原始影像中之原始RGB空間進行全域特徵選取。
11. 如申請專利範圍第1項所述的基於影像之燃燒品質量測方法，其中根據該全域特徵選取之部分或全部影像特徵產生該特徵向量。
12. 如申請專利範圍第1項所述的基於影像之燃燒品質量測方法，其中該資料前處理包括：特徵向量過濾(Filter)與延遲處理。
13. 如申請專利範圍第1項所述的基於影像之燃燒品質量測方法，其中該迴歸模型包括：主成分迴歸(PCR)、部分最小平方(PLS)、類神經網路(NN)、具主成分分析之類神經網路(Neural Network with PCA)。
14. 如申請專利範圍第1項所述的基於影像之燃燒品質量測方法，其中該色彩空間包括：灰階、MIA、RGB、HSB、HSL、HSV、YIQ、CMYK、YUV、YC_b C_r 或溫度場。