TW202324297A - 影像分析模型建立方法及其影像分析設備 - Google Patents

Abstract

一種應用於影像分析設備之影像分析模型建立方法，該影像分析設備具有運算處理器與影像取得器。該影像分析模型建立方法包含有將該影像取得器取得之偵測影像劃分為複數張次影像，並將該複數張次影像從空間域轉換為頻率域以生成複數層預處理頻率域資料，另將該複數層預處理頻率域資料經由複數個遮罩和多個濾波器轉換所得之內積結果透過多層感知網路轉換成分析模型輸出層，再根據該分析模型輸出層之類別判讀結果取得該偵測影像之預測結果，以及將該預測結果相比於目標標籤以相應調整該複數層預處理頻率域資料在每一轉換階段之各階段參數。

Description

影像分析模型建立方法及其影像分析設備

本發明係提供一種影像分析模型建立方法及其影像分析設備，尤指一種可提高影像分析效率與準確度的影像分析模型建立方法及其影像分析設備。

監控攝影機可能因為天氣狀態、外力衝撞或使用疲乏下而逐漸失焦，即使監控攝影機執行其自動對焦功能，也難以確保完成自動對焦程序的監控攝影機能持續拍攝到清晰的偵測影像。傳統的監控攝影機會分析偵測影像的空間域資訊以判斷其對焦狀態，然而空間域偵測影像的資料內容龐大，需要大容量記憶單元儲存待測影像，並且需要通過複雜的運算過程及冗長的運算時間才能判斷出偵測影像的對焦狀態。故如何設計一種能快速且正確判別偵測影像是否在準焦狀態的影像辨識方法及相關影像分析設備，即為相關監視器產業的重點發展目標。

本發明係提供一種可提高影像分析效率與準確度的影像分析模型建立方法及其影像分析設備，以解決上述之問題。

本發明之申請專利範圍係揭露一種應用於影像分析設備之影像分析模型建立方法，其中該影像分析設備具有運算處理器與影像取得器。該影像分析模型建立方法包含有將該影像取得器取得之偵測影像劃分為複數張次影像，並將該複數張次影像從空間域轉換為頻率域以生成複數層預處理頻率域資料，另將該複數層預處理頻率域資料經由複數個遮罩和多個濾波器轉換所得之內積結果透過多層感知網路轉換成分析模型輸出層，再根據該分析模型輸出層之類別判讀結果取得該偵測影像之預測結果，以及將該預測結果相比於目標標籤，再依據其比較結果調整該複數層預處理頻率域資料在每一轉換階段之各階段參數，從而優化下一階段之預測結果，找到最佳化分析模型。

本發明之申請專利範圍另揭露一種影像分析設備，其包含有影像取得器以及運算處理器。該影像取得器用來取得偵測影像。該運算處理器電連接該影像取得器，用來將該影像取得器取得之偵測影像劃分為複數張次影像，並將該複數張次影像從空間域轉換為頻率域以生成複數層預處理頻率域資料，另將該複數層預處理頻率域資料經由複數個遮罩和多個濾波器轉換所得之內積結果透過多層感知網路轉換成分析模型輸出層，再根據該分析模型輸出層之類別判讀結果取得該偵測影像之預測結果，以及將該預測結果相比於目標標籤，再依據其比較結果調整該複數層預處理頻率域資料在每一轉換階段之各階段參數，從而優化下一階段之預測結果，找到最佳化分析模型。

本發明透過影像分析模型使用頻率域及機器學習的方法，可以快速並準確地找到最佳化匹配於影像分析模型之輸入影像和預期模型之目標標籤的分類規則, 進而達到影像分析與辨識的目的；本發明可應用於監控系統或各種需要對焦狀態設備, 以確保產品的影像對焦品質。本發明之影像分析模型建立方法及其影像分析設備係將空間域的偵測影像轉換為頻率域的三維矩陣式的複數層預處理頻率域資料，複數層預處理頻率域資料的每一層具有相同的頻率，故透過監督式學習以遮罩和濾波器找到可以自動化分類各層預處理頻率域資料之重要頻率特徵、以及找到判斷偵測影像之對焦狀態的分類規則，能夠在影像分析設備啟用自動對焦功能後，再行輔助性判斷偵測影像是否正確達到準焦狀態，從而確保影像分析設備能取得正確且清晰的影像資料。相較於傳統影像辨識以空間域進行分析處理之技術，本發明所使用影像分析模型的轉換階段之層數較少，學習較有效率且維持較佳的影像分析效率與準確度。

請參閱第1圖，第1圖為本發明實施例之影像分析設備10之功能方塊圖。影像分析設備10可為具有自動對焦功能的網路攝影機，然實際應用不限於此，例如可以應用在機器人視覺、工廠自動化、自駕車、自動導航器、醫療設備、雲端伺服器等各種領域。影像分析設備10可包含電連接在一起的影像取得器12以及運算處理器14。影像取得器12可取得待測區域之偵測影像。影像取得器12可以是直接拍攝影像的攝影單元、也可以是自外部接收影像的接收單元。以監控設備為例，網路攝影機一般會設置在戶外區域，可能因特定環境因素而需偶爾啟用其自動對焦功能；而運算處理器14能用於分析偵測影像之對焦清晰度或其它影像參數，確認影像取得器12啟用自動對焦功能後所取得之偵測影像是否在準焦狀態、或確認偵測影像之特定參數是否符合預定條件。

請參閱第2圖至第6圖，第2圖為本發明實施例之影像分析設備10所取得之偵測影像I之示意圖，第3圖、第5圖與第6圖為本發明實施例之偵測影像I在不同頻率域轉換階段之示意圖，第4圖為本發明實施例之其中一次影像所轉換生成頻率域之示意圖，第7圖為本發明實施例之影像分析模型建立方法之流程圖。第1圖所示之影像分析設備10係可執行第7圖所述之影像分析模型建立方法以判斷偵測影像I是否在準焦狀態。關於影像分析模型建立方法，首先選擇性執行步驟S100，將偵測影像I分成符號打印區R1以及非打印區R2，並在非打印區R2依照預設值劃分為複數張次影像Is。符號打印區R1係指偵測影像I中具有影像分析設備10之編號、啟動日期或啟動時段之區域，其位置不限於偵測影像I的上端。非打印區R2則是偵測影像I之涵蓋待測區域的主要範圍。

符號打印區R1與非打印區R2可以彼此相鄰、或部分重疊、或相互間隔特定距離。此外，複數張次影像Is之任意兩相鄰次影像Is亦可設計為彼此相鄰、或部分重疊、或相互間隔特定距離之形式。符號打印區R1與非打印區R2之相互型態、和相鄰次影像Is之相互型態不限於前揭幾種實施態樣，端依設計需求而定。

請參閱第8圖，第8圖為本發明另一實施例之偵測影像I’劃分為複數張次影像Is之階段的示意圖。在其它可能變化態樣中，影像分析設備10可以不將偵測影像I’分成符號打印區R1以及非打印區R2，而是只將偵測影像I’的特定範圍定義為非打印區R2，並在非打印區R2依照預設值劃分為複數張次影像Is。因此，如第7圖所示步驟S100，可以選擇不區分符號打印區R1與非打印區R2，僅針對預先定義的非打印區R2進行次影像Is之劃分。前述之特定範圍可能是偵測影像I’的中央區域，其位置端依人眼視覺的主要觀察習慣而定，於此不再對可能變化詳加敘明。

接著，執行步驟S102，將複數張次影像Is從空間域轉換為頻率域以生成複數層預處理頻率域資料Dpp。因離散餘弦變換(Discrete Cosine Transform, DCT)具有無損壓縮、頻率獨立且使用實數等特點，本發明較佳會利用離散餘弦變換對次影像Is進行頻率域轉換，選用離散餘弦變換係因具有較佳運算效率考量，然實際應用不限於此，例如也可以選用傅立葉轉換(Fourier Transform, FFT)、小波分析(wavelet)等，端視實際需求而定。如第2圖、第3圖與第5圖所示範例，偵測影像I的影像尺寸可具有2560x1440個像素，符號打印區R1的區域尺寸可具有像素2560x160個像素，非打印區R2的區域尺寸則具有像素2560x1280個像素。若複數張次影像Is的影像尺寸設計為MxN個像素，意即前述之劃分預設值，可轉換生成MxN層的預處理頻率域資料Dpp。數值M與N為大於或等於1之正整數，例如64x64。

此範例中，每一張次影像Is可具有64 x64個像素，意即前述之MxN個像素，偵測影像I的非打印區R2則可由XY矩陣的次影像Is構成，且數值X與Y係為40及20。每一張次影像Is可生成一張頻率域圖，而複數張次影像Is可生成尺寸為第5圖所示的預處理頻率域資料Dpp。如第4圖所示，各頻率域圖之橫軸可對應於預處理頻率域資料Dpp的深度值”MxN”，意即MxN層的預處理頻率域資料Dpp。各頻率域圖之縱軸則為頻率響應之相應變化。如選擇性執行步驟S104，排除複數層預處理頻率域資料Dpp在特定訊號幅度範圍外的頻率響應以作為標準化處理。本實施例較佳只保留頻率域圖在頻率響應之訊號強弱值於正負64以內的頻率域資料，然實際應用不限於此，可以依據影像分析設備10的訓練結果與預測結果作動態調整，選擇可達到最佳化預測結果的數值作為標準化處理之參考，以加速且穩定影像分析模型的收斂。

接下來，執行步驟S106與步驟S108，計算複數層預處理頻率域資料Dpp分別與複數個遮罩Mk的內積以生成第一內積結果IP1，再計算第一內積結果IP1和多個濾波器F的內積以生成第二內積結果IP2作為多層感知網路的輸入層Li，如第6圖所示。遮罩Mk之數量係為MxN個。MxN個遮罩Mk分別與深度1~MxN的各層預處理頻率域資料Dpp計算其內積以得到尺寸為1x1x”MxN”的第一內積結果IP1。第一內積結果IP1再計算與n個濾波器F的內積以得到尺寸為1x1xn的第二內積結果IP2。遮罩Mk和濾波器F的相關資訊係依影像分析模型建立方法或其影像分析設備之設計需求而定，故此不再說明。

接著，執行步驟S110與步驟S112，將第二內積結果IP2作為多層感知網路的輸入層Li以利用多層感知網絡生成分析模型輸出層Lo，再根據分析模型輸出層Lo之類別判斷結果取得偵測影像I的預測結果，如第6圖所示。分析模型輸出層Lo可選擇性包含多個預測類別C；以本發明較佳實施態樣為例，可選擇具有四個預測類別，分別為準焦類別、些微失焦類別、明顯失焦類別、及完全失焦類別。而影像分析模型建立方法係依照輸入層Li之所有輸入值在分析模型輸出層Lo的多個預測類別的分布機率來取得類別判讀結果，例如分析模型輸出層Lo在準焦類別具有最高的分布機率，則認定偵測影像I屬於準焦狀態(意即其預測結果)。預測類別之數量與各類別特性係依影像分析設備10之對焦需求而定，故此不對其它可能變化加以說明。

取得預測結果之後，接續執行步驟S114與步驟S116，將預測結果相比於偵測影像I的目標標籤以計算其誤差，再依據誤差判斷如何調整複數層預處理頻率域資料Dpp在每一轉換階段之各階段參數，從而優化下一次的預測結果以找到最佳化分析模型。其中，影像分析模型的第一轉換階段可依據預處理頻率域資料Dpp與遮罩Mk進行，第二轉換階段再由第一內積結果IP1與濾波器F進行，第三轉換階段則以第二內積結果IP2與多層感知網路進行；轉換階段之層數和代入資料不限於前揭實施態樣，可因應影像分析模型的設計需求而相應調整。前述參數可能是遮罩Mk、濾波器F和/或多層感知網絡的一個或多個權重、變數或特徵，於此不再詳加說明。步驟S116中，其係依照預測結果與目標標籤的誤差直接判斷是否調整預處理頻率域資料Dpp在不同轉換階段的各階段參數、以及參數的調整幅度，達到正確分類最大化之目的。

請參閱第9圖與第10圖，第9圖為第6圖所示實施態樣之另一變化之示意圖，第10圖為第7圖所示流程之另一變化之示意圖。經由步驟S102與S104取得複數層預處理頻率域資料Dpp之後，可依據實際需求增加學習模型的數量，例如學習模型MD_1~MD_i。每一個學習模型會以其特定遮罩Mk、特定濾波器F和特定多層感知網路取得另一生成分析模型輸出層(沒有標記在附圖中以簡化圖式內容)。接著，影像分析設備10再利用多層感知器MP取得該些分析模型輸出層的類別判讀結果。如第10圖所示，步驟S104後，可執行學習模型MD_1的步驟S106、S108與S110，以及學習模型MD_i的步驟S106’、S108’與S110’；學習模型MD_1~MD_i的數量依設計需求而定，不限於第10圖所示實施態樣。接下來，執行步驟S111，以多層感知器MP取得學習模型MD_1~MD_i所生成之多個分析模型輸出層的類別判讀結果，再執行步驟S112與S114完成本發明之影像分析模型建立方法。

綜上所述，本發明透過影像分析模型使用頻率域及機器學習的方法，可以快速並準確地找到最佳化匹配於影像分析模型之輸入影像和預期模型之目標標籤的分類規則, 進而達到影像分析及辨識的目的；本發明可應用於監控系統或各種需要對焦狀態設備, 以確保產品的影像對焦品質。本發明之影像分析模型建立方法及其影像分析設備係將空間域的偵測影像的數個次影像轉換為頻率域的三維矩陣式的複數層預處理頻率域資料，複數層預處理頻率域資料的每一層具有相同的頻率，故透過監督式學習以遮罩和濾波器找到可以自動化分類各層預處理頻率域資料之重要頻率特徵、以及找到判斷偵測影像之對焦狀態的分類規則，能夠在影像分析設備啟用自動對焦功能後，再行輔助性判斷偵測影像是否正確達到準焦狀態，從而確保影像分析設備能取得正確且清晰的影像資料。相較於傳統影像辨識以空間域進行分析處理之技術，本發明所使用影像分析模型的轉換階段之層數較少，學習較有效率且維持較佳的影像分析效率與準確度。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

10:影像分析設備 12:影像取得器 14:運算處理器 I, I’:偵測影像 Is:次影像 R1:符號打印區 R2:非打印區 Dpp:預處理頻率域資料 Mk:遮罩 F:濾波器 IP1:第一內積結果 IP2:第二內積結果 Li:輸入層 Lo:分析模型輸出層 C:預測類別 MD_1~MD_i:學習模型 MP:多層感知器 S100、S102、S104、S106、S108、S110、S112、S114、S116:步驟 S100、S102、S104、S106、S106’、S108、S108’、S110、S110’、S111、S112、S114、S116:步驟

第1圖為本發明實施例之影像分析設備之功能方塊圖。 第2圖為本發明實施例之影像分析設備所取得之偵測影像之示意圖。 第3圖、第5圖與第6圖為本發明實施例之偵測影像在不同頻率域轉換階段之示意圖。 第4圖為本發明實施例之其中一次影像所轉換生成頻率域之示意圖。 第7圖為本發明實施例之影像分析模型建立方法之流程圖。 第8圖為本發明另一實施例之偵測影像劃分為複數張次影像之階段示意圖。 第9圖為第6圖所示實施態樣之另一變化之示意圖。 第10圖為第7圖所示流程之另一變化之示意圖。

S100、S102、S104、S106、S108、S110、S112、S114、S116:步驟

Claims (12)

1. 一種應用於一影像分析設備之影像分析模型建立方法，其中該影像分析設備具有一運算處理器與一影像取得器，該影像分析模型建立方法包含有： 該運算處理器將該影像取得器取得之一偵測影像劃分為複數張次影像，並將該複數張次影像從空間域轉換為頻率域以生成複數層預處理頻率域資料； 該運算處理器將該複數層預處理頻率域資料經由複數個遮罩和多個濾波器轉換所得之一內積結果透過一多層感知網路轉換成一分析模型輸出層； 該運算處理器根據該分析模型輸出層之一類別判讀結果取得該偵測影像之一預測結果；以及 該運算處理器將該預測結果相比於一目標標籤，再依據其比較結果調整該複數層預處理頻率域資料在每一轉換階段之各階段參數，從而優化下一階段之預測結果。
2. 如請求項1所述之影像分析模型建立方法，另包含有： 該運算處理器進一步將該複數層預處理頻率域資料經由其它遮罩和其它濾波器轉換所得之另一結果透過另一多層感知網路生成另一分析模型輸出層；以及 利用一多層感知器取得該分析模型輸出層和該另一分析模型輸出層之該類別判讀結果。
3. 如請求項1所述之影像分析模型建立方法，另包含有： 該運算處理器將該偵測影像之一非打印區依照一預設值劃分出該複數張次影像。
4. 如請求項3所述之影像分析模型建立方法，另包含有： 該運算處理器將該偵測影像分成該非打印區以及一符號打印區，該符號打印區係指該偵測影像中具有該影像分析設備之一編號、一啟動日期或一啟動時段之區域。
5. 如請求項1所述之影像分析模型建立方法，其中該複數張次影像之各次影像係具有MxN個像素，該運算處理器以離散餘弦轉換將該複數張次影像轉換為MxN層的該些預處理頻率域資料，且該複數個遮罩之數量係為MxN個，其中M, N為大於或等於1之正整數。
6. 如請求項1所述之影像分析模型建立方法，另包含有： 該運算處理器排除該複數層預處理頻率域資料在一特定訊號幅度範圍外的頻率響應以執行標準化處理。
7. 如請求項1所述之影像分析模型建立方法，另包含有： 該運算處理器計算該複數層預處理頻率域資料分別與該複數個遮罩之一相對應遮罩的內積以生成一第一內積結果。
8. 如請求項7所述之影像分析模型建立方法，另包含有： 該運算處理器計算該第一內積結果與該多個濾波器的內積以生成一第二內積結果輸入該多層感知網路。
9. 如請求項1所述之影像分析模型建立方法，其中該影像分析模型輸出層包含多個預測類別，該運算處理器係根據該第二內積結果之所有數值結果在該多個預測類別的分布機率以取得該類別判讀結果。
10. 如請求項9所述之影像分析模型建立方法，其中該預測結果係為該偵測影像在該多個預測類別中具有最高分布機率之一預測類別。
11. 如請求項1所述之影像分析模型建立方法，另包含有： 該運算處理器計算該預測結果與該目標標籤之一誤差，再依據該誤差判斷如何調整該複數層預處理頻率域資料在每一轉換階段之各階段參數。
12. 一種影像分析設備，其包含有： 一影像取得器，用來取得一偵測影像；以及 一運算處理器，電連接該影像取得器，用來根據該偵測影像執行如請求項1至請求項11中任一項所述之影像分析模型建立方法。

Images