TW201832178A - 影像辨識加速器系統 - Google Patents

影像辨識加速器系統 Download PDF

Info

Publication number
TW201832178A
TW201832178A TW106105547A TW106105547A TW201832178A TW 201832178 A TW201832178 A TW 201832178A TW 106105547 A TW106105547 A TW 106105547A TW 106105547 A TW106105547 A TW 106105547A TW 201832178 A TW201832178 A TW 201832178A
Authority
TW
Taiwan
Prior art keywords
module
image
sift
gaussian
detection
Prior art date
Application number
TW106105547A
Other languages
English (en)
Other versions
TWI592897B (zh
Inventor
許陳鑑
王偉彥
李世安
潘偉正
簡宜興
Original Assignee
國立臺灣師範大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣師範大學 filed Critical 國立臺灣師範大學
Priority to TW106105547A priority Critical patent/TWI592897B/zh
Application granted granted Critical
Publication of TWI592897B publication Critical patent/TWI592897B/zh
Publication of TW201832178A publication Critical patent/TW201832178A/zh

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一種影像辨識加速器系統，其包括: 一影像輸入模組，用以輸入一影像資料；一影像金字塔建構模組，與該影像輸入模組耦接，係預先以軟體找出複數個不同尺度之高斯模板遮罩參數，再透過複數個高斯濾波器模組平行進行複數個卷積運算，其中各所述卷積運算係依該影像資料與一所述遮罩參數進行，以獲得複數個高斯影像，之後，再將所述複數個高斯影像兩兩相減後，輸出至一差分影像模組；一SIFT偵測模組，與該影像金字塔建構模組耦接，係對該差分影像模組輸出之影像資料經由一極值偵測模組及一不穩定特徵點偵測模組進行一極值偵測及一不穩定特徵點偵測運算，以判斷是否為穩定之特徵點，並將該極值偵測、該不穩定特徵點偵測之結果進行一及運算，並儲存至一先入先出暫存器；以及一SIFT描述模組，與該影像金字塔建構模組耦接，係用以對該等高斯濾波器模組輸出之該些高斯影像經由一一階偏微分矩陣模組以及一CORDIC模組進行運算，以求出所有影像點之梯度資料，再以一影像梯度直方圖統計模組及一正規化運算模組對該梯度資料進行運算，以求出該特徵點之描述子資料後，並與該特徵點之位置資料進行結合，俾以提供一即時影像辨識功能。

Description

影像辨識加速器系統
本發明是有關於一種影像辨識加速器系統，尤指一種將SIFT影像辨識演算法實現於FPGA上之影像辨識系統。
近年來由於視覺感測器的進步以及影像技術的日漸成熟，影像辨識已經成為電腦視覺領域不可或缺的一環，其廣泛應用於軍事、工業、醫學領域等，如影像縫合(image stitching)、物體辨識(object recognition)、機器人地圖感知與導航(robotic mapping and navigation)、3D模型建立(3D modeling)、手勢辨識(gesture recognition)以及影像追蹤和動作比對(video tracking and match moving)等。
影像辨識主要將擷取到之影像進行特徵偵測，近十年來有許多影像特徵辨識演算法被提出，而其中最為知名的是David G. Lowe於1999年電腦視覺會議中提出之尺度特徵不變性轉換(Scale-invariant feature transform , SIFT) SIFT演算法主要是在影像上偵測特徵點，再賦予每個特徵點不同之高維度向量描述，如此一來，影像之間即可進行匹配，而相似的兩特徵向量點則會被比對出來，值得一提的是，SIFT演算法有將每個特徵點之方向考慮進去，所以也成功解決Harris角點偵測非rotation-invariant的問題，雖然SIFT在尺度以及視角旋轉改變下可以得到非常好的匹配結果，不過此演算法的缺點即是運算量非常龐大，導致整體之運算非常耗時，而無法達到即時運算之效果。
習知專利前案，例如中華民國TW201142718專利「用於在均勻及非均勻照明變化中改善特徵偵測的尺度空間正規化技術」，係一種關於用於改善影像辨識系統之效能效率的方法及技術。其特徵方法是：包含：藉由獲取一影像之兩個不同經平滑版本之間的差而產生一尺度空間影像差；藉由將該尺度空間影像差除以該影像之一第三經平滑版本而產生一經正規化之尺度空間影像差，其中該影像之該第三經平滑版本係與該影像之該兩個不同經平滑版本中之最平滑者一樣平滑或比該最平滑者平滑；及使用該經正規化之尺度空間影像差以偵測該影像之一或多個特徵。唯上述之專利前案，未將每個特徵點之方向考慮進去，致使在視角旋轉改變下無法獲得好的匹配結果。
近年來有一些研究將SIFT演算法實現於FPGA處理平台上，主要透過平行處理之概念來加快運算時間，如2008年Vanderlei Bonato提出以軟硬體協同設計的概念，將SIFT部分演算法於FPGA上使用硬體電路加速實現，Jianhui Wang也於2014年提出一種基於嵌入式系統特徵點偵測與匹配的架構，其結果顯示已經可以達到每秒處理60張影像，Jie Jiang也提出以FPGA全硬體架構實現SIFT偵測以及匹配演算法。
然而以FPGA全硬體架構來實現SIFT演算法時，仍需運算指數函數、浮點數及大幅使用除法器邏輯閘，使得影像辨識耗費大量運算時間，而無法達到即時辨識之目的。
本發明的目的在於提供一種影像辨識加速器系統，其中該影像金字塔建構模組，與該影像輸入模組耦接，係預先以軟體找出複數個不同尺度之高斯模板遮罩參數，再透過複數個高斯濾波器模組平行進行複數個卷積運算，其中各所述卷積運算係依該影像資料與一所述遮罩參數進行，以獲得複數個高斯影像，用以克服習知技術在高斯模板運算時使用指數函數所產生的硬體浮點數及耗費大量運算成本之問題，以達到有效的提升系統效能之目的。
為達上述目的，本發明提供一種影像辨識加速器系統，其包括: 一影像輸入模組，用以輸入一影像資料；一影像金字塔建構模組，與該影像輸入模組耦接，係預先以軟體找出複數個不同尺度之高斯模板遮罩參數，再透過複數個高斯濾波器模組平行進行複數個卷積運算，其中各所述卷積運算係依該影像資料與一所述遮罩參數進行，以獲得複數個高斯影像，之後，再將所述複數個高斯影像兩兩輸入至一差分影像模組，進行高斯影像相減；一SIFT偵測模組，與該影像金字塔建構模組耦接，係對該差分影像模組輸出之影像資料經由一極值偵測模組及一不穩定特徵點偵測模組進行一極值偵測及一不穩定特徵點偵測運算，以判斷是否為穩定之特徵點，並將該極值偵測、該不穩定特徵點偵測之結果進行一及運算，並儲存至一先入先出暫存器；以及一SIFT描述模組，與該影像金字塔建構模組耦接，係用以對該等高斯濾波器模組輸出之該些高斯影像經由一一階偏微分矩陣模組以及一CORDIC模組進行運算，以求出所有影像點之梯度資料，再以一影像梯度直方圖統計模組及一正規化運算模組對該梯度資料進行運算，以求出該特徵點之描述子資料後，並與該特徵點之位置資料進行結合，俾以提供一即時影像辨識功能。
本發明的另一目的在於提供一種影像辨識加速器系統，其中該極值偵測模組係包括一極大值偵測電路及一極小值偵測電路，用以同時執行一極大值偵測及一極小值偵測，再將其輸出訊號經由一或閘進行一或運算，以求取一特徵點，該不穩定特徵點偵測模組進一步包括一一階偏微分矩陣模組、一海森矩陣模組、一海森反矩陣模組、一低對比度特徵偵測模組及一邊緣特徵偵測模組，再將該低對比度特徵偵測模組及該邊緣特徵偵測模組之輸出訊號經由一及閘進行一及運算。
該海森反矩陣模組係利用伴隨矩陣的方式計算出其伴隨矩陣及行列式之值後，輸出至該低對比度特徵偵測模組，並利用數值推導方式計算以取代複數個除法器之使用，以達到有效的提升系統效能之目的。
本發明的又一目的在於提供一種影像辨識加速器系統，其中該正規化運算模組係在計算特徵點向量之正規化數值時，乘上一增益值後，使用右移運算，用以大幅減少除法器之使用，以達到有效的提升系統效能之目的。
本發明的又一目的在於提供一種影像辨識加速器系統，其中該影像輸入模組、該影像金字塔建構模組、該SIFT偵測模組、該SIFT描述模組均由管線架構設計而成，並使用管線保持電路進行訊號等待，以使時序保持同步。
為使 貴審查委員能其進一步瞭解本發明之結構、特徵及其目的，茲附以圖示及較佳具體實施例之詳細說明如後。
請參照圖1，其繪示本發明一較佳實施例之影像辨識加速器系統之組合示意圖。
如圖1所示，本發明之影像辨識加速器系統，其包括：一影像輸入模組100；一影像金字塔建構模組200；一SIFT偵測模組300；以及一SIFT描述模組400。
其中，該影像輸入模組100，具有一影像輸入單元110與一一第一移位暫存器120，該影像輸入單元110係用以輸入一影像資料；該第一移位暫存器120與該影像輸入單元110耦接，係用以對該影像資料進行移位及暫存。
該影像金字塔建構模組200，與該影像輸入模組100耦接，係預先以軟體找出複數個不同尺度之高斯模板遮罩參數，再透過複數個高斯濾波器模組210平行進行複數個卷積運算(convolution operation)，其中各所述卷積運算係依該影像資料與一所述遮罩參數進行，以獲得複數個高斯影像，之後，再將所述複數個高斯影像兩兩輸入至一差分影像模組220，進行高斯影像相減。另外，該影像金字塔建構模組200與該SIFT偵測模組300之間耦接有複數個第二移位暫存器230以對該影像金字塔建構模組200輸出之該差分影像模組220進行移位及暫存。
該等高斯濾波器模組 210進一步各具有一高斯遮罩值選擇模組 211、一乘法累加器模組 212、一並行加法器模組 213 以及一多工器模組 214。
該SIFT偵測模組300，與該影像金字塔建構模組200耦接，以對該差分影像模組220輸出之差分影像經由一極值偵測模組310及一不穩定特徵點偵測模組320進行一極值偵測及一不穩定特徵點偵測之運算，以判斷是否為穩定之特徵點，並將該極值偵測模組310、該不穩定特徵點偵測模組320之輸出經由一第二及閘329進行一及運算（AND），再將結果儲存至一先入先出暫存器330。
該影像金字塔建構模組200與該SIFT描述模組400之間進一步耦接有一第三移位暫存器240，以對該等高斯濾波器模組210輸出之該些高斯影像進行移位及暫存。
該SIFT描述模組400再對所接收的該高斯影像透過一一階偏微分矩陣模組321以及一CORDIC模組410進行運算，以求出所有影像點之梯度值及方向，該SIFT描述模組400並設置有一第四移位暫存器420，用以對該CORDIC模組410輸出之影像點之梯度值進行移位及暫存，再透過一影像梯度直方圖統計模組430及一正規化運算模組440進行運算，以求出該特徵點之描述子資料後，並與該特徵點之位置資料進行結合，即能得知哪些像素為特徵點及該特徵點位置之描述子資料，俾以提供一即時影像辨識功能。其中，該先入先出暫存器330係用以對該SIFT偵測模組300進行延時，等待該SIFT描述模組400輸出運算完成的訊號，如圖1箭頭所示，以使SIFT偵測模組300與該SIFT描述模組400的時序保持同步。
該影像輸入模組100、該影像金字塔建構模組200、該SIFT偵測模組300、該SIFT描述模組400均係以現場可編程邏輯閘陣列（FPGA）實施。
請參照圖2，其繪示本發明一較佳實施例之影像辨識加速器系統之高斯濾波器模組硬體架構示意圖。
習知技術係不斷地透過高斯濾波器來建立連續尺度空間影像，為了解決其中產生的指數函數以及浮點數之運算問題，本發明使用軟體預先計算複數個不同尺度之高斯模板遮罩參數輸入硬體，將尺度可變高斯函數之方程式(1) 左移n位元可得方程式(2)，
其中（x ,y ）為影像中像素點的坐標，σ為尺度空間因子。
選擇該所述參數與原始影像I (x ,y )進行卷積運算，如方程式(3)，
將輸出之結果右移n位元，即可算出高斯影像，在精準度以及資源的考量下，本發明之較佳實施例為高斯遮罩值選擇模組 211之遮罩大小為7X7、計算位元數n=10。
如圖2所示，該等高斯濾波器模組210會先判斷輸入之iGaussian_num訊號，將該等高斯濾波器模組210所需之所有遮罩參數值輸入至高斯遮罩值選擇模組211，再將該參數與7條線中之影像數值，於7個乘法累加器模組212以及一並行加法器模組213進行卷積運算，再使用一多工器模組214判斷iRead_en訊號，即可得知該輸出是否為有效值。在軟體預先計算時，已將算出之高斯模板放大2的10次方，並取整數輸入至該等高斯濾波器模組210中，因此判斷後需將該結果右移10位元進行輸出。
請參照圖3，其繪示本發明一較佳實施例之影像辨識加速器系統之差分金字塔示意圖。
如圖3所示，此處每層共有6張高斯影像(6個尺度值)，求出其對應之高斯模板，即可將原始影像不斷與不同尺度之高斯模板進行卷積運算，以得到一連續之高斯影像，計算完第一層後，將此層第三張高斯影像之長、寬各縮小一半，即將影像面積縮小四分之一，再使用剛算出之6個尺度高斯模板繼續經由該高斯濾波器模組210進行運算，並依照所需之層數不斷的重複此動作，即可建立出符合影像尺度越遠越模糊以及越小之概念，建構出連續尺度影像，本發明中選擇使用例如但不限為4層進行影像金字塔之實現，當建立完連續模糊化之高斯金字塔後，再將連續高斯影像兩兩輸入至一差分影像模組220，進行高斯影像相減，若每層有6張高斯影像，則每層會產生5張差分影像，待所有差分影像皆運算完成後，即建構出差分金字塔。
請參照圖4，其繪示本發明一較佳實施例之影像辨識加速器系統之SIFT偵測模組硬體架構示意圖。
如圖4所示，該SIFT偵測模組300，與該影像金字塔建構模組200耦接，以對該差分影像模組220所輸出之差分影像資料透過該極值偵測模組310及不穩定特徵點偵測模組320進行極值偵測及不穩定特徵點偵測之運算，以判斷是否為穩定之特徵點，之後將該極值偵測模組310、該不穩定特徵點偵測模組320之輸出結果經由一第二及閘329進行一及運算。
其中，該極值偵測模組310進一步包括一極大值偵測電路312及一極小值偵測電路311，用以同時執行一最大值偵測及一最小值偵測，再將其輸出訊號經由一或閘313進行一或（OR）運算，即可得知該影像之像素值是否為鄰近點中之最大值或最小值，再經過一第一管線保持電路314進行訊號等待。
該不穩定特徵點偵測模組320進一步包括一一階偏微分矩陣模組321、一海森矩陣模組322、一海森反矩陣模組324、一低對比度特徵偵測模組326、一邊緣特徵偵測模組325、一第二管線保持電路323及一第三管線保持電路327，再將該低對比度特徵偵測模組326及該第三管線保持電路327之輸出訊號經由一第一及閘328進行一及（AND）運算，即可得知該特徵點是否為穩定之特徵點。
其中，由於該極值偵測模組310及該不穩定特徵點偵測模組320皆是管線架構設計而成，所以使用管線保持電路進行訊號等待。如圖4所示，進行該偵測極值模組310運算需時為4個時脈（clk）時間，而進行該不穩定特徵點偵測模組320運算需時為12個時脈時間，因此該極值偵測模組310之輸出結果需要8個時脈時間之資料保持，待該不穩定特徵點偵測模組320判斷結束後，再將兩者之訊號經由一第二及閘329進行一及運算，即能得知該點是否真的為特徵點，而且是穩定的特徵。
請參照圖5，其繪示本發明一較佳實施例之影像辨識加速器系統之SIFT偵測模組之極值偵測模組硬體架構示意圖。
如圖所示，該極值偵測模組310進一步包括一極大值偵測電路312及一極小值偵測電路311，用以同時執行一最大值偵測及一最小值偵測，運算結束後分別輸出一個位元之obig_en及osmall_en訊號，再將obig_en及osmall_en訊號經由該或閘313進行一或運算，產生oextrema_en訊號。若結果為1，則該點為特徵點，若結果為0，則反之，並透過idval訊號以及odval訊號來判斷有效資料，若輸入之idval為1，則表示該資料為一有效資料，當運算結束會輸出一odval訊號。
請參照圖6，其繪示本發明一較佳實施例之影像辨識加速器系統之SIFT偵測模組之一階偏微分矩陣模組硬體架構示意圖。
如圖6所示，該一階偏微分矩陣模組321之硬體架構，係為運算方程式(4)之功能，
該一階偏微分矩陣模組321進一步設置複數個第一暫存器321a，輸入該第二移位暫存器230中一特徵點之左右、上下以及前後之像素值，並將同方向之像素值進行相減，之後放入所述第一暫存器321a進行暫存，下一個時脈再將結果右移1個位元，意即將所述第一暫存器321a之值除以2，即可完成該特徵點之一階偏微分矩陣之運算。
請參照圖7，其繪示本發明一較佳實施例之影像辨識加速器系統之SIFT偵測模組之海森矩陣模組硬體架構示意圖。
方程式(5)為海森矩陣方程式，
如圖7所示，該海森矩陣模組322之硬體架構，係為實現運算方程式(6)至方程式(11)之功能。
該海森矩陣模組322進一步設置複數個暫存器322a，輸入第二位移暫存器230中一特徵點鄰近方向之像素值，計算其x方向、y方向、s方向、xy方向、xs方向以及ys方向之二階偏微分，將計算所得之6個運算值代入方程式(5)之海森矩陣，再輸出至一海森反矩陣模組324。其中，方程式(9)至方程式(11)之運算結果需要除以4，此處一樣使用將所述暫存器322a之值右移2位元進行實現。
該海森反矩陣模組324係接收該海森矩陣模組322之運算結果，並依對應之位置進行輸入。為了有效的利用硬體平行處理之優勢，本發明使用伴隨矩陣進行方程式(12)及方程式(13)之反矩陣運算。
其中，方程式(12)部分係使用平行處理將矩陣內之9個運算式同時使用2個乘法器以及1個加法器或是減法器進行實現，方程式(13)部分係使用平行處理先計算出d1 至d6 之值，再將該些數值進行相減以及加總。
習知技術在計算反矩陣時，需將該伴隨矩陣中每個元素除上矩陣之行列式，為避免在硬體中使用除法器而降低系統效能，本發明將計算出之伴隨矩陣及行列式之值輸出至該低對比度特徵偵測模組326，並利用數值推導公式的方式進行計算，以取代除法器之使用。
方程式(14)、方程式(15)為習知技術在判斷低對比度特徵之算式，
本發明將方程式(14)左右式進行平方可得方程式(16)，
並將方程式(15)之反矩陣替換成伴隨矩陣之形式，如方程式(17)，
將方程式(17) 代入方程式(16)，整理後可得方程式(18)、方程式(19)、方程式(20)。
再將此方程式(18)、方程式(19)及方程式(20)左右同乘，則可推出式方程式(21)、方程式(22)、方程式(23)，如此不須用使用除法器，也可以實現低對比度之判斷。
本發明之該低對比度特徵偵測模組326係與該一階偏微分矩陣模組321及該海森反矩陣模組324輸出之伴隨矩陣及行列式之值進行訊號連接，並將方程式(21)左右相乘1024(左移10位元)後，再與透過方程式(24)比對進行判斷。
本發明之該邊緣特徵偵測模組325係將一海森矩陣之運算結果，進行方程式(25)、方程式(26)之運算，以求得該海森矩陣之trace以及determinant之值，
再將兩數值進行方程式(27)之判斷，
若determinant大於0且右式之值大於左式值，則該模組會輸出該點不是邊緣特徵之訊號，反之，則該點為邊緣特徵。
本發明之該SIFT描述模組400對所接收的該高斯影像經由該一階偏微分矩陣模組321進行一階偏微分矩陣運算，計算其出x方向以及y方向之變化量，再使用下列方程式(28)、方程式(29)計算其幅值以及方向，之後將結果輸出至一CORDIC模組410進行運算。
該CORDIC模組410之功能為計算平方相加開根號以及tan-1 函數運算，需要輸入兩個變數x0 以及y0 ，而迭代運算式為方程式(30)，
首先將一階偏微分之值Dx 、Dy 輸入至x0 、y0 ，並透過不斷的迭代來求得函數之輸出，本發明使用10個迭代次數進行運算。考慮浮點數的問題，本發明將輸入值以及暫存器皆放大6個bits，所以輸出之平方相加開根號以及tan-1 函數運算皆要右移6個位元，而平方相加開根號還要乘上一個值，此處使用定位小數運算實現。
請一併參照圖8~9，其中，圖8繪示本發明一較佳實施例之影像辨識加速器系統之SIFT描述模組之影像梯度直方圖統計模組硬體架構示意圖；圖9繪示本發明一較佳實施例之影像辨識加速器系統之SIFT描述模組之八方位統計容器模組硬體架構示意圖。
如圖8所示，該影像梯度直方圖統計模組430係利用該SIFT描述模組400設置的一第四移位暫存器420，對該CORDIC模組410運算出之影像點之梯度資料進行移位及暫存，再將各影像點之特徵點描述區分成16個子區域，並且統計所述子區域內之影像梯度直方圖，本發明係使用平行處理之架構同時使用16個八方位統計容器模組431進行16個子區域影像梯度直方圖統計。
如圖9所示，每45度為一方向，360度為8個方向，所述的16個子區域各需要統計8個方位的梯度幅值，本發明之八方位統計容器模組431係同時使用8個方位統計容器432~439進行計算。
習知技術之正規化運算係將128維的描述子資料進行加總時，必須同時使用128個乘法器以及除法器進行平行處理運算，使得系統效率大幅下降以及耗費大量邏輯單元。本發明之正規化運算模組440係在計算時，乘上一增益值，例如但不限為1023，使得正規化後之向量能以整數型態表示，再使用右移運算，即能求得正規化之值，用以大幅減少除法器之使用，以達到有效的提升系統效能之目的。
經由本發明影像辨識加速器系統之實施，其具有影像金字塔建構模組，係預先以軟體找出複數個不同尺度之高斯模板遮罩參數，再透過複數個高斯濾波器模組平行進行複數個卷積運算，其中各所述卷積運算係依該影像資料與一所述遮罩參數進行，以獲得複數個高斯影像，以克服習知技術在高斯模板運算時使用指數函數所產生的硬體浮點數及耗費大量運算成本之問題；該海森反矩陣模組運算係利用伴隨矩陣的方式，將計算出之伴隨矩陣及行列式之值輸出至低對比度特徵偵測模組，並利用數值推導方式計算以取代複數個除法器之使用；該正規化運算模組係在計算特徵點向量之正規化數值時，乘上一增益值後，使用右移運算，用以大幅減少除法器之使用。藉由減少計算量與增進特徵點匹配正確率之方式，提升系統運算效能，以達到即時影像辨識之目的。因此，確實較習知之影像辨識系統具有進步性。
本案所揭示者，乃較佳實施例，舉凡局部之變更或修飾而源於本案之技術思想而為熟習該項技藝之人所易於推知者，俱不脫本案之專利權範疇。
綜上所陳，本案無論就目的、手段與功效，在在顯示其迥異於習知之技術特徵，且其首先發明合於實用，亦在在符合新型之專利要件，懇請　貴審查委員明察，並祈早日賜予專利，俾嘉惠社會，實感德便。
100‧‧‧影像輸入模組
110‧‧‧影像輸入單元
120‧‧‧第一移位暫存器
200‧‧‧影像金字塔建構模組
210‧‧‧高斯濾波器模組
211‧‧‧高斯遮罩值選擇模組
212‧‧‧乘法累加器模組
213‧‧‧並行加法器模組
214‧‧‧多工器模組
220‧‧‧差分影像模組
230‧‧‧第二移位暫存器
240‧‧‧第三移位暫存器
300‧‧‧SIFT偵測模組
310‧‧‧極值偵測模組
311‧‧‧極小值偵測電路
312‧‧‧極大值偵測電路
313‧‧‧或閘
314‧‧‧第一管線保持電路
320‧‧‧不穩定特徵點偵測模組
321‧‧‧一階偏微分矩陣模組
321a‧‧‧第一暫存器
322‧‧‧海森矩陣模組
322a‧‧‧第二暫存器
323‧‧‧第二管線保持電路
324‧‧‧海森反矩陣模組
325‧‧‧邊緣特徵偵測模組
326‧‧‧低對比度特徵偵測模組
327‧‧‧第三管線保持電路
328‧‧‧第一及閘
329‧‧‧第二及閘
330‧‧‧先入先出暫存器
400‧‧‧SIFT描述模組
410‧‧‧CORDIC模組
420‧‧‧第四移位暫存器
430‧‧‧影像梯度直方圖統計模組
431‧‧‧八方位統計容器模組
432‧‧‧第一方位統計容器
433‧‧‧第二方位統計容器
434‧‧‧第三方位統計容器
435‧‧‧第四方位統計容器
436‧‧‧第五方位統計容器
437‧‧‧第六方位統計容器
438‧‧‧第七方位統計容器
439‧‧‧第八方位統計容器
440‧‧‧正規化運算模組
圖1為一示意圖，其繪示本發明一較佳實施例之影像辨識加速器系統之組合示意圖。 圖2為一示意圖，其繪示本發明一較佳實施例之影像辨識加速器系統之高斯濾波器模組硬體架構示意圖。 圖3為一示意圖，其繪示本發明一較佳實施例之影像辨識加速器系統之差分金字塔示意圖。 圖4為一示意圖，其繪示本發明一較佳實施例之影像辨識加速器系統之SIFT偵測模組硬體架構示意圖。 圖5為一示意圖，其繪示本發明一較佳實施例之影像辨識加速器系統之SIFT偵測模組之極值偵測模組硬體架構示意圖。 圖6為一示意圖，其繪示本發明一較佳實施例之影像辨識加速器系統之SIFT偵測模組之一階偏微分矩陣模組硬體架構示意圖。 圖7為一示意圖，其繪示本發明一較佳實施例之影像辨識加速器系統之SIFT偵測模組之海森矩陣模組硬體架構示意圖。 圖8為一示意圖，其繪示本發明一較佳實施例之影像辨識加速器系統之SIFT描述模組之影像梯度直方圖統計模組架構示意圖。 圖9為一示意圖，其繪示本發明一較佳實施例之影像辨識加速器系統之SIFT描述模組之八方位統計容器模組硬體架構示意圖。

Claims (9)

  1. 一種影像辨識加速器系統，其包括: 一影像輸入模組，用以輸入一影像資料； 一影像金字塔建構模組，與該影像輸入模組耦接，係預先以軟體找出複數個 不同尺度之高斯模板遮罩參數，再透過複數個高斯濾波器模組平行進行複數個卷積運算，其中各所述卷積運算係依該影像資料與一所述遮罩參數進行，以獲得複數個高斯影像，之後，再將所述複數個高斯影像兩兩輸入至一差分影像模組，進行高斯影像相減； 一SIFT偵測模組，與該影像金字塔建構模組耦接，係對該差分影像模組輸出 之影像資料經由一極值偵測模組及一不穩定特徵點偵測模組進行一極值偵測及一不穩定特徵點偵測運算，以判斷是否為穩定之特徵點，並將該極值偵測、該不穩定特徵點偵測之結果進行一及運算，並儲存至一先入先出暫存器；以及 一SIFT描述模組，與該影像金字塔建構模組耦接，係用以對該等高斯濾波器模組輸出之該些高斯影像經由一一階偏微分矩陣模組以及一CORDIC模組進行運算，以求出所有影像點之梯度資料，再以一影像梯度直方圖統計模組及一正規化運算模組對該梯度資料進行運算，以求出該特徵點之描述子資料後，並與該特徵點之位置資料進行結合，俾以提供一即時影像辨識之功能。
  2. 如申請專利範圍第1項所述之影像辨識加速器系統，其中該影像輸入 模組具有一影像輸入單元與一一第一移位暫存器，該第一移位暫存器係用以對該影像輸入模組之輸出影像進行移位及暫存；該影像金字塔建構模組與該SIFT偵測模組之間耦接有複數個第二移位暫存器，用以對差分影像模組輸出之影像資料進行移位及暫存；該影像金字塔建構模組與該SIFT描述模組之間耦接有一第三移位暫存器，用以對該高斯濾波器模組輸出之該些高斯影像進行移位及暫存；該SIFT描述模組設置有一第四移位暫存器，以對CORDIC模組運算出之影像點之梯度資料進行移位及暫存。
  3. 如申請專利範圍第1項所述之影像辨識加速器系統，其中在進行該 軟體計算時，係將算出之該高斯模板放大2的10次方，並取整數輸入，以克服浮點運算問題。
  4. 如申請專利範圍第1項所述之影像辨識加速器系統，其中該極值偵 測模組係同時執行一極大值偵測及一極小值偵測，再將輸出訊號進行一或運算，以求取特徵點，該不穩定特徵點偵測模組進一步包括一一階偏微分矩陣模組、一海森矩陣模組、一海森反矩陣模組、一低對比度特徵偵測模組及一邊緣特徵偵測模組，再將該低對比度特徵偵測模組及該邊緣特徵偵測模組之輸出訊號進行一及運算。
  5. 如申請專利範圍第4項所述之影像辨識加速器系統，其中該海森反 矩陣模組係利用伴隨矩陣方式計算出其伴隨矩陣及行列式之值後，輸出至低對比度特徵偵測模組，並利用數值推導方式計算以取代複數個除法器之使用。
  6. 如申請專利範圍第1項所述之影像辨識加速器系統，其中該先入先 出暫存器係用以對該SIFT偵測模組進行延時，以使SIFT偵測模組與該SIFT描述模組的時序保持同步。
  7. 如申請專利範圍第1項所述之影像辨識加速器系統，其中該正規化 運算模組係在計算特徵點向量之正規化數值時，乘上一增益值後，使用右移運算，用以大幅減少除法器之使用。
  8. 如申請專利範圍第1項所述之影像辨識加速器系統，其中該影像輸 入模組、該影像金字塔建構模組、該SIFT偵測模組、該SIFT描述模組均由管線架構設計而成，並使用管線保持電路進行訊號等待，以使時序保持同步。
  9. 如申請專利範圍第1項所述之影像辨識加速器系統，其中該影像輸 入模組、該影像金字塔建構模組、該SIFT偵測模組、該SIFT描述模組均係以現場可編程邏輯閘陣列（FPGA）實施。
TW106105547A 2017-02-20 2017-02-20 Image Recognition Accelerator System TWI592897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW106105547A TWI592897B (zh) 2017-02-20 2017-02-20 Image Recognition Accelerator System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106105547A TWI592897B (zh) 2017-02-20 2017-02-20 Image Recognition Accelerator System

Publications (2)

Publication Number Publication Date
TWI592897B TWI592897B (zh) 2017-07-21
TW201832178A true TW201832178A (zh) 2018-09-01

Family

ID=60048666

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106105547A TWI592897B (zh) 2017-02-20 2017-02-20 Image Recognition Accelerator System

Country Status (1)

Country Link
TW (1) TWI592897B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114184837A (zh) * 2021-12-09 2022-03-15 电子科技大学 一种基于Cordic算法的瞬时测频方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI684919B (zh) * 2018-07-13 2020-02-11 盧俊諺 數位影像的特徵樹結構之建立方法與影像物件辨識方法
TWI768497B (zh) * 2020-10-07 2022-06-21 大陸商星宸科技股份有限公司 智慧處理器、資料處理方法及儲存介質

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114184837A (zh) * 2021-12-09 2022-03-15 电子科技大学 一种基于Cordic算法的瞬时测频方法
CN114184837B (zh) * 2021-12-09 2022-10-18 电子科技大学 一种基于Cordic算法的瞬时测频方法

Also Published As

Publication number Publication date
TWI592897B (zh) 2017-07-21

Similar Documents

Publication Publication Date Title
Chiu et al. Fast SIFT design for real-time visual feature extraction
Hsiao et al. Multilayered image processing for multiscale Harris corner detection in digital realization
Vourvoulakis et al. Fully pipelined FPGA-based architecture for real-time SIFT extraction
CA2929403C (en) Multi-dimensional sliding window operation for a vector processor
TWI592897B (zh) Image Recognition Accelerator System
Peng et al. FPGA-based parallel hardware architecture for SIFT algorithm
Li et al. FPGA-based hardware design for scale-invariant feature transform
Pettersson et al. Online stereo calibration using FPGAs
WO2022160704A1 (zh) 一种图像处理方法、装置、计算机设备及存储介质
Chen et al. An FPGA-based RGBD imager
Suzuki et al. SIFT-based low complexity keypoint extraction and its real-time hardware implementation for full-HD video
Zhou et al. An efficient implementation of the gradient-based Hough transform using DSP slices and block RAMs on the FPGA
He et al. A low-cost high-speed object tracking VLSI system based on unified textural and dynamic compressive features
Zhou et al. An FPGA Implementation of Hough Transform using DSP blocks and block RAMs
Liu et al. SURFEX: A 57fps 1080P resolution 220mW silicon implementation for simplified speeded-up robust feature with 65nm process
Moses et al. FPGA implementation of an efficient partial volume interpolation for medical image registration
Brenot et al. FPGA based hardware acceleration of a BRIEF correlator module for a monocular SLAM application
Zhou et al. An Efficient Implementation of the Hough Transform using DSP slices and block RAMs on the FPGA
TWI765339B (zh) 立體影像辨識及匹配系統
Zhou et al. A configurable circuit for cross-correlation in real-time image matching
Gupta et al. FPGA based Feature Extraction in Real time Computer Vision-A Comprehensive Survey
Bonato et al. A parallel hardware architecture for image feature detection
Wang et al. Design of real-time SIFT feature extraction
Ghaffari et al. A Fully Pipelined FPGA Architecture for Multiscale BRISK Descriptors With a Novel Hardware-Aware Sampling Pattern
Nickel et al. High-performance AKAZE implementation including parametrizable and generic HLS modules