TWI755849B - Fpga多主從硬體架構之即時物件追蹤系統 - Google Patents

Abstract

一種FPGA多主從硬體架構之即時物件追蹤系統，其包括: 一影像擷取頂層模組，用以擷取一取像裝置所輸出之一影像訊號，該影像訊號於處理後輸出一彩色影像訊號及一灰階影像訊號至一匯流排；一SIFT匯流排控制模組，可控制該匯流排與SIFT特徵點擷取頂層模組之間的動作；一LES匯流排控制模組，可控制該匯流排與特徵點匹配頂層模組之間的動作；一SIFT特徵點擷取頂層模組，可接收該灰階影像訊號進行特徵偵測與描述後輸出一特徵影像座標及一特徵描述子訊號；一特徵點匹配頂層模組，可接收該特徵描述子訊號，用以計算及輸出匹配到之物件特徵點的一影像座標；一VGA顯示頂層模組，可接收該彩色影像訊號後經由一VGA埠耦接至一顯示器；一記憶體，用以儲存資料；一記憶體控制器，可控制該記憶體之運作；以及一控制單元，可控制資料讀取/寫入至該記憶體。藉由本發明之多主從硬體設計，能便於開發者更換或修改任意一個頂層模組，大幅提高硬體架構的彈性與重配置的程度。此外，本發明之追蹤系統使用階層式距離演算法的硬體電路有效地提高追蹤的穩定度。

Description

FPGA多主從硬體架構之即時物件追蹤系統

本發明是有關於一種即時物件追蹤系統，尤指一種採用多主從硬體設計，能便於開發者更換或修改任意一個頂層模組，大幅提高硬體架構的彈性與重配置的程度，以及使用階層式距離演算法的硬體電路有效地提高追蹤的穩定度之FPGA多主從硬體架構之即時物件追蹤系統。

近年來由於視覺感測器的進步以及影像技術的日漸成熟，影像特徵辨識已經成為電腦視覺領域不可或缺的一環，以特徵資訊為基礎所發展的即時影像物件追蹤，其研究與應用在過去幾十年間尤為熱門。即使研究了許多年，即時影像物件追蹤仍然存在著許多問題，包含物件遮蔽(occlusion)、影像光線變化、複雜的環境背景、運算速度等，皆直接或間接地影響了物件追蹤的效果。

從許多即時影像物件追蹤的文獻當中可知，當前的技術多使用CPU或GPU等平台加以實現，尤其物件追蹤系統需要高精度的浮點數運算，且CPU或GPU確實能達到即時運算的目的，因此，兩平台是實現物件追蹤不錯的選擇；然而，高功率消耗的問題造成兩平台無法在移動平台上長時間地進行物件追蹤，進而影響了其應用性，因此，現今愈來愈多研究朝向以硬體作為物件追蹤系統開發及運算的平台。

綜觀近幾年的文獻，大致可將硬體化的即時物件追蹤系統分為四類，包含：濾波型、Camshift與濾波整合型、特徵點偵測與匹配型以及其他。在第一類型中，大部分的論文以粒子濾波器(Particle Filter, PF)作為開發物件追蹤的主要演算法，其係根據物件的色彩空間，以粒子演化的機制加以找出物件在影像中的最佳位置。Tahara在2017年提出的論文 [請參見A. Tahara, Y. Hayashida, T.-T. Thu, Y. Shibata, and K. Oguri, “Power Performance Analysis of FPGA-Based Filtering for Realtime Object Tracking,” Conference on Complex, Intelligent, and Software Intensive Systems, Torino, July, 2017, pp. 451-462.] 中，提出了FPGA最佳化之重新取樣電路，並利用PF追蹤物件在影像上的HIS色彩空間， 進而透過多個不同時脈的運作方式降低其所需之硬體資源。根據該論文可知，其利用Xilinx XC7K325T FPGA平台開發的物件追蹤系統以135 MHz的工作頻率下可達到60 fps的運算速度；然而，該方法在追蹤物件時非常依賴物件的色彩，一旦光線改變或是環境具有相似的色彩，將容易使PF估測到區域的最佳解中。

以Tahara的論文為基礎，Thu等人於同年發表另一篇同樣以PF為基礎的一硬體化物件追蹤系統[請參見T.-T. Thu, Y. Hayashida, A. Tahara, Y. Shibata, and K. Oguri, “Deep-pipelined FPGA Implementation of Real-time Object Tracking using a Particle Filter,” International Journal of Networking and Computing, Vol. 7, No. 2, pp. 372-386, 2017.]，該論文針對PF的粒子數量與追蹤穩定度提出一相互權衡的機制，相較於Tahara的論文進一步降低了大約2.7~3倍的功耗；然而，其仍然繼承了Tahara論文所呈現的缺失。除了上述兩篇論文之外，另有Li等人發表的FPGA軟硬體協同設計之物件追蹤[請參見S.-A. Li, C.-C. Hsu, W.-L. Lin, and Jui-Pin Wang, “Hardware/Software Co-design of Particle Filter and Its Application in Object Tracking,” International Conference on System Science and Engineering, Macau, June, 2011, pp. 87-91.]，其同樣使用PF為追蹤演算法，藉由匯流排的讀寫機制將PF複雜運算的部分交由軟體處理，其餘則由硬體加速運算；其實驗結果顯示硬體的運算速度約為軟體的4倍以上。

至於Camshift與濾波整合型的硬體化物件追蹤系統則如Zhong發表的系統[請參見B. Zhong, X. Lu, Q. Wang, S. Zhao, and Q. Liu, “A Hardware Architecture of Target Tracking System on FPGA,” International Conference on Computer Science and Application Engineering, Hohhot, October, 2018, pp. 1-5.]，其係藉由Camshift演算法增進PF的追蹤效果，透過物件的HSV色彩空間做為追蹤依據，以減少PF所需最佳化的粒子數量。雖然該篇論文所使用的硬體資源相對其他論文還要少，但其無法針對物件突然於畫面中消失並再度出現的情況提供持續追蹤該物件的功能。整合了卡曼濾波器(Kalman Filter, KF)以增進     Camshift的追蹤效果，Gao等人提出的FPGA硬體化物件追蹤系統可達到309 fps[請參見P. Gao, R. Yuan, Z. Lin, L. Zhang, and Y. Zhang, “A Novel Low-cost FPGA-based Real-time Object Tracking System,” IEEE International Conference on ASIC (ASICON), Guiyang, October, 2017, pp. 654-657.]，然而，其追蹤效果不甚理想；根據其實驗，物件追蹤的精準度僅有55.4%的成功率。

基於特徵點具有高維資訊的特性，以特徵點為基礎的硬體化物件追蹤能避免上述因色彩偏差導致追蹤效果不理想的問題，因此，有許多論文使用了特徵擷取與匹配演算法加以實現物件追蹤，如Hwang等人即利用物件的紋理(texture)特性作為描述特徵點的依據[請參見Y.-T. Hwang, B.-C. Tsai, Y.-T. Pai, and M.-H. Sheu, “Feature Points Based Video Object Tracking for Dynamic Scenes and Its FPGA System Prototyping,” IEEE International Conference on Intelligent Information Hiding and Multimedia Signal Processing, Kitakyushu, August, 2014, pp. 325-328.]，並使用norm-1距離為匹配標準；其實驗顯示能達到30 fps的運算速度，然而，基於即時運算的需求，該篇論文要求物件特徵不得多於20個，且不具備濾除匹配錯誤之特徵點的功能，導致其無法達到滿意的追蹤效果。另有使用增強型KLT特徵追蹤演算法建立FPGA-SoC物件追蹤的系統[請參見W. Chen, Y. Ma, Z. Chai, M. Chen, and D. He, “An FPGA-Based Real-Time Moving Object Tracking Approach,” International Conference on Algorithms and Architectures for Parallel Processing, Helsinki, August, 2017, pp. 65-80.]，以管線化(pipeline)的方式設計硬體電路，相較於一般電腦而言加速了近30倍的運算速度。除了數位電路之外，Yasukawa等人整合了類比與數位電路的優勢完成硬體化物件追蹤的功能[請參見S. Yasukawa, H. Okuno, K. Ishii, and T. Yagi, “Real-time object tracking based on scale-invariant features employing bio-inspired hardware,” Journal of Neural Networks, Vol. 81, pp. 29-38, 2016.]；該論文基於MOS設計電阻網路(resistive network, RN)，以類比電路的方式實現SIFT特徵擷取演算法的高斯濾波，以大幅減少系統所需功耗，至於數位電路的部分，則實現了特徵描述與匹配之功能。雖然系統功耗非常低，速度也可達到30 fps，但其實驗顯示物件特徵點數量非常的少，且實現使用的圖片中不具有複雜的背景，故該系統在現實環境中的效用仍有待檢驗。

有別於上述的類型，其他類的物件追蹤系統包含Abdali等人利用TLD演算法增進追蹤效果[請參見E.-M. Abdali, A. Walid, M. Pelcat, J.-P. Diguet, and F. Berry, “Hardware Acceleration of the Tracking Learning Detection (TLD) Algorithm on FPGA,” International Conference on Distributed Smart Cameras, California, September, 2017, pp. 180-185.]。該硬體架構包含三個部分：追蹤電路、偵測電路以及學習電路，其中，追蹤電路係使用中值濾波器及KLT演算法進行追蹤，偵測電路則透過滑動視窗(sliding window)的概念，依據學習到的物件模型偵測影像中物件的位置，而學習電路則負責將物件與畫面背景分離。根據該論文的實驗，其可達到約160 fps的效率，且硬體資源在Altera Cyclone V晶片中占用約75.2%。有鑑於近年人工智慧研究愈來愈熱門，Zhang等人將CNN網路實現於FPGA中，並達到物件追蹤的目的[請參見B. Zhang, X. Li, J. Han, and X. Zeng, “MiniTracker: A Lightweight CNN-based System for Visual Object Tracking on Embedded Device,” IEEE International Conference on Digital Signal Processing (DSP), Shanghai, November, 2018, pp. 1-5.]；其不僅提出了捲積Siamese網路(convolutional Siamese network)，以便在硬體平台上方便實現，更在設計電路時權衡了浮點數精度與追蹤穩定度的關係，使得該論文在ZedBoard平台上可達到18.6 fps的速度，且在使用公開資料庫加以驗證後，可知該系統在不同的場景下皆能達到不錯的效果。

儘管上述有許多論文相繼提出不同的硬體化即時影像物件追蹤系統，習知以FPGA全硬體架構來實現以SIFT演算法為基礎之追蹤系統，仍然具有下列缺點：1、其並未使用多主從硬體架構，導致其硬體架構缺乏彈性；2、習知技術也未見利用階層式距離演算法(Hierarchical Distance)濾除掉匹配錯物的特徵點，有些技術甚至沒有濾除錯誤特徵點的機制，導致物件追蹤效果不佳；3、已知的技術無法現場建立物件特徵，亦無法在物件離開畫面並重新回到畫面後持續進行追蹤；以及4、使用SIFT作為特徵點擷取演算法之硬體化物件追蹤所能達到的速度(30 fps, 影像大小為128*128)等缺點，而無法達到即時物件追蹤之目的。至於不以特徵點為基礎實現物件追蹤的部分，習知的技術具有下列缺點：1、並未使用多主從硬體架構，導致其硬體架構缺乏彈性；2、習知技術的速度與硬體資源之消耗仍有相當大的改善空間。

本發明的目的在於提供一種FPGA多主從硬體架構之即時物件追蹤系統，其採用多主從硬體設計，能便於開發者更換或修改任意一個頂層模組，大幅提高硬體架構的彈性與重配置的程度，以及使用階層式距離演算法的硬體電路有效地提高追蹤的穩定度之目的。

為達上述目的，本發明提供一種FPGA多主從硬體架構之即時物件追蹤系統，其包括: 一影像擷取頂層模組，其輸入端耦接至一取像裝置，用以擷取該取像裝置所輸出之一影像訊號，該影像訊號於處理後輸出一彩色影像訊號及一灰階影像訊號至一匯流排；一SIFT匯流排控制模組，耦接至該匯流排，可控制該匯流排與SIFT特徵點擷取頂層模組之間的動作；一LES匯流排控制模組，耦接至該匯流排，可控制該匯流排與特徵點匹配頂層模組之間的動作；一SIFT特徵點擷取頂層模組，耦接至該匯流排控制模組，可接收該灰階影像訊號進行特徵偵測與描述後輸出一特徵影像座標及一特徵描述子訊號；一特徵點匹配頂層模組，耦接至該SIFT特徵點擷取頂層模組及匯流排控制模組，可接收該特徵描述子訊號，用以計算及輸出匹配到之物件特徵點的一影像座標；一VGA顯示頂層模組，經由該匯流排耦接至該影像擷取頂層模組，可接收該彩色影像訊號後經由一VGA埠耦接至一顯示器；一記憶體，耦接至該匯流排，用以儲存資料；一記憶體控制器，耦接至該匯流排，可控制該記憶體之運作；以及一控制單元，耦接至該匯流排，可控制該影像擷取頂層模組、匯流排控制模組、SIFT特徵點擷取頂層模組、特徵點匹配頂層模組、VGA顯示頂層模組、記憶體及記憶體控制器之作動。

本發明的另一目的在於提供一種FPGA多主從硬體架構之即時物件追蹤系統，其中該匯流排為一Altera公司之Avalon匯流排，該控制單元為一Altera公司之Nios II 處理器，該記憶體為一SDRAM，該記憶體控制器為一SDRAM控制器，該取像裝置為一Altera公司 之D5M相機，且該取像裝置係經由一GPIO埠耦接至該影像擷取頂層模組。

其中該影像擷取頂層模組進一步包括: 一CCD擷取模組，耦接至該取像裝置，用以擷取該取像裝置所輸出之該影像訊號；一第一RGB從介面模組，其一端耦接至該CCD擷取模組，另一端耦接至該匯流排，可接收該匯流排輸出之一初始化訊號，以對該CCD擷取模組初始化；一第一灰階從介面模組，其一端耦接至該CCD擷取模組，另一端耦接至該匯流排，可接收該匯流排輸出之一初始化訊號，以對該CCD擷取模組初始化；一CCD 主RGB訊號模組，其一端耦接至該CCD擷取模組，另一端耦接該匯流排，可接收該CCD擷取模組輸出之該彩色影像訊號至該匯流排；一同步時脈先進先出記憶體，其一端耦接至該CCD擷取模組，可接收該CCD擷取模組輸出之該灰階影像訊號至該匯流排；以及一CCD主灰階訊號模組，其一端耦接至該同步時脈先進先出記憶體，另一端耦接至該匯流排，可經由該匯流排輸出該灰階影像訊號至該記憶體中。

其中該SIFT特徵點擷取頂層模組進一步包括：一SIFT模組，其一端耦接至該SIFT-LES控制模組，另一端耦接至該SIFT匯流排控制模組，用以獲得該灰階影像訊號；一第一緩衝器模組，其一端耦接至該SIFT匯流排控制模組、該SIFT模組以及該SIFT-LES控制模組，可將高維度的特徵點資料轉換成符合該匯流排所需的32位元之資料寬度；以及一SIFT-LES控制模組，分別耦接至該SIFT模組、第一緩衝器模組及特徵點匹配頂層模組，用以計算特徵點的影像座標以及控制該SIFT模組及特徵點匹配頂層模組的初始與結束。

其中該特徵點匹配頂層模組進一步包括：一第二緩衝器模組，其一端耦接至該LES匯流排控制模組，可將匯流排輸出之32位元之資料寬度轉換成高維度的特徵點資料，另一端耦接至LES匹配模組，用以將高維特徵描述資訊傳至該模組以進行運算；一LES匹配模組，耦接至該第二緩衝器模組及該座標暫存模組，其利用線性窮舉搜尋法(Linear Exhaustive Search, LES)針對物件與影像特徵點資料進行匹配，每匹配一次，會輸出該特徵點資料的該影像座標；一座標暫存模組，耦接至該離群值移除模組及該LES匹配模組，用以暫存該影像座標； 一離群值移除模組，耦接至該LES匹配模組、座標暫存模組及LES匯流排控制模組，藉由一階層式距離演算法(Hierarchical Distance)濾除掉相對於大多數匹配點之位置中過於疏遠的特徵點，以此穩定物件追蹤的結果；以及一偵測模組，耦接至該離群值移除模組及LES匯流排控制模組，經過濾除後的該影像座標經由該偵測模組，提供該VGA顯示頂層模組所需畫出一綠色方框的資料，包含該綠色方框左上角的影像座標以及綠色方框的長與寬等，使得該VGA顯示頂層模組能根據這些資訊，顯示一追蹤物件的綠色方框於一顯示器中。

其中該VGA顯示頂層模組進一步包括：一從介面模組，耦接至該匯流排及VGA控制器模組，可接收該匯流排輸出之一初始化訊號至VGA控制器模組；一顯示模組，耦接至影像擷取頂層模組及特徵點匹配頂層模組，可接收該彩色影像訊號及該特徵點匹配頂層模組輸出該匹配到之物件特徵點的影像座標；以及一VGA控制器，耦接至該從介面模組及顯示模組，將該彩色影像訊號轉換成一VGA的顯示格式後輸出至該顯示器上顯示。

其中該SIFT匯流排控制模組進一步包括： 一第一異步時脈先進先出記憶體，其一端耦接至該SIFT特徵點擷取頂層模組，另一端耦接至該匯流排，用以存放該灰階影像在該記憶體中的位址資料；一從介面，其一端耦接至該匯流排，可接收該匯流排輸出之硬體設定指令；一從SIFT模組，其一端耦接至該從介面，可接受該從介面的控制以使該SIFT匯流排控制模組位於從模式；一第一有限狀態機器控制模組，其一端耦接至該從SIFT模組，可控制與SIFT特徵點擷取頂層模組之間的資料讀寫；一第二異步時脈先進先出記憶體，其一端耦接至該SIFT特徵點擷取頂層模組，另一端耦接至該AVB SIFT主模組，用以存放所擷取到之特徵點的資料；以及一AVB SIFT主模組，其一端耦接至該第二異步時脈先進先出記憶體，另一端耦接至該匯流排，位於主模式時可將該第二異步時脈先進先出記憶體中的資料讀出並寫入至該記憶體相對應的位址中。

其中該LES匯流排控制模組進一步包括：一第三異步時脈先進先出記憶體，其一端耦接至該特徵點匹配頂層模組，另一端耦接至該匯流排，用以存放該物件及影像特徵點資料在該記憶體中的位址資料；一從介面，耦接至該匯流排及從匹配模組，可接收該匯流排輸出之硬體設定指令；一從匹配模組，其一端耦接至該從介面，可接受該從介面的控制以使該匹配控制模組位於從模式，另一端耦接至第二有限狀態機器控制模組，可傳送該從介面的控制使該匹配控制模組位於主模式；一第二有限狀態機器控制模組，其一端耦接至該從匹配模組，可依據該物件及影像特徵點資料存在該記憶體中的位址資料至該記憶體中讀取資料；一第四異步時脈先進先出記憶體，其一端耦接至該特徵點匹配頂層模組，另一端耦接至該AVB LES主模組，用以存放所匹配到之特徵點的資料；以及一AVB LES主模組，其一端耦接至該第四異步時脈先進先出記憶體，另一端耦接至該匯流排，位於主模式時可將該第四異步時脈先進先出記憶體中的資料讀出並寫入至該記憶體相對應的位址中。

為使 貴審查委員能其進一步瞭解本發明之結構、特徵及其目的，茲附以圖示及較佳具體實施例之詳細說明如後。

請參照圖1，其繪示本發明一較佳實施例之FPGA多主從硬體架構之即時物件追蹤系統之組合示意圖。

如圖1所示，本發明之FPGA多主從硬體架構之即時物件追蹤系統，其包括：一影像擷取頂層模組10；一SIFT特徵點擷取頂層模組20；一特徵點匹配頂層模組30；一SIFT匯流排控制模組41；一LES匯流排控制模組42；一VGA顯示頂層模組50；一記憶體60；一記憶體控制器70；以及一控制單元80。

其中，該影像擷取頂層模組10其輸入端耦接至一取像裝置90，用以擷取該取像裝置90所輸出之一影像訊號，該影像訊號於處理後輸出一彩色影像訊號及一灰階影像訊號至一匯流排100。其中，該取像裝置90例如但不限於為一Altera公司之D5M相機，該匯流排100例如但不限於為一Altera公司之Avalon匯流排，且該取像裝置90係例如但不限於經由一GPIO埠耦接至該影像擷取頂層模組10。

該SIFT特徵點擷取頂層模組20係耦接至該SIFT匯流排控制模組41及特徵點匹配頂層模組30，可接收該灰階影像訊號進行特徵偵測與描述後輸出一特徵影像座標及一特徵描述子(descriptor)訊號。

該特徵點匹配頂層模組30係耦接至該SIFT特徵點擷取頂層模組20及LES匯流排控制模組42，可接收該特徵描述子訊號，用以計算及輸出匹配到的物件特徵點影像座標。

該SIFT匯流排控制模組41一端耦接至該SIFT特徵點擷取頂層模組20，另一端耦接至該匯流排100，用以控制該SIFT特徵點擷取頂層模組20對該匯流排100的存取。

該LES匯流排控制模組42其一端耦接至該特徵點匹配頂層模組30，另一端耦接至該匯流排100，用以將該特徵點資料由該記憶體60中讀出，進而傳送給該特徵點匹配頂層模組30，並將匹配到的資料寫進該記憶體60中。

該VGA顯示頂層模組50係耦接至該匯流排100、該影像擷取頂層模組10以及該特徵點匹配頂層模組30，可接收該彩色影像訊號及物件偵測盒後經由一VGA埠耦接至一顯示器110。其中，該顯示器110例如但不限於為一液晶顯示器。

該記憶體60係耦接至該匯流排100，用以儲存資料。其中，該記憶體60例如但不限於為一SDRAM。

該記憶體控制器70係耦接至該匯流排100，可控制該記憶體60之運作。其中，該記憶體控制器70例如但不限於為一SDRAM控制器。

該控制單元80係耦接至該匯流排100，可控制該影像擷取頂層模組10、SIFT特徵點擷取頂層模組20、特徵點匹配頂層模組30、SIFT匯流排控制模組41、LES匯流排控制模組42、VGA顯示頂層模組50、記憶體60及記憶體控制器70之動作。其中，該控制單元80例如但不限於為一Altera公司之Nios II 處理器。

請參照圖2，其繪示本發明一較佳實施例之影像擷取頂層模組之細部方塊示意圖。

如圖所示，該影像擷取頂層模組10進一步包括:一CCD擷取模組11；一第一RGB從(Slave)介面模組12；一第一灰階從(Slave)介面模組13；一CCD 主(Master)RGB訊號模組14；一同步時脈先進先出（Single Clock First-In-First-Out, SCFIFO）記憶體15；以及一CCD主(Master)灰階訊號模組16。

其中，該CCD擷取模組11係耦接至該取像裝置90，用以擷取該取像裝置90所輸出之該影像訊號。

該第一RGB從介面模組12其一端耦接至該CCD擷取模組11，另一端耦接至該匯流排100，可接收該匯流排100輸出之一初始化訊號，以對該CCD擷取模組11進行初始化。

該第一灰階從介面模組13其一端耦接至該CCD擷取模組11，另一端耦接至該匯流排100，可接收該匯流排100輸出之該初始化訊號，以對該CCD擷取模組11進行初始化。

該CCD 主RGB訊號模組14其一端耦接至該CCD擷取模組11，另一端耦接該匯流排100，可接收該CCD擷取模組11輸出之該彩色影像訊號至該匯流排100。

該同步時脈先進先出記憶體15其一端耦接至該CCD擷取模組11，另一端耦接至CCD主灰階訊號模組16，可接收該CCD擷取模組11輸出之該灰階影像訊號至CCD主灰階訊號模組16。

該CCD主灰階訊號模組16其一端耦接至該同步時脈先進先出記憶體15，另一端耦接至該匯流排100，可經由該匯流排100輸出該灰階影像訊號至該記憶體60中。

請參照圖3，其繪示本發明一較佳實施例之SIFT特徵點擷取頂層模組之細部方塊示意圖。

如圖所示，該SIFT特徵點擷取頂層模組20進一步包括：一SIFT模組21；一第一緩衝器(Buffer)模組22；以及一SIFT-LES控制模組23。

其中，該SIFT模組21其一端耦接至該SIFT匯流排控制模組41，用以擷取該灰階影像訊號中的特徵點資料。

該第一緩衝器模組22耦接至該SIFT匯流排控制模組41、該SIFT-LES控制模組23及該SIFT模組21，可將高維度的特徵點資料轉換成符合該匯流排所需的32位元之資料寬度。在本實施例中係以將1312維度轉換為32位元資料寬度為例加以說明，但並不以此為限。

該SIFT-LES控制模組23分別耦接至該SIFT模組21、第一緩衝器模組22以及特徵點匹配頂層模組30，用以計算特徵點的影像座標以及控制該SIFT模組21、第一緩衝器模組22及特徵點匹配頂層模組30的初始與結束。

請參照圖4，其繪示本發明一較佳實施例之特徵點匹配頂層模組之細部方塊示意圖。

如圖所示，該特徵點匹配頂層模組30進一步包括：一第二緩衝器模組31；一LES匹配模組32；一座標暫存模組33；一離群值移除(Outlier Removal)模組34；以及一偵測模組35。

其中，該第二緩衝器模組31其一端耦接至該LES匯流排控制模組42，可將匯流排讀寫所需的32位元轉成高為度的特徵點資料。在本實施例中係以將32位元資料寬度轉換為1312維度為例加以說明，但並不以此為限。

該LES匹配模組32係耦接至該第二緩衝器模組31及座標暫存模組33，其利用線性窮舉搜尋法(Linear Exhaustive Search, LES)針對一物件特徵點與影像特徵點資料進行匹配，每匹配一次，會輸出該特徵點資料的該影像座標，並暫存於該座標暫存模組33中。

該座標暫存模組33係耦接至該LES匹配模組32及離群值移除模組34，用以暫存該影像座標並傳送特徵點座標至離群值移除模組34。

該離群值移除模組34係耦接至該LES匹配模組32、座標暫存模組33及偵測模組35，藉由一階層式距離演算法(Hierarchical Distance)濾除掉相對於大多數匹配點之位置中過於疏遠的特徵點，並將濾除後保留下來的特徵點座標值傳送至偵測模組35，以此穩定物件追蹤的結果。

該偵測模組35係耦接至該離群值移除模組34，經過濾除後的該影像座標經由該偵測模組35提供給該VGA顯示頂層模組50所需畫出一綠色方框（圖未示）的資料，包含該綠色方框左上角的影像座標以及綠色方框的長度與寬度等，使得該VGA顯示頂層模組50能根據這些資訊，顯示一追蹤物件（圖未示）的綠色方框於該顯示器110上。

請參照圖5，其繪示本發明一較佳實施例之VGA顯示頂層模組之細部方塊示意圖。

如圖所示，該VGA顯示頂層模組50進一步包括：一從(Slave)介面模組51；一顯示模組52；以及一VGA控制器53。

其中，該從介面模組51係耦接至該匯流排100及VGA控制器53，可接收該匯流排100輸出之一初始化(Initialization)訊號至VGA控制器53。

該顯示模組52係耦接至該影像擷取頂層模組10及該偵測模組35，可分別接收該彩色影像訊號及偵測模組35提供之偵測盒座標。

該VGA控制器53係耦接至該從介面模組51及顯示模組52，可將該彩色影像訊號轉換成一VGA的顯示格式後輸出至該顯示器110上顯示。

請參照圖6，其繪示本發明一較佳實施例之SIFT匯流排控制模組之細部方塊示意圖。

如圖所示，該SIFT匯流排控制模組41進一步包括：一第一異步時脈先進先出（Dual Clock First-In-First-Out, DCFIFO）記憶體410；一從(Slave)介面411；一從(Slave)SIFT模組412；一第一有限狀態機器(Finite State Machine, FSM)控制模組413；一第二異步時脈先進先出（Dual Clock First-In-First-Out, DCFIFO）記憶體414；以及一AVB SIFT主(Master)模組415。

其中，該第一異步時脈先進先出記憶體410其一端耦接至該SIFT特徵點擷取頂層模組20，另一端耦接至該匯流排100，用以存放該灰階影像在該記憶體60中的位址資料。

該從介面411之一端耦接至該匯流排100，可接收該匯流排輸出之硬體設定指令，另一端耦接至從匹配從SIFT模組412，將硬體設定指令於SIFT匯流排控制模組41位於從模式時傳送至從SIFT模組412。

該從SIFT模組412之一端耦接至該從介面411，可接受該從介面411的控制以使該從SIFT模組412位於一從(Slave)模式。

該第一有限狀態機器控制模組413耦接至該從SIFT模組412，可控制第一異步時脈先進先出記憶體410及第二異步時脈先進先出記憶體414對記憶體60中的位址資料之讀寫。

該第二異步時脈先進先出記憶體414之一端耦接至該SIFT特徵點擷取頂層模組20，用以存放所擷取到之特徵點的資料，另一端耦接至AVB SIFT主模組415，用以將特徵點資料於AVB SIFT主模組於主(master)模式時寫入至記憶體60相對應的位址中。

該AVB SIFT主模組415之一端耦接至該第二異步時脈先進先出記憶體414，另一端耦接至該匯流排100，位於主(Master)模式時可將該第二異步時脈先進先出記憶體414中的資料讀出並寫入至該記憶體60相對應的位址中。

請參照圖7，其繪示本發明一較佳實施例之LES匯流排控制模組之細部方塊示意圖。

如圖所示，該LES匯流排控制模組42進一步包括；一第三異步時脈先進先出（Dual Clock First-In-First-Out, DCFIFO）記憶體420；一從(Slave)介面421；一從(Slave)匹配模組422；一第二有限狀態機器(Finite State Machine，FSM)控制模組423；一第四異步時脈先進先出（Dual Clock First-In-First-Out, DCFIFO）記憶體424；以及一AVB LES主(Master)模組425。

其中，該第三異步時脈先進先出記憶體420之一端耦接至該特徵點匹配頂層模組30，另一端耦接至該匯流排100，用以存放該追蹤物件及影像特徵點資料在該記憶體60中的位址資料。

該從介面421之一端耦接至該匯流排100，可接收該匯流排輸出之硬體設定指令，另一端耦接至從匹配模組422，將硬體設定指令於LES匯流排控制模組42位於從模式時傳送至從匹配模組422。

該從匹配模組422之一端耦接至該從介面421，另一端耦接至第二有限狀態機器控制模組423，可接受該從介面421的控制以使該LES匯流排匹配控制模組42位於該從模式。

該第二有限狀態機器控制模組423耦接至該從匹配模組422，可控制第三異步時脈先進先出記憶體420及第四異步時脈先進先出記憶體424對記憶體60中的位址資料之讀寫。

該第四異步時脈先進先出記憶體424之一端耦接至該特徵點匹配頂層模組30，另一端耦接至AVB LES主模組425，用以存放所匹配到之特徵點的資料並於主模式時傳送至AVB LES主模組425。

該AVB LES主模組425之一端耦接至該第四異步時脈先進先出記憶體424，另一端耦接至該匯流排100，位於主模式時可將該第四異步時脈先進先出記憶體424中的資料讀出並寫入至該記憶體60相對應的位址中。

請參照圖8，其繪示本發明一較佳實施例之FPGA多主從硬體架構之即時物件追蹤系統之動作流程示意圖。

如圖所示，本發明一較佳實施例之FPGA多主從硬體架構之即時物件追蹤系統於運作時，其流程如下：先初始化該影像擷取頂層模組10及VGA顯示頂層模組50（步驟1）；該取像裝置90是否開始擷取影像？（步驟2），若否則持續偵測；調整該取像裝置90的曝光值及一物件在影像上的位置（步驟3）；該SIFT特徵點擷取頂層模組是否開始擷取物件特徵？（步驟4），若否則持續偵測；初始化該SIFT匯流排控制模組41（步驟5）；執行該SIFT特徵點擷取頂層模組20（步驟6）；是否開始擷取影像特徵？（步驟7），若否則回步驟6持續偵測；初始化該SIFT匯流排控制模組41（步驟8）；執行該SIFT特徵點擷取頂層模組20（步驟9）；初始化該LES匯流排控制模組42（步驟10）；執行特徵點匹配頂層模組30（步驟11）；是否停止物件追蹤？（步驟12），若否則回步驟8，若是則結束該流程。

於該步驟1中，先初始化該影像擷取頂層模組10及VGA顯示頂層模組50；在開始執行即時物件追蹤時，該控制單元80（即Nios II處理器）為「主」，該影像擷取頂層模組10及VGA顯示頂層模組50為「從」，透過該匯流排100（即Avalon-Bus）及該第一RGB從介面模組12分別先將影像欲存在該記憶體60的位址分別傳送至該影像擷取頂層模組10及VGA顯示頂層模組50裡，使得該影像擷取頂層模組10能根據該位址將該取像裝置90（即D5M相機）擷取到的影像資料存入該記憶體60中，且VGA顯示頂層模組50能根據該位址，將影像資料由記憶體60讀出並顯示在該顯示器110上。由於該SIFT特徵點擷取頂層模組20中需要輸入的影像資料是灰階影像，而VGA顯示頂層模組50顯示的影像是彩色影像，故在此步驟時，該控制單元80之軟核（Soft Core）會分別透過該第一RGB從介面模組12及第一灰階從介面模組13傳送兩個影像資料位址予該影像擷取頂層模組10，前者為彩色影像資料於該記憶體60中的位址，後者則為灰階影像資料於該記憶體60中的位址。

於該步驟2中，該取像裝置90是否開始擷取影像？；在這個條件判斷的步驟中，若使用者將一FPGA開發板（圖未示）上第1個指撥開關(switch)撥為1時，該取像裝置90便開始擷取影像，透過該影像擷取頂層模組10將該取像裝置90感測到的原始影像資料轉化為RGB的格式，接著，該影像擷取頂層模組10為「主」模式，該記憶體60為「從」模式，將RGB的資料透過該CCD 主RGB訊號模組14及該匯流排100寫入該記憶體60裡存放彩色影像的記憶體位址中，同時間，灰階影像資料係透過該同步時脈先進先出記憶體15，擷取RGB中的G值，並透過該CCD主灰階訊號模組16及該匯流排100寫入該記憶體60裡存放灰階影像的位址中。當該記憶體60存放彩色影像的位址有資料時，該VGA顯示頂層（VGA_Top）模組50便開始從該位址讀取資料，藉由該VGA控制器（VGA Controller）53將資料轉換為VGA的顯示格式，進而顯示在該顯示器110上；此外，該顯示（Display）模組52在一開始的時候會將影像上畫出一個綠色方框，以便在下一個步驟時能夠方便使用者將欲追蹤的物件放在該綠色方框中，進而進行追蹤。倘若使用者未將FPGA開發板上第1個指撥開關撥為1，則該硬體模組不動作，維持原來的模式。

於該步驟3中，調整該取像裝置90的曝光值及一物件在影像上的位置；該顯示器110顯示出該取像裝置90即時拍到的畫面後，若使用者需要調整相機的曝光值，則可透過該FPGA開發板上的第一個KEY鍵(KEY[0])以及第二個指撥開關(SW[1])進行調整，若SW[1]為0，則使用者按下KEY[0]時可將畫面的亮度調亮，按愈多次KEY[0]曝光值愈高；反之，若SW[1]為1，則使用者按下KEY[0]時可將畫面的亮度調暗。在此步驟中，除了能調亮或調暗該顯示器110顯示影像的畫面亮度之外，使用者也需將欲追蹤的物件放在影像顯示的綠色方框中，以便下一個步驟中能擷取到綠色方框內的特徵點資訊。

於該步驟4中，該SIFT特徵點擷取頂層模組是否開始擷取物件特徵？；當使用者將該FPGA開發板的第三個指撥開關SW[2]撥為1時，系統便於下一個步驟開始建立該顯示器110畫面中綠色方框內的所有特徵，並視為物件特徵，反之，若SW[2]保持為0，則系統維持原來的動作。

於該步驟5中，初始化該SIFT匯流排控制模組41。在此步驟中，為建立物件特徵，首先需將該記憶體60裡的灰階影像傳至該SIFT特徵點擷取頂層模組20，方能透過SIFT的硬體電路擷取特徵點，且擷取的特徵點資訊亦需要寫入記憶體60中，因此，該SIFT匯流排控制模組41便扮演了該記憶體60與該SIFT特徵點擷取頂層模組20之間的資料仲介角色。在初始化該SIFT匯流排控制模組41時，該控制單元80為「主」模式，該SIFT匯流排控制模組41為「從」模式，該控制單元80將該記憶體60中存放灰階影像位址以及該SIFT特徵點擷取頂層模組20在計算完特徵點時需存放至該記憶體60的位址等，透過該匯流排100及從介面411傳至該從SIFT（SiftSlave）模組412，使得該第一有限狀態機器（SiftCtrl）控制模組413能根據這些位址讀取／寫入相對應的資料至記憶體60中。當該控制單元80將位址資料皆傳送完畢後，該第一有限狀態機器控制模組413便開始依據灰階影像的記憶體60位址讀取該資料，先存放在該第一異步時脈先進先出記憶體410中，讓該第一有限狀態機器控制模組413直接讀取該第一異步時脈先進先出記憶體410的資料，而當該SIFT特徵點擷取頂層模組20擷取到特徵點時，特徵點的資料便被寫入至該第二異步時脈先進先出記憶體414中，此時，該SIFT匯流排控制模組為「主」模式，該控制單元80為「從」模式，該第一有限狀態機器控制模組413藉由該AVB SIFT主（Avb SIFT Master）模組415將該第二異步時脈先進先出記憶體414的資料讀出並寫入至該記憶體60相對應的位址中。

於該步驟6中，執行該SIFT特徵點擷取頂層模組20；當該SIFT-LES控制（SIFT_LES_Controller）模組23偵測到該第一異步時脈先進先出記憶體410中有資料時，其便開始讀取該第一異步時脈先進先出記憶體410的資料，並傳送至該SIFT模組21中，同時啟動該SIFT模組21，以開始擷取物件特徵點。該SIFT模組21擷取到的特徵點資料包含128維的特徵描述值以及影像座標，全部以1312位元編碼，因此，在該第一緩衝器（Buffer_1312to32）模組22中，1312位元的資料以32位元循序地寫入至該第二異步時脈先進先出（DCFIFO#2）記憶體414中，使得該SIFT匯流排控制（Avb SIFT Control）模組41能將32位元的資料依序寫入該記憶體60中。當物件的特徵點皆擷取完畢後，該SIFT-LES控制（SIFT_LES_Controller）模組23除了傳送物件的特徵點數量之外，更重置(reset)該SIFT模組21，並維持原動作，同時等待使用者於下一個步驟時啟動擷取影像特徵點。

於該步驟7中，是否開始擷取影像特徵？；當該物件特徵擷取完畢後，使用者將SW[2]撥為0，關閉物件特徵之擷取，並啟動第四個指撥開關SW[3]，系統便建立該顯示器110畫面中所有的特徵，並視為影像特徵，反之，若使用者不操作上述的動作，則系統維持原來的狀態。

於該步驟8中，初始化該SIFT匯流排控制模組41；此步驟與步驟（5）相同，唯一的差別為該控制單元80此時傳送至該SIFT匯流排控制（Avb SIFT Control）模組41的資料除了灰階影像的位址之外，另有存放影像特徵點資料的位址等，使得物件特徵點資料不會被覆蓋過去；其餘的操作則如同步驟（5）一樣。

於該步驟9中，執行該SIFT特徵點擷取頂層模組20；此步驟與步驟（6）相同，惟此時該SIFT特徵點擷取頂層模組20擷取的是影像特徵點的資料、計算影像特徵點的總數等，其餘的動作則如同步驟6一樣。值得一提的是，當影像中所有的特徵點都擷取完畢後，該SIFT-LES控制（SIFT_LES_Controller）模組23除了重置該SIFT模組21之外，同時也啟動該特徵點匹配頂層模組30，使得物件與影像特徵點能開始相互匹配。

於該步驟10中，初始化該LES匯流排控制模組42；在初始化LES匯流排控制模組42時，該控制單元80為「主」模式，該LES匯流排控制模組42為「從」模式，該控制單元80將該記憶體60裡存放物件及影像特徵點資料的位址與該特徵點匹配頂層（Matching_Top）模組30在匹配完特徵點時需存放至該記憶體60的位址等，透過該匯流排100及該從介面421傳至該從匹配（MatchSlave）模組422，使得該第二有限狀態機器控制（MatchCtrl）模組423能根據這些位址讀取／寫入相對應的資料至該記憶體60中。當該控制單元80將位址資料皆傳送完畢後，該第二有限狀態機器控制（MatchCtrl）模組423便開始依據物件及影像特徵點資料的記憶體60位址分別讀取該資料，先讀取第一筆物件特徵點資料，再讀取影像所有的特徵點資料，待匹配完後，再讀取第二筆物件特徵資料，依此類推。讀取到的資料首先存放在該第三異步時脈先進先出記憶體420中，讓該第二有限狀態機器控制（MatchCtrl）模組423直接讀取該第三異步時脈先進先出記憶體420的資料，而當特徵點匹配頂層（Matching_Top）模組30匹配到特徵點時，特徵點的資料便被寫入至該第四異步時脈先進先出記憶體424中，此時，該LES匯流排控制模組42為「主」，該控制單元80為「從」，該第二有限狀態機器控制（MatchCtrl）模組423藉由該AVB LES主（Avb LES Master）模組425將該第四異步時脈先進先出記憶體424的資料讀出並寫入至該記憶體60相對應的位址中。

於該步驟11中，執行特徵點匹配頂層模組30；當該SIFT-LES控制模組23與LES匯流排控制模組42皆啟動了匹配後，該第二緩衝器模組31首先判斷該LES匯流排控制模組42中該第三異步時脈先進先出記憶體420是否有存取資料，若有，則開始依序讀取該第三異步時脈先進先出記憶體420的資料，當讀取至可整合成1312位元的特徵點資料後，便將該資料送至該LES匹配模組32；此模組主要利用線性窮舉搜尋法(Linear Exhaustive Search, LES)針對物件與影像特徵點進行匹配，每匹配一次，影像特徵點的影像座標會輸出至該座標暫存模組33；該座標暫存模組33主要是暫存每一筆影像座標，因此，若最後有匹配到，則該座標暫存模組33便可輸出匹配到的影像座標至該離群值移除（Outlier Removal）模組34，反之，該座標暫存模組33裡暫存影像座標的暫存器資料將會被覆蓋掉。由於在實際的物件追蹤中，因雜訊干擾的關係而導致有少許的特徵點匹配錯誤，將影響物件追蹤的效果，因此，在該離群值移除（Outlier Removal）模組34中，其主要藉由階層式距離演算法(Hierarchical Distance)濾除掉相對於大多數匹配點之位置中過於疏遠的特徵點，以此穩定物件追蹤的結果。最後，經過濾除後的影像座標經由該偵測（Detection）模組35，提供該VGA顯示頂層（VGA_Top）模組50所需畫出綠色方框的資料，包含方框左上角的影像座標以及方框的長與寬等，使得該VGA顯示頂層（VGA_Top）模組50能根據這些資訊，顯示追蹤物件的綠色方框於該顯示器110中。

經由本發明FPGA多主從硬體架構之即時物件追蹤系統之實施，其具有下列優點：1、其採用多主從硬體設計，能便於開發者更換或修改任意一個頂層模組，大幅提高硬體架構的彈性與重配置的程度；2、使用階層式距離演算法的硬體電路有效地提高追蹤的穩定度；3、其影像速度可達 (41 fps, 影像大小為640*480)；以及4、可使得物件能快速且穩定的被追蹤，直到使用者不再需要追蹤該物件為止等。因此，確實較習知之物件追蹤系統具有進步性。

本案所揭示者，乃較佳實施例，舉凡局部之變更或修飾而源於本案之技術思想而為熟習該項技藝之人所易於推知者，俱不脫本案之專利權範疇。

綜上所陳，本案無論就目的、手段與功效，在在顯示其迥異於習知之技術特徵，且其首先發明合於實用，亦在在符合新型之專利要件，懇請　貴審查委員明察，並祈早日賜予專利，俾嘉惠社會，實感德便。

10:影像擷取頂層模組

11:CCD擷取模組

12:第一RGB從介面模組

13:第一灰階從介面模組

14:CCD主RGB訊號模組

15:同步時脈先進先出記憶體

16:CCD主灰階訊號模組

20:SIFT特徵點擷取頂層模組

21:SIFT模組

22:第一緩衝器模組

23:SIFT-LES控制模組

30:特徵點匹配頂層模組

31:第二緩衝器模組

32:LES匹配模組

33:座標暫存模組

34:離群值移除模組

35:偵測模組

41:SIFT匯流排控制模組

410:第一異步時脈先進先出記憶體

411:從介面

412:從SIFT模組

413:第一有限狀態機器控制模組

414:第二異步時脈先進先出記憶體

415:AVB SIFT主模組

42:LES匯流排控制模組

420:第三異步時脈先進先出記憶體

421:從介面

422:從匹配模組

423:第二有限狀態機器控制模組

424:第四異步時脈先進先出記憶體

425:AVB LES主模組

50:VGA顯示頂層模組

51:從介面模組

52:顯示模組

53:VGA控制器

60:記憶體

70:記憶體控制器

80:控制單元

90:取像裝置

100:匯流排

110:顯示器

圖1為一示意圖，其繪示本發明一較佳實施例之FPGA多主從硬體架構之即時物件追蹤系統之方塊示意圖。 圖2為一示意圖，其繪示本發明一較佳實施例之影像擷取頂層模組之細部方塊示意圖。 圖3為一示意圖，其繪示本發明一較佳實施例之SIFT特徵點擷取頂層模組之細部方塊示意圖。 圖4為一示意圖，其繪示本發明一較佳實施例之特徵點匹配頂層模組之細部方塊示意圖。 圖5為一示意圖，其繪示本發明一較佳實施例之VGA顯示頂層模組之細部方塊示意圖。 圖6為一示意圖，其繪示本發明一較佳實施例之SIFT匯流排控制模組之細部方塊示意圖。 圖7為一示意圖，其繪示本發明一較佳實施例之LES匯流排控制模組之細部方塊示意圖。 圖8為一示意圖，其繪示本發明一較佳實施例之FPGA多主從硬體架構之即時物件追蹤系統之動作流程示意圖。

10:影像擷取頂層模組

20:SIFT特徵點擷取頂層模組

30:特徵點匹配頂層模組

41:SIFT匯流排控制模組

42:LES匯流排控制模組

50:VGA顯示頂層模組

60:記憶體

70:記憶體控制器

80:控制單元

90:取像裝置

100:匯流排

110:顯示器

Claims (8)

1. 一種FPGA多主從硬體架構之即時物件追蹤系統，其包括：一影像擷取頂層模組，用以擷取一取像裝置所輸出之一影像訊號，該影像訊號於處理後輸出一彩色影像訊號及一灰階影像訊號至一匯流排；一SIFT匯流排控制模組，耦接至該匯流排，可控制該匯流排與SIFT特徵點擷取頂層模組之間的動作，其中該SIFT匯流排控制模組進一步包括：一第一異步時脈先進先出記憶體，其一端耦接至該SIFT特徵點擷取頂層模組，另一端耦接至該匯流排，用以存放該灰階影像在該記憶體中的位址資料；一從介面，其一端耦接至該匯流排，可接收該匯流排輸出之硬體設定指令，另一端耦接至從SIFT模組，將硬體設定指令於SIFT匯流排控制模組位於從模式時傳送至從SIFT模組；一從SIFT模組，其一端耦接至該從介面，可接受該從介面的控制以使該從SIFT模組位於從模式；一第一有限狀態機器控制模組之一端耦接至該從SIFT模組，可控制第一異步時脈先進先出記憶體及第二異步時脈先進先出記憶體對記憶體中的位址資料之讀寫；一第二異步時脈先進先出記憶體，其一端耦接至該SIFT特徵點擷取頂層模組，用以存放所擷取到之特徵點的資料，另一端耦接至AVB SIFT主模組，用以將特徵點資料於AVB SIFT主模組於主模式時寫入至記憶體相對應的位址中；以及一AVB SIFT主模組，其一端耦接至該第二異步時脈先進先出記憶體，另一端耦接至該匯流排，位於主模式時可將該第二異步時脈先進先出記憶體中的資料讀出並寫入至該記憶體相對應的位址中；一LES匯流排控制模組，耦接至該匯流排，可控制該匯流排與特徵點匹配頂層模組之間的動作；一SIFT特徵點擷取頂層模組，耦接至該SIFT匯流排控制模組，可接收該灰階影像訊號進行特徵偵測與描述後輸出一特徵影像座標及一特徵描述子訊號；一特徵點匹配頂層模組，耦接至該LES匯流排控制模組，可接收該特徵描述子訊號，用以計算及輸出匹配到之物件特徵點的一影像座標；一VGA顯示頂層模組，分別耦接至該特徵點匹配頂層模組及匯流排，可接收該彩色影像訊號後經由一VGA埠耦接至一顯示器； 一記憶體，用以儲存資料；一記憶體控制器，可控制該記憶體之運作；以及一控制單元，可控制資料讀取/寫入至該記憶體。
2. 如申請專利範圍第1項所述之FPGA多主從硬體架構之即時物件追蹤系統，其中該匯流排為一Altera公司之Avalon匯流排，該控制單元為一Altera公司之Nios II處理器，該記憶體為一SDRAM，該記憶體控制器為一SDRAM控制器，該取像裝置為一Altera公司之D5M相機，且該取像裝置係經由一GPIO埠耦接至該影像擷取頂層模組。
3. 如申請專利範圍第1項所述之FPGA多主從硬體架構之即時物件追蹤系統，其中該影像擷取頂層模組進一步包括：一CCD擷取模組，耦接至該取像裝置，用以擷取該取像裝置所輸出之該影像訊號；一第一RGB從介面模組，其一端耦接至該CCD擷取模組，另一端耦接至該匯流排，可接收該匯流排輸出之一初始化訊號，以對該CCD擷取模組初始化；一第一灰階從介面模組，其一端耦接至該CCD擷取模組，另一端耦接至該匯流排，可接收該匯流排輸出之一初始化訊號，以對該CCD擷取模組初始化；一CCD主RGB訊號模組，其一端耦接至該CCD擷取模組，另一端耦接該匯流排，可接收該CCD擷取模組輸出之該彩色影像訊號至該匯流排；一同步時脈先進先出記憶體，其一端耦接至該CCD擷取模組，可接收該CCD擷取模組輸出之該灰階影像訊號至該匯流排；以及一CCD主灰階訊號模組，其一端耦接至該同步時脈先進先出記憶體，另一端耦接至該匯流排，可經由該匯流排輸出該灰階影像訊號至該記憶體中。
4. 如申請專利範圍第1項所述之FPGA多主從硬體架構之即時物件追蹤系統，其中該SIFT特徵點擷取頂層模組進一步包括：一SIFT模組，其一端耦接至該SIFT匯流排控制模組，用以擷取該灰階影像訊號中的特徵點資料；一第一緩衝器模組，其一端耦接至該SIFT匯流排控制模組及該SIFT模組，可 將高維度的特徵點資料轉換成符合該匯流排所需的32位元之資料寬度；以及一SIFT-LES控制模組，分別耦接至該SIFT模組、第一緩衝器模組及特徵點匹配頂層模組，用以計算特徵點的影像座標以及控制該SIFT模組及特徵點匹配頂層模組的初始與結束。
5. 如申請專利範圍第1項所述之FPGA多主從硬體架構之即時物件追蹤系統，其中該特徵點匹配頂層模組進一步包括：一第二緩衝器模組，其可將32位元之資料寬度合併成高維度的特徵點資料轉；一LES匹配模組，耦接至該第二緩衝器模組，其利用線性窮舉搜尋法(Linear Exhaustive Search,LES)針對一物件與該特徵點資料進行匹配，每匹配一次，會輸出該特徵點資料的該影像座標；一座標暫存模組，耦接至該LES匹配模組，用以暫存該影像座標；一離群值移除模組，耦接至該LES匹配模組，藉由一階層式距離演算法(Hierarchical Distance)濾除掉相對於大多數匹配點之位置中過於疏遠的特徵點，以此穩定物件追蹤的結果；以及一偵測模組，耦接至該離群值移除模組，經過濾除後的該影像座標經由該偵測模組，提供該VGA顯示頂層模組所需畫出一綠色方框的資料，包含該綠色方框左上角的影像座標以及綠色方框的長與寬等，使得該VGA顯示頂層模組能根據這些資訊，顯示一追蹤物件的綠色方框於一顯示器中。
6. 如申請專利範圍第5項所述之FPGA多主從硬體架構之即時物件追蹤系統，其中該VGA顯示頂層模組進一步包括：一從介面模組，耦接至該匯流排，可接收該匯流排輸出之一初始化訊號；一顯示模組，耦接至該匯流排，可接收該彩色影像訊號及該特徵點匹配頂層模組輸出該灰階影像之特徵點的影像座標；以及一VGA控制器，耦接至該從介面模組及顯示模組，將該彩色影像訊號轉換成一VGA的顯示格式後輸出至該顯示器上顯示。
7. 如申請專利範圍第1項所述之FPGA多主從硬體架構之即時物件追蹤系統，其中該LES匯流排控制模組進一步包括：一第三異步時脈先進先出記憶體，其一端耦接至該特徵點匹配頂層模組，另一端耦接至該匯流排，用以存放該物件及影像特徵點資料在該記憶體中的位址資料；一從介面，其一端耦接至該匯流排，可接收該匯流排輸出之硬體設定指令，另一端耦接至從匹配模組，將硬體設定指令於LES匯流排控制模組位於從模式時傳送至從匹配模組；一從匹配模組，其一端耦接至該從介面，另一端耦接至第二有限狀態機器控制模組，可接受該從介面的控制以使該LES匯流排控制模組位於從模式；一第二有限狀態機器控制模組，其一端耦接至該從匹配模組，可控制第三異步時脈先進先出記憶體及第四異步時脈先進先出記憶體對記憶體中的位址資料之讀寫；一第四異步時脈先進先出記憶體，其一端耦接至該特徵點匹配頂層模組，另一端耦接至AVB LES主模組，用以存放所匹配到之特徵點的資料並於主模式時傳送至AVB LES主模組；以及一AVB LES主模組，其一端耦接至該第四異步時脈先進先出記憶體，另一端耦接至該匯流排，位於主模式時可將該第四異步時脈先進先出記憶體中的資料讀出並寫入至該記憶體相對應的位址中。
8. 如申請專利範圍第1項所述之FPGA多主從硬體架構之即時物件追蹤系統，其中該控制單元進一步包括：一指令主模組，耦接至該匯流排，用以傳送或接收指令至該匯流排；以及一資料主模組，耦接至該匯流排，用以讀取/寫入資料至該匯流排。

Images