TWI621355B - 可程式的即時影像追蹤裝置 - Google Patents

Abstract

本案係揭露一種可程式即時影像追蹤裝置(簡稱TRK)，具有可同時接收兩種不同頻段影像訊號，進行影像偵測與追蹤法則運算，且提供兩種不同頻段影像融合處理功能，並透過FPD-Link III將兩種不同頻段影像傳送至螢幕顯示，TRK也具有USB3.0介面與H.264影像壓縮模組，可即時將影像以H.264壓縮格式經由USB3.0儲存入外接拇指碟，並具有SPI控制模組可控制CAN BUS介面與外部裝置通訊。本案係提供一種可同時進行兩種不同頻段影像偵測與追蹤法則運算，並透過FPD-Link III將兩種不同頻段影像傳送至螢幕顯示的即時影像追蹤裝置。

Description

可程式的即時影像追蹤裝置

本發明係關於一種可程式的即時影像追蹤裝置，且特別是有關於一種可對兩種不同頻段的輸入影像進行處理的裝置，且又可依外部命令執行可程式的即時影像偵測與追蹤處理、兩種不同頻段影像的融合、及可產生不同的影像輸出格式至顯示器，以及具USB介面之儲存媒體的即時影像追蹤裝置。

無論是為了生命財產保障上的監控需求或是其他監控需求，監控技術中的影像處理技術一直扮演著關鍵性的角色。

影像處理主要是透過電子感光元件來取得監控的影像畫面，其必須經過電子訊號之處理與轉換，才能提供可供人眼觀看的影像訊號，進而供顯示器顯示之，然而這樣的影像處理往往需要耗用許多資源才能完成。目前市面上有各式各樣的影像處理產品，所使用的處理技術大多是以數位訊號處理器(DSP)來實現影像的處理功能，藉由軟體的運作來進行各種運算的處理，因此其運算處理速度受限於軟體運算效率，較難以達到即時的影像處理。

本發明之一目的是在提供一種可程式即時影像追蹤裝置，具有可同時接收兩種不同頻段影像訊號，TRK進行兩種不同頻段影像偵測與追蹤法則運算，並透過FPD-Link III將兩種不同頻段影像傳送至螢幕顯示，TRK也具有USB3.0介面與H.264影像壓縮模組，可即時將影像以H.264 壓縮格式經由USB3.0儲存入外接拇指碟，並具有SPI控制模組可控制CAN BUS介面與外部裝置通訊。

為達上述目的及其他目的，本發明提出一種可程式的即時影像追蹤裝置，包含：對應連結二影像感測擷取器的連結介面、一場效可程式化邏輯閘陣列、一外部裝置命令接收介面、一輸出FPD-Link III影像格式的高速串列傳輸介面、一輸出CAN BUS格式的控制器區域網路匯流排介面及一USB輸出處理介面，其中，該場效可程式化邏輯閘陣列係具有對應連接該二影像感測擷取器、該外部裝置命令接收介面、該高速串列傳輸介面、該控制器區域網路匯流排介面及該USB輸出處理介面的對應連結介面。

於本發明之一實施例中，對應連結該二影像感測擷取器的該連結介面係包含符合相機連結介面(camera link)的一相機連結介面及符合16位元之LVDS規格的平行式LVDS數位影像介面，該相機連結介面係供一CCD可見光攝影機的連結，該平行式LVDS數位影像介面係供一紅外線攝影機的連結。

於本發明之一實施例中，該外部裝置命令接收介面係具備43位元訊號規格的傳輸能力，該場效可程式化邏輯閘陣列係根據對應連結該二影像感測擷取器的該連結介面取得影像資訊，並經由運算與處理後，傳送至該USB輸出處理介面、該控制器區域網路匯流排介面及該高速串列傳輸介面。

於本發明之一實施例中，該場效可程式化邏輯閘陣列包含：一與對應連結該二影像感測擷取器的連結介面連結的相機連結介面(camera link)解碼器、一與該相機連結介面解碼器連結並輸出左右相反之影像資料的影像反轉電路(Image Reverse)、一與該影像反轉電路連結的陰影掃瞄電路(Shadow Scan)、一與該陰影掃瞄電路連結的12位元轉8位元的位元轉換電路(Transformer 12bit To 8bit)、一與該12位元轉8位元的位元轉換電路連結並接收兩種不同頻段影像資料的影像融合電路(Fusion)、一與該影像融合電路連結的切換電路(Switch)、一與該切換電路連結的該十字標繪製電路、一與該十字標繪製電路連結的追蹤框繪製電路、一與該追蹤框繪製電路連結的高速串列傳輸介面電路(FPD-Link III)、一與該切換電路連結的USB控制器、一控制器區域網路匯流排介面控制電路(CAN BUS Controller)、一與該控制器區域網路匯流排介面控制電路連結的指令匯流排控制電路(Command Bus)。

於本發明之一實施例中，該USB控制器係用於進行影像的壓縮與產生符合USB輸出格式的影像資料，該USB控制器係運作於透過內部的H.264壓縮單元硬體而使用由RGB轉為YUV影像格式的影像資料，再藉由該H.264壓縮單元搭配該USB控制器內部的SRAM控制器對外部之同步隨機存取記憶體進行緩衝暫存的協同運作，最後將經壓縮處理後的影像資料傳送至該USB控制器內部的USB晶片，以提供外部耦接的儲存裝置寫入儲存。

於本發明之一實施例中，該高速串列傳輸介面電路係運作為將5~85MHz像素時脈速度之24位元影像並列資料轉成高速差動串列訊號並基於該指令匯流排控制電路所傳來的指令傳輸，並根據此時同步訊號是否致能來進行切換，以避免畫面有切割現象，再將十字標與搜索框繪製至畫面上，最後將影像資料傳輸而出。

於本發明之一實施例中，該陰影掃瞄電路係運作為利用偵測目標陰影位置，進而鎖定目標進行追蹤，該陰影掃瞄電路內的一濾波器接收該影像反轉電路所輸出的影像資料而進行水平濾波使陰影突顯，該陰影掃瞄電路內的一濾波門檻值單元接收該濾波器的輸出並產生可切出陰影的門檻值，該陰影掃 瞄電路內的一二值化單元及耦接該二值化單元的一尺寸選擇單元係排除影相的尺寸大小小於或等於一預定像素大小的物件，該陰影掃瞄電路內的一掃描單元係接收該尺寸選擇單元的輸出，進行掃描以產生可切出下方陰影之門檻值，再透過該陰影掃瞄電路內的一閘處理單元接收兩張二值化影像資料並進行「及閘」的處理，該陰影掃瞄電路內的一相連通單元係接收及閘的處理結果並進行相連物件判斷，產生相連物件資訊，該陰影掃瞄電路內的一ROI計算單元係接收該相連通單元的輸出並計算出目標資訊。

於本發明之一實施例中，該位元轉換電路係運作為將RGB影像格式各12位元的影像資料轉換RGB各8位元的影像資料以及調整影像亮度，該位元轉換電路係採用直方圖方式並設定門檻值對RGB三通道各找出影像最大及最小值，並依最大最小值線性對比伸展公式，使12位元影像變成8位元影像，透過先對RGB三通道建立直方圖的方式，依所設定之門檻值讀取直方圖找出最大及最小值，用最大最小值進行運算處理以及利用除法器求出解，能在垂直同步訊號的時間求出最大及最小值，下一張影像再依此運算處理求出8位元影像值。

於本發明之一實施例中，該位元轉換電路係運作為將RGB影像格式各12位元的影像資料轉換RGB各8位元的影像資料以及調整影像亮度，該位元轉換電路係採用直方圖方式並設定門檻值對RGB三通道各找出影像最大及最小值，並依最大最小值線性對比伸展公式，使12位元影像變成8位元影像，透過先對RGB三通道建立直方圖的方式，依所設定之門檻值讀取直方圖找出最大及最小值，用最大最小值進行運算處理以及利用除法器求出解，能在垂直同步訊號的時間求出最大及最小值，下一張影像再依此運算處理求出8位元影像值。

於本發明之一實施例中，該影像融合電路係運作為透過內部的引導濾波器接收兩種不同頻段之影像以獲得基礎圖層，透過內部的減法運算單元接收引導濾波器的輸出並計算出詳細圖層，透過內部的最大值選擇單元接收兩種不同頻段之基礎圖層或詳細圖層，計算出融合影像之基礎圖層或詳細圖層，透過內部的融合單元接收該最大值選擇單元的輸出，使其影像結合並輸出融合影像。

在本發明之一實施例中，FPGA主要實現命令模組(Command Bus)、相機連結介面(camera link)解碼器(相機連結介面(camera link)Decoder)、影像反轉模組(Image Reverse)、解析度轉換模組(Transformer 12bit To 8bit)、追蹤處理模組、影像融合模組、CAN BUS編碼模組、USB控制模組(USB Controller)及FPD-Link III編碼模組(FPD-Link III Controller)，其中，Command Bus匯流排係透過外部命令介面將從外部匯流排所送來之命令資訊解碼而產生時序資料和內部控制信號，相機連結介面(camera link)Decoder從外部相機連結介面(camera link)介面接收一外部頻段影像資料(此例為可見光)而解碼還原為原始影像數位資料，Image Reverse、Transformer 12bit To 8bit與追蹤處理，則是可依據外部命令選擇是否要執行，FPD-Link III Controller則是將處理後的影像資料編碼為FPD-Link III格式輸出給外部顯示器。

在本發明之一實施例中，還包括影像融合、CAN BUS Controller與USB Controller，可依據外部命令選擇是否要執行。

在本發明之一實施例中，本發明可以用場效可程式化邏輯閘陣列(Field Programmable Gate Array,FPGA)或是特定應用積體電路(ASIC)來實現。

藉此，本發明揭露之可程式的即時影像追蹤裝置，係可負責兩種不同頻段的影像偵測及追蹤處理，以及負責數位輸出等主要功能。本裝置主要由外部裝置進行控制，影像追蹤功能則由可程式化邏輯閘陣列電路(FPGA)硬體實現，接收來自外部之兩種不同頻段影像，依外部控制所下指令進行兩種不同頻段影像輸出切換，並利用FPGA在畫面上繪製十字絲及追蹤框，再傳送至外部顯示器上顯示。本裝置包括了相機連結介面(camera link)介面、平行式LVDS數位影像介面、外部命令介面、可程式化邏輯閘陣列電路(FPGA)、USB3.0介面、高速串列傳輸介面(FPD-Link III)和控制器區域網路匯流排介面等單元。其中，相機連結介面(camera link)介面耦接一外部第一種頻段影像(此例為可見光攝影機)，平行式LVDS數位影像介面耦接一外部第二種頻段影像(此例為紅外線攝影機)，而FPGA單元則透過外部命令介面將從外部匯流排所傳送來的控制資訊加以解碼，以執行兩種不同頻段影像偵測、追蹤，或影像融合等處理，並產生追蹤框與十字絲等顯示資訊，繪製於數位影像上，透過FPD-Link III介面傳送給外部的顯示器，同時也將追蹤運算所計算出來的目標座標Ex、Ey透過CAN BUS介面傳送給外部的伺服控制器，此外，本發明也將影像資料經過影像壓縮處理透過USB3.0介面傳送給外部的拇指碟進行即時影像儲存。

110‧‧‧相機連結介面

120‧‧‧平行式LVDS數位影像介面

130‧‧‧外部裝置命令接收介面

140‧‧‧場效可程式化邏輯閘陣列

150‧‧‧USB3.0介面

160‧‧‧高速串列傳輸介面

170‧‧‧控制器區域網路匯流排介面

210‧‧‧相機連結介面解碼器

211‧‧‧圖資訊號轉碼單元

212‧‧‧像素計算單元

213‧‧‧線性計算單元

214‧‧‧同步資料產生器

215‧‧‧RGB/Y轉換器

216‧‧‧主同步資料產生器

220‧‧‧影像反轉電路

221‧‧‧控制單元

222a~222c‧‧‧線性緩衝器1

223a~223c‧‧‧線性緩衝器2

224a~224b‧‧‧開關

230‧‧‧陰影掃瞄電路

231‧‧‧濾波器

232‧‧‧濾波門檻值單元

233a~b‧‧‧二值化單元

234‧‧‧尺寸選擇單元

235‧‧‧掃描單元

236‧‧‧閘處理單元

237‧‧‧相連通單元

238‧‧‧ROI計算單元

240‧‧‧位元轉換電路

241a~c‧‧‧直方處理單元

242‧‧‧位址計算單元

243‧‧‧極值搜尋單元

244‧‧‧轉換單元

250‧‧‧影像融合電路

251a~b‧‧‧引導濾波器

252a~b‧‧‧減法運算單元

253a~b‧‧‧最大值選擇單元

254‧‧‧融合單元

260‧‧‧切換電路

270‧‧‧十字標繪製電路

280‧‧‧追蹤框繪製電路

290‧‧‧FPD-Link III(高速串列傳輸介面電路)

300‧‧‧USB控制器

301‧‧‧RGB轉YUV單元

302‧‧‧H.264壓縮單元

303‧‧‧SRAM控制器

304‧‧‧USB晶片

305‧‧‧介面

310‧‧‧CAN BUS控制電路

311‧‧‧處理單元

312‧‧‧SPI時脈產生器

313‧‧‧加法器

314‧‧‧SPI控制訊號Tx

315‧‧‧SPI控制訊號Rx

320‧‧‧指令匯流排控制電路

321‧‧‧指令介面(IPM)

321a‧‧‧EMIF解碼器

322‧‧‧追蹤板

323‧‧‧數位影像控制器

324‧‧‧相機連結介面模組

CCD‧‧‧可見光攝影機

CCD_Image‧‧‧CCD影像

IR_Image‧‧‧紅外線影像

Fusion_Image‧‧‧融合影像

IP Board‧‧‧影像處理電路板

SPI‧‧‧主從式同步串列介面

SRAM‧‧‧同步隨機存取記憶體

SRAM 0、1‧‧‧同步隨機存取記憶體

C1~C6‧‧‧指令訊號

SH1~SH4‧‧‧追蹤目標的資訊

〔圖1〕係為本發明一實施例中之可程式的即時影像追蹤裝置的硬體架構圖。

〔圖2〕係為本發明一實施例中之可程式的即時影像追蹤裝置的功能方塊圖。

〔圖3〕係為本發明一實施例中之可程式之即時影像追蹤裝置的相機連結介面(camera link)解碼器內部的硬體架構圖。

〔圖4〕係為本發明一實施例中之可程式之即時影像追蹤裝置的影像反轉電路內部的硬體架構圖。

〔圖5〕係為本發明一實施例中之可程式之即時影像追蹤裝置的陰影掃瞄電路內部的硬體架構圖。

〔圖6〕係為本發明一實施例中之可程式之即時影像追蹤裝置的位元轉換電路內部的硬體架構圖。

〔圖7〕係為本發明一實施例中之可程式之即時影像追蹤裝置的影像融合電路內部的硬體架構圖。

〔圖8〕係為本發明一實施例中之可程式之即時影像追蹤裝置的切換電路內部的硬體架構圖。

〔圖9〕係為本發明一實施例中之可程式之即時影像追蹤裝置的FPD Link-III(高速串列傳輸介面電路)內部的硬體架構圖。

〔圖10〕係為本發明一實施例中之可程式之即時影像追蹤裝置的USB控制器及周邊的硬體架構圖。

〔圖11〕係為本發明一實施例中之可程式之即時影像追蹤裝置的CAN BUS控制電路內部的硬體架構圖。

〔圖12〕係為本發明一實施例中之可程式之即時影像追蹤裝置的指令匯流排控制電路內部的硬體架構圖。

為充分瞭解本發明之目的、特徵及功效，茲藉由下述具體之實施例，並配合所附之圖式，對本發明做一詳細說明，說明如後：本發明係以場效可程式邏輯陣列(Field Programmable Gate Array,FPGA)為基底的影像追蹤裝置來執行即時影像追蹤，在FPGA晶片的使用下，具有大容量的優點，且基於場效可程式邏輯陣列本身即具備之處理時脈的元件特 性(例如：時脈延遲鎖定迴路元件Clock Delay Locked Loop,CLKDLL)，可獲得精準的時脈，以及採用同步隨機存取記憶體(Synchronous Random Access Memory,SRAM)，可具備管線(Pipeline)功能，減少匯流排延遲，提升存取速度。

首先，請參照圖1，係本發明一實施例中之可程式的即時影像追蹤裝置的硬體架構圖。本發明可包含七個硬體區塊，包括有相機連結介面(camera link)110、平行式LVDS數位影像介面120、外部裝置命令接收介面130、場效可程式化邏輯閘陣列(FPGA)140、USB3.0介面(USB輸出處理介面)150、高速串列傳輸介面(FPD-Link III)160、以及與主從式同步串列介面(Serial Peripheral Interface,SPI)耦接的控制器區域網路匯流排介面(Controller Area Network BUS,CAN BUS)170。其中，相機連結介面(camera link)介面110的輸入，係耦接例如具相機連結介面(camera link)等規格的CCD可見光攝影機。平行式LVDS數位影像介面120的輸入，係耦接例如具16bits LVDS等規格的紅外線攝影機。外部命令介面130的輸入，係耦接例如具43bits數位信號規格的指令匯流排(command bus)。而可程式化邏輯閘陣列(FPGA)140係透過前述匯流排介面：相機連結介面(camera link)介面110、平行式LVDS數位影像介面120與外部命令介面130，從外部匯流排取得資訊，並且加以運算與處理後，再送至USB3.0介面150、高速串列傳輸介面(FPD-Link III)160和控制器區域網路匯流排介面170。其中，相機連結介面(camera link)110及平行式LVDS數位影像介面120此二連接介面係為分別連接至對應的影像感測擷取器。

接著請參閱圖2，係本發明一實施例中之可程式的即時影像追蹤裝置的功能方塊圖。本發明可以大體區分為十三個功能方塊，其包括了相機連結介面(camera link)解碼器210、影像反轉電路(Image Reverse)220、陰影掃瞄電 路(Shadow Scan)230、12位元轉8位元的位元轉換電路(Transformer 12bit To 8bit)240、影像融合電路(Fusion)250、切換電路(Switch)260、十字標繪製電路270、追蹤框繪製電路280、高速串列傳輸介面電路(FPD-Link III)290、USB控制器300、控制器區域網路匯流排介面控制電路(CAN BUS Controller)310、指令匯流排控制電路(Command Bus)320。

其中，相機連結介面解碼器210的輸入端係耦接例如具相機連結介面(camera lnk)等規格的至少一CCD可見光攝影機(圖2顯示二CCD可見光攝影機的二輸入訊號)，並解碼輸出為所需之影像資料(CCD影像CCD_Image)。影像反轉電路220的輸入端，係耦接相機連結介面解碼器210的輸出端，係輸出與原始資料左右相反的影像資料。陰影掃瞄電路230的輸入端係耦接影像反轉電路220的輸出端，係輸出所追蹤目標的資訊(SH1~SH4)。12位元轉8位元的位元轉換電路240的輸入端係耦接影像反轉電路220的輸出，進而可輸出8位元之影像資料。影像融合電路250的輸入端係耦接兩種不同頻段影像資料(如CCD影像及紅外線影像)，並輸出融合之影像資料。切換電路260的輸入端係耦接影像融合電路250的輸出端，切換電路260係輸出供外部裝置顯示的影像資料。十字標繪製電路270的輸入端係耦接切換電路260的輸出端，十字標繪製電路270係輸出所繪製之十字標的影像資料。追蹤框繪製電路280的輸入端係耦接十字標繪製電路270的輸出端，追蹤框繪製電路280係輸出繪製追蹤框之影像資料。高速串列傳輸介面電路(FPD-Link III)290的輸入端係耦接追蹤框繪製電路280的輸出端，高速串列傳輸介面電路(FPD-Link III)290係輸出FPD-Link III格式之影像訊號。USB控制器300的輸入端係耦接切換電路260的輸出端，USB控制器300係輸出控制USB介面所需的訊號。控制器區域網路匯流排介面控制電路(CAN BUS Controller)310的輸 入端係接收外部指令，並輸出用於控制控制器區域網路匯流排介面(CAN BUS)所需的訊號。指令匯流排控制電路320的輸入端係耦接例如具43bits數位信號規格的外部裝置的指令匯流排以接收指令訊號(C1~C6)，指令匯流排控制電路320係輸出內部控制訊號。

換言之，該陰影掃瞄電路230係運作為利用偵測目標陰影位置，進而鎖定目標進行追蹤，該陰影掃瞄電路230內的一濾波器231接收該影像反轉電路220所輸出的影像資料而進行水平濾波使陰影突顯，該陰影掃瞄電路230內的一濾波門檻值單元232接收該濾波器231的輸出並產生可切出陰影的門檻值，該陰影掃瞄電路230內的一二值化單元233a及耦接該二值化單元233a的一尺寸選擇單元234係排除影相的尺寸大小小於或等於一預定像素大小的物件，該陰影掃瞄電路內的一掃描單元235係接收該尺寸選擇單元234的輸出，進行掃描以產生可切出下方陰影之門檻值，再透過該陰影掃瞄電路內的一閘處理單元236接收兩張二值化影像資料(源自二值化單元233a及二值化單元233b)並進行「及閘」的處理，該陰影掃瞄電路230內的一相連通單元237係接收及閘的處理結果並進行相連物件判斷，產生相連物件資訊，該陰影掃瞄電路內的一ROI計算單元238係接收該相連通單元237的輸出並計算出目標資訊。

接著請參閱圖3，係本發明一實施例中之可程式之即時影像追蹤裝置的相機連結介面(camera link)解碼器內部的硬體架構圖。輸入影像為第一頻段影像資料(此實施例中為M₁ x N₁ RGB可見光影像資料，包含第一輸入訊號及第二輸入訊號，M₁ x N₁例如為659x494)，因第二頻段影像(此實施例中為熱像，可參閱圖2)大小為M₂ x N₂，故擷取可見光影像中間M₂ x N₂大小之影像資料來進行影像偵測及追蹤處理，將每一張影像前後各刪掉K條，每一條前面刪掉L_front個畫 素(pixel)，後面刪掉L_rear個畫素(pixel)，使第一頻段與第二頻段影像畫面大小一致。又為了同步第二頻段與第一頻段影像之同步訊號，將第一頻段影像的垂直同步訊號傳送至第二頻段攝影機，依此訊號來產生第二頻段之影像的垂直同步訊號，達到第二頻段與第一頻段影像同步之目的。在相機連結介面(camera link)210架構內，圖資訊號轉碼單元211係透過相機連結介面110從外部匯流排接收資料，並轉碼為影像處理所需的訊號，同步資料產生器214係接收圖資訊號轉碼單元211的RGB輸出，產生M₂xN₂解析度的同步訊號，RGB/Y轉換器215係接收圖資訊號轉碼單元211的RGB輸出，產生灰階值Y(即亮度影像資料輸出訊號)，主同步資料產生器216係接收圖資訊號轉碼單元211的同步訊號輸出，產生與另一頻段影像同步之訊號。

圖4係本發明一實施例中之可程式之即時影像追蹤裝置的影像反轉電路內部的硬體架構圖。在本實施例之系統中，第一種頻段攝影機前置的光學鏡組會將取得的影像上下顛倒，為使影像進入本發明的系統時能夠是正確的成像方向，係透過影像反轉電路220將影像左右反轉回來，變成正確位置的影像，才能進行後續的偵測及追蹤影像處理。RGB三通道各利用兩條線性緩衝器(222a~c、223a~c)，運用Ping Pong方式交換每條線性緩衝器儲存進來的影像，並從尾端讀出，使影像能左右相反，其延遲僅為1條線性緩衝器的時間。

圖5係本發明一實施例中之可程式之即時影像追蹤裝置的陰影掃瞄電路內部的硬體架構圖。在本實施例中，係以第一種頻段影像進行偵測及追蹤處理，偵測目標陰影位置，進而鎖定目標進行追蹤，在陰影掃瞄電路230架構內，濾波器231係接收影像反轉電路220之輸出，進行水平濾波，以突顯陰影，濾波門檻值單元232係耦接濾波器231之輸出，產生可切出陰影之門檻值，尺寸 選擇單元234係接收二值化單元233a處理後之影像，排除尺寸大小係小於或等於L_front像素(例如設定10)之物件，掃描單元235係接收尺寸選擇單元234之輸出，針對輸入的影像進行掃描，產生可切出下方陰影之門檻值，閘處理單元236係接收兩張二值化影像，進行及閘處理，相連通單元237係接收閘處理單元236之輸出，進行相連物件判斷，產生相連物件資訊，ROI計算單元238係接收相連通單元237之輸出，以計算出目標資訊。

圖6係本發明一實施例中之可程式之即時影像追蹤裝置的位元轉換電路內部的硬體架構圖。有的第一種頻段攝影機之輸出為RGB各12bit之影像資料，而FPD-Link III晶片接收之影像格式為RGB各8bit，為使輸出到螢幕之畫面能亮度正常，採用直方圖方式(透過直方處理單元241a~c)並設定門檻值對RGB三通道各找出影像最大及最小值(透過極值搜尋單元243)，並依最大最小值線性對比伸展公式：×(2⁸-1)，透過轉換單元244使12bit影像變成8bit影像。先對RGB三通道建立直方圖，依所設定之門檻值讀取直方圖找出最大及最小值，用最大最小值套用公式，利用除法器求出解，能在垂直同步訊號Blank時間求出最大及最小值，下一張影像再依此公式求出8bit影像值。

圖7係為本發明一實施例中之可程式之即時影像追蹤裝置的影像融合電路內部的硬體架構圖。透過濾波方式，計算出兩種不同頻段影像之基礎及詳細圖層，再將兩種不同頻段的圖層結合後，獲得融合影像。影像融合電路250架構內，引導濾波器(Guided Filter，251a、251b)係接收兩種不同頻段之影像，獲得基礎圖層。減法運算單元252a~b係接收引導濾波器(Guided Filter，25la、251b)之輸出，計算出詳細圖層。最大值選擇單元253a~b係接收兩種不同頻段之基礎 圖層或詳細圖層，計算出融合影像之基礎圖層或詳細圖層。融合單元254係接收最大值選擇單元253a~b之輸出，結合而輸出融合影像。

圖8係為本發明一實施例中之可程式之即時影像追蹤裝置的切換電路內部的硬體架構圖。切換電路內部係接收由指令匯流排控制電路320解碼出控制訊號，依據外部的影像選擇指令選來擇兩種不同頻段影像或融合影像進行影像的切換輸出。

圖9係為本發明一實施例中之可程式之即時影像追蹤裝置的FPD Link-III(高速串列傳輸介面電路)內部的硬體架構圖。FPD-Link III是一種高速串列傳輸之介面，可透過傳送晶片將5-85MHz像素時脈速度之24bit影像並列資料轉成高速差動串列訊號進行傳輸，再透過接收晶片將串列轉為並列資料，以達成高速傳輸之目的，速度可達525Mbps~2.975Gbps；本實施例是透過傳送晶片將影像資料傳出，伺服系統控制電路板透過接收晶片接收影像資料。影像輸出需透過主控下指令通知變換影像，FPGA接收到指令後，令垂直、水平與時脈等訊號以及RGB各通道的影像資料經由十字標繪製電路270與追蹤框繪製電路280的處理，於垂直、水平與時脈等訊號以及RGB各通道的影像資料的畫面上繪製十字標與追蹤框，再將影像編碼成FPD LINK-III 290所需格式，最後傳至後端傳輸晶片進行傳輸。

圖10係為本發明一實施例中之可程式之即時影像追蹤裝置的USB控制器及周邊的硬體架構圖。USB控制器及周邊受控於指令匯流排的命令，並透過介面305來接收，基於H.264硬體的影像輸入需使用8bit之YUV的影像，影像資料進入USB控制器300後首先進行RGB轉YUV運算(透過RGB轉YUV單元301)，接著透過H.264壓縮單元302進行H.264壓縮，H.264的壓縮需使用影像緩衝 區，因此使用同步隨機存取記憶體(SRAM0、1)作為影像緩衝區，以SRAM控制器303控制兩顆SRAM切換，最後將H.264影像送至USB晶片304，USB晶片304再將影像寫入USB隨身碟。

圖11係為本發明一實施例中之可程式之即時影像追蹤裝置的CAN BUS控制電路內部的硬體架構圖。處理單元311係接收由指令匯流排控制電路(Command Bus)320解碼之控制訊號，並藉由SPI控制訊號Tx314及SPI控制訊號Rx315產生SPI控制訊號以控制如圖1所示的CAN BUS介面(控制器區域網路匯流排介面)170，進而可以與外部裝置進行通訊。此外，藉由SPI時脈產生器312與加法器313來產生控制器區域網路時脈訊號。

圖12係為本發明一實施例中之可程式之即時影像追蹤裝置的指令匯流排控制電路內部的硬體架構圖。指令介面321是IP板與TRK板間的溝通介面，以IP板上的數位訊號處理器(DSP)內的EMIF為傳輸主體，配合控制訊號，介此控制TRK板的動作並讀回追蹤結果及資訊。指令介面321將DSP EMIF之控制信號、位址及資料匯流排進行解碼，獲得內部控制信號及資訊，並準備追蹤結果資訊供給外部DSP讀取。指令介面321內的EMIF解碼器321a係與追蹤板322、數位影像控制器323及相機連結介面模組相耦接。

綜合上述，本發明藉由即時影像追蹤方法來進行目標的正確追蹤與運算效率的提高，進而可有效運用硬體資源。在一實施例中，本發明揭露之可程式即時影像追蹤裝置係可使場效可程式邏輯閘陣列(FPGA)直接被用來進行處理，習知的DSP晶片只需負責外部之指令的輸入，影像追蹤功能係由追蹤板上的FPGA硬體來實現，該FPGA並可同時接收兩種不同頻段之影像，進行影像偵測與追蹤法則運算，後端可透過FPD-Link III將兩種不同頻段之影像傳送至外部 顯示器顯示，並可開啟影像融合功能進行顯示，也可透過USB介面將影像儲存至外接拇指碟，且可透過CAN BUS介面與外部裝置溝通，藉由FPGA的設計，以硬體化、管線化(Pipe-line)及平行化等方式進行運算，使運算效率提升，將影像處理時間縮短至一張像框(frame)時間內，達到即時影像追蹤之目的。

本發明在上文中已以較佳實施例揭露，然熟習本項技術者應理解的是，該實施例僅用於描繪本發明，而不應解讀為限制本發明之範圍。應注意的是，舉凡與該實施例等效之變化與置換，均應設為涵蓋於本發明之範疇內。因此，本發明之保護範圍當以申請專利範圍所界定者為準。

Claims (10)

1. 一種可程式的即時影像追蹤裝置，包含：對應連結二影像感測擷取器的連結介面、一場效可程式化邏輯閘陣列、一外部裝置命令接收介面、一輸出FPD-Link III影像格式的高速串列傳輸介面、一輸出CAN BUS格式的控制器區域網路匯流排介面及一USB輸出處理介面，其中，該場效可程式化邏輯閘陣列係具有對應連接該二影像感測擷取器、該外部裝置命令接收介面、該高速串列傳輸介面、該控制器區域網路匯流排介面及該USB輸出處理介面的對應連結介面，其中該場效可程式化邏輯閘陣列包括一影像融合電路(Fusion)，該影像融合電路接收來自該二影像感測擷取器的兩種不同頻段影像資料並輸出融合影像。
2. 如請求項第1項所述之即時影像追蹤裝置，其中，對應連結該二影像感測擷取器的該連結介面係包含符合相機連結介面(camera link)的一相機連結介面及符合16位元之LVDS規格的平行式LVDS數位影像介面，該相機連結介面係供一CCD可見光攝影機的連結，該平行式LVDS數位影像介面係供一紅外線攝影機的連結。
3. 如請求項第2項所述之即時影像追蹤裝置，其中，該外部裝置命令接收介面係具備43位元訊號規格的傳輸能力，該場效可程式化邏輯閘陣列係根據對應連結該二影像感測擷取器的該連結介面取得影像資訊，並經由運算與處理後，傳送至該USB輸出處理介面、該控制器區域網路匯流排介面及該高速串列傳輸介面。
4. 如請求項第2項所述之即時影像追蹤裝置，其中該場效可程式化邏輯閘陣列包含：一與對應連結該二影像感測擷取器的連結介面連結的相機連結介面(camera link)解碼器、一與該相機連結介面解碼器連結並輸出左右相反之影像資料的影像反轉電路(Image Reverse)、一與該影像反轉電路連結的陰影掃瞄電路(Shadow Scan)、一與該陰影掃瞄電路連結的l2位元轉8位元的位元轉換電路(Transformer 12bit To 8bit)、與該12位元轉8位元的位元轉換電路連結並接收兩種不同頻段影像資料的該影像融合電路、一與該影像融合電路連結的切換電路(Switch)、一與該切換電路連結的該十字標繪製電路、一與該十字標繪製電路連結的追蹤框繪製電路、一與該追蹤框繪製電路連結的高速串列傳輸介面電路(FPD-Link III)、一與該切換電路連結的USB控制器、一控制器區域網路匯流排介面控制電路(CAN BUS Controller)、一與該控制器區域網路匯流排介面控制電路連結的指令匯流排控制電路(Command Bus)。
5. 如請求項第4項所述之即時影像追蹤裝置，其中該USB控制器係用於進行影像的壓縮與產生符合USB輸出格式的影像資料，該USB控制器係運作於透過內部的H.264壓縮單元硬體而使用由RGB轉為YUV影像格式的影像資料，再藉由該H.264壓縮單元搭配該USB控制器內部的SRAM控制器對外部之同步隨機存取記憶體進行緩衝暫存的協同運作，最後將經壓縮處理後的影像資料傳送至該USB控制器內部的USB晶片，以提供外部耦接的儲存裝置寫入儲存。
6. 如請求項第4項所述之即時影像追蹤裝置，其中該高速串列傳輸介面電路係運作為將5~85MHz像素時脈速度之24位元影像並列資料轉成高速差動串列訊號並基於該指令匯流排控制電路所傳來的指令傳輸，並根據此時同步訊號是否致能來進行切換，以避免畫面有切割現象，再將十字標與搜索框繪製至畫面上，最後將影像資料傳輸而出。
7. 如請求項第4項所述之即時影像追蹤裝置，其中該陰影掃瞄電路係運作為利用偵測目標陰影位置，進而鎖定目標進行追蹤，該陰影掃瞄電路內的一濾波器接收該影像反轉電路所輸出的影像資料而進行水平濾波使陰影突顯，該陰影掃瞄電路內的一濾波門檻值單元接收該濾波器的輸出並產生可切出陰影的門檻值，該陰影掃瞄電路內的一二值化單元及耦接該二值化單元的一尺寸選擇單元係排除影相的尺寸大小小於或等於一預定像素大小的物件，該陰影掃瞄電路內的一掃描單元係接收該尺寸選擇單元的輸出，進行掃描以產生可切出下方陰影之門檻值，再透過該陰影掃瞄電路內的一閘處理單元接收兩張二值化影像資料並進行「及閘」的處理，該陰影掃瞄電路內的一相連通單元係接收及閘的處理結果並進行相連物件判斷，產生相連物件資訊，該陰影掃瞄電路內的一ROI計算單元係接收該相連通單元的輸出並計算出目標資訊。
8. 如請求項第4項所述之即時影像追蹤裝置，其中該位元轉換電路係運作為將RGB影像格式各12位元的影像資料轉換RGB各8位元的影像資料以及調整影像亮度，該位元轉換電路係採用直方圖方式並設定門檻值對RGB三通道各找出影像最大及最小值，並依最大最小值線性對比伸展公式，使12位元影像變成8位元影像，透過先對RGB三通道建立直方圖的方式，依所設定之門檻值讀取直方圖找出最大及最小值，用最大最小值進行運算處理以及利用除法器求出解，能在垂直同步訊號的時間求出最大及最小值，下一張影像再依此運算處理求出8位元影像值。
9. 如請求項第4項所述之即時影像追蹤裝置，其中該影像融合電路係運作為透過內部的引導濾波器接收兩種不同頻段之影像以獲得基礎圖層，透過內部的減法運算單元接收引導濾波器的輸出並計算出詳細圖層，透過內部的最大值選擇單元接收兩種不同頻段之基礎圖層或詳細圖層，計算出融合影像之基礎圖層或詳細圖層，透過內部的融合單元接收該最大值選擇單元的輸出，使其影像結合並輸出融合影像。
10. 如請求項第1項所述之即時影像追蹤裝置，其中對應連結二影像感測擷取器的各該連結介面、該外部裝置命令接收介面、該輸出FPD-Link III影像格式的高速串列傳輸介面、該輸出CAN BUS格式的控制器區域網路匯流排介面及該USB輸出處理介面係為一特殊用途積體電路(Application Specific Integrated Circuit,ASIC)或一可程式化邏輯閘陣列(Field Programmable Gate Array,FPGA)電路。