TWI588774B - Programmable instant image preprocessing device and method - Google Patents

Description

可程式的即時影像前處理裝置與方法

本發明係關於一種可程式的即時影像前處理裝置與方法，更特別的是關於一種利用FPGA(Field Programmable Gate Array，場效可程式邏輯閘陣列)與影像處理技術實現可程式的即時影像前處理裝置與方法。

無論是為了生命財產保障上的監控需求或是其他監控需求，監控技術中的影像處理技術一直扮演著關鍵性的角色。

影像處理主要是透過電子感光元件來取得監控的影像畫面，其必須經過電子訊號之處理與轉換，才能提供可供人眼觀看的影像訊號，進而供顯示器顯示之，然而這樣的影像處理往往需要耗用許多資源才能完成。目前市面上有各式各樣的影像處理產品，所使用的處理技術大多是以數位訊號處理器(DSP)來實現影像的處理功能，藉由軟體的運作來進行各種運算的處理，因此其運算處理速度受限於軟體運算效率，較難以達到即時的影像處理。

本發明之一目的在於縮短取得影像過程中的延遲時間。

本發明之另一目的在於使運算效率提升，以使場效可程式邏輯閘陣列(FPGA)可將影像處理時間縮短至一張像框(frame)時間內，達到即時影像追蹤之目的。

為達上述目的及其他目的，本發明提出一種可程式的即時影像前處理裝置，係包含一數位影像處理器(DSP)、一與該數位影像處理器耦接的場效可程式邏輯閘陣列(FPGA)、及一與該數位影像處理器及該場效可程式邏輯閘陣列耦接的記憶體模組，該數位影像處理器係提供控制指令以控制該場效可程式邏輯閘陣列內對應的各模組，使該場效可程式邏輯閘陣列對一影像擷取裝置所輸入之一紅外線輸入影像進行影像前處理，該場效可程式邏輯閘陣列包含：一影像處理模組及一影像增強模組。該影像處理模組係具有一壞點處理電路，且基於該紅外線輸入影像進行該影像擷取裝置之壞點位置的判定，該壞點處理電路係基於該紅外線輸入影像中之一高溫影像與一低溫影像的相減來取得一溫差影像，再將該溫差影像除以整張影像的像素大小以取得平均溫差值，並根據該影像擷取裝置之每一像素下的該紅外線輸入影像與該平均溫差值進行比較，其中，與該平均溫差值的差距大於一臨界值時判定對應之該影像擷取裝置的像素為壞點，以及，該壞點處理電路並根據所判定出之壞點的鄰近好點來取代該壞點，以生成一校正補償影像。該影像增強模組係耦接該影像處理模組，接收該校正補償影像並進行包含銳利化之影像增強處理，以完成該影像前處理。

為達上述目的及其他目的，本發明復提出一種可程式的即時影像前處理方法，係對一影像擷取裝置所輸入之一紅外線輸入影像進行影像前處理，該方法包含：一壞點判定步驟、一壞點補償步驟及一影像加強步驟。該壞點判定步驟係以該紅外線輸入影像中之一高溫影像與一低溫影像的相減來取得一溫差影像，再將該溫差影像除以整張影像的像素大小以取得平均溫差值，並根據該影像擷取裝置之每一像素下的該紅外線輸入影像與該平均溫差值進行比較，其中，與該平均溫差值的差距大於一臨界值時判定對應之該影像擷取裝置的像素為壞點。該壞點補償步驟係根據該壞點判定步驟中所判定出之壞點，以該壞點鄰近的好點來取代該壞點，並生成一校正補償影像。該影像加強步驟係進行包含銳利化之影像增強處理，以完成該影像前處理。

於本發明之一實施例中，於該壞點判定步驟之後且於該壞點補償步驟之前更包含：一雙點校正步驟，係以該紅外線輸入影像來進行校正，該雙點校正步驟中先預取得該影像擷取裝置之每一像素下的雙點校正增益係數「gain」，該預取得程序係以該高溫影像與該低溫影像先扣除壞點的影像資料後再互相相減，以得到一校正溫差影像，並將該校正溫差影像內每一像素的灰階值相加，再將相加的總合除以該校正溫差影像內之好點的個數，以取得一校正溫差影像平均值，再以該校正溫差影像平均值除以該校正溫差影像內之每一像素的灰階值，以對應地取得該影像擷取裝置內之各該像素的校正增益係數，再以各該校正增益係數乘對應的原始像素值與平均像素值來組成一雙點校正影像。

於本發明之一實施例中，該壞點處理電路係具有線性緩衝器、多工器、計數器、比較器、位址讀取計數器、EMIF控制器及壞點紀錄表的功能，進而將壞點予以取代，其中該線性緩衝器耦接該多工器，該計數器耦接該比較器，該比較器耦接該位址讀取計數器，該壞點紀錄表耦接該EMIF控制器及該位址讀取計數器，該壞點紀錄表及該比較器耦接該多工器。

於本發明之一實施例中，於該影像加強步驟中更包含一中值濾波步驟，該中值濾波步驟係執行於該銳利化之影像增強處理之前，該中值濾波步驟係以該校正補償影像中之三個連續的像素，依據各該像素之灰階值的大小來排序，以大小排序後之位處中間順序的灰階值，取代該三個原始連續像素中之第二順序之像素的灰階值。

於本發明之一實施例中，該影像增強模組係更包含一銳利化處理電路及一輸出介面電路，該銳利化處理電路係耦接該中值濾波電路，該輸出介面電路係耦接該影像增強模組的影像輸出端，其中，藉由該場效可程式邏輯閘陣列的功能指定而使像素灰階值輸入訊號藉由該銳利化處理電路內的一線性緩衝器及複數運算元的處理而區分為垂直同步訊號及水平同步訊號並輸入至該銳利化處理電路內的一多工及附加器中，藉由該銳利化處理電路內的一9X9的矩陣填值表提供至該多工及附加器中，即在輸出端獲得銳利化後的像素灰階值輸出訊號，該輸出介面電路則是根據該像素灰階值輸出訊號而同時對外提供類比RS-170訊號格式、數位LVDS訊號格式及HDMI訊號格式的影像訊號。

藉此，本發明係以數位影像處理器(DSP)搭配場效可程式邏輯閘陣列(FPGA)，即，以DSP為輔FPGA為主，將所有的影像前處理的程序以硬體電路的FPGA來執行，並外加記憶體模組(如複數個SRAM)來增加硬體電路運算時所需要的記憶體空間。

本發明藉由FPGA的設計，以硬體化、管線化(Pipe-line)及平行化等方式進行運算，使運算效率提升，將影像處理時間縮短至一張像框(frame)時間內，達到即時影像追蹤之目的。

為充分瞭解本發明之目的、特徵及功效，茲藉由下述具體之實施例，並配合所附之圖式，對本發明做一詳細說明，說明如後：

本發明係以場效可程式邏輯陣列(Field Programmable Gate Array, FPGA)為基底的影像前處理裝置來執行即時影像前處理程序，在FPGA晶片的使用下，具有大容量的優點，且基於場效可程式邏輯陣列本身即具備之處理時脈的元件特性(例如：時脈延遲鎖定迴路元件 Clock Delay Locked Loop, CLKDLL)，可獲得精準的時脈，加上影像前處理裝置採用同步隨機存取記憶體(Synchronous Random Access Memory, SRAM)，即可具備管線(Pipeline)功能，減少匯流排延遲，提升存取速度。

又舉例來說，本案所揭露之影像前處理裝置，亦可稱為可程式即時數位影像前處理板(簡稱DP)，具有接收320*256及640*480像素之數位影像能力，DP是由DSP與FPGA及週邊介面電路組成，並將影像前處理法則全部以FPGA執行，達到即時運算以改善影像的延遲現象，透過Parallel N-bit LVDS輸出數位影像資料，以及可提供RS-170類比影像格式或HDMI數位影像格式輸出至後端顯示器顯示，DP也可具備有RS-232介面，以控制其餘週邊設備。

請參閱圖1a，係為本發明一實施例中之可程式的即時影像前處理裝置的示意圖。可程式的即時影像前處理裝置包含一數位影像處理器(DSP)100、一與該數位影像處理器耦接的場效可程式邏輯閘陣列(FPGA)200、及一與該數位影像處理器100及該場效可程式邏輯閘陣列200耦接的記憶體模組300，該數位影像處理器100係提供控制指令以控制該場效可程式邏輯閘陣列200內對應的各模組，舉例來說可使該場效可程式邏輯閘陣列200對一影像擷取裝置400所輸入之一紅外線輸入影像IRs進行影像前處理。前處理完畢所產生之影像係可供後端設備進行熱影像偵測與追蹤法則運算等之處理。請接著參閱圖1b，係為本發明另一實施例中之可程式的即時影像前處理裝置的詳細電路區塊圖，接收影像輸入的該場效可程式邏輯閘陣列200透過切換器SW可的影像處理模組210係可執行雙點校正及壞點補償，該場效可程式邏輯閘陣列200的影像增強模組220係可執行中值濾波、銳利化、均化(Fix Plateau Equalization)及AGC(自動增益控制)，藉由額外配置的記憶體(SRAM)可讓該場效可程式邏輯閘陣列200的影像處理模組210與影像增強模組220具有足夠的運作資源。在控制器250與數位影像處理器(DSP)100的協同運作下，可再輸出產生符合線性驅動器(Line Driver)、HDMI編碼器(HDMI Encoder)、RS-232等規格的數位訊號之輸出。

接著請參閱圖2，係為本發明一實施例中之場效可程式邏輯閘陣列的功能方塊圖。該場效可程式邏輯閘陣列包含：影像處理模組210及影像增強模組220。且如FPGA內會有的常例性配置，FPGA內亦具有將DSP傳送來之指令解碼的解碼器240，以及具有將指令分派至對應電路區塊的控制器250。此外，具有對特定介面(如RS-232序列資料通訊界面)做介接的UART介面260(通用非同步收發傳輸器（Universal Asynchronous Receiver/Transmitter，稱作UART)。與DSP耦接的記憶體模組1(300a)係內儲存DSP運作的相關指令，與FPGA耦接的記憶體模組2(300b)與記憶體模組3(300c)係內儲存影像處理所需的參數。

影像處理模組210係具有一壞點處理電路212，且基於該紅外線輸入影像IRs，進行該影像擷取裝置之壞點位置的判定。該壞點處理電路212係基於該紅外線輸入影像中之一高溫影像與一低溫影像的相減來取得一溫差影像，再將該溫差影像除以整張影像的像素大小以取得平均溫差值，並根據該影像擷取裝置之每一像素下的該紅外線輸入影像與該平均溫差值進行比較。其中，與該平均溫差值的差距大於一臨界值時判定對應之該影像擷取裝置的像素為壞點，以及，該壞點處理電路並根據所判定出之壞點的鄰近好點來取代該壞點，以生成一校正補償影像。影像增強模組220則是耦接該影像處理模組210，接收該校正補償影像並進行包含銳利化之影像增強處理，以完成該影像前處理。

於壞點補償的方式中，係可根據壞點的位置，依左右上下的順序，依序找出不是壞點的地方(亦即找出鄰近的好點)，用以將壞點取代，舉例來說可以用下表之表一來表示： 表一、壞點取代順序表 <TABLE border="1" borderColor="#000000" width="_0001"><TBODY><tr><td> 5 </td><td> 4 </td><td> 6 </td></tr><tr><td> 1 </td><td> X </td><td> 2 </td></tr><tr><td> 7 </td><td> 3 </td><td> 8 </td></tr></TBODY></TABLE>其中，「X」表示壞點的位置，表中的數字係表示為好點且「數字順序」代表著使用這些好點取代壞點的順序。於其他實施態樣下亦可採用不同之順序來進行好點的選用與取代壞點。

進一步地說，可參閱圖3，係為本發明一實施例中之可程式的即時影像前處理方法的流程圖。即時影像前處理的方法包含：壞點判定步驟S10、壞點補償步驟S20及影像加強步驟S30。於前述之影像處理模組210中係執行了壞點判定步驟S10與壞點補償步驟S20，其中壞點判定步驟S10更可參閱圖4，係為本發明一實施例中之可程式的即時影像前處理方法中的壞點判定步驟流程圖。

紅外線熱像裝置(產生IRs)中所使用的Sensor FPA(Focal Plane Area)，會因為半導體製程的關係，而導致一些缺陷等錯位之點，這些點對於外界溫度之反應和正常的影像點不相同，無法產生正確的反應，因而被稱為壞點。為了使影像顯示正確，本發明揭露壞點的找尋方式並透過FPGA來實現，如圖4所示，在步驟S102至步驟S104中，其係取高溫和低溫的畫面各一張灰階值，並且將兩張畫面相減(取得溫差影像)，當作另一張新的高低溫差畫面，再計算此高低溫差畫面的一個平均值(平均溫差值)當做基準。有關高低溫畫面，舉例來說，在T1低溫(例如10度)的溫度下，抓取一平均原始低溫畫面(連續抓N張平均)；在T2高溫(例如30度)的溫度下，抓取一平均原始高溫畫面(連續抓N張平均)。

因此，如圖4所示，在步驟S105至步驟S107中，若是這張溫差影像中的「每一個」像素灰階值，與這張溫差畫面的平均值相差超過一臨界值(如一預定百分比)，則可判定為壞點，此亦代表這個所謂的「壞點」的表現，在預期的溫度相差之下，和其他的點比較起來超過了或是沒有達到預期的反應，所以會在呈現影像的時候沒有好的反應，也因如此能判定出對應之該影像擷取裝置的像素中，何者為壞點(因畫面影像的每一像素係於該影像擷取裝置感光元件中有相對應)。

接著請同時參閱圖5及圖6，圖5係為本發明另一實施例中之場效可程式邏輯閘陣列的功能方塊圖；圖6係為本發明另一實施例中之可程式的即時影像前處理方法的流程圖。於本實施例中，為了使影像進一步線性化，可於前述之壞點判定後，且於壞點補償之前，以雙點校正電路211進行雙點校正步驟S11，校正後所取得之雙點校正影像再供該壞點處理電路212進行壞點補償步驟S20。

雙點校正步驟係以該紅外線輸入影像來進行校正，該雙點校正步驟中先預取得該影像擷取裝置之每一像素下的雙點校正增益係數「gain」，該預取得程序係以該高溫影像與該低溫影像先扣除壞點的影像資料後再互相相減，以得到一校正溫差影像，並將該校正溫差影像內每一像素的灰階值相加，再將相加的總合除以該校正溫差影像內之好點的個數，以取得一校正溫差影像平均值，再以該校正溫差影像平均值除以該校正溫差影像內之每一像素的灰階值，以對應地取得該影像擷取裝置內之各該像素的校正增益係數。再以各該校正增益係數乘對應的原始像素值與平均像素值來組成一雙點校正影像，供後續之壞點處理電路進一步處理。

接著請參閱圖7及圖8，圖7係為本發明一實施例中之可程式的即時影像前處理裝置中的雙點校正電路圖，其係為FPGA內之電路區塊的配置，藉由雙點校正控制器來接收DSP的各項指令，以對應地被運作來執行雙點校正步驟，其中，校正增益係數係儲存於記憶體模組2(300b)中，以供運算之使用，再透過輸出多工器將處理後之影像資料像後續之影像增強模組端傳輸。圖8係為本發明一實施例中之可程式的即時影像前處理裝置中的壞點處理電路圖，壞點的紀錄與處理係藉由FPGA上的線性緩衝器、多工器、計數器、比較器、位址讀取計數器、EMIF控制器及壞點紀錄表等直接被賦予對應功能之FPGA硬體區塊來完成。該壞點處理電路係耦接該雙點校正電路，藉由該場效可程式邏輯閘陣列的功能指定進而將壞點予以取代，其中該線性緩衝器耦接該多工器，該計數器耦接該比較器，該比較器耦接該位址讀取計數器，該壞點紀錄表耦接該EMIF控制器及該位址讀取計數器，該壞點紀錄表及該比較器耦接該多工器。

接著請再回到圖5及同時參閱圖9，圖9係為本發明一實施例中之可程式的即時影像前處理裝置中的中值濾波處理電路圖。前述之影像增強模組220中係可採用常見之以演算法或遮罩的方式來自動進行銳利化的處理，之後再進行均化及AGC處理，進一步地，在銳利化前係可將該校正補償影像經由一中值濾波電路221之中值濾波步驟的處理，本發明揭露之中值濾波步驟係以中間值的選擇方式而得以以較短之流程來達到高效率之快速濾波方式。其係取三個連續的像素，並依據各該像素之灰階值的大小來排序，以大小排序後之位處中間順序的灰階值，取代該三個原始連續像素中之第二順序之像素的灰階值，此外，所擷取之該三個連續的像素係可為同一列之像素，且係對該校正補償影像的每一列像素上進行。進一步地也使得該影像增強模組220在接收該校正補償影像後係進行了包含中值濾波、銳利化等的影像增強處理，完成該影像前處理，以達到更進一步的影像品質提升。如圖9所示，本發明透過對FPGA內的各邏輯閘的功能指定，使得像素灰階值輸入訊號可被區分為垂直同步訊號及水平同步訊號，進而輸入至比較器內進行前述之中值濾波的處理，進而輸出濾波後的像素灰階值輸出訊號。

接著請參閱圖10，係為本發明一實施例中之可程式的即時影像前處理裝置中的銳利化處理電路圖。本發明透過對FPGA內的各邏輯閘的功能指定，使得像素灰階值輸入訊號可藉由線性緩衝器及運算元的處理而區分為垂直同步訊號及水平同步訊號並輸入至多工及附加器中，藉由9X9的矩陣填值表提供至該多工及附加器中，即可在輸出端獲得銳利化後的像素灰階值輸出訊號。

接著請參閱圖11，係為本發明一實施例中之可程式的即時影像前處理裝置中的輸出介面電路的簡易示圖。本發明透過對FPGA內的各邏輯閘的功能指定，使得在FPGA內可讓影像輸出(影像資料經由前述的各電路之處理)由各個透過控制FPGA而賦予特定功能的控制介面(260a~260c)而將影像資料編譯成各個介面所需的格式，來達到同時提供類比RS-170訊號格式、數位LVDS訊號格式及HDMI訊號格式的能力。

另一方面，影像增強模組220中於銳利化後可再以紅外線影像的領域中慣用的影像增強方式，使用長條圖均衡演算法(Plateau Equalization)，根據輸入畫面資料的灰階度之概率分佈函數來確定輸出畫面資料的灰階值，使其各灰階等級分佈相對均勻，進而提高對比。再一方面，提高對比後可再經由自動增益控制(automatic gain control, AGC)，使放大電路的增益自動地隨訊號強度而調整，進而可供後續之類比輸出或高畫質多媒體介面(High Definition Multimedia Interface, HDMI)之輸出所需的訊號調整。

綜合上述，目前市面上有各式各樣的影像處理產品，所使用的硬體技術大多是以數位訊號處理器(DSP)來實現影像處理功能，其處理速度受限於軟體運算效率，無法達到即時影像處理。本發明提出各種影像處理實現方法，是以大型可程式控制元件(FPGA)來實現其功能，以程式控制可即時影像處理的裝置，可適用於不同的系統需求與不同的場合，具有高度的系統搭配靈活性，藉由FPGA的設計，以硬體化、管線化(Pipe-line)及平行化等方式進行運算，使運算效率提升，將影像處理時間縮短至一張像框(frame)時間內，達到即時影像追蹤之目的。

本發明在上文中已以較佳實施例揭露，然熟習本項技術者應理解的是，該實施例僅用於描繪本發明，而不應解讀為限制本發明之範圍。應注意的是，舉凡與該實施例等效之變化與置換，均應設為涵蓋於本發明之範疇內。因此，本發明之保護範圍當以申請專利範圍所界定者為準。

100‧‧‧數位影像處理器
200‧‧‧場效可程式邏輯閘陣列
210‧‧‧影像處理模組
211‧‧‧雙點校正電路
212‧‧‧壞點處理電路
220‧‧‧影像增強模組
240‧‧‧解碼器
250‧‧‧控制器
260‧‧‧UART介面
300‧‧‧記憶體模組
300a‧‧‧記憶體模組1
300b‧‧‧記憶體模組2
300c‧‧‧記憶體模組3
400‧‧‧影像擷取裝置
IRs‧‧‧紅外線輸入影像
S10~S115‧‧‧步驟
SRAM‧‧‧記憶體
Flash‧‧‧快閃記憶儲存區
Boot ROM‧‧‧開機啟始碼
Line Driver‧‧‧線性驅動器
HDMI  Encoder‧‧‧ HDNI編碼器
RS-232‧‧‧連接規格

［圖1a］係為本發明一實施例中之可程式的即時影像前處理裝置的示意圖。 ［圖1b］係為本發明另一實施例中之可程式的即時影像前處理裝置的詳細電路區塊圖。 ［圖2］係為本發明一實施例中之場效可程式邏輯閘陣列的功能方塊圖。 ［圖3］係為本發明一實施例中之可程式的即時影像前處理方法的流程圖。 ［圖4］係為本發明一實施例中之可程式的即時影像前處理方法中的壞點判定步驟流程圖。 ［圖5］係為本發明另一實施例中之場效可程式邏輯閘陣列的功能方塊圖。 ［圖6］係為本發明另一實施例中之可程式的即時影像前處理方法的流程圖。 ［圖7］係為本發明一實施例中之可程式的即時影像前處理裝置中的雙點校正電路圖。 ［圖8］係為本發明一實施例中之可程式的即時影像前處理裝置中的壞點處理電路圖。 ［圖9］係為本發明一實施例中之可程式的即時影像前處理裝置中的中值濾波處理電路圖。 ［圖10］係為本發明一實施例中之可程式的即時影像前處理裝置中的銳利化處理電路圖。 ［圖11］係為本發明一實施例中之可程式的即時影像前處理裝置中的輸出介面的簡易示圖。

100‧‧‧數位影像處理器

200‧‧‧場效可程式邏輯閘陣列

300‧‧‧記憶體模組

400‧‧‧影像擷取裝置

IRs‧‧‧紅外線輸入影像

Claims (8)

1. 一種可程式的即時影像前處理裝置，係包含一數位影像處理器(DSP)、一與該數位影像處理器耦接的場效可程式邏輯閘陣列(FPGA)、及一與該數位影像處理器及該場效可程式邏輯閘陣列耦接的記憶體模組，該數位影像處理器係提供控制指令以控制該場效可程式邏輯閘陣列內對應的各模組，使該場效可程式邏輯閘陣列對一影像擷取裝置所輸入之一紅外線輸入影像進行影像前處理，該場效可程式邏輯閘陣列包含： 一影像處理模組，係具有一壞點處理電路，且基於該紅外線輸入影像進行該影像擷取裝置之壞點位置的判定，該壞點處理電路係基於該紅外線輸入影像中之一高溫影像與一低溫影像的相減來取得一溫差影像，再將該溫差影像除以整張影像的像素大小以取得平均溫差值，並根據該影像擷取裝置之每一像素下的該紅外線輸入影像與該平均溫差值進行比較，其中，與該平均溫差值的差距大於一臨界值時判定對應之該影像擷取裝置的像素為壞點，以及，該壞點處理電路並根據所判定出之壞點的鄰近好點來取代該壞點，以生成一校正補償影像；及 一影像增強模組，係耦接該影像處理模組，接收該校正補償影像並進行包含銳利化之影像增強處理，以完成該影像前處理。
2. 如請求項1所述之即時影像前處理裝置，其中該影像處理模組係更包含一雙點校正電路，該雙點校正電路係接收該紅外線輸入影像並耦接該壞點處理電路，該雙點校正電路係運作來預先取得該影像擷取裝置之每一像素下的雙點校正增益係數「gain」，其係以該高溫影像與該低溫影像先扣除壞點的影像資料後再互相相減，得到一校正溫差影像，並將該校正溫差影像內每一像素的灰階值相加，再將相加的總合除以該校正溫差影像內之好點的個數，以取得一校正溫差影像平均值，再以該校正溫差影像平均值除以該校正溫差影像內之每一像素的灰階值，以對應地取得該影像擷取裝置內之各該像素的校正增益係數，再以各該校正增益係數乘對應的原始像素值與平均像素值來組成一雙點校正影像。
3. 如請求項2所述之即時影像前處理裝置，其中該壞點處理電路係具有線性緩衝器、多工器、計數器、比較器、位址讀取計數器、EMIF控制器及壞點紀錄表的功能，進而將壞點予以取代，其中該線性緩衝器耦接該多工器，該計數器耦接該比較器，該比較器耦接該位址讀取計數器，該壞點紀錄表耦接該EMIF控制器及該位址讀取計數器，該壞點紀錄表及該比較器耦接該多工器。
4. 如請求項3所述之即時影像前處理裝置，其中該影像增強模組係包含一耦接該壞點處理電路的中值濾波電路，該中值濾波電路係取三個連續的像素，並依據各該像素之灰階值的大小來排序，以大小排序後之位處中間順序的灰階值，取代該三個原始連續像素中之第二順序之像素的灰階值。
5. 如請求項4所述之即時影像前處理裝置，其中該影像增強模組係更包含一銳利化處理電路及一輸出介面電路，該銳利化處理電路係耦接該中值濾波電路，該輸出介面電路係耦接該影像增強模組的影像輸出端，其中，藉由該場效可程式邏輯閘陣列的功能指定而使像素灰階值輸入訊號藉由該銳利化處理電路內的一線性緩衝器及複數運算元的處理而區分為垂直同步訊號及水平同步訊號並輸入至該銳利化處理電路內的一多工及附加器中，藉由該銳利化處理電路內的一9X9的矩陣填值表提供至該多工及附加器中，即在輸出端獲得銳利化後的像素灰階值輸出訊號，該輸出介面電路則是根據該像素灰階值輸出訊號而同時對外提供類比RS-170訊號格式、數位LVDS訊號格式及HDMI訊號格式的影像訊號。
6. 一種可程式的即時影像前處理方法，係對一影像擷取裝置所輸入之一紅外線輸入影像進行影像前處理，該方法包含： 一壞點判定步驟，係以該紅外線輸入影像中之一高溫影像與一低溫影像的相減來取得一溫差影像，再將該溫差影像除以整張影像的像素大小以取得平均溫差值，並根據該影像擷取裝置之每一像素下的該紅外線輸入影像與該平均溫差值進行比較，其中，與該平均溫差值的差距大於一臨界值時判定對應之該影像擷取裝置的像素為壞點； 一壞點補償步驟，係根據該壞點判定步驟中所判定出之壞點，以該壞點鄰近的好點來取代該壞點，並生成一校正補償影像；及 一影像加強步驟，係進行包含銳利化之影像增強處理，以完成該影像前處理。
7. 如請求項7所述之即時影像前處理方法，其中於該壞點判定步驟之後且於該壞點補償步驟之前更包含：一雙點校正步驟，係以該紅外線輸入影像來進行校正，該雙點校正步驟中先預取得該影像擷取裝置之每一像素下的雙點校正增益係數「gain」，該預取得程序係以該高溫影像與該低溫影像先扣除壞點的影像資料後再互相相減，以得到一校正溫差影像，並將該校正溫差影像內每一像素的灰階值相加，再將相加的總合除以該校正溫差影像內之好點的個數，以取得一校正溫差影像平均值，再以該校正溫差影像平均值除以該校正溫差影像內之每一像素的灰階值，以對應地取得該影像擷取裝置內之各該像素的校正增益係數，再以各該校正增益係數乘對應的原始像素值與平均像素值來組成一雙點校正影像。
8. 如請求項7所述之即時影像前處理方法，其中於該影像加強步驟中更包含一中值濾波步驟，該中值濾波步驟係執行於該銳利化之影像增強處理之前，該中值濾波步驟係以該校正補償影像中之三個連續的像素，依據各該像素之灰階值的大小來排序，以大小排序後之位處中間順序的灰階值，取代該三個原始連續像素中之第二順序之像素的灰階值。