TWI524764B - 影像增強方法及其影像擷取裝置 - Google Patents

影像增強方法及其影像擷取裝置 Download PDF

Info

Publication number
TWI524764B
TWI524764B TW101119646A TW101119646A TWI524764B TW I524764 B TWI524764 B TW I524764B TW 101119646 A TW101119646 A TW 101119646A TW 101119646 A TW101119646 A TW 101119646A TW I524764 B TWI524764 B TW I524764B
Authority
TW
Taiwan
Prior art keywords
image
infrared image
pixel
processing module
background
Prior art date
Application number
TW101119646A
Other languages
English (en)
Other versions
TW201349860A (zh
Inventor
林志隆
Original Assignee
華夏學校財團法人華夏科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 華夏學校財團法人華夏科技大學 filed Critical 華夏學校財團法人華夏科技大學
Priority to TW101119646A priority Critical patent/TWI524764B/zh
Publication of TW201349860A publication Critical patent/TW201349860A/zh
Application granted granted Critical
Publication of TWI524764B publication Critical patent/TWI524764B/zh

Links

Landscapes

  • Image Processing (AREA)

Description

影像增強方法及其影像擷取裝置
本發明是有關於一種影像增強方法，特別是有關於一種藉由快速中值濾波器(Fast Median-based Filter,FMBF)來消除靜脈紅外線影像中之雜訊，以及利用混合累積直方圖等化法(Hybrid Cumulative Histogram Equalization,HCHE)提高對熱目標物的增強效果，而降低背景的增強效果之影像增強方法及其影像擷取裝置。
近年來，由於紅外線攝影機的普及，其應用也隨之增加。目前，很多關於紅外線攝影機的新技術已經被開發出來，並且應用於多種不同的領域，例如軍事、醫藥及工業等。
其中最重要的，就是紅外線攝影機應用於靜脈及臉部等生物特徵辨識的技術，但紅外線影像經常有多雜訊、低對比、低亮度及熱目標物過小的缺點。此外，紅外線影像還有一個固有的缺點，係為紅外線影像中熱目標物的邊緣資訊與紋理較一般可見光影像模糊。
因此，為改善習知技術中擷取之紅外線影像有低對比、低亮度、熱目標物模糊等缺點，在處理紅外線影像之前級處理中，普遍使用中值濾波器(Median Filter,MF)將影像中的雜訊去除，但其具有會造成大量計算負載的缺點。另，使用直方圖等化法(Histogram Equalization,HE) 來增強影像亦為常見的方法，但其有一個缺點，就是其主要只是加強有近似灰階的大區域的景像特徵，而不是較小的目標物。
有鑑於上述習知技藝之問題，本發明之目的就是在提供一種影像增強方法及其影像擷取裝置，以解決習知技藝所擷取之紅外線影像的低對比、低亮度、熱目標物模糊等問題。
根據本發明之目的，提出一種影像增強方法，可適用於影像擷取装置，其包含下列步驟：提供影像擷取模組擷取至少一第一紅外線影像；藉由第一處理模組檢測第一紅外線影像中之雜訊；依據第一紅外線影像以第一處理模組選取灰階像素中值，並以灰階像素中值將第一紅外線影像中之雜訊取代，以得到第二紅外線影像；經由第二處理模組計算像素門檻值，並以像素門檻值將第二紅外線影像中之像素分為背景像素及熱目標物像素；藉由第二處理模組以統計方法將第二紅外線影像之累積直方圖分為背景累積直方圖及熱目標物累積直方圖；由第二處理模組將背景累積直方圖及熱目標物累積直方圖結合為混合累積直方圖，以得到增強背景及熱目標物之第三紅外線影像；以及透過顯示模組顯示第三紅外線影像。
較佳地，第一處理模組可依據紅外線影像成像機制 檢測雜訊。
較佳地，第一處理模組可在灰階像素集合中取灰階像素中值。
較佳地，第二處理模組可依據第二紅外線影像之背景直方圖之機率密度函數建立背景累積直方圖。
較佳地，第二處理模組可依據第二紅外線影像之熱目標物直方圖之強度密度函數建立熱目標物累積直方圖。
較佳地，第二處理模組可隨機在數字0至255之間取初始門檻值，再由初始門檻值將第二紅外線影像中之像素分為背景像素與熱目標物像素，並分別計算背景像素之灰階平均值及熱目標物像素之灰階平均值，取兩者之平均值作為疊代門檻值，重覆計算直到疊代門檻值與前次計算所使用之門檻值相同時，則取疊代門檻值為像素門檻值。
根據本發明之另一目的，提出一種具影像增強方法之影像擷取裝置，其包含：影像擷取模組、第一處理模組、第二處理模組及顯示模組。影像擷取模組可擷取第一紅外線影像。第一處理模組可檢測第一紅外線影像中之雜訊，且依據第一紅外線影像選取灰階像素中值，灰階像素中值可取代第一紅外線影像中之雜訊，以得到第二紅外線影像。第二處理模組可計算像素門檻值，並以像素門檻值將第二紅外線影像中之像素分為背景像素及熱目標物像素，再以統計方法將第二紅外線影像之累積 直方圖分為背景累積直方圖及熱目標物累積直方圖，最後將背景累積直方圖及熱目標物累積直方圖結合為混合累積直方圖，以得到增強背景及熱目標物之第三紅外線影像。顯示模組可輸出第三紅外線影像。
承上所述，依本發明之影像增強方法及其影像擷取裝置，其可具有一或多個下述優點：
(1)此影像增強方法及其影像擷取裝置依據紅外線影像成像機制以快速中值濾波器(Fast Median-based Filter,FMBF)來消除靜脈紅外線影像中之雜訊，以使快速中值濾波器所需之計算負載量小，解決習知之中值濾波器計算負載量大之問題。
(2)此影像增強方法及其影像擷取裝置可藉由混合累積直方圖等化法(Hybrid Cumulative Histogram Equalization,HCHE)提高對熱目標物的增強效果，而降低背景的增強效果，以解決低對比、低亮度、熱目標物模糊等問題。
以下將參照相關圖式，說明依本發明之影像增強方法及其影像擷取裝置之實施例，為使便於理解，下述實施例中之相同元件係以相同之符號標示來說明。
在處理紅外線影像之前級處理中，已普遍使用中值濾波器(Median Filter,MF)將影像中的雜訊去除，但其具有會造成大量計算負載的缺點。而直方圖等化法 (Histogram Equalization,HE)是最常用的影像增強方法，但其有一個缺點，就是其主要只是加強有近似灰階的大區域的影像特徵，而不是較小的目標物。本發明提出了一種具影像增強功能之影像擷取裝置及其影像增強方法，其主要係利用一種使用混合累積直方圖(Hybrid Cumulative Histogram,HCH)的混合累積直方圖等化法(Hybrid Cumulative Histogram Equalization,HCHE)來增強紅外線影像，此方法能夠加強較小的熱目標物影像，而不是大範圍的背景。此方法主要包含二個階段，第一個階段是選擇一個適合的門檻值，並以此門檻值將紅外線影像之直方圖分為背景部份與熱目標物部份。第二個階段是使用關於此直方圖之二種不同的資訊以產生二個不同的累積直方圖，一個加強背景，另一個則加強熱目標物。最後，將二個不同的累積直方圖結合起來成為一個混合累積直方圖。
請參閱第1圖至第3圖，第1圖係為本發明之影像增強方法之流程圖；第2圖係為本發明之具影像增強方法之影像擷取裝置之方塊圖；第3圖係為本發明之具影像增強方法之影像擷取裝置之第二處理模組方塊圖。
如第1圖所示，本發明之影像增強方法適用於一影像擷取裝置，係包含下列步驟：
步驟S11：提供影像擷取模組擷取至少一第一紅外線影像。
步驟S12：藉由第一處理模組檢測第一紅外線影像中之雜訊。
步驟S13：依據第一紅外線影像以第一處理模組選取灰階像素中值，並以灰階像素中值將第一紅外線影像中之雜訊取代，以得到第二紅外線影像。
步驟S14：經由第二處理模組計算像素門檻值，並以像素門檻值將第二紅外線影像中之像素分為背景像素及熱目標物像素。
步驟S15：藉由第二處理模組以統計方法將第二紅外線影像之累積直方圖分為背景累積直方圖及熱目標物累積直方圖。
步驟S16：由第二處理模組將背景累積直方圖及熱目標物累積直方圖結合為混合累積直方圖，以得到增強背景及熱目標物之第三紅外線影像。
步驟S17：透過顯示模組顯示第三紅外線影像。
承上所述，習知之中值濾波器不會區別影像中之像素是否規則變化，以至於去除雜訊時，造成大量的計算負載。因此，本發明為降低計算負載量，故採用以熱輻射定率及熱傳導定律為基準之紅外線成像機制來作為檢測雜訊的依據。其中，依據熱輻射定律可得知灰階像素與物體表面溫度成正比，以及依據熱傳導原理可得知物體表面之溫度係為單調變化。因此，紅外線影像中同物體之灰階像素係為單調變化，反之，若不是單調變化之灰階像素即為雜訊。
請配合參閱第2圖及第3圖，本發明之具影像增強方法之影像擷取裝置1，其包含：影像擷取模組11、第 一處理模組12、第二處理模組13及顯示模組14。影像擷取模組11可擷取第一紅外線影像111。第一處理模組12可檢測第一紅外線影像中111之雜訊，且依據第一紅外線影像111選取灰階像素中值，灰階像素中值可取代第一紅外線影像111中之雜訊，以得到第二紅外線影像121。第二處理模組13可計算像素門檻值1211，並以像素門檻值1211將第二紅外線影像121中之像素分為背景像素132及熱目標物像素133，再以統計方法將第二紅外線影像121之累積直方圖1212分為背景累積直方圖134及熱目標物累積直方圖135，最後將背景累積直方圖134及熱目標物累積直方圖135結合為混合累積直方圖1311，以得到增強背景及熱目標物之第三紅外線影像131。顯示模組14可輸出第三紅外線影像131。
因此，本發明利用紅外線影像中之物件的灰階像素為單調變化之特徵，進行下列檢測雜訊及取代雜訊之步驟。首先，先定義各參數，其中，p(x,y)為座標(x,y)之像素，g(x,y)為p(x,y)的灰階值，Sxy為包含g(x,y)及其鄰近像素之集合，gm為Sxy之中值，g(x,y)為在Sxy像素集合之中心位置像素之灰階值，(s,t)為Sxy中之一座標，g(s,t)為(s,t)的灰階值。
選取Sxy像素集合中灰階最大值及灰階最小值。
根據紅外線影像成像機制，以g(x,y)與gmax及gmin 比較，進而確認p(x,y)是否為雜訊。
藉由上述可知，若g(x,y)等於gmax或gmin則為雜訊，便由灰階像素中值取代之，該灰階像素中值係為Sxy灰階像素集合中之中值。
如上述，第二處理模組13選擇像素門檻值1211的方式有很多種，本發明係採用一種疊代門檻選擇法。首先，先隨機決定一門檻初始值Th(1)(0<Th(1)<225)。在第k次的疊代計算中，求出μB(k)及μo(k)並分別做為背景像素跟熱目標物像素灰階之平均值(用於將影像分為背景跟熱目標物之門檻值Th(k)由方程式(3)之前一次疊代計算而得)。
其中，NB及NO分別為背景跟熱目標物之像素數目。
設定Th(K+1)=(μB(k)+μo(k))/2 (3)
其中，Th(K+1)則為下一次疊代計算中之新門檻值。若Th(K+1)=Th(K)，即可求出像素門檻值1211；若Th(K+1)≠Th(K)，則重覆方程式(1)及(2)的計算。
在本實施例中，第二紅外線影像121之直方圖等化法之累積直方圖及其相關的參數如下：
Pr(rk)=nk/n k=0,1,2…,L-1 (5)
Sk=int((L-1)* Tr(rk)) (6)
其中，rk為第二紅外線影像121之直方圖之灰階，k為灰階，n第二紅外線影像121中像素之總數，nk為有灰階rk之像素之總數，pr(rk)為有灰階rk之像素之機率，sk為在處理過之影像像素之直方圖中之灰階，L為灰階個數，在本實施例中L=256，T(rk)為第二紅外線影像121之直方圖等化法之累積直方圖，而int()則為一函數，其用於將數字之小數部分捨去，只留下整數部份。
而第二處理模組13依據像素門檻值1211將直方圖分為二個部份，像素之灰階小於像素門檻值1211則為背景像素132；而像素之灰階大於像素門檻值1211則為熱目標物像素133。而第二處理模組13利用背景直方圖之機率密度函數(Probability Density Function，PDF)建立背景累積直方圖134，以增強背景影像，如方程式(7a)所示。方程式(7c)中之對數函數則可建構熱目標物之直方圖之強度密度函數(Intensity Density Function，IDF)。在另一方面，第二處理模組13利用熱目標物之直方圖之強度密度函數建立熱目標物累積直方圖135，以增強熱目標物影像，如方程式(7b)所示。而第二處理模組13則結合背景累積直方圖134及熱目標物累積直方圖135，以形成混合累積直方圖1311，其由方程式(7a)及(7b)所構成。
IDF=pr(rk)×log2k 0≦k≦L-1 (7c)
其中，Thb(rk)即為混合累積直方圖1311，pr(rTh)即為有像素門檻值灰階之像素之機率。方程式(7a)累加了機率pr(rj)及pr(rTh)之最小值以產生背景累積直方圖134。方程式(7b)則累加了機率pr(rj)之強度密度函數以產生熱目標物累積直方圖135。結合方程式(7a)及(7b)即產生了混合累積直方圖1311。此混合累積直方圖1311可同時加強熱目標物及背景之影像，而產生第三紅外線影像131。
比較方程式(4)及(7a)可以很明顯的看出，當灰階rk代表背景時，方程式(7a)之導數小於或等於直方圖等化法之累積直方圖之導數。而當灰階rk代表熱目標物時，方程式(7a)之導數大於或等於方程式(4)之導數。因此，混合累積直方圖1311能有效增強熱目標物之影像，而對背景的增強效果則較低。這個結果可以使用一階導數之向後差分近似法(Backward Difference approximation of the first derivative，BDAFD)來證明。而根據一階導數之向後差分近似法，直方圖等化法之累積直方圖之一階導數可以表示為：
其中，T’(rk)為累積直方圖T(rk)之一階導數。同樣的，混合累積直方圖1311之一階導數可以表示為：Thb’(rk)=(Thb(rk)-Thb(rk-1))/(rk-rk-1)
其中，T’hb(rk)即為混合累積直方圖1311Thb(rk)之一階導數。當灰階rk屬於背景時，即0<k<Th，會產生：Arg min{pr(rk),pr(rTh)}≦pr(rk)
所以，Thb’(rk)≦T’(rk)0<k<Th (10)
因此，混合累積直方圖1311對於背景的增強效果小於或等於直方圖等化法。而當灰階rk屬於熱目標物時，即Th≦k<L-1，會產生：pr(rk)*log2rk≧pr(rk)
因此，Thb’(rk)≧T’(rk)Th≦k<L-1 (11)
也就是說，混合累積直方圖1311對於熱目標物的增強效果大於或等於直方圖等化法，這個特性對於增強熱目標物遠小於背景之影像特別有用。
值得一提的是，為了避免轉換像素之等化灰階飽和，轉換像素之最大灰階值必須保持小於或等於灰階之最大刻度。
請參閱第4圖至第8圖，第4圖係為本發明之影像增強方法及其影像擷取裝置之第一紅外線影像示意圖；第5圖係為本發明之影像增強方法及其影像擷取裝置之第二紅外線影像示意圖；第6圖係為本發明之混合累積直方圖等化法處理前之直方圖；第7圖係為本發明之混 合累積直方圖等化法處理後之直方圖；第8圖係為本發明之影像增強方法及其影像擷取裝置之第三紅外線影像示意圖。比較第4圖及第5圖，可得知原先第一紅外線影像111中佈滿雜訊1111，然，經由取代消除雜訊1111之步驟後，第二紅外線影像121中之背景、手掌及靜脈血管2變得較為清晰，但其對比還不是十分明顯。
如第6圖至第8圖所示，經混合累積直方圖等化法處理後，所得到之混合灰階直方圖係同時加強熱目標物及背景之影像，以使第三紅外線影像131之對比更為明顯。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。
1‧‧‧影像擷取裝置
11‧‧‧影像擷取模組
111‧‧‧第一紅外線影像
1111‧‧‧雜訊
12‧‧‧第一處理模組
121‧‧‧第二紅外線影像
1211‧‧‧像素門檻值
1212‧‧‧累積直方圖
13‧‧‧第二處理模組
131‧‧‧第三紅外線影像
1311‧‧‧混合累積直方圖
132‧‧‧背景像素
133‧‧‧熱目標物像素
134‧‧‧背景累積直方圖
135‧‧‧熱目標物累積直方圖
14‧‧‧顯示模組
2‧‧‧靜脈血管
S11至S17‧‧‧步驟
第1圖 係為本發明之影像增強方法之流程圖。
第2圖 係為本發明之具影像增強方法之影像擷取裝置之方塊圖。
第3圖 係為本發明之具影像增強方法之影像擷取裝置之第二處理模組方塊圖。
第4圖 係為本發明之影像增強方法及其影像擷取裝置之第一紅外線影像示意圖。
第5圖 係為本發明之影像增強方法及其影像擷取裝 置之第二紅外線影像示意圖。
第6圖 係為本發明之混合累積直方圖等化法處理前之直方圖。
第7圖 係為本發明之混合累積直方圖等化法處理後之直方圖。
第8圖 係為本發明之影像增強方法及其影像擷取裝置之第三紅外線影像示意圖
S11至S17‧‧‧步驟

Claims (10)

  1. 一種影像增強方法，係適用於一影像擷取装置，其包含下列步驟：提供一影像擷取模組擷取至少一第一紅外線影像；藉由一第一處理模組檢測該第一紅外線影像中之一雜訊；依據該第一紅外線影像以該第一處理模組選取一灰階像素中值，並以該灰階像素中值將該第一紅外線影像中之該雜訊取代，以得到一第二紅外線影像；經由一第二處理模組係隨機在數字0至255之間取一初始門檻值，再由該初始門檻值將該第二紅外線影像中之像素分為一背景像素及一熱目標物像素，並分別計算該背景像素之灰階平均值及該熱目標物像素之灰階平均值，取兩者之平均值作一疊代門檻值，重覆計算直到該疊代門檻值與前次計算所使用之門檻質相同時，則取該疊代門檻值以獲得為一像素門檻值；藉由該第二處理模組以統計方法將該第二紅外線影像之累積直方圖分為一背景累積直方圖及一熱目標物累積直方圖；由該第二處理模組將該背景累積直方圖及該熱目標物累積直方圖結合為一混合累積直方圖，以得到 增強背景及熱目標物之一第三紅外線影像；以及透過一顯示模組顯示該第三紅外線影像。
  2. 如申請專利範圍第1項所述之影像增強方法，其中該第一處理模組係依據紅外線影像成像機制檢測該雜訊。
  3. 如申請專利範圍第1項所述之影像增強方法，其中該第一處理模組係在一灰階像素集合中取該灰階像素中值。
  4. 如申請專利範圍第1項所述之影像增強方法，其中該第二處理模組係依據該第二紅外線影像之背景直方圖之機率密度函數建立該背景累積直方圖。
  5. 如申請專利範圍第1項所述之影像增強方法，其中該第二處理模組係依據該第二紅外線影像之熱目標物直方圖之強度密度函數建立該熱目標物累積直方圖。
  6. 一種具影像增強方法之影像擷取裝置，其包含：一影像擷取模組，係擷取一第一紅外線影像；一第一處理模組，係檢測該第一紅外線影像中之一雜訊，且依據該第一紅外線影像選取一灰階像素中值，該灰階像素中值係取代該第一紅外線影像中之該雜訊，以得到一第二紅外線影像；一第二處理模組，係隨機在數字0至225之間取一初始門檻值，再由該初始門檻值將該第二紅外線 影像中之像素分為一背景像素及一熱目標物像素，並分別計算該背景像素之灰階平均值及該熱目標物像素之灰階平均值，取兩者之平均值作一疊代門檻值，重覆計算直到該疊代門檻值與前次計算所使用之門檻質相同時，則取該疊代門檻值以獲得為一像素門檻值，再以統計方法將該第二紅外線影像之累積直方圖分為一背景累積直方圖及一熱目標物累積直方圖，最後將該背景累積直方圖及該熱目標物累積直方圖結合為一混合累積直方圖，以得到增強背景及熱目標物之一第三紅外線影像；以及一顯示模組，係輸出該第三紅外線影像。
  7. 如申請專利範圍第6項所述之具影像增強方法之影像擷取裝置，其中該第一處理模組係依據紅外線影像成像機制檢測該雜訊。
  8. 如申請專利範圍第6項所述之具影像增強方法之影像擷取裝置，其中該第一處理模組係在一灰階像素集合中取該灰階像素中值。
  9. 如申請專利範圍第6項所述之具影像增強方法之影像擷取裝置，其中該第二處理模組係依據該第二紅外線影像之背景直方圖之機率密度函數建立該背景累積直方圖。
  10. 如申請專利範圍第6項所述之具影像增強方法之影像擷取裝置，其中該第二處理模組係依據該第二紅外線 影像之熱目標物直方圖之強度密度函數建立該熱目標物累積直方圖。
TW101119646A 2012-05-31 2012-05-31 影像增強方法及其影像擷取裝置 TWI524764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW101119646A TWI524764B (zh) 2012-05-31 2012-05-31 影像增強方法及其影像擷取裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101119646A TWI524764B (zh) 2012-05-31 2012-05-31 影像增強方法及其影像擷取裝置

Publications (2)

Publication Number Publication Date
TW201349860A TW201349860A (zh) 2013-12-01
TWI524764B true TWI524764B (zh) 2016-03-01

Family

ID=50157649

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101119646A TWI524764B (zh) 2012-05-31 2012-05-31 影像增強方法及其影像擷取裝置

Country Status (1)

Country Link
TW (1) TWI524764B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108122217B (zh) * 2016-11-30 2021-07-20 北京航天计量测试技术研究所 一种自适应场景的实时红外图像增强方法

Also Published As

Publication number Publication date
TW201349860A (zh) 2013-12-01

Similar Documents

Publication Publication Date Title
Ren et al. Gated fusion network for single image dehazing
Li et al. Fast multi-exposure image fusion with median filter and recursive filter
EP2740101B1 (en) Local area contrast enhancement
US9202263B2 (en) System and method for spatio video image enhancement
CN103369209A (zh) 视频降噪装置及方法
Pathak et al. A combined effect of local and global method for contrast image enhancement
TWI632894B (zh) 動態影像之心率活動偵測系統與其方法
CN105243371A (zh) 一种人脸美颜程度的检测方法、系统及拍摄终端
CN102930517A (zh) 直方图均衡化图像增强方法
TWI457853B (zh) 提供深度資訊之影像處理方法及其影像處理系統
CN104272347A (zh) 去除包含在静止图像中的雾的图像处理装置及其方法
JP2005309560A (ja) 画像処理方法および装置並びにプログラム
Agaian et al. New haze removal scheme and novel measure of enhancement
Anjana et al. Color image enhancement using edge based histogram equalization
TWI524764B (zh) 影像增強方法及其影像擷取裝置
Safonov et al. Adaptive sharpening of photos
JP6938282B2 (ja) 画像処理装置、画像処理方法及びプログラム
Singh et al. Detection of glare in night photography
TWI543112B (zh) 淺景深模擬方法及數位相機
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
JP7427398B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
JP2018205030A (ja) 距離測定装置、距離測定方法および距離測定プログラム
Shim et al. Removal of ghosting artefacts in HDRI using intensity scaling cue
JP2011039795A (ja) 動画像強調処理システムおよび方法
Venkatesh et al. Image Enhancement and Implementation of CLAHE Algorithm and Bilinear Interpolation

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees