TWI628624B - Improved thermal image feature extraction method - Google Patents

Improved thermal image feature extraction method Download PDF

Info

Publication number
TWI628624B
TWI628624B TW106141948A TW106141948A TWI628624B TW I628624 B TWI628624 B TW I628624B TW 106141948 A TW106141948 A TW 106141948A TW 106141948 A TW106141948 A TW 106141948A TW I628624 B TWI628624 B TW I628624B
Authority
TW
Taiwan
Prior art keywords
block
image
histogram
weight
hog feature
Prior art date
Application number
TW106141948A
Other languages
English (en)
Other versions
TW201926248A (zh
Inventor
黃世勳
簡士哲
張峰嘉
蕭簡浩
蕭有崧
Original Assignee
國家中山科學研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國家中山科學研究院 filed Critical 國家中山科學研究院
Priority to TW106141948A priority Critical patent/TWI628624B/zh
Application granted granted Critical
Publication of TWI628624B publication Critical patent/TWI628624B/zh
Priority to US16/059,051 priority patent/US10621466B2/en
Publication of TW201926248A publication Critical patent/TW201926248A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一種改良式熱影像特徵提取方法，步驟包括：(A)讀取一熱輻射影像，將該熱輻射影像分割為複數區塊影像；(B)對每一該區塊影像提取HOG特徵直方圖，並將該區塊影像之HOG特徵直方圖轉換為一SW-HOG特徵直方圖；其中，該SW-HOG特徵直方圖係包含一梯度強度分布直方圖乘以一區塊權重，該區塊權重係為： w(B i )：區塊B i 權重、d(Bi)：區塊B i 之梯度強度、

Description

一種改良式熱影像特徵提取方法
本發明係關於一種影像處理方法，特別是關於一種處理熱影像特徵提取之方法。
影像處理的相關研究一直是學界、業界所重視的研究課題，尤其是汽車、街頭監測等相關領域的行人偵測應用上也越來越普及，其檢測目標為行人，用以偵測行人的存在，如此可通知駕駛或讓相關安全程式可判斷出行人位置，以做出相關安全上的因應行為。
夜間環境時，行人必須靠路燈、車輛車燈或路旁店家所提供的照明方能被看到、偵測到，而當大雨、濃霧等外在環境造成視線不佳時，行人位置的偵測更是不易，雖然現今技術有利用紅外線偵測系統來做夜間行人偵測，但其機器價格高、體積大且耗電，無法廣泛使用於行人位置的偵測。
熱輻射影像能夠接收到環境各物體所放射出來的熱輻射，藉由接收到的資訊可以作為觀察、分析，若大量的收集與統計這些資料更可以判斷出物體的類型，例如：行人、樹木...等；但利用熱像儀進行物體溫度特性的量測，所得到的熱輻射影像中的溫度資訊都是相對的，例如，在不同 張熱輻射影像中，相同灰階的影像卻代表不同溫度，另外還會出現更嚴重的問題是，例如：熱輻射影像中出現一相當高溫物體，使得其他溫度的物體所能呈現的灰階範圍就會被壓縮，因而難以判斷出行人確切位置。
目前常用之熱影像行人偵測主要以紋理特徵來描述人形外觀，在給定一個訓練資料庫條件下，其中包含大量人形及非人形樣本，透過機器學習方式，訓練一個能夠有效分辨人形與非人形之分類器，最後利用基於紋理特徵之分類器對熱像進行掃描，以達到行人偵測之目的，而常用之紋理特徵主要將影像切割為數個區塊，接著以邊緣梯度資訊，亮度差異編碼統計直方圖等方式表示每一區塊之紋理特性，最後串接所有區塊紋理特徵，形成人形外觀特徵表示式，但此先前技術雖可有效表示人形外觀特徵，但其易受人行內部區域衣物明亮度不同(Cloth Distortion)，以及背景區域之影響，降低了影像的鑑別度。
因此目前業界極需發展出一種改良式熱影像特徵提取方法，能以紋理特徵的方式以避免人行內部區域衣物明亮度不同(Cloth Distortion)及背景區域之影響，有效增加熱影像的鑑別度，如此一來，方能同時兼具準確度與效率，以達到可分辨出行人與環境區塊，進而強化夜間行人辨識能力之目的。
鑒於上述習知技術之缺點，本發明之主要目的在於提供一種改良式熱影像特徵提取方法，整合一複數區塊影像、一HOG特徵直方圖、一SW-HOG特徵直方圖及一區塊權重等，以完成一改良式熱影像特徵提取。
為了達到上述目的，根據本發明所提出之一方案，提供一種改良式熱影像特徵提取方法，包括：(A)讀取一熱輻射影像，將該熱輻射影像分割為複數區塊影像；(B)對每一該區塊影像提取HOG特徵直方圖，並將該區塊影像之HOG特徵直方圖轉換為一SW-HOG特徵直方圖；其中，該SW-HOG特徵直方圖係包含一梯度強度分布直方圖乘以一區塊權重，該區塊權重係為： w(B i )：區塊B i 權重、d(Bi)：區塊B i 之梯度強度、 ：細胞影像之強度。
HOG特徵是圖像處理中檢測行人或物體的一種特徵描述子，HOG特徵直方圖則是HOG特徵以直方圖顯示的態樣，要進行提取測試樣本圖像的HOG特徵時，需將圖像(區塊影像)分成小的細胞影像(cell，或稱細胞單元)，藉由採集cell中各像素點梯度和邊緣的方向直方圖，再組合起來構成測試樣本圖像的HOG特徵，其中，圖像中像素點(x,y)梯度為：Gx(x,y)=H(x+1,y)-H(x-1,y)、Gy(x,y)=H(x,y+1)-H(x,y-1) 式中Gx(x,y)，Gy(x,y)，H(x,y)分別表示輸入圖像中像素點(x,y)處的水平方向梯度、垂直方向梯度和像素值。
本案發明中，區塊影像可分割為4個細胞影像(但不以此為限)，每一細胞影像所提取出的HOG特徵直方圖是一種梯度強度分布直方圖，該梯度強度分布直方圖是利用一水平梯度強度分布直方圖與一垂直梯度強度分布直方圖計算而得；本案發明中，SW-HOG特徵直方圖是包含上述梯度強度分布直方圖乘以一區塊權重計算而得，該區塊權重是依上述HOG特徵直方圖的對稱性來調整其大小，其中，該區塊權重係為： w(B i )：區塊B i 權重、d(Bi)：區塊B i 之梯度強度、 ：細胞影像之強度。
以上之概述與接下來的詳細說明及附圖，皆是為了能進一步說明本創作達到預定目的所採取的方式、手段及功效。而有關本創作的其他目的及優點，將在後續的說明及圖式中加以闡述。
S101-S102‧‧‧步驟
第一圖係為本發明一種改良式熱影像特徵提取方法流程圖；第二圖係為本發明一種複數區塊影像示意圖； 第三圖係為本發明熱影像對稱性分析示意圖；第四圖係為本發明一種人行、背景直方圖對稱分布示意圖；第五圖係為本發明熱影像人形樣板與非人形樣板之強度直方圖差異統計圖；第六圖係為本發明SW-HOG與HOG之效能比較結果圖。
以下係藉由特定的具體實例說明本創作之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地了解本創作之優點及功效。
HOG特徵提取的主要概念為將所有區塊以相同權重方式串接，此技術雖可有效表示人形外觀特徵，但其易受人行內部區域衣物明亮度不同(Cloth Distortion)，以及背景區域之影響，為降低此問題，以提升目前常用紋理特徵表示之鑑別度，本發明提出透過分析區塊內部區域之熱亮度差異，用以提升涵蓋人形輪廓區塊之權重，降低人形內部區塊之權重，以降低上述因素影響。
請參閱第一圖，為本發明一種改良式熱影像特徵提取方法流程圖。如圖一所示，本發明所提供一種改良式熱影像特徵提取方法，步驟包括：(A)讀取一熱輻射影像，將該熱輻射影像分割為複數區塊影像S101；(B)對每一該區塊影像 提取HOG特徵直方圖，並將該區塊影像之HOG特徵直方圖轉換為一SW-HOG特徵直方圖；其中，該SW-HOG特徵直方圖係包含一梯度強度分布直方圖乘以一區塊權重，該區塊權重係為： w(B i )：區塊B i 權重、d(Bi)：區塊B i 之梯度強度、：細胞影像之 強度S102。
請參閱第二圖，為本發明一種複數區塊影像示意圖。如圖所示，熱(輻射)影像(區塊影像)中人形與非人形影像之間，可發現有人形的熱影像，其影像灰階(亮度強度)呈現相對不規則，其主要原因為行人因人體體溫相對於背景場景高，加上人體各部分受衣物遮蔽情況不同，而非人形影像因場景中溫度呈現較均勻分布，故其影像灰階(亮度強度)呈現相對規則，其主要原因為背景場景一般距熱像感測器較遠，使得背景所有物體熱能因距離呈現一致衰減現象，使背景熱成像亮度一致。
請參閱第三圖，為本發明熱影像對稱性分析示意圖、請參閱第四圖，為本發明一種人行、背景直方圖對稱分布示意圖。如圖所示，為有效分析上述特性，本發明針對熱像之區塊影像(Block)，分別分析各個區塊中四個細胞影像(Cell)之梯度強度分布狀況，即HOG特徵直方圖，若上下的直方圖相當接近，則為垂直對稱(如圖三(a))，若左右的直方圖相 當接近的話，就為水平對稱(如圖三(b))，若是斜邊的直方圖接近的話就為斜邊對稱(如圖三(c))，若整個直方圖都相當接近，就是為完全對稱(如圖三(d))，若整個都不相近，則為完全不對稱(如圖三(e))；上述這些對稱性的直方圖會分布在行人與非行人的樣板之中，如圖四所示，人形內部區域或外圍背景區域會有較多的完全對稱，而在人形邊緣則有較多的完全不對稱，在非人形樣板中，因為場景較單一的情況，會有較多的垂直對稱、水平對稱以及斜邊對稱，因此本發明透過分析區塊影像中四個細胞影像之直方圖對稱特性，當其位於人形輪廓邊緣區域，因而並無直方圖對稱特性時，則加強其特徵表示之重要性，反之，當其位於人形內部或背景區域時，因而呈現水平或垂直直方圖對稱特性，則降低其特徵重要性，用以降低人性內部與背景物體熱能差異之影響，可有效提高特徵之準確度。
實施例
本發明分析4224張熱影像人形樣板(Positive)及4200張非人形樣板(Negative)，每個樣板解析度為64 x 128，Block大小設定為16 x 16，使用Dense的方式依序由左上至右下，每次水平與垂直移動量分別為8個pixel(Step8 x 8)。對於每個區塊B i 中之四個細胞，分別以符號,,以及表示，其中(l,t),(l,b),(l,t),(r,t)表示為左上角，左下角，右上角以及右下角。 分別定義區塊B i 中水平(dh)與垂直(dv)梯度強度直方圖之差異為： 其中表示為左上細胞之第j各區間(bin)，而區塊B i 中之細 胞梯度強度直方圖差異定義為：d(B i )=d h (B i )+d v (B i ) (3)
請參閱第五圖，為本發明熱影像人形樣板與非人形樣板之強度直方圖差異統計圖。如圖所示，分析4224張熱影像人形樣板(影像)及4200張非人形樣板(影像)後，本實施例以縱軸為Block的統計數量，以橫軸為正規化數值介於[0,100]，來統計上述人形樣板之強度直方圖差異，由此分析結果可發現，人形樣本(稱為正樣本(Positive))中之區塊細胞差異度較大，且分布較廣，而非人形樣本(稱為負樣本(Negative))則差異度較小，分布區域多為10以下，明顯可見此特性可有效區分人形與非人形(背景)樣本(熱影像)，因此本實施例依據d(B i )值計算出一個區塊B i 權重值w(B i )，其定義如下： 再利用此權重重新調整各區塊影像之HOG梯度強度分布直方圖，轉換為一SW-HOG特徵直方圖，其調整之方程式如下：SW-HOG(B i )=w(B i )×HOG(B i ) (5)。
請參閱第六圖，為本發明SW-HOG與HOG之效能比較結果圖。如圖所示，本實施例分析六種場景，分別包含50張連續熱輻射影像，此六種場景分別包含日夜間狀況、室內室外、複雜背景與不同架設平台(靜態平台或動態平台)，並比較傳統HOG特徵與強化後之HOG特徵之偵測效能，可明顯發現強化人形與背景熱差異後，其偵測效能有顯著提升。
上述之實施例僅為例示性說明本創作之特點及功效，非用以限制本創作之實質技術內容的範圍。任何熟悉此技藝之人士均可在不違背創作之精神及範疇下，對上述實施例進行修飾與變化。因此，本創作之權利保護範圍，應如後述之申請專利範圍所列。

Claims (5)

  1. 一種改良式熱影像特徵提取方法，步驟包括：(A)讀取一熱輻射影像，將該熱輻射影像分割為複數區塊影像；(B)對每一該區塊影像提取HOG特徵直方圖，並將該區塊影像之HOG特徵直方圖轉換為一SW-HOG特徵直方圖；其中，該SW-HOG特徵直方圖係包含一梯度強度分布直方圖乘以一區塊權重，該區塊權重係為：
    Figure TWI628624B_C0001
    w(B i )：區塊B i 權重、d(Bi)：區塊B i 之梯度強度、
    Figure TWI628624B_C0002
    ：細胞影像之強度。
  2. 如申請專利範圍第1項所述之改良式熱影像特徵提取方法，其中，該區塊影像係分割為4個細胞影像。
  3. 如申請專利範圍第1項所述之改良式熱影像特徵提取方法，其中，該HOG特徵直方圖係為該梯度強度分布直方圖。
  4. 如申請專利範圍第3項所述之改良式熱影像特徵提取方法，其中，該梯度強度分布直方圖係利用一水平梯度強度分布直方圖與一垂直梯度強度分布直方圖計算而得。
  5. 如申請專利範圍第1項所述之改良式熱影像特徵提取方法，其中，該區塊權重係依該HOG特徵直方圖的對稱性來調整其大小。
TW106141948A 2017-11-30 2017-11-30 Improved thermal image feature extraction method TWI628624B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106141948A TWI628624B (zh) 2017-11-30 2017-11-30 Improved thermal image feature extraction method
US16/059,051 US10621466B2 (en) 2017-11-30 2018-08-09 Method for extracting features of a thermal image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106141948A TWI628624B (zh) 2017-11-30 2017-11-30 Improved thermal image feature extraction method

Publications (2)

Publication Number Publication Date
TWI628624B true TWI628624B (zh) 2018-07-01
TW201926248A TW201926248A (zh) 2019-07-01

Family

ID=63640540

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106141948A TWI628624B (zh) 2017-11-30 2017-11-30 Improved thermal image feature extraction method

Country Status (2)

Country Link
US (1) US10621466B2 (zh)
TW (1) TWI628624B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11346938B2 (en) 2019-03-15 2022-05-31 Msa Technology, Llc Safety device for providing output to an individual associated with a hazardous environment
CN112699863B (zh) * 2021-03-25 2022-05-17 深圳阜时科技有限公司 指纹增强方法、计算机可读存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100565557C (zh) * 2008-06-06 2009-12-02 重庆大学 基于粒子动态采样模型的红外人体目标跟踪系统
TW201214336A (en) * 2010-09-17 2012-04-01 Lg Display Co Ltd Method and interface of recognizing user's dynamic organ gesture and electric-using apparatus using the interface
US20140139633A1 (en) * 2012-11-21 2014-05-22 Pelco, Inc. Method and System for Counting People Using Depth Sensor
TW201421372A (zh) * 2012-11-27 2014-06-01 Chung Shan Inst Of Science 行人偵測系統與方法
CN103902976A (zh) * 2014-03-31 2014-07-02 浙江大学 一种基于红外图像的行人检测方法
CN102930558B (zh) * 2012-10-18 2015-04-01 中国电子科技集团公司第二十八研究所 一种多特征融合的红外图像目标实时跟踪方法
CN105574488A (zh) * 2015-12-07 2016-05-11 北京航空航天大学 一种基于低空航拍红外图像的行人检测方法
TW201724021A (zh) * 2015-12-17 2017-07-01 Nat Chung-Shan Inst Of Science And Tech 一種紅外線影像行人偵測方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680144B (zh) * 2015-03-02 2018-06-05 华为技术有限公司 基于投影极速学习机的唇语识别方法和装置
CN104966046B (zh) * 2015-05-20 2017-07-21 腾讯科技（深圳）有限公司 一种人脸关键点位定位结果的评估方法，及评估装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100565557C (zh) * 2008-06-06 2009-12-02 重庆大学 基于粒子动态采样模型的红外人体目标跟踪系统
TW201214336A (en) * 2010-09-17 2012-04-01 Lg Display Co Ltd Method and interface of recognizing user's dynamic organ gesture and electric-using apparatus using the interface
CN102930558B (zh) * 2012-10-18 2015-04-01 中国电子科技集团公司第二十八研究所 一种多特征融合的红外图像目标实时跟踪方法
US20140139633A1 (en) * 2012-11-21 2014-05-22 Pelco, Inc. Method and System for Counting People Using Depth Sensor
TW201421372A (zh) * 2012-11-27 2014-06-01 Chung Shan Inst Of Science 行人偵測系統與方法
CN103902976A (zh) * 2014-03-31 2014-07-02 浙江大学 一种基于红外图像的行人检测方法
CN105574488A (zh) * 2015-12-07 2016-05-11 北京航空航天大学 一种基于低空航拍红外图像的行人检测方法
TW201724021A (zh) * 2015-12-17 2017-07-01 Nat Chung-Shan Inst Of Science And Tech 一種紅外線影像行人偵測方法

Also Published As

Publication number Publication date
US20190164005A1 (en) 2019-05-30
TW201926248A (zh) 2019-07-01
US10621466B2 (en) 2020-04-14

Similar Documents

Publication Publication Date Title
Changzhen et al. A traffic sign detection algorithm based on deep convolutional neural network
Wen et al. A novel automatic change detection method for urban high-resolution remotely sensed imagery based on multiindex scene representation
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN103617426B (zh) 一种自然环境干扰和有遮挡时的行人目标检测方法
CN105404886B (zh) 特征模型生成方法和特征模型生成装置
CN104978567B (zh) 基于场景分类的车辆检测方法
CN106610969A (zh) 基于多模态信息的视频内容审查系统及方法
CN108229458A (zh) 一种基于运动检测和多特征提取的火焰智能识别方法
CN104050481B (zh) 多模板轮廓特征和灰度相结合的红外图像实时行人检测
CN102214309B (zh) 一种基于头肩模型的特定人体识别方法
CN108805018A (zh) 道路交通标志检测识别方法、电子设备、存储介质及系统
CN105260749B (zh) 基于方向梯度二值模式和软级联svm的实时目标检测方法
Wang et al. License plate detection using gradient information and cascade detectors
CN103605953A (zh) 基于滑窗搜索的车辆兴趣目标检测方法
CN103745197B (zh) 一种车牌检测方法及装置
CN103218604A (zh) 交通场景中基于路面提取的行人检测方法
Chen et al. Research on image fire detection based on support vector machine
CN104050684A (zh) 一种基于在线训练的视频运动目标分类方法与系统
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
Deng et al. Detection and recognition of traffic planar objects using colorized laser scan and perspective distortion rectification
Oruklu et al. Real-time traffic sign detection and recognition for in-car driver assistance systems
CN103489012A (zh) 一种基于支持向量机的人群密集度检测方法及系统
Tao et al. Smoke vehicle detection based on spatiotemporal bag-of-features and professional convolutional neural network
Liang et al. Methods of moving target detection and behavior recognition in intelligent vision monitoring.