TWI779801B - 測溫方法、電子設備及電腦可讀儲存介質 - Google Patents

測溫方法、電子設備及電腦可讀儲存介質 Download PDF

Info

Publication number
TWI779801B
TWI779801B TW110131735A TW110131735A TWI779801B TW I779801 B TWI779801 B TW I779801B TW 110131735 A TW110131735 A TW 110131735A TW 110131735 A TW110131735 A TW 110131735A TW I779801 B TWI779801 B TW I779801B
Authority
TW
Taiwan
Prior art keywords
area
face
point
face frame
temperature
Prior art date
Application number
TW110131735A
Other languages
English (en)
Other versions
TW202217647A (zh
Inventor
高哲峰
彭恩厚
李若岱
劉杰
左冬冬
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202217647A publication Critical patent/TW202217647A/zh
Application granted granted Critical
Publication of TWI779801B publication Critical patent/TWI779801B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025Living bodies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • G01J5/485Temperature profile
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Radiation Pyrometers (AREA)
  • Testing Electric Properties And Detecting Electric Faults (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本發明實施例提供了一種測溫方法、電子設備及電腦可讀儲存介質。該方法包括:獲取待處理圖像、溫度熱力圖以及所述溫度熱力圖和所述待處理圖像之間的單應性矩陣;對所述待處理圖像進行人臉檢測,得到第一人臉區域;基於所述單應性矩陣從所述溫度熱力圖中確定與所述第一人臉區域對應的圖元點區域,得到第二人臉區域;基於所述第二人臉區域包含的圖元點的溫度,確定與所述第一人臉區域對應的測溫對象的溫度。

Description

測溫方法、電子設備及電腦可讀儲存介質
本發明實施例關於測溫技術領域,尤其關於一種測溫方法、電子設備及電腦可讀儲存介質。
目前,在測溫領域對非接觸式測溫的需求暴增。非接觸式測溫可以有效避免人群的交叉感染,對防疫起了積極作用。
在目前的非接觸式測溫方法中,測溫設備通過對採集到的溫度熱力圖進行人臉檢測,得到溫度熱力圖中的人臉區域。基於溫度熱力圖中的人臉區域包含的圖元點的溫度,可得到測溫對象的溫度。但通過該種方法得到的測溫對象的溫度的準確度比較低。
本發明實施例提供一種測溫方法、電子設備及電腦可讀儲存介質。
本發明實施例提供了一種測溫方法,所述方法包括:獲取待圖像、溫度熱力圖以及所述溫度熱力圖和所述待圖像之間的單應性矩陣;對所述待圖像進行人臉檢測,得到第一人臉區域;基於所述單應性矩陣從所述溫度熱力圖中確定與所述第一人臉區域對應的圖元點區域,得到第二人臉區域;基於所述第二人臉區域包含的圖元點的溫度,確定與所述第一人臉區域對應的測溫對象的溫度。
在一些可能實現的方式中,所述基於所述單應性矩陣從所述溫度熱力圖中確定與所述第一人臉區域對應的圖元點區域,得到第二人臉區域,包括:基於所述單應性矩陣和包含所述第一人臉區域的人臉框的四個角點,從所述溫度熱力圖中確定與所述四個角點對應的四個圖元點;基於由所述四個圖元點確定的四邊形區域,確定所述第二人臉區域。
在一些可能實現的方式中,所述對所述待處理圖像進行人臉檢測,得到第一人臉區域,包括:對所述待處理圖像進行人臉檢測,得到至少一個第一人臉框;將所述至少一個第一人臉框中的第二人臉框包含的圖元點區域作為所述第一人臉區域;所述第二人臉框包含的圖元點區域的解析度大於解析度閾值的人臉框。
在一些可能實現的方式中,所述第一人臉框的數量大於1,所述至少一個第一人臉框包括第三人臉框和第四人臉框;所述將所述至少一個第一人臉框中的第二人臉框包含的圖元點區域作為所述第一人臉區域,包括:在所述第三人臉框和所述第四人臉框之間的重疊率小於或等於重疊率閾值的情況下,將所述第三人臉框和所述第四人臉框中任意一個人臉框包含的圖元點區域,作為所述第一人臉區域。
在一些可能實現的方式中,所述將所述第三人臉框和所述第四人臉框中任意一個人臉框包含的圖元點區域,作為所述第一人臉區域,包括:將所述第三人臉框和所述第四人臉框中大小測度最大的人臉框包含的圖元點區域,作為所述第一人臉區域;所述第三人臉框的大小測度為所述第三人臉框的邊長的最大值;所述第四人臉框的大小測度為所述第四人臉框的邊長的最大值。
在一些可能實現的方式中,所述基於所述第二人臉區域包含的圖元點的溫度,確定與所述第一人臉區域對應的測溫對象的溫度,包括:對所述第一人臉區域進行額頭檢測,得到所述第一人臉區域的額頭檢測結果;在所述第一人臉區域的額頭檢測結果為所述第一人臉區域中的額頭區域處於未被遮擋的情況下,基於第三人臉區域包含的圖元點的溫度,得到所述測溫對象的溫度;所述第三人臉區域為所述第二人臉區域中與所述額頭區域對應的區域。
在一些可能實現的方式中,所述基於由所述四個圖元點確定的四邊形區域,確定所述第二人臉區域,包括:獲取所述四邊形區域的對角線的交點;將第一點與所述交點之間的距離作為第一距離;所述第一點為所述四個圖元點中距離所述交點最近的圖元點;以所述交點為圓心、所述第一距離為半徑,構建第一區域;確定所述第一區域和所述四邊形區域的交集,得到第二區域;從所述第二區域中選取包含所述交點的區域作為所述第二人臉區域。
在一些可能實現的方式中,所述基於由所述四個圖元點確定的四邊形區域,確定所述第二人臉區域,包括:獲取所述四邊形區域的對角線的交點;確定所述四邊形區域的最大內接區域;所述最大內接區域為包含所述交點的矩形區域或圓形區域;將所述最大內接區域作為所述第二人臉區域。
在一些可能實現的方式中,所述確定所述四邊形區域的最大內接區域,包括:從所述四個圖元點的橫座標中選取第二大的橫座標得到第一橫座標,從所述四個圖元點的橫座標中選取第三大的橫座標得到第二橫座標,從所述四個圖元點的縱座標中選取第二大的縱座標得到第一縱座標,從所述四個圖元點的縱座標中選取第三大的縱座標得到第二縱座標;基於所述第一橫座標和所述第一縱座標確定第二點,基於所述第一橫座標和所述第二縱座標確定第三點,基於所述第二橫座標和所述第一縱座標確定第四點,基於所述第二橫座標和所述第二縱座標確定第五點;將由所述第二點、所述第三點、所述第四點和所述第五點確定的區域,作為所述最大內接區域。
在一些可能實現的方式中,本發明實施例還提供了一種測溫裝置,所述裝置包括:獲取部分,被配置為獲取待處理圖像、溫度熱力圖以及所述溫度熱力圖和所述待處理圖像之間的單應性矩陣;檢測部分,被配置為對所述待處理圖像進行人臉檢測,得到第一人臉區域;第一處理部分,被配置為基於所述單應性矩陣從所述溫度熱力圖中確定與所述第一人臉區域對應的圖元點區域,得到第二人臉區域;第二處理部分,被配置為基於所述第二人臉框包含的圖元點的溫度,確定與所述第一人臉區域對應的測溫對象的溫度。
在一些可能實現的方式中,所述第一處理部分,還被配置為:基於所述單應性矩陣和包含所述第一人臉區域的人臉框的四個角點,從所述溫度熱力圖中確定與所述四個角點對應的四個圖元點;基於由所述四個圖元點確定的四邊形區域,確定所述第二人臉區域。
在一些可能實現的方式中,所述檢測部分,還被配置為:對所述待處理圖像進行人臉檢測,得到至少一個第一人臉框;將所述至少一個第一人臉框中的第二人臉框包含的圖元點區域作為所述第一人臉區域;所述第二人臉框包含的圖元點區域的解析度大於解析度閾值的人臉框。
在一些可能實現的方式中,所述第一人臉框的數量大於1,所述至少一個第一人臉框包括第三人臉框和第四人臉框;所述檢測部分,還被配置為:在所述第三人臉框和所述第四人臉框之間的重疊率小於或等於重疊率閾值的情況下,將所述第三人臉框和所述第四人臉框中任意一個人臉框包含的圖元點區域,作為所述第一人臉區域。
在一些可能實現的方式中,所述檢測部分,還被配置為:將所述第三人臉框和所述第四人臉框中大小測度最大的人臉框包含的圖元點區域,作為所述第一人臉區域;所述第三人臉框的大小測度為所述第三人臉框的邊長的最大值;所述第四人臉框的大小測度為所述第四人臉框的邊長的最大值。
在一些可能實現的方式中,所述第二處理部分,還被配置為:對所述第一人臉區域進行額頭檢測,得到所述第一人臉區域的額頭檢測結果;在所述第一人臉區域的額頭檢測結果為所述第一人臉區域中的額頭區域處於未被遮擋的情況下,基於第三人臉區域包含的圖元點的溫度,得到所述測溫對象的溫度;所述第三人臉區域為所述第二人臉區域中與所述額頭區域對應的區域。
在一些可能實現的方式中,所述第一處理部分,還被配置為:獲取所述四邊形區域的對角線的交點;將第一點與所述交點之間的距離作為第一距離;所述第一點為所述四個圖元點中距離所述交點最近的圖元點;以所述交點為圓心、所述第一距離為半徑,構建第一區域;確定所述第一區域和所述四邊形區域的交集,得到第二區域;從所述第二區域中選取包含所述交點的區域作為所述第二人臉區域。
在一些可能實現的方式中,所述第一處理部分,還被配置為:獲取所述四邊形區域的對角線的交點;確定所述四邊形區域的最大內接區域;所述最大內接區域為包含所述交點的矩形區域或圓形區域;將所述最大內接區域作為所述第二人臉區域。
在一些可能實現的方式中,所述第一處理部分,還被配置為:從所述四個圖元點的橫座標中選取第二大的橫座標得到第一橫座標,從所述四個圖元點的橫座標中選取第三大的橫座標得到第二橫座標,從所述四個圖元點的縱座標中選取第二大的縱座標得到第一縱座標,從所述四個圖元點的縱座標中選取第三大的縱座標得到第二縱座標;基於所述第一橫座標和所述第一縱座標確定第二點,基於所述第一橫座標和所述第二縱座標確定第三點,基於所述第二橫座標和所述第一縱座標確定第四點,基於所述第二橫座標和所述第二縱座標確定第五點;將由所述第二點、所述第三點、所述第四點和所述第五點確定的區域,作為所述最大內接區域。
在一些可能實現的方式中,本發明實施例還提供了一種處理器,所述處理器被配置為執行如上述第一方面及其任意一種可能實現的方式的方法。
在一些可能實現的方式中,本發明實施例還提供了一種電子設備,包括:處理器、發送裝置、輸入裝置、輸出裝置和記憶體,所述記憶體被配置為儲存電腦程式代碼,所述電腦程式代碼包括電腦指令,在所述處理器執行所述電腦指令的情況下,所述電子設備執行如上述第一方面及其任意一種可能實現的方式的方法。
在一些可能實現的方式中,本發明實施例還提供了一種電腦可讀儲存介質,所述電腦可讀儲存介質中儲存有電腦程式,所述電腦程式包括程式指令,在所述程式指令被處理器執行的情況下,使所述處理器執行如上述第一方面及其任意一種可能實現的方式的方法。
在一些可能實現的方式中,本發明實施例還提供了一種電腦程式產品,所述電腦程式產品包括電腦程式或指令,在所述電腦程式或指令在電腦上運行的情況下,使得所述電腦執行上述第一方面及其任一種可能的實現方式的方法。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,而非限制本發明實施例。
為了使本技術領域的人員更好地理解本發明實施例的方案,下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例。基於本發明中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例,都屬於本發明實施例保護的範圍。
本發明實施例的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別不同對象,而不是用於描述特定順序。此外,術語“包括”和“具有”以及它們任何變形,意圖在於覆蓋不排他的包含。例如包含了一系列步驟或部分的過程、方法、系統、產品或設備沒有限定於已列出的步驟或部分,而是可選地還包括沒有列出的步驟或部分,或可選地還包括對於這些過程、方法、產品或設備固有的其他步驟或部分。
在本文中提及“實施例”意味著,結合實施例描述的特定特徵、結構或特性可以包含在本發明的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例,也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯式地和隱式地理解的是,本文所描述的實施例可以與其它實施例相結合。
目前,在測溫領域對非接觸式測溫的需求暴增。非接觸式測溫演算法可以有效避免人群的交叉感染,對防疫起了積極作用。
常用的測溫方法是直接使用非接觸式測溫設備的測溫模組產生的溫度熱力圖進行人臉檢測,得到溫度熱力圖中的人臉區域。然後根據溫度熱力圖中的人臉區域包含的圖元點的溫度,得到測溫對象的溫度。每個廠商生產的測溫模組的溫度熱力圖差異性比較明顯,做一個通用的熱力圖人臉檢測模型代價很大。而且,非接觸式測溫設備的人臉檢測模型不是基於溫度熱力圖進行訓練的。溫度熱力圖攜帶的資訊少,進行人臉檢測的效果會比較差,導致得到的人臉區域不準確。因此,根據溫度熱力圖中不準確的人臉區域包含的圖元點區域的溫度,得到的測溫對象的溫度也不準確。這種測溫方法不僅需要耗費較大的人力成本,而且檢測效率低、易導致測溫結果不準確。
基於此,本發明實施例提供了一種通過測溫裝置實現的測溫方法。本發明實施例的執行主體為測溫裝置。可選的,測溫裝置可以是以下中的一種:手機、電腦、平板電腦、門禁設備。下面結合本發明實施例中的附圖對本發明實施例進行描述。
請參閱圖1,圖1是本發明實施例提供的一種測溫方法的流程示意圖。
步驟101、獲取待處理圖像、溫度熱力圖以及上述溫度熱力圖和上述待處理圖像之間的單應性矩陣。
在一些可能實現的方式中,待處理圖像可以是任意圖像。例如,待處理圖像可以包含人臉,也可以包含人臉和物體。本發明實施例對待處理圖像所包含的內容不做限定。
溫度熱力圖是與待處理圖像對應的攜帶溫度資訊的偽彩圖。溫度熱力圖的每一個圖元點都攜帶對應的溫度資訊。溫度熱力圖中的圖元點的顏色越深代表溫度越高。也就是說,根據溫度熱力圖中的圖元點的溫度,可以得到與待處理圖像中的測溫對象的溫度。
一種可能獲取待處理圖像的實現方式中,測溫裝置裝載有RGB相機。測溫裝置通過RGB相機採集獲得待處理圖像。可選的,測溫裝置及閘禁設備組裝在一起。測溫裝置為人工智慧(artificial intelligence,AI)紅外成像儀、安檢門這類非接觸式測溫產品(這類產品主要放置在車站、機場、地鐵、商店、超市、學校、公司大廳以及社區門口這些人流量密集的場景)。
又一種可能獲取待處理圖像的實現方式中,測溫裝置裝載有監控攝影頭。將監控攝影頭發送的視頻流進行解碼處理,將解碼處理獲得的RGB圖像作為待處理圖像。
一種可能獲取溫度熱力圖的實現方式中,測溫裝置裝載有紅外成像設備。測溫裝置通過該成像設備的紅外成像相機採集獲得溫度熱力圖。
在一些可能實現的方式中,單應性變換(Homograph)相當於是投影變換,改變物體的位置和形狀。單應性矩陣(Homograph,H)是預先標定的單應性映射變換參數。本發明實施例獲取溫度熱力圖和待處理圖像之間的單應性矩陣採用的是傳統方法。傳統方法獲取單應性矩陣,需要經過以下步驟:提取每張圖的特徵點;提取每個特徵點對應的描述子;通過匹配特徵點描述子,找到兩張圖中匹配的特徵點對(這裡可能存在錯誤匹配);使用RANSAC(Random Sample Consensus,隨機抽樣一致)演算法剔除錯誤匹配;求解方程組,計算單應性矩陣。溫度熱力圖是通過紅外成像設備拍攝的圖像,待處理圖像是通過RGB成像設備拍攝的圖像。
一種可能獲取溫度熱力圖和待處理圖像之間的單應性矩陣的實現方式中,測溫裝置上安裝有RGB相機和紅外成像相機。將一個正方形卡片放到測溫裝置前1米左右的位置,通過RGB相機和紅外成像相機先拍攝兩張圖像。那麼,通過RGB相機得到正方形卡片的RGB圖像。通過紅外成像相機得到正方形卡片的紅外成像圖像。通過提取正方形卡片的RGB圖像和正方形卡片的紅外成像圖像的局部特徵點,可以採用的演算法有:尺度不變特徵轉換(scale-invariant feature transform,SIFT)、快速魯棒特徵(speed up roust feature,SURF)、角點檢測(Features fromaccelerated segment test,FAST)等,本發明實施例在這裡不做限定。然後,提取每個局部特徵點對應的描述子,通過匹配特徵點描述子,找到正方形卡片的RGB圖像和正方形卡片的紅外成像圖像中匹配的特徵點對。因為可能會存在錯誤匹配,使用RANSAC演算法剔除錯誤匹配,求解對應的方程組,計算單應性矩陣(Homograph)。需要理解的是,每一台測溫裝置的RGB相機和紅外成像相機擺放的位置以及角度可能存在差異,用不同的測溫裝置的RGB相機和紅外成像相機得到的單應性矩陣存在差異。因此,每台測溫裝置都需要進行通過正方形的卡片進行標定,通過得到RGB相機拍攝的圖像和紅外成像相機拍攝的圖像後,再通過上述方法計算得到單應性矩陣。
步驟102、對上述待處理圖像進行人臉檢測,得到第一人臉區域。
在一些可能實現的方式中,人臉檢測用於確定上述待處理圖像中是否包含人臉區域。測溫裝置通過對上述待處理圖像進行人臉檢測,可確定上述待處理圖像中是否包含人臉區域。
測溫裝置確定上述待處理圖像包含人臉區域表徵,上述待處理圖像中包含測溫對象。在上述待處理圖像中包含人臉區域的情況下,得到第一人臉區域。需要理解的是,第一人臉區域是上述待處理圖像中測溫對象對應的人臉區域。
一種人臉檢測可能的實現方式中,測溫裝置通過對待處理圖像進行人臉特徵提取處理,得到待處理圖像的人臉特徵資料。進而可基於該人臉特徵資料確定待處理圖像中是否包含人臉區域。
又一種人臉檢測可能的實現方式中,測溫裝置使用人臉檢測神經網路對待處理圖像進行處理,以確定待處理圖像中是否包含人臉區域。該人臉檢測神經網路以帶有標注資訊的第一訓練圖像為訓練資料訓練得到,其中,標注資訊包括第一訓練圖像中是否包含人臉。
又一種人臉檢測可能的實現方式中,通過預先訓練好的神經網路對待處理圖像進行特徵提取處理,獲得特徵資料,該預先訓練好的神經網路根據特徵資料中的特徵識別待處理圖像中是否包含人臉。通過對待處理圖像進行特徵提取處理,在特徵提取的資料中確定待處理圖像中包含人臉的情況下,確定上述待處理圖像人臉框的位置,也就是實現對人臉的檢測,對待處理圖像進行人臉檢測可通過卷積神經網路實現。通過將多張帶有標注資訊的圖像作為訓練資料,對卷積神經網路進行訓練,使訓練後的卷積神經網路可完成對圖像的人臉檢測。訓練資料中的圖像的標注資訊為人臉以及人臉的位置。在使用訓練資料對卷積神經網路進行訓練的過程中,卷積神經網路從圖像中提取出圖像的特徵資料,並基於特徵資料確定圖像中是否有人臉,在圖像中有人臉的情況下,基於圖像的特徵資料得到人臉的位置。以標注資訊為監督資訊監督卷積神經網路在訓練過程中得到的結果,並更新卷積神經網路的參數,完成對卷積神經網路的訓練。這樣,可使用訓練後的卷積神經網路對待處理圖像進行處理,以得到待處理圖像中的人臉的位置。
又一種人臉檢測可能的實現方式中,人臉檢測可通過人臉檢測演算法實現,其中,人臉檢測演算法可以是以下中的一種:基於長條圖粗分割和奇異值特徵的人臉檢測演算法、基於二進小波變換的人臉檢測、基於概率決策的神經網路方法(probabilistic decision based neural network,PDBNN)、隱瑪律可夫模型方法(Hidden Markov Model,HMM)等等,本發明實施例對實現人臉檢測的人臉檢測演算法不做限定。
步驟103、基於上述單應性矩陣從上述溫度熱力圖中確定與上述第一人臉區域對應的圖元點區域,得到第二人臉區域。
通過單應性矩陣可以從溫度熱力圖中確定與待處理圖像中的圖元點對應的圖元點。
舉例來說,假設待處理圖像中的圖元點A的座標為(2,4),溫度熱力圖中與圖元點A對應的圖元點為圖元點D,單應性矩陣
Figure 02_image001
。將A圖元點的座標轉換成齊次座標(2,4,1),對應的矩陣形式B為[2,4,1]。那麼,將A圖元點的齊次座標和單應性矩陣H相乘,可以得到矩陣
Figure 02_image003
,將矩陣C的第一個數值13除以第三個數值55,得到圖元點D的橫座標為13/55;矩陣C的第二個數值34除以第三個數值55,得到圖元點D的縱座標為34/55。因此,溫度熱力圖中圖元點A對應的圖元點D的座標為(13/55,34/55)。
圖像處理裝置基於單應性矩陣,可從溫度熱力圖中確定與第一人臉區域輪廓上的圖元點對應的圖元點,進而從溫度熱力圖中確定與第一人臉區域對應的圖元點區域,即第二人臉區域。
步驟104、基於上述第二人臉區域包含的圖元點的溫度,得到與上述第一人臉區域對應的測溫對象的溫度。
在一些可能實現的方式中,測溫裝置可確定在溫度熱力圖中任意一個圖元點所對應的溫度。在上述溫度熱力圖包含第二人臉區域,測溫裝置基於第二人臉區域包含的圖元點的溫度,可以得到與第一人臉區域對應的測溫對象的溫度。
在一些可能實現的方式中,測溫裝置將第二人臉區域中至少一個圖元點所對應的溫度平均值,作為測溫對象的溫度。例如,第二人臉區域的圖元點包括:圖元點a和圖元點b,其中,圖元點a所對應的溫度為36.9度,圖元點b所對應的溫度為36.3度。測溫裝置可將圖元點a所對應的溫度和圖元點b所對應的溫度的平均值(36.6度)作為測溫對象的溫度;測溫裝置也可將圖元點a所對應的溫度(36.9度)作為測溫對象的溫度;測溫裝置還可將圖元點b所對應的溫度(36.3度)作為測溫對象的溫度。
在又一種可能的實現方式中,測溫裝置將第二人臉區域中圖元點所對應的溫度最高值,作為測溫對象的溫度。例如,第二人臉區域的圖元點包括:圖元點a、圖元點b和圖元點c,其中,圖元點a所對應的溫度為36.9度,圖元點b所對應的溫度為36.3度,圖元點c對應的溫度為37度。測溫裝置可將圖元點a所對應的溫度、圖元點b所對應的溫度和圖元點c所對應的溫度的最高值(37度)作為測溫對象的溫度。
在又一種可能實現的方式中,測溫裝置首先計算第二人臉區域中圖元點所對應的溫度平均值,從與溫度平均值之間的差異小於或等於閾值的圖元點中選取至少一個圖元點,並將至少一個圖元點所對應的溫度的平均值作為測溫對象的溫度。例如,第二人臉區域的圖元點包括:圖元點a、圖元點b、圖元點c和圖元點d。其中,圖元點a所對應的溫度為36.9度,圖元點b所對應的溫度為36.3度,圖元點c所對應的溫度為37.9度,圖元點d所對應的溫度為35.2度。測溫裝置計算第二人臉區域中圖元點所對應的溫度平均值為36.625度。在閾值為1度的情況下,由於圖元點c所對應的溫度與溫度平均值之間的差異(1.275度)和圖元點d所對應的溫度與溫度平均值之間的差異(1.375度)均大於1度,測溫裝置從圖元點a和圖元點b中選取至少一個圖元點。進一步的,測溫裝置可將圖元點a所對應的溫度和圖元點b所對應的溫度的平均值(36.6度)作為測溫對象的溫度;測溫裝置也可將圖元點a所對應的溫度(36.9度)作為測溫對象的溫度;測溫裝置還可將圖元點b所對應的溫度(36.3度)作為測溫對象的溫度。
在一些可能實現的方式中,測溫裝置通過對待處理圖像進行人臉檢測,可準確的從待處理圖像中確定測溫對象的人臉區域得到第一人臉區域。基於待處理圖像與溫度熱力圖之間的單應性矩陣以及第一人臉區域在待處理圖像中的位置,從溫度熱力圖中確定測溫對象的人臉區域,可提高從溫度熱力圖中確定的測溫對象的人臉區域的準確度,得到第二人臉區域。這樣,測溫裝置再基於第二人臉區域的溫度得到測溫對象的溫度,可提高測溫對象的溫度的準確度。
作為一種可選的實施方式,為了確定第一人臉區域在溫度熱力圖中對應的圖元點區域,需要先確定第一人臉區域的位置。通過包含第一人臉區域的人臉框的四個角點的座標,確定第一人臉區域的位置。人臉檢測在得到第一人臉區域的同時,也能得到包含第一人臉區域的人臉框,因此,測溫裝置在執行步驟102的過程中執行以下步驟。
步驟21、對上述待處理圖像進行人臉檢測,得到至少一個第一人臉框。
在一些可能實現的方式中,在待處理圖像中存在多個人臉的情況下,通過對待處理圖像進行人臉檢測,按照上述待處理圖像中人臉區域的大小輸出多個包含人臉區域的人臉框。也就是說,對上述對待處理圖像進行人臉檢測,得到至少一個第一人臉框。需要理解的是,人臉框的大小是根據包含的人臉區域的大小確定的。至少一個第一人臉框中每一個人臉框的形狀均是矩形,且每一個人臉框的位置由人臉框的四個角點的座標確定。
步驟22、將上述至少一個第一人臉框中的第二人臉框包含的圖元點區域作為上述第一人臉區域;上述第二人臉框包含的圖元點區域的解析度大於解析度閾值的人臉框。
在一些可能實現的方式中,從至少一個第一人臉框中選取包含的圖元點區域的解析度大於解析度閾值的人臉框,得到第二人臉框。本發明實施例中,人臉檢測的臉部圖元至少在60x60以上。也就是說,解析度閾值至少為60x60。比如說,在第一人臉區域的臉部圖元為56x56的情況下,進行人臉檢測後不能確定得到第一人臉區域的準確性,在溫度熱力圖中也不能確定與第一人臉區域對應的第二人臉區域的準確性。因此,解析度閾值至少設置大於等於60x60,但對於解析度閾值的取值,本發明實施例不做限定。
一種可能的實現方式,在至少一個第一人臉框的數量為1且人臉框內包含的圖元點區域的解析度大於解析度閾值的情況下,得到一個第二人臉框,將第二人臉框作為上述待處理圖像中測溫對象的人臉框。
作為一種可選的實施方式,對待處理圖像進行人臉檢測,得到的人臉框可能有多個。因為本發明實施例涉及單人測溫,因此需要從多個人臉框中選取其中一個。在上述第一人臉框的數量大於1,上述至少一個第一人臉框包括第三人臉框和第四人臉框,測溫裝置在執行將上述至少一個第一人臉框中的第二人臉框包含的圖元點區域作為上述第一人臉區域的過程中,包括以下步驟。
步驟23、在上述第三人臉框和上述第四人臉框之間的重疊率小於或等於重疊率閾值的情況下,將上述第三人臉框和上述第四人臉框中任意一個人臉框包含的圖元點區域作為上述第一人臉區域。
在一些可能實現的方式中,在上述第一人臉框的數量大於1的情況下,從至少一個第一人臉框中選取包含第一人臉區域的人臉框。在上述待處理圖像中的至少一個第一人臉框中任意一個人臉框,至少存在一個與它不同的人臉框,使得這兩個人臉框包含的圖元點區域有重疊部分的情況下,不能將至少一個第一人臉框中該任意一個人臉框包含的圖元點區域作為上述第一人臉區域。也就是說,在上述待處理圖像中的至少一個第一人臉框中任意一個人臉框,至少存在一個與它不同的人臉框,使得這兩個人臉框之間的重疊率大於重疊率閾值的情況下,不能將至少一個第一人臉框中該任意一個人臉框包含的圖元點區域作為上述第一人臉區域。
在至少一個第一臉框中任意兩個人臉框之間的重疊率均小於或等於重疊率閾值的情況下,也就是至少一個第一人臉框中每個人臉框之間均存在距離,也就是任意兩個人臉框包含的圖元點區域的重疊部分的面積均為0,也就是說任意兩個人臉框之間的重疊率為0%。那麼,至少一個第一人臉框中任意一個人臉框包含的圖元點區域均能作為上述第一人臉區域。因此,將重疊率閾值設置為0。
一種可能的實現方式中,至少一個第一人臉框的數量為2,設這兩個人臉框為第三人臉框和第四人臉框。計算第三人臉框和第四人臉框之間的重疊率,在確定第三人臉框和第四人臉框之間的重疊率小於或等於重疊率閾值的情況下,將第三人臉框和第四人臉框中任意一個人臉框包含的圖元點區域作為上述第一人臉區域。舉例說明,至少一個第一人臉框有兩個人臉框:人臉框b和人臉框c。計算人臉框b和人臉框c之間的重疊率。在人臉框b和人臉框c之間的重疊率小於或等於重疊率閾值的情況下,也就是人臉框b包含的圖元點區域和人臉框c包含的圖元點區域沒有重疊的部分。因此,人臉框b包含的圖元點區域可以作為第一人臉區域,人臉框c包含的圖元點區域也可以作為第一人臉區域。在人臉框b和人臉框c之間的重疊率大於重疊率閾值的情況下,也就是人臉框b包含的圖元點區域和人臉框c包含的圖元點區域有重疊的部分。因此,人臉框b包含的圖元點區域不能作為第一人臉區域,人臉框c包含的圖元點區域也不能作為第一人臉區域。
又一種可能的實現方式中,至少一個第一人臉框的數量為3,設這三個人臉框為第三人臉框、第四人臉框和第五人臉框。分別計算第三人臉框和第四人臉框之間的重疊率、第三人臉框和第五人臉框之間的重疊率以及第四人臉框和第五人臉框之間的重疊率。
一種可能的情況,第三人臉框和第四人臉框之間的重疊率大於重疊率閾值,第三人臉框和第五人臉框之間的重疊率小於或等於重疊率閾值,第四人臉框和第五人臉框之間的重疊率小於或等於重疊率閾值。也就是說,第三人臉框包含的圖元點區域和第四人臉框包含的圖元點區域有重疊的部分,第五人臉框包含的圖元點區域和第三人臉框包含的圖元點區域沒有重疊的部分,第五人臉框包含的圖元點區域和第四人臉框包含的圖元點區域沒有重疊的部分。因此,第三人臉框包含的圖元點區域不能作為第一人臉區域,第四人臉框包含的圖元點區域也不能作為第一人臉區域,只有第五人臉框包含的圖元點區域可以作為第一人臉區域。
又一種可能的情況,第三人臉框和第四人臉框之間的重疊率大於重疊率閾值,第三人臉框和第五人臉框之間的重疊率大於重疊率閾值,第四人臉框和第五人臉框之間的重疊率小於或等於重疊率閾值。也就是說,第三人臉框包含的圖元點區域和第四人臉框包含的圖元點區域有重疊的部分,第五人臉框包含的圖元點區域和第三人臉框包含的圖元點區域有重疊的部分,第五人臉框包含的圖元點區域和第四人臉框包含的圖元點區域沒有重疊的部分。因此,第三人臉框包含的圖元點區域不能作為第一人臉區域,第四人臉框包含的圖元點區域不能作為第一人臉區域,第五人臉框包含的圖元點區域也不能作為第一人臉區域。
又一種可能的情況,第三人臉框和第四人臉框之間的重疊率小於或等於重疊率閾值,第三人臉框和第五人臉框之間的重疊率小於或等於重疊率閾值,第四人臉框和第五人臉框之間的重疊率小於或等於重疊率閾值。也就是說,第三人臉框包含的圖元點區域和第四人臉框包含的圖元點區域沒有重疊的部分,第五人臉框包含的圖元點區域和第三人臉框包含的圖元點區域沒有重疊的部分,第五人臉框包含的圖元點區域和第四人臉框包含的圖元點區域沒有重疊的部分。因此,第三人臉框包含的圖元點區域可以作為第一人臉區域,第四人臉框包含的圖元點區域可以作為第一人臉區域,第五人臉框包含的圖元點區域也可以作為第一人臉區域。
又一種可能的實現方式中,在上述至少一個第一人臉框中包含的圖元點區域的解析度大於解析度閾值的人臉框的數量大於1的情況下,從解析度大於解析度閾值的至少一個第一人臉框中選取包含第一人臉區域的人臉框。上述待處理圖像中的至少一個第一人臉框包含的圖元點區域的解析度大於解析度閾值的人臉框的數量大於1,在至少一個第一人臉框包含的圖元點區域的解析度大於解析度閾值的人臉框中任意一個人臉框,至少存在一個與它不同的人臉框,使得這兩個人臉框包含的圖元點區域有重疊部分的情況下,不能將至少一個第一人臉框包含的圖元點區域的解析度大於解析度閾值的人臉框中任意一個人臉框包含的圖元點區域作為上述第一人臉區域。也就是說,在上述至少一個第一人臉框包含的圖元點區域的解析度大於解析度閾值的人臉框中任意一個人臉框,至少存在一個與它不同的人臉框,使得這兩個人臉框之間的重疊率大於重疊率閾值的情況下,不能將至少一個第一人臉框包含的圖元點區域的解析度大於解析度閾值的人臉框中任意一個人臉框包含的圖元點區域作為上述第一人臉區域。
又一種可能的實現方式中,至少一個第一人臉框中有兩個包含的圖元點區域的解析度大於解析度閾值的人臉框,設這兩個人臉框為第三人臉框和第四人臉框。計算第三人臉框和第四人臉框之間的重疊率,在確定第三人臉框和第四人臉框之間的重疊率小於或等於重疊率閾值的情況下,將第三人臉框和第四人臉框中任意一個人臉框包含的圖元點區域作為上述第一人臉區域。舉例說明,至少一個第一人臉框包含的圖元點區域的解析度大於解析度閾值的人臉框有兩個:人臉框b和人臉框c。計算人臉框b和人臉框c之間的重疊率。在人臉框b和人臉框c之間的重疊率小於或等於重疊率閾值的情況下,也就是人臉框b包含的圖元點區域和人臉框c包含的圖元點區域沒有重疊的部分。因此,人臉框b包含的圖元點區域可以作為第一人臉區域,人臉框c包含的圖元點區域也可以作為第一人臉區域。在人臉框b和人臉框c之間的重疊率大於重疊率閾值的情況下,也就是人臉框b包含的圖元點區域和人臉框c包含的圖元點區域有重疊的部分。因此,人臉框b包含的圖元點區域不能作為第一人臉區域,人臉框c包含的圖元點區域也不能作為第一人臉區域。
又一種可能的實現方式中,至少一個第一人臉框中有三個包含的圖元點區域的解析度大於解析度閾值的人臉框,設這三個人臉框為第三人臉框、第四人臉框和第五人臉框。分別計算第三人臉框和第四人臉框之間的重疊率、第三人臉框和第五人臉框之間的重疊率以及第四人臉框和第五人臉框之間的重疊率。一種可能的情況,第三人臉框和第四人臉框之間的重疊率大於重疊率閾值,第三人臉框和第五人臉框之間的重疊率小於或等於重疊率閾值,第四人臉框和第五人臉框之間的重疊率小於或等於重疊率閾值。也就是說,第三人臉框包含的圖元點區域和第四人臉框包含的圖元點區域有重疊的部分,第五人臉框包含的圖元點區域和第三人臉框包含的圖元點區域沒有重疊的部分,第五人臉框包含的圖元點區域和第四人臉框包含的圖元點區域沒有重疊的部分。因此,第三人臉框包含的圖元點區域不能作為第一人臉區域,第四人臉框包含的圖元點區域也不能作為第一人臉區域,只有第五人臉框包含的圖元點區域可以作為第一人臉區域。又一種可能的情況,第三人臉框和第四人臉框之間的重疊率大於重疊率閾值,第三人臉框和第五人臉框之間的重疊率大於重疊率閾值,第四人臉框和第五人臉框之間的重疊率小於或等於重疊率閾值。也就是說,第三人臉框包含的圖元點區域和第四人臉框包含的圖元點區域有重疊的部分,第五人臉框包含的圖元點區域和第三人臉框包含的圖元點區域有重疊的部分,第五人臉框包含的圖元點區域和第四人臉框包含的圖元點區域沒有重疊的部分。因此,第三人臉框包含的圖元點區域不能作為第一人臉區域,第四人臉框包含的圖元點區域不能作為第一人臉區域,第五人臉框包含的圖元點區域也不能作為第一人臉區域。又一種可能的情況,第三人臉框和第四人臉框之間的重疊率小於或等於重疊率閾值,第三人臉框和第五人臉框之間的重疊率小於或等於重疊率閾值,第四人臉框和第五人臉框之間的重疊率小於或等於重疊率閾值。也就是說,第三人臉框包含的圖元點區域和第四人臉框包含的圖元點區域沒有重疊的部分,第五人臉框包含的圖元點區域和第三人臉框包含的圖元點區域沒有重疊的部分,第五人臉框包含的圖元點區域和第四人臉框包含的圖元點區域沒有重疊的部分。因此,第三人臉框包含的圖元點區域可以作為第一人臉區域,第四人臉框包含的圖元點區域可以作為第一人臉區域,第五人臉框包含的圖元點區域也可以作為第一人臉區域。
一種可能的判斷兩個人臉框之間的重疊率是否大於重疊率閾值的實現方式中,設兩個人臉框的邊均與x軸或y軸平行,即與上述待處理圖像的圖元座標系的橫軸或者縱軸對齊的人臉框。設上述待處理圖像中有兩個人臉框:A人臉框和B人臉框。判斷A人臉框和B人臉框之間的重疊率小於或等於重疊率閾值的情況,需要理解的是,兩個人臉框的邊也不能重疊。那麼,存在四種情況使得B人臉框和A人臉框之間的重疊率小於或等於重疊率閾值:第一種情況,B人臉框在A人臉框的上方;第二種情況,B人臉框在A人臉框的下方;第三種情況,B人臉框在A人臉框的左方;第四種情況,B人臉框在A人臉框的右方。設A人臉框的左上角座標為p1,右下角座標為p2,B人臉框的左上角座標為p3,右下角座標為p4。在B人臉框在A人臉框上方的情況下,p1的縱座標小於p4的縱座標;在B人臉框在A人臉框下方的情況下,p3的縱座標小於p2的縱座標;在B人臉框在A人臉框左方的情況下,p1的橫坐座標大於p4的橫座標;在B人臉框在A人臉框右方的情況下,p2的橫座標小於p3的橫座標。在以上這四種情況下,A人臉框和B人臉框之間的重疊率小於或等於重疊率閾值。那麼,上述待處理圖像中的A人臉框包含的圖元點區域和B人臉框包含的圖元點區域均都能作為第一人臉區域。
需要理解的是,多個人臉框中任意兩個不同的人臉框之間的關係只有兩種,一種是兩個不同的人臉框之間的重疊率大於重疊率閾值,另一種是兩個不同的人臉框之間的重疊率小於或等於重疊率閾值。對於多個人臉框的數量,本發明實施例不做限定。
作為一種可選的實施方式,在第三人臉框和第四人臉框之間的重疊率小於或等於重疊率閾值的情況下,第三人臉框包含的圖元點區域和第四人臉框包含的圖元點區域均能作為第一人臉區域,但涉及到過安檢這類排隊檢測體溫的場景,一般來說,離測溫裝置越近,那麼對應的人臉區域就會越大。因此,將第三人臉框和第四人臉框中較大的人臉框包含的圖元點區域作為第一人臉區域,測溫裝置在執行步驟23的過程中執行以下步驟。
步驟24、將上述第三人臉框和上述第四人臉框中大小測度最大的人臉框包含的圖元點區域作為上述第一人臉區域;上述第三人臉框的大小測度為上述第三人臉框的邊長的最大值;上述第四人臉框的大小測度為上述第四人臉框的邊長的最大值。
在一些可能實現的方式中,涉及排隊測溫的場景,排隊時越靠前的人在測溫裝置的顯示介面呈現出對應的人臉區域越大。因此,在待處理圖像中存在多個人臉框的情況下,選取多個人臉框中最大的人臉框包含的圖元點區域作為第一人臉區域。每個人臉框的大小測度為人臉框的邊長的最大值。因此,先得到上述待處理圖像中的多個人臉框中每一個人臉框的邊長的最大值,然後選出大小測度最大的人臉框。
一種可能的實現方式中,至少一個第一人臉框中存在兩個人臉框,使得這兩個人臉框之間的重疊率小於或等於重疊率閾值,設這兩個人臉框為第三人臉框和第四人臉框。在第三人臉框的邊長最大值大於第四人臉框的邊長最大值的情況下,將第三人臉框包含的圖元點區域作為第一人臉區域。舉例說明,第三人臉框的長度為40圖元,寬度為45圖元。那麼第三人臉框的大小測度為45圖元。第四人臉框的長度為36圖元,寬度為32圖元。那麼第四人臉框的大小測度為36圖元。因為第三人臉框的大小測度為45圖元,第四人臉框的大小測度為36圖元。第三人臉框的大小測度大於第四人臉框的大小測度,因此將第三人臉框包含的圖元點區域作為上述第一人臉區域。
又一種可能的實現方式中,至少一個第一人臉框中存在兩個人臉框包含的圖元點區域的解析度大於解析度閾值,且這兩個人臉框之間的重疊率均小於或等於重疊率閾值,設這兩個人臉框為第三人臉框和第四人臉框。在第三人臉框的邊長最大值大於第四人臉框的邊長最大值的情況下,將第三人臉框包含的圖元點區域作為第一人臉區域。舉例說明,第三人臉框的長度為40圖元,寬度為45圖元。那麼第三人臉框的大小測度為45圖元。第四人臉框的長度為36圖元,寬度為32圖元。那麼第四人臉框的大小測度為36圖元。因為第三人臉框的大小測度為45圖元,第四人臉框的大小測度為36圖元。第三人臉框的大小測度大於第四人臉框的大小測度,因此將第三人臉框包含的圖元點區域作為上述第一人臉區域。
需要理解的是,本發明實施例只給出了兩個人臉框中選取最大人臉框的實施方式,但該方式同樣適用於從數量大於2的人臉框中選取最大人臉框,本發明實施例對人臉框的數量不做限定。作為一種可選的實施方式,測溫裝置在執行步驟103的過程中執行以下步驟。
步驟31、基於上述單應性矩陣和包含上述第一人臉區域的人臉框的四個角點,從上述溫度熱力圖中確定與上述四個角點對應的四個圖元點。
在一些可能實現的方式中,上述待處理圖像中測溫對象的人臉框的四個角點的座標包含第一角點座標,根據上述單應性矩陣和上述四個角點的座標,得到溫度熱力圖中對應的四個圖元點的座標。通過上述方法,對每台測溫裝置進行正方形卡片標定得到的單應性矩陣是3x3的矩陣。假設人臉框的四個角點的座標分別為第一角點座標(a1,b1)、第二角點座標(a2,b2)、第三角點座標(a3,b3)、第四角點座標(a4,b4),通過四個角點的座標和單應性矩陣,得到的四個圖元點的座標分別是第一座標(x1,y1)、第二座標(x2,y2)、第三座標(x3,y3)、第四座標(x4,y4)。
需要理解的是,與通過第一角點座標(a1,b1)和單應性矩陣H,得到第一座標(x1,y1)的過程類似。那麼,通過第二角點座標(a2,b2)和單應性矩陣H,可以得到第二座標(x2,y2);通過第三角點座標(a3,b3)和單應性矩陣H,可以得到第三座標(x3,y3);通過第四角點座標(a4,b4)和單應性矩陣H,可以得到第四座標(x4,y4)。
步驟32、基於由上述四個圖元點確定的四邊形區域,確定上述第二人臉區域。
在一些可能實現的方式中,上述四個圖元點是是溫度熱力圖上的點,將這四個圖元點作為四邊形的四個頂點,可以得到一個四邊形區域。溫度熱力圖中的每個圖元點都攜帶對應圖元點的溫度資訊。可選的,溫度熱力圖由測溫裝置上的紅外熱成像設備採集得到。測溫裝置得到在溫度熱力圖上的四邊形區域,將四邊形區域作為第二人臉區域,即與第一人臉區域對應的圖元點區域。
作為一種可選的實施方式,測溫裝置在執行步驟32的過程中執行以下步驟: 獲取上述四邊形區域的對角線的交點;將第一點與上述交點之間的距離作為第一距離;上述第一點為上述四個圖元點中距離上述交點最近的圖元點;以上述交點為圓心、上述第一距離為半徑,構建第一區域; 確定上述第一區域和上述四邊形區域的交集,得到第二區域; 從上述第二區域中選取包含上述交點的區域作為上述第二人臉區域; 在一些可能實現的方式中,通過單應性矩陣和RGB圖像的人臉框的四個角點的座標,得到溫度熱力圖中的四個圖元點的座標。溫度熱力圖中的由四個圖元點確定的四邊形區域,如果直接將四邊形區域作為第二人臉區域,第二人臉區域的圖元點可能會存在除第一人臉區域對應的圖元點以外的其他區域對應的圖元點,會造成對測量對象的測溫結果的準確度有所下降。需要理解的是,本發明實施例涉及單人近距離測溫,因此四邊形區域的中間部分可能是第一人臉區域的一部分。因此,要從四邊形區域包含的圖元點區域確定與第一人臉區域準確對應的區域,其中,四邊形區域的對角線的交點對應的圖元點可能是與第一人臉區域對應的一個圖元點。
確定四個圖元點與交點的距離,將距離交點最近的點記為第一點,將第一點和交點之間的距離作為第一距離。第一區域是以交點為圓心,第一距離為半徑的區域。但是第一區域包含的圖元點區域可能大於四邊形包含的圖元點區域。因此,從第一區域中選取第二區域,第二區域為第一區域與四邊形區域包含的圖元點區域的重疊區域。構建的第二區域為四邊形區域的中間部分的區域。
在測溫模組採用的是根據溫度熱力圖中與第一人臉區域對應的圖元點區域的任意一部分的溫度,得到上述待處理圖像的測溫對象的溫度的情況下,需要確定的是這部分圖元點區域大概率是與第一人臉區域對應的區域。可以確定的是,四邊形區域的中間部分的區域是與第一人臉區域對應的圖元點區域,也就是構建的第二區域大概率是與第一人臉區域對應的圖元點區域。從上述第二區域中選取包含上述交點的區域作為上述第二人臉區域,能夠提高測溫結果的準確度。
一種可能的實現方式中,將交點對應的圖元點作為第二人臉區域。
又一種可能的實現方式中,將第二區域的最大內接圓形包含的圖元點區域或者最大內接矩形包含的圖元點區域作為第二人臉區域。
又一種可能的實現方式中,將第二區域中以交點為圓心的最大內接圓形包含的圖元點區域作為第二人臉區域。
作為一種可選的實施方式,測溫裝置在執行步驟32的過程中執行以下步驟: 獲取上述四邊形區域的對角線的交點;確定上述四邊形區域的最大內接區域;上述最大內接區域為包含上述交點的矩形區域或圓形區域;將上述最大內接區域作為上述第二人臉區域; 在一些可能實現的方式中,通過單應性矩陣和RGB圖像的人臉框的四個角點的座標,可以得到溫度熱力圖中的四個圖元點的座標。溫度熱力圖中的由四個圖元點確定的四邊形區域。可以確定的是,四邊形區域的對角線的交點對應的圖元點可能是與第一人臉區域對應的其中一個圖元點。因為本發明實施例涉及單人近距離測溫,根據測溫裝置中RGB成像設備和紅外成像設備之間的位置關係以及單應性矩陣的映射關係,對四邊形區域截取包含交點的最大內接矩形區域或者最大內接圓形區域,能包含第一人臉區域在溫度熱力圖對應的圖元點區域。通過上述的單應性矩陣和四個角點座標,得到的四個圖元點的座標,進而求解出最大內接矩形區域或最大內接圓形區域。那麼,這個最大內接矩形區域或者最大內接圓形區域就是溫度熱力圖中的第二人臉區域。
一種可能的確定最大內接區域的形狀是圓形的實現方式中,設四邊形區域的四個圖元點為A、B、C、D,設交點為E。那麼四邊形區域的四條邊為AB、BD、CD、AC。分別計算交點E到AB、BD、CD、AC的距離。設距離交點最近的邊為AB,將AB與交點E的距離記為第二距離。以上述交點為圓心,第二距離為半徑確定的圓形包含的圖元點區域為最大內接區域。
又一種可能的確定最大內接區域的形狀是圓形的實現方式中,設四邊形區域的四個圖元點為A、B、C、D,設交點為E。那麼四邊形區域的四條邊為AB、BD、CD、AC。在AB上找一點A*,使得A*E垂直AB;在BD上找一點B*,使得B*E垂直BD;在CD上找一點C*,使C*E垂直CD;在AC上找一點D*,使得D*E垂直AC。將點D*和點B*之間的距離作為第三距離,將點A*和點C*之間的距離作為第四距離。比較第三距離和第四距離的大小,假設第三距離小於第四距離,取第三距離對應的連線D*B*的中點為F,取第三距離的一半為第五距離。以中點F為圓心,第五距離為半徑確定的圓形包含的圖元點區域為最大內接區域。
又一種可能的確定最大內接區域的形狀是圓形的實現方式中,設四邊形區域的四個圖元點為A、B、C、D,設交點為E。那麼四邊形區域的四條邊為AB、BD、CD、AC。在AB上找一點A*,使得A*E垂直AB;在BD上找一點B*,使得B*E垂直BD;在CD上找一點C*,使C*E垂直CD;在AC上找一點D*,使得D*E垂直AC。將點D*和點B*之間的距離作為第三距離,將點A*和點C*之間的距離作為第四距離。設A*C*和B*D*的交點為G,比較第三距離和第四距離的大小,假設第三距離小於第四距離,取第三距離的一半為第五距離。以中點G為圓心,第五距離為半徑確定的圓形包含的圖元點區域為最大內接區域。
一種可能的確定最大內接區域的形狀是矩形的實現方式中,設四邊形區域的四個圖元點為A、B、C、D。那麼四邊形區域的四條邊為AB、BD、CD、AC。假設AB是四邊形區域的四條邊裡面最短的邊。那麼,在CD上找一點H,使得HA垂直AB;在CD上找一點I,使得IB垂直AB。然後在BI上找一點J,使得HJ垂直BI。因為A、B、I、H四個圖元點圍成的四邊形區域有三個直角,四邊形ABIH就是矩形。矩形ABIH包含的圖元點區域為最大內接區域。
又一種可能的確定最大內接區域的形狀是矩形的實現方式中,設四邊形區域的四個圖元點為A、B、C、D,設交點為E。計算EA、EB、EC和ED的長度,設EA的長度是最短的。在BE上找一點K,使得EK的長度等於EA的長度;在DE上找一點L,使得EL的長度等於EA的長度;在CE上找一點M,使得EM的長度等於EA的長度。也就是說,EK=EA=EL=EM,E是線段KM的中點,E點同時也是線段AL的中點。因為A、K、L、M四個圖元點圍成的四邊形區域的對角線相等,且被點E平分,四邊形AKLM就是矩形。矩形AKLM包含的圖元點區域為最大內接區域。
又一種可能的確定最大內接區域的形狀是矩形的實現方式中,設四邊形區域的四個圖元點為A、B、C、D。那麼四邊形區域的四條邊為AB、BD、CD、AC。取AB的中點為N;取BD的中點為O;取CD的中點為P;取AC的中點為R。因為任意四邊形的中點圍成的四邊形是平行四邊形。也就是四邊形NOPR是平行四邊形。其中,PN和OR為平行四邊形NOPR對應的兩條對角線,兩條對角線的交點為S。取PN線段和OR線段中較短的對角線。舉例說明,當PN的長度小於OR的長度的情況下,將PN作為矩形區域的對角線,其中,NS的長度等於SP的長度。在SO上找一點T,使得TS的長度等於NS的長度;在SR上找一點U,使得SU的長度等於NS的長度。也就是說NS=SP=TS=SU,S是線段PN的中點,S點同時也是線段UT的中點。因為N、P、T、U四個圖元點圍成的四邊形區域的對角線相等,且被點S平分,四邊形NPTU就是矩形。矩形NPTU包含的圖元點區域為最大內接區域。
作為一種可選的實施方式,為了獲得準確的測溫對象的溫度,需要在溫度熱力圖中準確找到第二人臉區域。因此,測溫裝置在確定上述四邊形區域的最大內接區域的過程中執行以下步驟。
從上述四個圖元點的橫座標中選取第二大的橫座標,得到第一橫座標;從上述四個圖元點的橫座標中選取第三大的橫座標,得到第二橫座標;從上述四個圖元點的縱座標中選取第二大的縱座標,得到第一縱座標;從上述四個圖元點的縱座標中選取第三大的縱座標,得到第二縱座標;基於上述第一橫座標和上述第一縱座標確定第二點;基於上述第一橫座標和上述第二縱座標確定第三點;基於上述第二橫座標和上述第一縱座標確定第四點;基於上述第二橫座標和上述第二縱座標確定第五點;將由上述第二點、上述第三點、上述第四點和上述第五點確定的區域,作為上述最大內接區域。
在一些可能實現的方式中,設四個圖元點分別為A、B、C、D。其中,A的座標為(X1,Y1); B的座標為(X2,Y2);C的座標為(X3,Y3);D的座標為(X4,Y4)。對X1、X2、X3、X4進行排序,對Y1、Y2、Y3、Y4進行排序。假設X1>X2>X3>X4,那麼第一橫座標為X2,第二橫座標為X3。假設Y1>Y2>Y3>Y4,那麼第一縱座標為Y2,第二縱座標為Y3。第二點的座標為(X2,Y2),第三點的座標為(X2,Y3),第四點的座標為(X3,Y2),第五點的座標為(X3,Y3)。根據第二點、第三點、第四點以及第五點的座標關係,可以確定將第二點、第三點、第四點以及第五點依次連接所得到四邊形區域是矩形區域。將上述得到的矩形區域作為上述最大內接區域。作為一種可選的實施方式,為了進一步提高測溫的準確性,測溫裝置將第一人臉區域的額頭區域的溫度作為測溫對象的溫度,測溫裝置在執行步驟104的過程中執行以下步驟: 步驟41、對上述第一人臉區域進行額頭檢測,得到上述第一人臉區域的額頭檢測結果; 在一些可能實現的方式中,對上述第一人臉區域進行額頭檢測,得到檢測結果包括:第一人臉區域中的人物的額頭處於遮擋狀態或第一人臉區域中的人物的額頭處於未遮擋狀態。
在一些可能實現的方式中,測溫裝置對第一人臉區域進行第一特徵提取處理,得到第一特徵資料,其中,第一特徵資料攜帶第一人臉區域中的人物的額頭是否處於遮擋狀態的資訊。測溫裝置基於額頭檢測得到的第一特徵資料,得到檢測結果。
可選的,第一特徵提取處理可通過額頭檢測網路實現。通過將至少一張帶有標注資訊的第一訓練圖像作為訓練資料,對深度卷積神經網路進行訓練可得到額頭檢測網路,其中,標注資訊包括第一訓練圖像中的人物的額頭是否處於遮擋的狀態。
本發明實施例對額頭檢測採用的方式不做限定。
步驟42、在上述第一人臉區域的額頭檢測結果為上述第一人臉區域中的額頭區域處於未被遮擋的情況下,基於第三人臉區域包含的圖元點的溫度,得到上述測溫對象的溫度;上述第三人臉區域為上述第二人臉區域中與上述額頭區域對應的區域。
在一些可能實現的方式中,在上述第一人臉區域的額頭檢測結果為上述第一人臉區域中的額頭區域處於未被遮擋的情況下,從溫度熱力圖中先找到第三人臉區域。第三人臉區域是第二人臉區域中與上述第一人臉區域中的額頭區域對應的圖元點區域。一般來說,額頭區域位於整個人臉區域的上30%~40%的部分。也就是說,第三人臉區域是第二人臉區域的上30%~40%的部分。基於溫度熱力圖中第三人臉區域包含的圖元點的溫度,得到與第一人臉區域對應的測溫對象的溫度。在上述第一人臉區域的額頭檢測結果為上述第一人臉區域中的額頭區域處於被遮擋的情況下,輸出需要露出額頭的提示資訊。
一種可能實現的方式中,測溫裝置放置在室內,將上述第三人臉區域的圖元點區域的溫度平均值,作為測溫對象的溫度。例如,第三人臉區域的圖元點包括:圖元點a和圖元點b。其中,圖元點a所對應的溫度為36.9度,圖元點b所對應的溫度為36.3度。測溫裝置可將圖元點a所對應的溫度和圖元點b所對應的溫度的平均值(36.6度)作為測溫對象的溫度。
在又一種可能的實現方式中,測溫裝置將第三人臉區域中圖元點所對應的溫度最高值,作為測溫對象的溫度。例如,第三人臉區域的圖元點包括:圖元點a、圖元點b和圖元點c,其中,圖元點a所對應的溫度為36.9度,圖元點b所對應的溫度為36.3度,圖元點c對應的溫度為37度。測溫裝置可將圖元點a所對應的溫度、圖元點b所對應的溫度和圖元點c所對應的溫度的最高值(37度)作為測溫對象的溫度。
又一種可能的實現方式中,測溫裝置放置在室外,可能會存在太陽直射的情況。又因為第三人臉區域可能含有與太陽直射區域對應的圖元點區域。如果將太陽直射區域對應的圖元點的溫度與實際人臉區域的溫度求平均值,作為上述待處理圖像中測溫對象的溫度,那麼就會有比較大的誤差。太陽直射的溫度在50度左右,人體能忍受的溫度一般在45度以下。因此,讀取第三人臉區域的圖元點區域的每個圖元點的溫度,將溫度高於45度的圖元點排除,對溫度低於45度的圖元點的溫度求平均值作為上述待處理圖像中測溫對象的溫度。
需要理解的是,本發明實施例中還可以將第三人臉區域包含的一部分圖元點的溫度的平均值作為測溫對象的溫度,又或者是將第三人臉區域包含的一部分圖元點的溫度的最高值作為測溫對象的溫度,本發明實施例不做限定。
本領域技術人員可以理解,在上述各個實施例提供的方法中,各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定,各步驟的執行順序應當以其功能和可能的內在邏輯確定。
上述詳細闡述了本發明實施例的方法,下面提供了本發明實施例的裝置。
請參閱圖2,圖2為本發明實施例提供的一種測溫裝置的結構示意圖,該測溫裝置1包括:獲取部分11、檢測部分12、第一處理部分13、第二處理部分14,其中: 獲取部分11,被配置為獲取待處理圖像、溫度熱力圖以及所述溫度熱力圖和所述待處理圖像之間的單應性矩陣; 檢測部分12,被配置為對所述待處理圖像進行人臉檢測,得到第一人臉區域; 第一處理部分13,被配置為基於所述單應性矩陣從所述溫度熱力圖中確定與所述第一人臉區域對應的圖元點區域,得到第二人臉區域; 第二處理部分14,被配置為基於所述第二人臉框包含的圖元點的溫度,確定與所述第一人臉區域對應的測溫對象的溫度。
在一些可能實現的方式中,所述第一處理部分13,還被配置為: 基於所述單應性矩陣和包含所述第一人臉區域的人臉框的四個角點,從所述溫度熱力圖中確定與所述四個角點對應的四個圖元點; 基於由所述四個圖元點確定的四邊形區域,確定所述第二人臉區域。
在一些可能實現的方式中,所述檢測部分12,還被配置為: 對所述待處理圖像進行人臉檢測,得到至少一個第一人臉框; 將所述至少一個第一人臉框中的第二人臉框包含的圖元點區域作為所述第一人臉區域;所述第二人臉框包含的圖元點區域的解析度大於解析度閾值的人臉框。
在一些可能實現的方式中,所述第一人臉框的數量大於1,所述至少一個第一人臉框包括第三人臉框和第四人臉框。
所述檢測部分12,還被配置為: 在所述第三人臉框和所述第四人臉框之間的重疊率小於或等於重疊率閾值的情況下,將所述第三人臉框和所述第四人臉框中任意一個人臉框包含的圖元點區域,作為所述第一人臉區域。
在一些可能實現的方式中,所述檢測部分12,還被配置為: 將所述第三人臉框和所述第四人臉框中大小測度最大的人臉框包含的圖元點區域,作為所述第一人臉區域;所述第三人臉框的大小測度為所述第三人臉框的邊長的最大值;所述第四人臉框的大小測度為所述第四人臉框的邊長的最大值。
在一些可能實現的方式中,所述第二處理部分14,還被配置為: 對所述第一人臉區域進行額頭檢測,得到所述第一人臉區域的額頭檢測結果; 在所述第一人臉區域的額頭檢測結果為所述第一人臉區域中的額頭區域處於未被遮擋的情況下,基於第三人臉區域包含的圖元點的溫度,得到所述測溫對象的溫度;所述第三人臉區域為所述第二人臉區域中與所述額頭區域對應的區域。
在一些可能實現的方式中,所述第一處理部分13,還被配置為:獲取所述四邊形區域的對角線的交點;將第一點與所述交點之間的距離作為第一距離;所述第一點為所述四個圖元點中距離所述交點最近的圖元點;以所述交點為圓心、所述第一距離為半徑,構建第一區域;確定所述第一區域和所述四邊形區域的交集,得到第二區域;從所述第二區域中選取包含所述交點的區域作為所述第二人臉區域。
在一些可能實現的方式中,所述第一處理部分13,還被配置為:獲取所述四邊形區域的對角線的交點;確定所述四邊形區域的最大內接區域;所述最大內接區域為包含所述交點的矩形區域或圓形區域;將所述最大內接區域作為所述第二人臉區域。
在一些可能實現的方式中,所述第一處理部分13,還被配置為:從所述四個圖元點的橫座標中選取第二大的橫座標得到第一橫座標,從所述四個圖元點的橫座標中選取第三大的橫座標得到第二橫座標,從所述四個圖元點的縱座標中選取第二大的縱座標得到第一縱座標,從所述四個圖元點的縱座標中選取第三大的縱座標得到第二縱座標;基於所述第一橫座標和所述第一縱座標確定第二點,基於所述第一橫座標和所述第二縱座標確定第三點,基於所述第二橫座標和所述第一縱座標確定第四點,基於所述第二橫座標和所述第二縱座標確定第五點;將由所述第二點、所述第三點、所述第四點和所述第五點確定的區域,作為所述最大內接區域。
在一些可能實現的方式中,測溫裝置通過對待處理圖像進行人臉檢測,可準確的從待處理圖像中確定測溫對象的人臉區域得到第一人臉區域。基於待處理圖像與溫度熱力圖之間的單應性矩陣以及第一人臉區域在待處理圖像中的位置,從溫度熱力圖中確定測溫對象的人臉區域,可提高從溫度熱力圖中確定的測溫對象的人臉區域的準確度,得到第二人臉區域。這樣,測溫裝置再基於第二人臉區域的溫度得到測溫對象的溫度,可提高測溫對象的溫度的準確度。
在一些可能實現的方式中,本發明實施例提供的裝置具有的功能或包含的部分可以被配置為執行上文方法實施例描述的方法,其實現可以參照上文方法實施例的描述,為了簡潔,這裡不再贅述。
圖3為本發明實施例提供的一種測溫裝置的硬體結構示意圖。該測溫裝置2包括處理器21,記憶體22,輸入裝置23,輸出裝置24。該處理器21、記憶體22、輸入裝置23和輸出裝置24通過連接器相耦合,該連接器包括各類介面、傳輸線或匯流排等等,本發明實施例對此不作限定。應當理解,本發明的各個實施例中,耦合是指通過特定方式的相互聯繫,包括直接相連或者通過其他設備間接相連,例如可以通過各類介面、傳輸線、匯流排等相連。
處理器21可以是一個或多個圖形處理器(graphics processing unit, GPU),在處理器21是一個GPU的情況下,該GPU可以是單核GPU,也可以是多核GPU。可選的,處理器21可以是多個GPU構成的處理器組,多個處理器之間通過一個或多個匯流排彼此耦合。可選的,該處理器還可以為其他類型的處理器等等,本發明實施例不作限定。
記憶體22可被配置為儲存電腦程式指令,以及被配置為執行本發明實施例方案的程式碼在內的各類電腦程式代碼。可選地,記憶體包括但不限於是隨機儲存記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、可擦除可程式設計唯讀記憶體(erasable programmable read only memory,EPROM)、或可擕式唯讀記憶體(compact disc read-only memory,CD-ROM),該記憶體被配置為相關指令及資料。
輸入裝置23被配置為輸入資料和/或信號,以及輸出裝置24被配置為輸出資料和/或信號。輸入裝置23和輸出裝置24可以是獨立的器件,也可以是一個整體的器件。
可理解,在一些可能實現的方式中,記憶體22不僅可以儲存相關指令,還可以儲存相關資料,如該記憶體22可以儲存通過輸入裝置23獲取的待處理圖像和溫度熱力圖,又或者該記憶體22還可以儲存通過處理器21得到的測溫對象的溫度等等,本發明實施例對於該記憶體中所儲存的資料不作限定。
可以理解的是,圖3僅僅示出了測溫裝置的簡化設計。在實際應用中,測溫裝置還可以分別包含必要的其他元件,包含但不限於任意數量的輸入/輸出裝置、處理器、記憶體等,而所有可以實現本發明實施例的測溫裝置都在本發明實施例的保護範圍之內。
本領域普通技術人員可以意識到,結合本文中所公開的實施例描述的各示例的部分及演算法步驟,能夠以電子硬體、或者電腦軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行,取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能,但是這種實現不應認為超出本發明實施例的範圍。
所屬領域的技術人員可以清楚地瞭解到,為描述的方便和簡潔,上述描述的系統、裝置和部分的工作過程,可以參考前述方法實施例中的對應過程,在此不再贅述。所屬領域的技術人員還可以清楚地瞭解到,本發明各個實施例描述各有側重,為描述的方便和簡潔,相同或類似的部分在不同實施例中可能沒有贅述,因此,在某一實施例未描述或未詳細描述的部分可以參見其他實施例的記載。
在本發明所提供的幾個實施例中,應該理解到,所揭露的系統、裝置和方法,可以通過其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述部分的劃分,僅僅為一種邏輯功能劃分,實際實現的過程中可以有另外的劃分方式,例如多個部分或元件可以結合或者可以集成到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面,裝置或部分的間接耦合或通信連接,可以是電性,機械或其它的形式。
所述作為分離部件說明的部分可以是或者也可以不是物理上分開的,作為部分顯示的部件可以是或者也可以不是物理部分,即可以位於一個地方,或者也可以分佈到多個網路部分上。可以根據實際的需要選擇其中的部分或者全部部分來實現本實施例方案的目的。
另外,在本發明各個實施例中的各功能部分可以集成在一個處理部分中,也可以是各個部分單獨物理存在,也可以兩個或兩個以上部分集成在一個部分中。
在上述實施例中,可以全部或部分地通過軟體、硬體、固件或者其任意組合來實現。在使用軟體實現的情況下,可以全部或部分地以電腦程式產品的形式實現。所述電腦程式產品包括一個或多個電腦指令。在電腦上載入和執行所述電腦程式指令的情況下,全部或部分地產生按照本發明實施例所述的流程或功能。所述電腦可以是通用電腦、專用電腦、電腦網路、或者其他可程式設計裝置。所述電腦指令可以儲存在電腦可讀儲存介質中,或者通過所述電腦可讀儲存介質進行傳輸。所述電腦指令可以從一個網站網站、電腦、伺服器或資料中心通過有線(例如同軸電纜、光纖、數位用戶線路(digital subscriber line,DSL))或無線(例如紅外、無線、微波等)方式向另一個網站網站、電腦、伺服器或資料中心進行傳輸。所述電腦可讀儲存介質可以是電腦能夠存取的任何可用介質或者是包含一個或多個可用介質集成的伺服器、資料中心等資料存放裝置。所述可用介質可以是磁性介質,(例如,軟碟、硬碟、磁帶)、光介質(例如,數位通用光碟(digital versatile disc,DVD))、或者半導體介質(例如,固態硬碟(solid state disk,SSD))等。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程,該流程可以由電腦程式來指令相關的硬體完成,該程式可儲存於電腦可讀取儲存介質中,該程式在執行的過程中,可包括如上述各方法實施例的流程。而前述的儲存介質包括:唯讀記憶體(read-only memory,ROM)或隨機儲存記憶體(random access memory,RAM)、磁碟或者光碟等各種可儲存程式碼的介質。
工業實用性 本發明實施例提供了一種測溫方法、電子設備及電腦可讀儲存介質。該方法包括:獲取待處理圖像、溫度熱力圖以及所述溫度熱力圖和所述待處理圖像之間的單應性矩陣;對所述待處理圖像進行人臉檢測,得到第一人臉區域;基於所述單應性矩陣從所述溫度熱力圖中確定與所述第一人臉區域對應的圖元點區域,得到第二人臉區域;基於所述第二人臉區域包含的圖元點的溫度,確定與所述第一人臉區域對應的測溫對象的溫度。可準確的從待處理圖像中確定測溫對象的人臉區域得到第一人臉區域,提高從溫度熱力圖中確定的測溫對象的人臉區域的準確度,進而可提高測溫對象的溫度的準確度。
1:測溫裝置 11:獲取部分 12:檢測部分 13:第一處理部分 14:第二處理部分 2:測溫裝置 21:處理器 22:記憶體 23:輸入裝置 24:輸出裝置 101~104:步驟
為了更清楚地說明本發明實施例或背景技術中的技術方案,下面將對本發明實施例或背景技術中所需要使用的附圖進行說明。 此處的附圖被併入說明書中並構成本說明書的一部分,這些附圖示出了符合本發明的實施例,並與說明書一起用於說明本發明實施例的技術方案。 圖1為本發明實施例提供的一種測溫方法的流程示意圖; 圖2為本發明實施例提供的一種測溫裝置的結構示意圖; 圖3為本發明實施例提供的一種測溫裝置的硬體結構示意圖。
101~104:步驟

Claims (11)

  1. 一種測溫方法,應用於測溫裝置,所述方法包括:獲取待處理圖像、溫度熱力圖以及所述溫度熱力圖和所述待處理圖像之間的單應性矩陣;對所述待處理圖像進行人臉檢測,得到至少一個第一人臉框;將所述至少一個第一人臉框中的第二人臉框包含的圖元點區域作為所述第一人臉區域;所述第二人臉框為所述至少一個第一人臉框中包含的圖元點區域的解析度大於解析度閾值的人臉框;基於所述單應性矩陣從所述溫度熱力圖中確定與所述第一人臉區域對應的圖元點區域,得到第二人臉區域;基於所述第二人臉區域包含的圖元點的溫度,確定與所述第一人臉區域對應的測溫對象的溫度。
  2. 根據請求項1所述方法,其中,所述基於所述單應性矩陣從所述溫度熱力圖中確定與所述第一人臉區域對應的圖元點區域,得到第二人臉區域,包括:基於所述單應性矩陣和包含所述第一人臉區域的人臉框的四個角點,從所述溫度熱力圖中確定與所述四個角點對應的四個圖元點;基於由所述四個圖元點確定的四邊形區域,確定所述第二人臉區域。
  3. 根據請求項1或2所述方法,其中,所述第 一人臉框的數量大於1,所述至少一個第一人臉框包括第三人臉框和第四人臉框;所述將所述至少一個第一人臉框中的第二人臉框包含的圖元點區域作為所述第一人臉區域,包括:在所述第三人臉框和所述第四人臉框之間的重疊率小於或等於重疊率閾值的情況下,將所述第三人臉框和所述第四人臉框中任意一個人臉框包含的圖元點區域,作為所述第一人臉區域。
  4. 根據請求項3所述方法,其中,所述將所述第三人臉框和所述第四人臉框中任意一個人臉框包含的圖元點區域,作為所述第一人臉區域,包括:將所述第三人臉框和所述第四人臉框中大小測度最大的人臉框包含的圖元點區域,作為所述第一人臉區域;所述第三人臉框的大小測度為所述第三人臉框的邊長的最大值;所述第四人臉框的大小測度為所述第四人臉框的邊長的最大值。
  5. 根據請求項1或2所述方法,其中,所述基於所述第二人臉區域包含的圖元點的溫度,確定與所述第一人臉區域對應的測溫對象的溫度,包括:對所述第一人臉區域進行額頭檢測,得到所述第一人臉區域的額頭檢測結果;在所述第一人臉區域的額頭檢測結果為所述第一人臉區域中的額頭區域處於未被遮擋的情況下,基於第三人臉區域包含的圖元點的溫度,得到所述測溫對象的溫度;所述 第三人臉區域為所述第二人臉區域中與所述額頭區域對應的區域。
  6. 根據請求項2所述方法,其中,所述基於由所述四個圖元點確定的四邊形區域,確定所述第二人臉區域,包括:獲取所述四邊形區域的對角線的交點;將第一點與所述交點之間的距離作為第一距離;所述第一點為所述四個圖元點中距離所述交點最近的圖元點;以所述交點為圓心、所述第一距離為半徑,構建第一區域;確定所述第一區域和所述四邊形區域的交集,得到第二區域;從所述第二區域中選取包含所述交點的區域作為所述第二人臉區域。
  7. 根據請求項2所述方法,其中,所述基於由所述四個圖元點確定的四邊形區域,確定所述第二人臉區域,包括:獲取所述四邊形區域的對角線的交點;確定所述四邊形區域的最大內接區域;所述最大內接區域為包含所述交點的矩形區域或圓形區域;將所述最大內接區域作為所述第二人臉區域。
  8. 根據請求項7所述方法,其中,所述確定所述四邊形區域的最大內接區域,包括:從所述四個圖元點的橫座標中選取第二大的橫座標得到 第一橫座標,從所述四個圖元點的橫座標中選取第三大的橫座標得到第二橫座標,從所述四個圖元點的縱座標中選取第二大的縱座標得到第一縱座標,從所述四個圖元點的縱座標中選取第三大的縱座標得到第二縱座標;基於所述第一橫座標和所述第一縱座標確定第二點,基於所述第一橫座標和所述第二縱座標確定第三點,基於所述第二橫座標和所述第一縱座標確定第四點,基於所述第二橫座標和所述第二縱座標確定第五點;將由所述第二點、所述第三點、所述第四點和所述第五點確定的區域,作為所述最大內接區域。
  9. 一種處理器,所述處理器被配置為執行如請求項1至8中任一項所述的方法。
  10. 一種電子設備,包括:處理器和記憶體,所述記憶體被配置為儲存電腦程式代碼,所述電腦程式代碼包括電腦指令,在所述處理器執行所述電腦指令的情況下,所述電子設備執行如請求項1至8中任一項所述的方法。
  11. 一種電腦可讀儲存介質,所述電腦可讀儲存介質中儲存有電腦程式,所述電腦程式包括程式指令,在所述程式指令被處理器執行的情況下,使所述處理器執行請求項1至8中任一項所述的方法。
TW110131735A 2020-10-23 2021-08-26 測溫方法、電子設備及電腦可讀儲存介質 TWI779801B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011148359.5 2020-10-23
CN202011148359.5A CN112287798A (zh) 2020-10-23 2020-10-23 测温方法及装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
TW202217647A TW202217647A (zh) 2022-05-01
TWI779801B true TWI779801B (zh) 2022-10-01

Family

ID=74423805

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110131735A TWI779801B (zh) 2020-10-23 2021-08-26 測溫方法、電子設備及電腦可讀儲存介質

Country Status (3)

Country Link
CN (1) CN112287798A (zh)
TW (1) TWI779801B (zh)
WO (1) WO2022083130A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287798A (zh) * 2020-10-23 2021-01-29 深圳市商汤科技有限公司 测温方法及装置、电子设备及存储介质
CN113063500B (zh) * 2021-03-30 2022-04-22 新疆爱华盈通信息技术有限公司 一种人脸测温方法、人脸测温仪及存储介质
CN114136462A (zh) * 2021-11-25 2022-03-04 深圳市商汤科技有限公司 标定方法及装置、电子设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789078A (zh) * 2010-03-01 2010-07-28 江西财经大学 鲁棒红外人脸识别技术
CN109446981A (zh) * 2018-10-25 2019-03-08 腾讯科技(深圳)有限公司 一种脸部活体检测、身份认证方法及装置
CN109856979A (zh) * 2018-12-21 2019-06-07 深圳云天励飞技术有限公司 环境调节方法及相关产品
CN110248107A (zh) * 2019-06-13 2019-09-17 Oppo广东移动通信有限公司 图像处理方法和装置
CN111339951A (zh) * 2020-02-26 2020-06-26 北京迈格威科技有限公司 体温测量方法、装置及系统
CN111414831A (zh) * 2020-03-13 2020-07-14 深圳市商汤科技有限公司 监测方法及系统、电子设备和存储介质
CN111507200A (zh) * 2020-03-26 2020-08-07 北京迈格威科技有限公司 体温检测方法、体温检测装置、及双光相机

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501681B1 (en) * 2015-07-14 2016-11-22 A9.Com, Inc. Decoding visual codes
CN105868733A (zh) * 2016-04-21 2016-08-17 腾讯科技(深圳)有限公司 一种人脸活体验证方法及装置
CN107967677B (zh) * 2017-12-15 2020-02-04 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109960974A (zh) * 2017-12-22 2019-07-02 北京市商汤科技开发有限公司 人脸关键点检测方法、装置、电子设备及存储介质
CN109745014B (zh) * 2018-12-29 2022-05-17 江苏云天励飞技术有限公司 温度测量方法及相关产品
CN110276308B (zh) * 2019-06-25 2021-11-16 上海商汤智能科技有限公司 图像处理方法及装置
CN110879972B (zh) * 2019-10-24 2022-07-26 深圳云天励飞技术有限公司 一种人脸检测方法及装置
CN111426388A (zh) * 2020-03-31 2020-07-17 高新兴科技集团股份有限公司 人员体温测量方法、系统、计算机存储介质及电子设备
CN111626125B (zh) * 2020-04-26 2023-04-28 浙江大华技术股份有限公司 人脸温度检测的方法、系统、装置和计算机设备
CN111623885B (zh) * 2020-06-01 2021-09-14 上海闻泰电子科技有限公司 红外测温装置及红外测温方法
CN112287798A (zh) * 2020-10-23 2021-01-29 深圳市商汤科技有限公司 测温方法及装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789078A (zh) * 2010-03-01 2010-07-28 江西财经大学 鲁棒红外人脸识别技术
CN109446981A (zh) * 2018-10-25 2019-03-08 腾讯科技(深圳)有限公司 一种脸部活体检测、身份认证方法及装置
CN109856979A (zh) * 2018-12-21 2019-06-07 深圳云天励飞技术有限公司 环境调节方法及相关产品
CN110248107A (zh) * 2019-06-13 2019-09-17 Oppo广东移动通信有限公司 图像处理方法和装置
CN111339951A (zh) * 2020-02-26 2020-06-26 北京迈格威科技有限公司 体温测量方法、装置及系统
CN111414831A (zh) * 2020-03-13 2020-07-14 深圳市商汤科技有限公司 监测方法及系统、电子设备和存储介质
CN111507200A (zh) * 2020-03-26 2020-08-07 北京迈格威科技有限公司 体温检测方法、体温检测装置、及双光相机

Also Published As

Publication number Publication date
WO2022083130A1 (zh) 2022-04-28
CN112287798A (zh) 2021-01-29
TW202217647A (zh) 2022-05-01

Similar Documents

Publication Publication Date Title
TWI779801B (zh) 測溫方法、電子設備及電腦可讀儲存介質
US7733404B2 (en) Fast imaging system calibration
TWI752466B (zh) 影像處理方法、處理器、電子設備、儲存媒介
WO2019238114A1 (zh) 动态模型三维重建方法、装置、设备和存储介质
CN112348863B (zh) 图像对齐方法、图像对齐装置及终端设备
WO2022067668A1 (zh) 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
TWI787113B (zh) 圖像處理方法、裝置、處理器、電子設備及儲存媒體
WO2023029969A1 (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
WO2020137193A1 (ja) 人検出装置および人検出方法
CN108492284B (zh) 用于确定图像的透视形状的方法和装置
US20230209205A1 (en) Vertical correction for panoramic image
US20220058824A1 (en) Method and apparatus for image labeling, electronic device, storage medium, and computer program
WO2022247126A1 (zh) 视觉定位方法、装置、设备、介质及程序
WO2024022301A1 (zh) 视角路径获取方法、装置、电子设备及介质
CN112197708B (zh) 测量方法及装置、电子设备及存储介质
CN113240736A (zh) 基于yolo6d改进网络的位姿估计方法及装置
CN111091117A (zh) 用于二维全景图像的目标检测方法、装置、设备、介质
TWI735367B (zh) 測速方法、電子設備及儲存介質
CN111310818B (zh) 特征描述子确定方法、装置及计算机可读存储介质
TWI739601B (zh) 圖像處理方法、電子設備和儲存介質
Zhou et al. Improved YOLOv7 models based on modulated deformable convolution and swin transformer for object detection in fisheye images
Wang et al. Automatic measurement of grid structures displacement through fusion of panoramic camera and laser scanning data
CN111178300B (zh) 目标检测方法、装置、设备、介质
WO2023132040A1 (en) Action localization apparatus, control method, and non-transitory computer-readable storage medium
CN118154661A (zh) 用于三维空间的开敞度分析方法、装置、设备及存储介质

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent