TWI821114B - 抗口罩人臉偵測與體溫量測系統、方法及電腦可讀媒介 - Google Patents
抗口罩人臉偵測與體溫量測系統、方法及電腦可讀媒介 Download PDFInfo
- Publication number
- TWI821114B TWI821114B TW112104624A TW112104624A TWI821114B TW I821114 B TWI821114 B TW I821114B TW 112104624 A TW112104624 A TW 112104624A TW 112104624 A TW112104624 A TW 112104624A TW I821114 B TWI821114 B TW I821114B
- Authority
- TW
- Taiwan
- Prior art keywords
- person
- mask
- image
- face
- body temperature
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 162
- 238000009529 body temperature measurement Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000036760 body temperature Effects 0.000 claims abstract description 63
- 238000003702 image correction Methods 0.000 claims abstract description 63
- 238000004364 calculation method Methods 0.000 claims abstract description 36
- 238000001931 thermography Methods 0.000 claims description 48
- 230000001815 facial effect Effects 0.000 claims description 31
- 238000005516 engineering process Methods 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 26
- 230000000873 masking effect Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims 1
- 230000001953 sensory effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 16
- 230000002265 prevention Effects 0.000 description 5
- 210000001061 forehead Anatomy 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 241000700605 Viruses Species 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 210000000088 lip Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005180 public health Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
- Fuel Cell (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本發明揭露一種抗口罩人臉偵測與體溫量測系統、方法及電腦可讀媒介，係由紅外線熱像儀拍攝人員之可見光影像串流與熱感影像串流，以由影像校正模組分別依據可見光影像串流與熱感影像串流進行紅外線熱像儀之校正，得到可見光影像資訊及熱感影像資訊。繼之，由抗口罩人臉與口罩偵測模組依據可見光影像資訊進行抗口罩人臉與口罩偵測，得到人臉區域位置、人員有無佩戴口罩之資訊與人臉之口罩區域位置，再由人員體溫計算模組依據可見光影像之人臉之非口罩區域所對應之熱感影像之熱感區域進行人員之體溫計算，以輸出體溫量測結果。
Description
本發明係關於一種抗口罩人臉偵測與體溫量測技術，特別是指一種抗口罩人臉偵測與體溫量測系統、方法及電腦可讀媒介。
隨著COVID-19(嚴重特殊傳染性肺炎)病毒或各種變種病毒持續在全球蔓延，人員之體溫監測已成為防止病毒傳播之重要關鍵，且人員佩戴口罩與測量體溫亦成為工作及生活之新常態。
在防疫期間之人員管制，人員之人臉辨識應用因具有非接觸性之特性而受到許多場域(field)之採用，特別是在人員佩戴口罩之情況下，希望能做到精確的人臉辨識，也受到管理者(如業主)的期望與殷切需求。
傳統之體溫量測方法通常是以偵測人員之人臉的特定額頭位置來計算人員之體溫，但在疫情下，人員佩戴口罩時，人員之人臉偵測容易受到口罩之影響而改變人臉偵測之範圍，導致人員之人臉偵測座標較不準
確，且使用特定的人臉區域位置來計算人員之體溫，亦可能因些微的偏差而影響人員之體溫量測結果。
因此，如何提供一種創新之抗口罩人臉偵測與體溫量測技術，以解決上述之任一問題或提供相關之系統/方法，已成為本領域技術人員之一大研究課題。
本發明之抗口罩人臉偵測與體溫量測系統包括：一紅外線熱像儀，係具有一第一攝影機與一第二攝影機，以透過紅外線熱像儀之第一攝影機與第二攝影機分別拍攝人員之可見光影像串流與熱感影像串流；一影像校正模組，係依據人員之可見光影像串流進行紅外線熱像儀之第一攝影機之視角校正或影像校正，得到人員之可見光影像資訊，且由影像校正模組依據人員之熱感影像串流進行紅外線熱像儀之第二攝影機之視角校正或影像校正，得到人員之熱感影像資訊；一抗口罩人臉與口罩偵測模組，係依據影像校正模組得到之人員之可見光影像資訊進行人員之抗口罩人臉與口罩偵測，得到人員之人臉區域位置、人員有無佩戴口罩之資訊與當人員有佩戴口罩時之人臉之口罩區域位置；以及一人員體溫計算模組，係依據影像校正模組得到之人員之可見光影像資訊或可見光影像中之人臉之非口罩區域所對應之人員之熱感影像資訊或熱感影像之熱感區域進行人員之體溫計算，以輸出人員之體溫量測結果。
本發明之抗口罩人臉偵測與體溫量測方法包括：由一紅外線熱像儀之第一攝影機與第二攝影機分別拍攝人員之可見光影像串流與熱感
影像串流；由一影像校正模組依據人員之可見光影像串流進行紅外線熱像儀之第一攝影機之視角校正或影像校正，得到人員之可見光影像資訊，且由影像校正模組依據人員之熱感影像串流進行紅外線熱像儀之第二攝影機之視角校正或影像校正，得到人員之熱感影像資訊；由一抗口罩人臉與口罩偵測模組依據影像校正模組得到之人員之可見光影像資訊進行人員之抗口罩人臉與口罩偵測，得到人員之人臉區域位置、人員有無佩戴口罩之資訊與當人員有佩戴口罩時之人臉之口罩區域位置；以及由一人員體溫計算模組依據影像校正模組得到之人員之可見光影像資訊或可見光影像中之人臉之非口罩區域所對應之人員之熱感影像資訊或熱感影像之熱感區域進行人員之體溫計算，以輸出人員之體溫量測結果。
本發明之電腦可讀媒介應用於計算裝置或電腦中，係儲存有指令，以執行上述之抗口罩人臉偵測與體溫量測方法。
因此，本發明提供一種創新之抗口罩人臉偵測與體溫量測系統、方法及電腦可讀媒介，係能結合紅外線熱像儀、影像校正模組、抗口罩人臉與口罩偵測模組以及人員體溫計算模組，進而提供準確的人員體溫量測，也能打造符合防疫需求之新穎的人員管控解決方案。
或者，本發明能排除人臉之口罩之遮蔽區域，以紅外線熱像儀對人員進行拍攝而分別得到可見光影像串流與熱感影像串流，亦能由人員體溫計算模組精確地計算人員佩戴口罩下之體溫。
又或者，本發明能在人員佩戴口罩下，由抗口罩人臉與口罩偵測模組準確地偵測人員之人臉位置與人臉之口罩區域，以將人員之人臉區域排除口罩後，由人員體溫計算模組計算人員之體溫，俾能有效排除任何影
響體溫之計算因子，亦能提供穩定且精確的體溫之輸出。
為使本發明之上述特徵與優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明。在以下描述內容中將部分闡述本發明之額外特徵及優點，且此等特徵及優點將部分自所述描述內容可得而知，或可藉由對本發明之實踐習得。應理解，前文一般描述與以下詳細描述二者均為例示性及解釋性的，且不欲約束本發明所欲主張之範圍。
1:抗口罩人臉偵測與體溫量測系統
10:紅外線熱像儀
11:第一攝影機
111:第一鏡頭
12:第二攝影機
121:第二鏡頭
20:影像擷取模組
30:影像校正模組
40:抗口罩人臉與口罩偵測模組
41:抗口罩人臉偵測模型
50:人員體溫計算模組
60:追蹤模組
A:人員
A1:人臉
A2:口罩
A3:體溫
B1:可見光影像串流
B2:熱感影像串流
C1:可見光影像資訊
C2:熱感影像資訊
D,E,F,G:線段
S1至S4:步驟
圖1為本發明之抗口罩人臉偵測與體溫量測系統之架構示意圖。
圖2為本發明之抗口罩人臉偵測與體溫量測方法之流程示意圖。
圖3為本發明之抗口罩人臉偵測與體溫量測系統及其方法中，有關紅外線熱像儀之架設方式之實施例示意圖。
圖4為本發明之抗口罩人臉偵測與體溫量測系統及其方法中，有關紅外線熱像儀所取得之即時之可見光影像串流與熱感影像串流之實施例示意圖。
圖5為本發明之抗口罩人臉偵測與體溫量測系統及其方法中，有關人臉區域位置、五官點之位置與遮蔽資訊之實施例示意圖。
圖6為本發明之抗口罩人臉偵測與體溫量測系統及其方法中，有關口罩區域(口罩)之左邊界與右邊界之實施例示意圖。
圖7為本發明之抗口罩人臉偵測與體溫量測系統及其方法中，
有關口罩區域(口罩)之上邊界與下邊界之實施例示意圖。
圖8為本發明之抗口罩人臉偵測與體溫量測系統及其方法中，有關抗口罩人臉偵測與體溫量測結果之展示示意圖。
以下藉由特定的具體實施形態說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容瞭解本發明之其他優點與功效，亦可因而藉由其他不同具體等同實施形態加以施行或運用。
圖1為本發明之抗口罩人臉偵測與體溫量測系統1之架構示意圖。如圖所示，抗口罩人臉偵測與體溫量測系統1至少包括互相通訊或連結之一紅外線熱像儀10、一影像擷取模組20、一影像校正模組30、一抗口罩人臉與口罩偵測模組40、一人員體溫計算模組50以及一追蹤模組60。在一實施例中，紅外線熱像儀10可包括具有雙鏡頭之雙攝影機，亦即紅外線熱像儀10包括一具有第一鏡頭111之第一攝影機11與一具有第二鏡頭121之第二攝影機12，且抗口罩人臉與口罩偵測模組40可具有一抗口罩人臉偵測模型41。
在一實施例中，紅外線熱像儀10可分別通訊或連結影像擷取模組20、影像校正模組30、人員體溫計算模組50及追蹤模組60，影像校正模組30可分別通訊或連結影像擷取模組20、抗口罩人臉與口罩偵測模組40及人員體溫計算模組50，抗口罩人臉與口罩偵測模組40可進一步通訊或連結人員體溫計算模組50，且人員體溫計算模組50可進一步通訊或連結追蹤模組60。
在一實施例中，紅外線熱像儀10亦可稱為紅外線熱像儀溫
度感測設備，且紅外線熱像儀10可為固定式紅外線熱像儀或移動式紅外線熱像儀等。第一攝影機11可為網路攝影機、可見光攝影機等，第二攝影機12可為網路攝影機、紅外線攝影機、熱感應攝影機等。影像擷取模組20可為影像擷取器(晶片/電路)、影像擷取軟體(程式)等，影像校正模組30可為影像校正器(晶片/電路)、影像校正軟體(程式)等。抗口罩人臉與口罩偵測模組40可為抗口罩人臉與口罩偵測器(晶片/電路)、抗口罩人臉與口罩偵測軟體(程式)等，人員體溫計算模組50可為人員體溫計算器(晶片/電路)、人員體溫計算軟體(程式)等，追蹤模組60可為追蹤器(晶片/電路)、追蹤軟體(程式)等。
在一實施例中，本發明所述「至少一」代表一個以上(如一、二或三個以上)，「複數」代表二個以上(如二、三、四、五或十個以上)，「通訊或連結」代表以有線方式(如有線網路)或無線方式(如無線網路)互相通訊或連結。人員A可為準備量測或行進中之人員等，熱感影像串流B2可為熱感溫度影像串流等，抗口罩人臉偵測技術可為抗口罩人臉辨識技術、抗口罩人臉與口罩偵測技術等。但是，本發明並不以各實施例所提及者為限。
在一實施例中，紅外線熱像儀10可採用俯角(見圖3)、仰角或廣角之方式予以架設，係透過紅外線熱像儀10之第一攝影機11(第一鏡頭111)與第二攝影機12(第二鏡頭121)分別拍攝/同步取得人員A(人臉A1)之可見光影像串流B1與熱感影像串流B2。
再者，影像擷取模組20可擷取紅外線熱像儀10之第一攝影機11所拍攝之人員A(人臉A1)之可見光影像串流B1與第二攝影機12所拍攝之人員A(人臉A1)之熱感影像串流B2，以由影像校正模組30依據影
像擷取模組20所擷取之人員A(人臉A1)之可見光影像串流B1進行紅外線熱像儀10之第一攝影機11(第一鏡頭111)之視角校正或影像校正以得到人員A(人臉A1)之可見光影像資訊C1，且由影像校正模組30依據影像擷取模組20所擷取之人員A(人臉A1)之熱感影像串流B2進行紅外線熱像儀10之第二攝影機12(第二鏡頭121)之視角校正或影像校正以得到人員A(人臉A1)之熱感影像資訊C2。
另外，抗口罩人臉與口罩偵測模組40可依據影像校正模組30所得到之人員A(人臉A1)之可見光影像資訊C1與熱感影像資訊C2計算人員A之人臉區域位置(如人臉區域座標)、人員A有無佩戴口罩A2與當人員A有佩戴口罩A2時之人臉A1之口罩區域位置(如口罩區域座標)，再由人員體溫計算模組50依據人員A(人臉A1)之熱感影像資訊C2計算人員A之體溫A3。
圖2為本發明之抗口罩人臉偵測與體溫量測方法之流程示意圖，此抗口罩人臉偵測與體溫量測方法可包括下列步驟S1至步驟S4，同時參照圖1一併說明。
在步驟S1中，由紅外線熱像儀10之第一攝影機11(第一鏡頭111)與第二攝影機12(第二鏡頭121)分別拍攝/同步取得人員A(人臉A1)之可見光影像串流B1與熱感影像串流B2等兩種不同的影像串流。
在步驟S2中，由影像校正模組30依據人員A(人臉A1)之可見光影像串流B1進行紅外線熱像儀10之第一攝影機11(第一鏡頭111)之視角校正或影像校正以得到人員A(人臉A1)之可見光影像資訊C1，且由影像校正模組30依據人員A(人臉A1)之熱感影像串流B2進行紅外線熱像儀
10之第二攝影機12(第二鏡頭121)之視角校正或影像校正以得到人員A(人臉A1)之熱感影像資訊C2。
在步驟S3中，由抗口罩人臉與口罩偵測模組40依據影像校正模組30所得到之人員A(人臉A1)之可見光影像資訊C1進行人員A之抗口罩人臉與口罩偵測以得到人員A之人臉區域位置(如人臉區域座標)、人員A有無佩戴口罩A2之資訊與當人員A有佩戴口罩A2時之人臉A1之口罩區域位置(如口罩區域座標)。
在步驟S4中，由人員體溫計算模組50依據影像校正模組30得到之人員A之可見光影像資訊C1或可見光影像中之人臉A1之非口罩區域(如非口罩區域之位置/座標)所對應之人員A之熱感影像資訊C2或熱感影像之熱感區域進行人員A之體溫計算，以輸出(得到)人員A之體溫量測結果。
圖3為本發明之抗口罩人臉偵測與體溫量測系統1及其方法中有關紅外線熱像儀10之架設方式之實施例示意圖，圖4為本發明之抗口罩人臉偵測與體溫量測系統1及其方法中有關紅外線熱像儀10所取得之即時之可見光影像串流B1與熱感影像串流B2之實施例示意圖，圖5為本發明之抗口罩人臉偵測與體溫量測系統1及其方法中有關人臉區域位置(如人臉區域座標)、五官點之位置(如五官點之座標)與遮蔽資訊之實施例示意圖，圖6為本發明之抗口罩人臉偵測與體溫量測系統1及其方法中有關口罩區域(口罩A2)之左邊界與右邊界之實施例示意圖，圖7為本發明之抗口罩人臉偵測與體溫量測系統1及其方法中有關口罩區域(口罩A2)之上邊界與下邊界之實施例示意圖，圖8為本發明之抗口罩人臉偵測與體溫量測系統1及
其方法中有關抗口罩人臉偵測與體溫量測結果之展示示意圖，同時參閱圖1一併說明。
如圖3與圖4所示，具有第一攝影機11(第一鏡頭111)與第二攝影機12(第二鏡頭121)之紅外線熱像儀10可採用俯角、仰角或廣角之方式架設於走道、大門、出入口等公共區域上，紅外線熱像儀10可拍攝人員A(如行進中之人員)之影像串流以同時取得人員A之可見光影像串流B1(見圖4之左側)與熱感影像串流B2(見圖4之右側)，且紅外線熱像儀10所取得之熱感影像串流B2之熱感影像之每個像素可紀錄真實環境下物體(如人員A、人臉A1、口罩A2、衣服等)之表面之溫度值。
影像校正模組30可利用水平校正與垂直校正之方式將紅外線熱像儀10之第一攝影機11(第一鏡頭111)所拍攝之人員A之可見光影像串流B1之可見光影像與第二攝影機12(第二鏡頭121)所拍攝之人員A之熱感影像串流B2之熱感影像兩者之視角調整成一致，以解決可見光影像與熱感影像兩者之視角不同的問題，且影像校正模組30可位移或縮放可見光影像之參數與熱感影像之參數以對齊可見光影像之空間座標與熱感影像之空間座標。
抗口罩人臉與口罩偵測模組40可利用抗口罩人臉偵測模型41進行人員A之人臉偵測，且抗口罩人臉偵測模型41可為深度卷積類神經網路所構成之深度學習模型。抗口罩人臉與口罩偵測模組40可透過抗口罩人臉偵測模型41對人員A之人臉A1之輸入圖片使用複數個不同大小之卷積核進行卷積，再透過抗口罩人臉偵測模型41將複數個不同大小之卷積核之卷積結果進行串接以獲取多樣化的感受來增加人員A之人臉A1之特徵
細節。抗口罩人臉與口罩偵測模組40亦可透過抗口罩人臉偵測模型41擷取深度卷積類神經網路中複數個不同深度的卷積層後加以輸出，再透過抗口罩人臉偵測模型41將複數個不同深度的卷積層進行串接以共同偵測人員A之人臉特徵，有利於解決人員A佩戴口罩A2時之人臉特徵不足的問題。
如圖5所示，透過蒐集各種人員A之不同角度之佩戴口罩A2之人臉影像(如人臉照片)，並標註人員A之人臉位置(如人臉座標)、五官點之位置(如五官點之座標)與五官點是否有遮蔽資訊，以由抗口罩人臉與口罩偵測模組40利用人員A之不同角度之佩戴口罩A2之人臉影像(如人臉照片)訓練抗口罩人臉偵測模型41，使抗口罩人臉偵測模型41具有偵測人員A之人臉位置(如人臉座標)、五官點之位置(如五官點之座標)與辨識五官點之遮蔽資訊(遮蔽情況)之能力。前述人員A之人臉位置(如人臉座標)可包括人臉A1之邊界(邊框)、人臉A1之左上角之定位點與人臉A1之右下角之定位點等，五官點可包括人臉A1之鼻子、左眼、左嘴角、右眼與右嘴角共五點。
影像校正模組30可將人員A之可見光影像進行影像正規化，以由影像校正模組30將經影像正規化後之人員A之可見光影像輸入至抗口罩人臉與口罩偵測模組40之抗口罩人臉偵測模型41，再由抗口罩人臉與口罩偵測模組40透過抗口罩人臉偵測模型41依據經影像正規化後之人員A之可見光影像取得人員A之人臉區域位置(如人臉區域座標)、五官點之位置(如五官點之座標)與五官點之遮蔽資訊。
抗口罩人臉與口罩偵測模組40可利用人員A之人臉A1之五官點中之鼻子、左嘴角與右嘴角共三點之遮蔽資訊判斷人員A有無佩戴
口罩A2。當人臉A1之鼻子、左嘴角與右嘴角共三點未全部被遮蔽時(即三點皆未遮蔽、僅任二點或任一點被遮蔽，其中包括口罩A2佩戴不正確的情形)，抗口罩人臉與口罩偵測模組40可判定人員A無佩戴口罩A2。相對地，當人臉A1之鼻子、左嘴角與右嘴角共三點已全部被遮蔽時，抗口罩人臉與口罩偵測模組40可判定人員A有佩戴口罩A2(見圖5)。
如圖5與圖6所示，當人員A有佩戴口罩A2時，抗口罩人臉與口罩偵測模組40可計算人員A之人臉A1之口罩區域(如口罩遮罩區域)。例如，抗口罩人臉與口罩偵測模組40可計算人臉A1之左嘴角之位置(如左嘴角之座標)與右嘴角之位置(如右嘴角之座標)之相對水平距離，且按照標準人臉比例，人臉A1之水平寬度近似於嘴巴之水平寬度之兩倍長，故抗口罩人臉與口罩偵測模組40可依據左嘴角與右嘴角之中心點分別向左減少一個嘴巴之水平長(如圖6中之線段D)與向右增加一個嘴巴之水平長(如圖6中之線段E)，即可得到人臉A1之口罩區域(口罩A2)之左邊界與右邊界。
同時，抗口罩人臉與口罩偵測模組40可計算人臉A1之鼻子相較於左嘴角與右嘴角之中心點之相對垂直距離，且按照標準人臉比例，人臉A1之半臉垂直高度近似於人臉A1之人中加嘴唇之垂直距離之三倍長，故抗口罩人臉與口罩偵測模組40可將鼻子之位置(如鼻子之座標)往上減少鼻子相較於左嘴角與右嘴角之中心點之垂直距離(如圖7中之線段F)，並將左嘴角與右嘴角之中心點往下增加鼻子相較於左嘴角與右嘴角之中心點之垂直距離(如圖7中之線段G)，即可得到人臉A1之口罩區域(口罩A2)之上邊界與下邊界。
因此，抗口罩人臉與口罩偵測模組40經過上述之計算後，可以得到每個人員A之人臉區域位置(如人臉區域座標)、人員A有無佩戴口罩A2之資訊與當人員A有佩戴口罩A2時之人臉A1之口罩區域位置(如口罩區域座標)。
影像校正模組30能對齊人員A之可見光影像之空間座標與熱感影像之空間座標，以由人員體溫計算模組50利用可見光影像中之人臉A1之非口罩區域(如非口罩區域之位置/座標)對應取得熱感影像中之人臉A1之非口罩區域之每個像素之溫度值。
人員體溫計算模組50可將人員A之人臉A1上方之內縮區域定義為人員A之額頭區域，以由人員體溫計算模組50將人員A之額頭區域內所有像素之溫度值取平均值以得到人員A之體溫量測結果。因此，人員體溫計算模組50採用人臉A1之非口罩遮蔽之額頭區域進行人員A之體溫計算，能減少人員A佩戴口罩A2時之人臉A1之溫度差異(例如人臉A1之口罩A2之遮蔽區域通常具有較低的溫度)，亦能濾除人員A之行進速度過快時所產生或量測之體溫A3之失真問題，也能使人員A之體溫A3之輸出較為穩定與精確。
另外，追蹤模組60能利用紅外線熱像儀10之第一攝影機11所拍攝之人員A之可見光影像串流B1中之人臉位置(如人臉座標)追蹤人員A之移動軌跡，以使人員體溫計算模組50依據追蹤模組60所追蹤之人員A之移動軌跡對此人員A(每位人員)僅輸出一筆溫度與辨識紀錄，且人員體溫計算模組50亦能將行進中之人員A之連續或序列之複數個溫度值取平均值以得到人員A之體溫量測結果，有利於人員體溫計算模組50輸出較穩定的
人員A之體溫量測結果。
追蹤模組60之人員追蹤技術之流程可包括下列第一步驟至第四步驟。
[1]人員追蹤技術之第一步驟為：由追蹤模組60將紅外線熱像儀10之第一攝影機11或第二攝影機12之連續畫面之某一畫面中偵測到之人員A之人臉位置當作追蹤之起始位置。
[2]人員追蹤技術之第二步驟為：由追蹤模組60針對此畫面之下一個欲追蹤之影像計算此影像之像素(如每個像素)之顏色對應於人員A之人臉區域顏色之相似度(以機率表示)，當欲追蹤之影像之像素之顏色與人員A之人臉區域顏色兩者越相近時，代表欲追蹤之影像與人員A之人臉區域兩者之相似度之機率越高。
[3]人員追蹤技術之第三步驟為：由追蹤模組60以均值漂移(Mean Shift)聚類演算法在下一個欲追蹤之影像中計算追蹤到之人臉位置，均值漂移聚類演算法之運作為在選定之一個可移動區間內，依據可移動區間內每個像素之機率平均值將可移動區間之中心位置移動至平均位置，接著再算一次平均、再移動，如此重複直到收斂，亦即可移動區間之中心與可移動區間內之平均值為同一位置。
[4]人員追蹤技術之第四步驟為：由追蹤模組60在第一攝影機11或第二攝影機12之後續之連續影像中一直反覆地執行上述第二步驟與第三步驟，再將第一攝影機11或第二攝影機12之連續畫面追蹤到之位置相連以產生人員A之移動軌跡。
圖8為本發明之抗口罩人臉偵測與體溫量測系統1及方法中
有關抗口罩人臉偵測與體溫量測結果之展示示意圖，並參照圖1一併說明。
如圖8所示，本發明之抗口罩人臉與口罩偵測模組40特別結合了抗口罩人臉偵測技術(如抗口罩人臉辨識技術)，以利輸出人員A之姓名、體溫A3、時間與有無佩戴口罩A2之資訊。同時，本發明後續可進一步建立人臉辨識門禁、差勤與健康管理整合系統，不但能有效掌握人員A之進出，亦能即時監測每個人員A之體溫A3，以利達到優化公衛安全、人事考勤或人流管理等目標。
再者，抗口罩人臉與口罩偵測模組40之抗口罩人臉偵測技術(如抗口罩人臉辨識技術)可採用殘差神經網路(Residual neural Network；ResNet)模型作為抗口罩人臉偵測模型41，藉由增加訓練抗口罩人臉與口罩偵測模組40所關聯之資料庫之人臉變異程度與導入更穩定之人臉校正模組(圖未示)，以利提升人臉特徵對於人臉A1之拍攝角度及光源變異之抵抗性。
綜上，本發明之抗口罩人臉偵測與體溫量測系統1及其方法中，在口罩A2戴好戴滿之防疫政策下，本發明提出了新穎的抗口罩人臉偵測技術(如抗口罩人臉與口罩偵測技術)，即使在人員A佩戴口罩A2下，也能提供準確的人員A之人臉偵測與有無佩戴口罩A2之判斷。
本發明所提出之抗口罩人臉偵測技術(如抗口罩人臉與口罩偵測技術)能排除人臉A1之口罩A2之遮蔽區域，以紅外線熱像儀10對人員A進行拍攝(感測)，亦能精確地計算人員A佩戴口罩A2下之體溫。亦即，本發明能結合紅外線熱像儀10之體溫量測技術，以利提供準確的人員體溫量測，也能打造符合防疫需求之新穎的人員管控解決方案。
本發明之抗口罩人臉與口罩偵測模組40能利用抗口罩人臉
偵測技術(如抗口罩人臉與口罩偵測技術)，以在人員A佩戴口罩A2下，準確地偵測人員A之人臉位置(如人臉座標)，再偵測人員A之人臉A1之口罩區域，進而將人員A之人臉區域排除口罩A2後，由人員體溫計算模組50計算人員A之體溫A3，俾能有效排除任何影響體溫A3之計算因子，亦能提供穩定且精確的體溫A3之輸出。
本發明之抗口罩人臉與口罩偵測模組40具有一個可同時偵測人員A之人臉位置(如人臉座標)、人臉A1之五官點之位置(如五官點之座標)與判斷遮蔽資訊之抗口罩人臉偵測模型41(類神經網路模型)，並配合簡單的判斷法則與幾何運算，即能有效地判斷人員A有無佩戴口罩A2及取得口罩A2之位置資訊(如座標資訊)。
本發明提出了一個強大的抗口罩人臉偵測與體溫量測系統1，結合了抗口罩人臉偵測、口罩偵測與體溫量測技術，當人員A進入公共區域時，抗口罩人臉與口罩偵測模組40會自動偵測人員A之人臉A1與有無佩戴口罩A2等情形，並由人員體溫計算模組50提供高準確度之人臉A1之體溫A3之計算，以由人員體溫計算模組50在人臉A1之體溫A3過高或異常時發出告警。
另外，相較於傳統方法使用較舊的機器學習(machine learning)技術，本發明使用最新的深度學習(deep learning)技術，以利在人員A佩戴口罩A2下，能提供更精確的人臉偵測座標，亦能快速且有效地判斷人員A是否佩戴口罩A2。或者，相較於傳統方法使用人臉偵測與口罩偵測複數個模型之作法，本發明可以採用例如為抗口罩人臉偵測模型41之單一模型(但不以此為限)，進而有效提升偵測速度與降低運算資源。
本發明之抗口罩人臉偵測與體溫量測系統1及其方法能結合人臉辨識技術，以將人員A(如員工)之人臉A1之每一筆辨識結果傳送至人臉辨識管理平台(圖未示)，包括人員A之門禁紀錄與差勤資料，可作為有效的人員管控與紀錄查詢。同時，無論是組織(如公司/單位/機關/機構)之員工或非組織之訪客等人員A，本發明之解決方案皆能即時地同時觸發人員管制與體溫量測，大幅減少組織在防疫上所需之時間和人力花費。
本發明能將人員資料與體溫量測結果整合至健康管理系統(圖未示)，並提供體溫異常告警或統計分析(如統計分析圖)等功能(見圖8)，以利協助組織(如公司)之職場安全，並協助醫護人員(如健康管理師)追蹤或管理人員A之健康，亦能達到疫情期間有效的公衛安全、人事考勤或人流管理等目標。
此外，本發明還提供一種針對抗口罩人臉偵測與體溫量測方法之電腦可讀媒介，係應用於具有處理器及/或記憶體之計算裝置或電腦中，且電腦可讀媒介儲存有指令，並可利用計算裝置或電腦透過處理器及/或記憶體執行電腦可讀媒介，以於執行電腦可讀媒介時執行上述內容。
在一實施例中，處理器可為微處理器、中央處理器(CPU)、圖形處理器(GPU)、微控制器(MCU)等，記憶體可為隨機存取記憶體(RAM)、唯讀記憶體(ROM)、記憶卡、硬碟(如雲端/網路/外接式硬碟)、光碟、隨身碟、資料庫等，且計算裝置或電腦可為計算機、平板電腦、個人電腦、筆記型電腦、桌上型電腦、伺服器(如雲端/遠端/網路伺服器)、智慧型手機等。
上述實施形態僅例示性說明本發明之原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此項技藝之人士均能在不違背
本發明之精神及範疇下，對上述實施形態進行修飾與改變。任何使用本發明所揭示內容而完成之等效改變及修飾，均仍應為申請專利範圍所涵蓋。因此，本發明之權利保護範圍應如申請專利範圍所列。
1:抗口罩人臉偵測與體溫量測系統
10:紅外線熱像儀
11:第一攝影機
111:第一鏡頭
12:第二攝影機
121:第二鏡頭
20:影像擷取模組
30:影像校正模組
40:抗口罩人臉與口罩偵測模組
41:抗口罩人臉偵測模型
50:人員體溫計算模組
60:追蹤模組
A:人員
A1:人臉
A2:口罩
A3:體溫
B1:可見光影像串流
B2:熱感影像串流
C1:可見光影像資訊
C2:熱感影像資訊
Claims (16)
- 一種抗口罩人臉偵測與體溫量測系統，包括：一紅外線熱像儀，係具有一第一攝影機與一第二攝影機，以透過該紅外線熱像儀之該第一攝影機與該第二攝影機分別拍攝人員之可見光影像串流與熱感影像串流；一影像校正模組，係依據該人員之該可見光影像串流進行該紅外線熱像儀之該第一攝影機之視角校正或影像校正，得到該人員之可見光影像資訊，且由該影像校正模組依據該人員之該熱感影像串流進行該紅外線熱像儀之該第二攝影機之視角校正或影像校正，得到該人員之熱感影像資訊；一抗口罩人臉與口罩偵測模組，係依據該影像校正模組得到之該人員之該可見光影像資訊進行該人員之抗口罩人臉與口罩偵測，得到該人員之人臉區域位置、該人員有無佩戴口罩之資訊與當該人員有佩戴該口罩時之人臉之口罩區域位置；以及一人員體溫計算模組，係依據該影像校正模組得到之該人員之該可見光影像資訊或可見光影像中之該人臉之非口罩區域所對應之該人員之該熱感影像資訊或熱感影像之熱感區域進行該人員之體溫計算，以輸出該人員之體溫量測結果。
- 如請求項1所述之抗口罩人臉偵測與體溫量測系統，更包括一影像擷取模組，係擷取該紅外線熱像儀之該第一攝影機所拍攝之該人員之該可見光影像串流與該第二攝影機所拍攝之該人員之該熱感影像串流，以由該影像校正模組依據該影像擷取模組所擷取之該可見光影像串流進行該第一攝影機之視角校正或影像校正，得到該可見光影像資訊，且由該影像校正模組依據該影像擷取模組所擷取之該熱感影像串流進行該第二攝影機之視角校正或影像校正，得到該熱感影像資訊。
- 如請求項1所述之抗口罩人臉偵測與體溫量測系統，其中，該影像校正模組更利用水平校正與垂直校正之方式，將該紅外線熱像儀之該第一攝影機所拍攝之該人員之該可見光影像串流之可見光影像與該第二攝影機所拍攝之該人員之該熱感影像串流之熱感影像兩者之視角調整成一致，且由該影像校正模組位移或縮放該可見光影像之參數與該熱感影像之參數，以對齊該可見光影像之空間座標與該熱感影像之空間座標。
- 如請求項1所述之抗口罩人臉偵測與體溫量測系統，其中，該抗口罩人臉與口罩偵測模組係具有由深度卷積類神經網路所構成之一抗口罩人臉偵測模型，以由該抗口罩人臉與口罩偵測模組透過該抗口罩人臉偵測模型對該人員之人臉之輸入圖片使用複數個不同大小之卷積核進行卷積，再透過該抗口罩人臉偵測模型將該複數個不同大小之卷積核之卷積結果進行串接，以增加該人員之人臉之特徵細節。
- 如請求項1所述之抗口罩人臉偵測與體溫量測系統，其中，該抗口罩人臉與口罩偵測模組係具有一抗口罩人臉偵測模型，以由該抗口罩人臉與口罩偵測模組透過該抗口罩人臉偵測模型擷取深度卷積類神經網路中複數個不同深度的卷積層，再透過該抗口罩人臉偵測模型將該複數個不同深度的卷積層進行串接，以共同偵測該人員之人臉特徵。
- 如請求項1所述之抗口罩人臉偵測與體溫量測系統，其中，該抗口罩人臉與口罩偵測模組係具有一抗口罩人臉偵測模型，以由該抗口罩人臉與口罩偵測模組利用該人員之不同角度之佩戴口罩之人臉影像訓練該抗口罩人臉偵測模型，俾使該抗口罩人臉偵測模型用以偵測該人員之人臉位置、五官點之位置與辨識該五官點之遮蔽資訊。
- 如請求項1所述之抗口罩人臉偵測與體溫量測系統，其中，該抗口罩人臉與口罩偵測模組係具有一抗口罩人臉偵測模型，且該口 罩人臉與口罩偵測模組之抗口罩人臉偵測技術採用殘差神經網路模型作為該抗口罩人臉偵測模型。
- 如請求項1所述之抗口罩人臉偵測與體溫量測系統，更包括一追蹤模組，係利用該紅外線熱像儀之該第一攝影機所拍攝之該人員之該可見光影像串流中之人臉位置追蹤該人員之移動軌跡，以使該人員體溫計算模組依據該追蹤模組所追蹤之該人員之移動軌跡對該人員僅輸出一筆溫度與辨識紀錄，且由該人員體溫計算模組將該人員之連續或序列之複數個溫度值取平均值，以得到該人員之體溫量測結果。
- 一種抗口罩人臉偵測與體溫量測方法，包括：由一紅外線熱像儀之第一攝影機與一第二攝影機分別拍攝人員之可見光影像串流與熱感影像串流；由一影像校正模組依據該人員之該可見光影像串流進行該紅外線熱像儀之該第一攝影機之視角校正或影像校正，得到該人員之可見光影像資訊，且由該影像校正模組依據該人員之該熱感影像串流進行該紅外線熱像儀之該第二攝影機之視角校正或影像校正，得到該人員之熱感影像資訊；由一抗口罩人臉與口罩偵測模組依據該影像校正模組得到之該人員之該可見光影像資訊進行該人員之抗口罩人臉與口罩偵測，得到該人員之人臉區域位置、該人員有無佩戴口罩之資訊與當該人員有佩戴該口罩時之人臉之口罩區域位置；以及由一人員體溫計算模組依據該影像校正模組得到之該人員之該可見光影像資訊或可見光影像中之該人臉之非口罩區域所對應之該人員之該熱感影像資訊或熱感影像之熱感區域進行該人員之體溫計算，以輸出該人員之體溫量測結果。
- 如請求項9所述之抗口罩人臉偵測與體溫量測方法，更包括由一影像擷取模組擷取該紅外線熱像儀之該第一攝影機所拍攝之該人員之該可見光影像串流與該第二攝影機所拍攝之該人員之該熱感影像串流，以由該影像校正模組依據該影像擷取模組所擷取之該可見光影像串流進行該第一攝影機之視角校正或影像校正，得到該可見光影像資訊，且由該影像校正模組依據該影像擷取模組所擷取之該熱感影像串流進行該第二攝影機之視角校正或影像校正，得到該熱感影像資訊。
- 如請求項9所述之抗口罩人臉偵測與體溫量測方法，更包括由該影像校正模組利用水平校正與垂直校正之方式，將該紅外線熱像儀之該第一攝影機所拍攝之該人員之該可見光影像串流之可見光影像與該第二攝影機所拍攝之該人員之該熱感影像串流之熱感影像兩者之視角調整成一致，且由該影像校正模組位移或縮放該可見光影像之參數與該熱感影像之參數，以對齊該可見光影像之空間座標與該熱感影像之空間座標。
- 如請求項9所述之抗口罩人臉偵測與體溫量測方法，更包括由該抗口罩人臉與口罩偵測模組透過抗口罩人臉偵測模型對該人員之人臉之輸入圖片使用複數個不同大小之卷積核進行卷積，再透過該抗口罩人臉偵測模型將該複數個不同大小之卷積核之卷積結果進行串接，以增加該人員之人臉之特徵細節。
- 如請求項9所述之抗口罩人臉偵測與體溫量測方法，更包括由該抗口罩人臉與口罩偵測模組透過抗口罩人臉偵測模型擷取深度卷積類神經網路中複數個不同深度的卷積層，再透過該抗口罩人臉偵測模型將該複數個不同深度的卷積層進行串接，以共同偵測該人員之人臉特徵。
- 如請求項9所述之抗口罩人臉偵測與體溫量測方法，更包括由該抗口罩人臉與口罩偵測模組利用該人員之不同角度之佩戴口罩之 人臉影像訓練一抗口罩人臉偵測模型，俾使該抗口罩人臉偵測模型用以偵測該人員之人臉位置、五官點之位置與辨識該五官點之遮蔽資訊。
- 如請求項9所述之抗口罩人臉偵測與體溫量測方法，更包括由一追蹤模組利用該紅外線熱像儀之該第一攝影機所拍攝之該人員之該可見光影像串流中之人臉位置追蹤該人員之移動軌跡，以使該人員體溫計算模組依據該追蹤模組所追蹤之該人員之移動軌跡對該人員僅輸出一筆溫度與辨識紀錄，且由該人員體溫計算模組將該人員之連續或序列之複數個溫度值取平均值，以得到該人員之體溫量測結果。
- 一種電腦可讀媒介，應用於計算裝置或電腦中，係儲存有指令，以執行如請求項9至15之任一者所述之抗口罩人臉偵測與體溫量測方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112104624A TWI821114B (zh) | 2023-02-09 | 2023-02-09 | 抗口罩人臉偵測與體溫量測系統、方法及電腦可讀媒介 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112104624A TWI821114B (zh) | 2023-02-09 | 2023-02-09 | 抗口罩人臉偵測與體溫量測系統、方法及電腦可讀媒介 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI821114B true TWI821114B (zh) | 2023-11-01 |
| TW202432050A TW202432050A (zh) | 2024-08-16 |
Family
ID=89722277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112104624A TWI821114B (zh) | 2023-02-09 | 2023-02-09 | 抗口罩人臉偵測與體溫量測系統、方法及電腦可讀媒介 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI821114B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWM606799U (zh) * | 2020-09-09 | 2021-01-21 | 威寶數位科技股份有限公司 | 體溫監控裝置 |
| TW202226055A (zh) * | 2020-12-21 | 2022-07-01 | 財團法人國家衛生研究院 | 智慧型熱像系統 |
-
2023
- 2023-02-09 TW TW112104624A patent/TWI821114B/zh active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWM606799U (zh) * | 2020-09-09 | 2021-01-21 | 威寶數位科技股份有限公司 | 體溫監控裝置 |
| TW202226055A (zh) * | 2020-12-21 | 2022-07-01 | 財團法人國家衛生研究院 | 智慧型熱像系統 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020215961A1 (zh) | 面向室内环境控制的人员信息检测方法与系统 | |
| KR101729327B1 (ko) | 듀얼 카메라를 이용한 체온 추적 모니터링 시스템 | |
| WO2021227124A1 (zh) | 一种基于面部虹膜识别和热成像技术的人脸识别活体检测方法 | |
| CN111898580B (zh) | 针对戴口罩人群的体温和呼吸数据采集系统、方法及设备 | |
| TWI704530B (zh) | 注視度判斷裝置及方法 | |
| CN105868574A (zh) | 一种摄像头跟踪人脸的优化方法及基于视频的智慧健康监视系统 | |
| TWI787113B (zh) | 圖像處理方法、裝置、處理器、電子設備及儲存媒體 | |
| CN111783702A (zh) | 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法 | |
| CN111507592A (zh) | 一种面向服刑人员的主动改造行为的评估方法 | |
| CN112057074A (zh) | 呼吸速率测量方法、装置、电子设备及计算机存储介质 | |
| CN112434545A (zh) | 一种智能场所管理方法及系统 | |
| Abd et al. | Human fall down recognition using coordinates key points skeleton | |
| TWI821114B (zh) | 抗口罩人臉偵測與體溫量測系統、方法及電腦可讀媒介 | |
| KR20140057867A (ko) | 열화상을 이용한 스트레스 지수 측정 시스템 | |
| CN114783040B (zh) | 一种楼宇内偷拍行为检测方法及检测装置 | |
| TW202432050A (zh) | 抗口罩人臉偵測與體溫量測系統、方法及電腦可讀媒介 | |
| WO2022057329A1 (zh) | 安全监控方法、装置、系统和存储介质 | |
| Ghanadian et al. | Non-contact heart rate monitoring using multiple RGB cameras | |
| Inoue et al. | Bed exit action detection based on patient posture with long short-term memory | |
| TWM605852U (zh) | 具體溫、人臉及口罩偵測之系統 | |
| Hossen | Social distance monitoring using a low-cost 3d sensor | |
| TWM617896U (zh) | 智能防疫門控 | |
| Yu et al. | Recognition of the standardization of wearing masks during the epidemic of COVID-19 | |
| Karsh et al. | Deep learning-based Human tracking, Face mask and Social distance monitoring, systems using YOLOv5 | |
| WO2024079777A1 (ja) | 情報処理システム、情報処理装置、情報処理方法及び記録媒体 |