TWI618002B - System and method for counting human flow according to images - Google Patents

Abstract

本發明有關於一種人流計數之系統及方法，尤為一種同時考慮擷取範圍內的深度資訊及彩色影像的差距以自適應調整的人流計數之系統及方法，主要為透過距離一人行基準面一高度之一三原色深度感測器以俯角在一擷取範圍內同時擷取獲取二維以及三維影像，並根據一物件於二維以及三維影像中面積重疊之比例值調整一選取閾值來降低陽光對感測器的影響，進而進行高準確度的人流計數。

Description

依據影像進行人流計數之系統及方法

本發明有關於一種人流計數之系統及方法，尤為一種同時考慮擷取範圍內的深度資訊及彩色影像的差距以自適應調整的人流計數之系統及方法。

目前先前技術中常見之影像式人流計數技術大致可分為二維影像式、雙二維鏡頭深度感測式與紅外線深度影像感測式等三類。其中，二維影像式技術主要係透過對彩色影像進行前後景分離以偵測出前景物件，再對前景物件進行人形或頭形判斷比對，以進行人流偵測，然而，此種技術之實施在前後景分離步驟時相當容易受限於光影變化之影響而導致準確率下降。其中，雙二維鏡頭深度感測式技術則係透過兩組二維鏡頭對目標區域拍攝影像之間的相位差，來計算區域內各像素點的高度資訊以產生立體影像，然而，此種技術之實施將因為目標區域內物件彼此相互遮蔽或是細微光影的變化等因素影響，導致其產生之立體影像破碎或對部份位置無法推算高度資訊，進而影響人流計數之精確度。另外，紅外線深度影像感測技術則是透過紅外線發射器以及接收器來實施，其係計算紅外線反射的資訊來推估區域內各位置的深度值，較不易受到影子變化所影響，然而，其具有一相當 大的弱點，因紅外線容易受到陽光干擾，此時紅外線深度影像感測技術將難以取得區域內深度值，故此種技術若應用於戶外或半戶外區域時，其準確率將大幅下降，使得其可用性與適用場域受到限制。

如上所述，先前的影像人流計數仍具有需多缺失待改良。

為了改善先前技術中二維影像式、雙二維鏡頭深度感測式與紅外線深度影像感測式各自的缺點，本發明提出一種依據影像進行人流計數之方法，其至少包含下列步驟：

透過一三原色深度(RGB-D)感測器在一擷取範圍內擷取一深度資訊以及一彩色影像，該三原色深度感測器係設置於距離一人行基準面一高度之位置並以一俯角朝向該人行基準面進行感測。其中，依據該高度之值以及各像素點位置深度值對該深度影像實施灰階轉換後可以得到該擷取範圍內的一三維(3 Dimensional)影像，而對該彩色影像實施針對人類視覺可感知部份強化的伽瑪校正(Gamma Correction)後可得該擷取範圍內的一二維(2 Dimensional)影像。

再來，透過自適應高斯混合模型對該三維影像以及該二維影像建模以實施前景分離，將該三維影像以及該二維影像中包含的該人行基準面作為前景分離出來。其中，實施前景分離後，更可進一步過濾雜訊和前景中的小物件，再對該人行基準面進行連通區域合併，以確立該擷取範圍內的可行走路徑。

再，透過邊緣偵測於該三維影像及該二維影像中 各自標記出位於該人行基準面上的至少一物件之面積，並計算同一物件於該三維影像以及該二維影像中面積重疊之比例值，以是否超出一選取閾值以決定該選取該三維影像中的該物件或該二維影像中的該物件做為追蹤目標，其係因為若該擷取範圍內受太陽光照射影響較強烈，深度感測取得的深度值可能較為零散或是幾乎無法取得，在這種狀況下，三維的物件偵測很可能發生偵測缺漏或完全無法進行偵測，故可選擇二維影像作為備案。其中，該選取閾值可為一定值或一動態值，例如，該選取閾值範圍可介於零至一間，零表示完全選用三維影像中的物件，一表示完全選用二維影像中的物件，而初始的選取閾值可設定為零至一間的任意值，而該選取閾值可以係永久固定地或是可調的，亦或是可依據一天當中的時間區段不同以設定該選取閾值，例如，上午九時至下午三時陽光影響可能較為嚴重，此時該選取閾值則可設定為較大值，以使系統偏向選擇二維影像中的物件進行追蹤)。

其中，若該物件於該三維影像及該二維影像兩者中面積相互重疊之比例值超出一臨界範圍，其可能代表三維與二維影像的差異過大，或是，若該物件在該三維影像中的面積小於一臨界值，可能代表紅外線干擾嚴重，此時，則可以調整該選取閾值以排除陽光干擾所產生之影響。其中，若降低該選取閾值將提升該三維影像中的該物件被選取之機率，升高該選取閾值將提升該二維影像中的該物件被選取之機率。

另外，本方法更於該三維影像中進行類橢圓偵測，將通過該擷取範圍內的類橢圓物件標記為一人員。

最後，追蹤類橢圓偵測到的該人員或自該三維影 像及該二維影像中被選取的該物件，當該人員或該物件的行進路徑跨越預先於該擷取範圍內決定的一基準線，則判斷有一人經過該擷取範圍，故據其增加一人數值。其中，當該人員或被選取的該物件跨越該基準線時，則對該人員或該物件實施路徑回溯，將該人員或該物件於其行進路徑中在該三維影像中高度最高之值作為該人員的一人員身高值記錄起來。另外，該人員或該物件的行進路徑跨越該基準線的時間點亦可被記錄起來。

對應於本發明之方法，本發明更提出一種依據影像進行人流計數之系統，其至少包含：該三原色深度(RGB-D)感測器、一物件偵測模組以及一物件追蹤模組。

其中，該三原色深度感測器設置係於距離該人行基準面該高度之位置，透過俯角於該擷取範圍內擷取影像，包含該深度影像以及一彩色影像。

其中，該物件偵測模組與該三原色深度感測器通訊連結，該物件偵測模組根據該深度影像產生該三維影像以及根據該彩色影像產生該二維影像，並分別對該三維影像以及該二維影像實施前景分離，該物件偵測模組於該三維影像及該二維影像中標記出該物件之面積，並計算該物件於該三維影像以及該二維影像中面積重疊之比例值是否超出該選取閾值以決定選取該物件於該三維影像以及該二維影像中的何者，另外，該物件偵測模組更於該三維影像中進行類橢圓偵測以決定標記該人員。

其中，該物件追蹤模組係用以追蹤該人員以及被選取的該物件直至其離開該擷取範圍，該物件追蹤模組可追蹤該人員以及被選取的該物件的行進路徑是否跨越該擷取範 圍內的一基準線，並據其增加該人數值。當該人員或被選取的該物件跨越該基準線時，該物件追蹤模組更可對該人員或該物件實施路徑回溯，紀錄於行進路徑中該人員或該物件在該三維影像中高度最高之值作為一人員身高值。

其中，該三維影像係由該物件偵測模組依據該高度之值以及各像素點位置深度值來對該深度影像實施灰階轉換而得，而該二維影像係由該物件偵測模組對該彩色影像實施伽瑪(Gamma)校正而得。另外，前景分離之實施係由該物件偵測模組透過自適應高斯混合模型對該三維影像以及該二維影像建模以將該人行基準面分離，而實施前景分離後，該物件偵測模組可進行雜訊和小物件過濾，再對該擷取範圍進行連通區域合併，進而透過邊緣偵測找出該物件。

透過本發明的依據影像進行人流計數之系統，可對該擷取範圍內於該人行基準面上經過的人流進行計數，而該系統更可以進行自適應調整以選擇利用二維或三維影像中的物件來計數，據此，本發明能降低陽光對該系統準確率之影響，確實克服了先前技術受到場域限制之缺點。

1‧‧‧三原色深度感測器

S201~S212‧‧‧步驟流程

圖1為本發明系統之三原色深度感測器的一設置情境示意圖。

圖2為本發明依據影像進行人流計數之方法的步驟流程圖。

圖3為本發明依據影像進行人流計數之方法的一情境示意圖。

圖4為本發明依據影像進行人流計數之方法的差異性計算之第一示意圖。

圖5為本發明依據影像進行人流計數之方法的差異性計算之第二示意圖。

以下將以實施例結合圖式對本發明進行進一步說明，首先請參照圖1，其係為本發明系統之三原色深度感測器的一設置情境示意圖，在此圖中，可以見到一三原色深度感測器1設置於一場域的天花板上，該三原色深度感測器1係與天花板呈垂直之俯角向下偵測一擷取範圍中的人流，該三原色深度感測器1可以持續獲取該擷取範圍內的彩色影像以及深度影像。

再請參照圖2，其係本發明依據影像進行人流計數之方法的步驟流程圖，其步驟詳細分述如下：

步驟S201擷取影像：如圖1所示將三原色深度感測器安裝於一場域中的天花板或是騎樓上方，距該場域中的人行基準面一定高度，並使該三原色感測器採俯視角度向下對一擷取範圍拍攝，以擷取該擷取範圍內自上而下的深度資訊與二維彩色影像。

步驟S202影像前處理：物件偵測模組對三原色深度感測器取得之影像進行影像前處理，首先，將取得該擷取範圍內的深度資訊與彩色影像兩者位置對齊校正，再透過三原色深度感測器距離取得該擷取範圍內人行基準面以及各物件的深度，以將擷取影像中的深度資訊轉換為灰階值在0到255之間的灰階影像，得出一三維影像，另外，物件偵測 模組的影像前處理更將二維彩色影像進行伽瑪(Gamma)校正，得出一二維影像。

步驟S203三維物件框選及S204二維物件框選：物件偵測模組接著對三維與二維影像分別進行物件偵測，偵測時，先透過自適應式高斯混合模型分別進行背景建模，以分離出該擷取範圍中的前景，再對前景進行侵蝕與擴散流程以濾除雜訊和前景中佔據面積較小的物件，再來，物件偵測模組更在前景中進行連通區域偵測，並根據物件在擷取範圍中佔據之面積以框選出前景中的物件。另外，因三維影像具有深度值之特性，故於三維影像中可再進行類橢圓形狀偵測以判斷該物件是否為具有頭部的人員，其中，若物件偵測模組能在一物件上偵測到類橢圓的頭部，則可將物件框的面積縮小至頭部的區域，若無法偵測到頭部，則還是維持該物件原先框選之區域面積。

步驟S205物件比對：當物件偵測模組於三維影像以及二維影像中皆框選出前景上的物件後，則可開始進行物件比對，以找出三維影像與二維影像中物件框選之面積有相互重疊部分之物件配對組，以進行步驟S206對各個物件配對組進行差異性計算，計算出一物件於三維影像和二維影像中彼此重疊區域之面積(即交集)佔該物件配對組面積的聯集區域之比例，再進入步驟S207判斷差異性是否大或小於臨界值，若重疊區域所占之比例低於一臨界值(可能代表二維與三維物件的差異過大)或三維物件的框選面積小於該臨界值(可能代表紅外線受干擾嚴重)，此時，進行步驟S208閾值調整，以提升物件的選取閾值，增加二維物件被選取之機率，相反地，若重疊區域所占之比例或三維物件的框選面積高於該臨 界值，則降低選取閾值，提升三維物件被選取之機率。

步驟S209物件選定：當選取閥值確定後，或差異性並無大或小於臨界值，則該物件偵測模組進行物件選定，若一物件於三維與二維影像中的重疊區域佔該物件配對組比例低，則採用二維的該物件，反之則採用三維的該物件。

步驟S210物件追蹤：接著將經該物件偵測模組選定的物件以及於二維及三維影像中無重疊之物件交付給物件追蹤模組進行物件追蹤，物件追蹤模組將追蹤該些物件於該擷取範圍內的行動路徑，並進行步驟S211透過跨線偵測追蹤該些物件是否跨越該擷取範圍內的一基準線，當追蹤中的物件發生跨越該基準線之行為時，則進行步驟S212事件記錄，記錄該物件跨線的時間和位置以進行計數，並可回溯該物件在該擷取範圍內的歷史行動路徑，以尋找出該物件於歷史行動路徑中的最大高度值，以記錄為該物件的身高值，其係因為，若物件偵測模組能偵測到一物件具備類橢圓頭部，則可直接將其判斷為人員，但若於一物件上無法偵測到具備類橢圓頭部，但該物件仍可於該擷取範圍內移動，其可能仍係為一人員，僅係因為戴帽或髮型等因素使其頭部難以被偵測到，而透過本發明，該人員仍可被偵測到並計數為人流。

請參照圖3，其係本發明依據影像進行人流計數之方法的一情境示意圖，其係展示一擷取範圍受本發明的三原色感測器拍攝下擷取的二維彩色影像與三維深度影像。

再請參照圖4，其係本發明依據影像進行人流計數之方法的差異性計算之第一示意圖，其中，圖中左側上方所示為物件偵測模組於一擷取範圍中獲取的三維影像，該三維影像中有三個物件面積被框選(以虛線框選)，而圖中左側下 方所示為物件偵測模組於同一擷取範圍中同時獲取的二維影像，該三維影像中則有四個物件面積被框選(以實線框選)，接著，圖中右側上方所示為物件偵測模組將三維影像與二維影像校正疊合，以判斷二三維物件是否有重疊配對，此時，可以發現三維影像與二維影像中有三個物件框選之面積有相互重疊部分(惟右下物件於三維影像中並未偵測到)，此即為三個物件配對組，而物件偵測模組將根據各個物件於三維影像與二維影像中重疊的面積比例差異來決定是否調整選取閾值。

請參照圖5，其係本發明依據影像進行人流計數之方法的差異性計算之第二示意圖，其中，對應圖4，圖中上側圖所示為物件偵測模組於圖4的擷取範圍中獲取的物件配對組的疊合示意圖，而物件偵測模組將再計算三個物件配對組中的每一物件配對組彼此重疊(交集)的面積在同一物件配對組於其二維與三維影像中被框選的面積聯集之佔比，以判斷針對同一物件應採用其三維影像或二維影像中的何者，並於選定三維或二維物件後，將選定的此些物件交付物件追蹤模組進行追蹤，由圖中可見，僅有左下方物件重疊面積佔比超過選取閾值，故該物件選其於三維影像中之物件，其餘皆選取二維物件。

本發明之依據影像進行人流計數之方法及系統可透過上述實施例中的步驟流程以及示意圖之方式來實現，然而，應當瞭解，上述之實施例僅在說明本發明之技術手段而已，並非用以限制本發明之技術範疇。

綜上所述，本發明於技術思想上實屬創新，也具備先前技術不及的多種功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出專利申請，懇請 貴局核准 本件發明專利申請案以勵發明，至感德便。

Claims (12)

1. 一種依據影像進行人流計數之方法，至少包含下列步驟：透過距離一人行基準面一高度之一三原色深度(RGB-D)感測器以俯角在一擷取範圍內同時擷取一深度資訊以及一彩色影像，再根據該深度資訊產生一三維影像以及根據該彩色影像產生一二維影像；分別對該三維影像以及該二維影像實施前景分離；於該三維影像及該二維影像中標記出一物件之面積；計算該物件於該三維影像以及該二維影像中面積重疊之比例值是否超出一選取閾值以選取該物件於該三維影像或該二維影像中的一者；於該三維影像中進行類橢圓偵測以標記一人員；追蹤該人員或被選取的該物件的行進路徑是否跨越該擷取範圍內的一基準線以增加一人數值，其中，若該物件於該三維影像及該二維影像中面積重疊之比例值超出一臨界範圍或該物件在該三維影像中的面積小於一臨界值，則調整該選取閾值以排除陽光干擾因素，其中，降低該選取閾值將提升選取該三維影像中的該物件之機率，升高該選取閾值將提升選取該二維影像中的該物件之機率。
2. 如申請專利範圍第1項所述之方法，其中，該選取閾值係為可依據時間區段決定的一定值或一動態值。
3. 如申請專利範圍第1或2項中任一項所述之方法，其中，該三維影像係依據該高度之值以及各像素點位置深度值來對該深度影像實施灰階轉換而得，該二維影像係對該彩色影像實施伽瑪校正(Gamma Correction)而得。
4. 如申請專利範圍第1或2項中任一項所述之方法，其中， 前景分離之實施係透過自適應高斯混合模型對該三維影像以及該二維影像建模以判斷該人行基準面。
5. 如申請專利範圍第4項所述之方法，其中，實施前景分離後將進行雜訊和小物件過濾並進行連通區域合併，進而透過邊緣偵測找出該物件。
6. 如申請專利範圍第1或2項中任一項所述之方法，其中，當該人員或被選取的該物件跨越該基準線時，對該人員或該物件實施路徑回溯，紀錄於行進路徑中該人員或該物件在該三維影像中高度最高之值作為一人員身高值。
7. 一種依據影像進行人流計數之系統，其至少包含：一三原色深度(RGB-D)感測器，設置於距離一人行基準面一高度之位置，以俯角在一擷取範圍內同時擷取一深度影像以及一彩色影像；一物件偵測模組，根據該深度資訊產生一三維影像以及根據該彩色影像產生一二維影像，並分別對該三維影像以及該二維影像實施前景分離，該物件偵測模組於該三維影像及該二維影像中標記出一物件之面積，並計算該物件於該三維影像以及該二維影像中面積重疊之比例值是否超出一選取閾值以選取該物件於該三維影像或該二維影像中的一者，另外，該物件偵測模組於該三維影像中進行類橢圓偵測以標記一人員；以及一物件追蹤模組，追蹤該人員以及被選取的該物件的行進路徑是否跨越該擷取範圍內的一基準線以增加一人數值，其中，若該物件於該三維影像及該二維影像中面積重疊之比例值超出一臨界範圍或該物件在該三維影像中的面積 小於一臨界值，則該物件偵測模組調整該選取閾值以排除陽光干擾因素，其中，降低該選取閾值將提升選取該三維影像中的該物件之機率，升高該選取閾值將提升選取該二維影像中的該物件之機率。
8. 如申請專利範圍第7項所述之系統，其中，該選取閾值係為可依據時間區段決定的一定值或一動態值。
9. 如申請專利範圍第7或8項中任一項所述之系統，其中，該三維影像係依據該高度之值以及各像素點位置深度值來對該深度影像實施灰階轉換而得，該二維影像係對該彩色影像實施伽瑪(Gamma)校正而得。
10. 如申請專利範圍第7或8項中任一項所述之系統，其中，前景分離之實施係該物件偵測模組透過自適應高斯混合模型對該三維影像以及該二維影像建模以判斷該人行基準面。
11. 如申請專利範圍第10項所述之系統，其中，該物件偵測模組實施前景分離後將進行雜訊和小物件過濾並進行連通區域合併，進而透過邊緣偵測找出該物件。
12. 如申請專利範圍第7或8項中任一項所述之系統，其中，當該人員或被選取的該物件跨越該基準線時，該物件追蹤模組對該人員或該物件實施路徑回溯，紀錄於行進路徑中該人員或該物件在該三維影像中高度最高之值作為一人員身高值。