TWI789180B

TWI789180B - 升降梯人流偵測方法及分析方法

Info

Publication number: TWI789180B
Application number: TW110148813A
Authority: TW
Inventors: 張竣貿; 楊傑凱; 張晉華; 周祐鈞
Original assignee: 翱翔智慧股份有限公司
Priority date: 2021-12-24
Filing date: 2021-12-24
Publication date: 2023-01-01
Also published as: TW202326627A

Abstract

本案提出一種升降梯人流偵測方法及分析方法。所述偵測方法包含：接收影像，該影像包含一門狀態特徵。判斷影像是否包含人像。當判斷影像包含該人像，執行特徵擷取儲存程序；當判斷該影像未包含人像且門狀態為關閉而達預設時間，則關閉日誌資料。包含：根據人像辨識模型擷取人像，以產生人像特徵向量及人像座標向量；根據門狀態辨識模型擷取門狀態特徵，並根據門狀態特徵及門檻值判斷門狀態；將人像特徵向量、人像座標向量及門狀態儲存至日誌資料之儲存欄位。

Description

升降梯人流偵測方法及分析方法

本發明係關於一種人流偵測方法及分析方法，特別是適用於升降梯之人流偵測方法及分析方法。

人流偵測技術用於辨識人潮流向，經常應用於公共場所的人潮統計或人流管制。

如何正確地辨認人流，是系統開發者所關注的問題。

申請人理解到，當應用升降梯的影像辨識實現人流偵測技術時，經常遇到乘客擁擠、遮擋或移動等問題，導致人流偵測困難。

有鑑於此，申請人提出多種升降梯人流偵測方法及一種升降梯人流分析方法。其一所述升降梯人流偵測方法包含以下步驟：接收一幀影像，該幀影像包含一門狀態特徵；判斷該幀影像是否更包含一人像；當判斷該幀影像包含該人像，執行一特徵擷取儲存程序，包含：根據一人像辨識模型擷取該人像，以產生一人像特徵向量及一人像座標向量；根據一門狀態辨識模型擷取該門狀態特徵，並根據該門狀態特徵及一門檻值判斷一門狀態；以及將該人像特徵向量、該人像座標向量及該門狀態儲存至一日誌資料之儲存欄位；以及當判斷該幀影像未包含該人像且該門狀態為關閉而達一預設時間，則關閉該日誌資料；否則重回該特徵擷取儲存程序。

另一所述升降梯人流偵測方法包含以下步驟：接收一幀影像；判斷該幀影像是否包含一人像；當判斷該幀影像包含該人像，執行一特徵擷取儲存程序，包含：根據一人像辨識模型擷取該人像，以產生一人像特徵向量及一人像座標向量；接收一門狀態訊號，以獲得一門狀態；以及將該人像特徵向量、該人像座標向量及該門狀態儲存至一日誌資料之儲存欄位；以及當判斷該幀影像未包含該人像且該門狀態為關閉而達一預設時間，則關閉該日誌資料；否則重回該特徵擷取儲存程序。

所述升降梯人流分析方法包含以下步驟：讀取一日誌資料，該日誌資料包含多組時序相鄰之儲存欄位，各該儲存欄位包含一門狀態、至少一人像之人像特徵向量及人像座標向量；分別讀取該日誌資料之兩組時序相鄰之儲存欄位，以獲取兩筆人像特徵向量，根據該兩筆人像特徵向量建立一圖像相似度；分別讀取該兩組儲存欄位，以獲取兩筆人像座標向量，根據該兩筆人像座標向量建立一位置相似度；根據該圖像相似度及位置相似度計算一人像相似度；以及根據該人像相似度串接該人像。

圖1及圖2係依據一些實施例之升降梯系統之方塊圖，請先參照圖1。於一實施例，升降梯系統包含控制器10、攝像器20以及伺服器30。控制器10分別耦接於攝像器20及伺服器30。所述控制器10包含儲存單元101、運算單元102以及通訊介面103。運算單元102分別耦接於儲存單元101及通訊介面103。所述耦接係指資料耦接，不限於直接或間接連接，亦不限於電性連接、透過資料傳輸裝置連接或無線連接，僅要允許元件之間的單向或雙向資料傳輸即可。

所述控制器10用以接收攝像器20所拍攝之影像D1，並進行影像處理。控制器10處理影像D1後產生日誌資料，並允許輸出日誌資料或將日誌資料儲存於儲存單元101。控制器10可實現於集成之單晶片或電路板模組。於一實施例，請參照圖2，升降梯系統包含控制器10、攝像器20、伺服器30以及門狀態偵測器40。控制器10分別耦接於攝像器20及門狀態偵測器40。所述控制器10用以接收攝像器20所拍攝之影像D1以及門狀態偵測器40所產生之門狀態訊號s1。

所述儲存單元101可以為外接儲存裝置，例如硬碟、隨身碟、記憶卡、光碟、磁盤，亦可以為內置記憶體，例如揮發性記憶體或非揮發性記憶體。舉例而言，控制器10將數據暫存於揮發性記憶體，並於待機前將數據透過傳送至伺服器30；或者，控制器10將數據儲存於非揮發性記憶體，並允許操作人員透過通訊介面103讀取儲存於非揮發性記憶體之數據。於一實施例，儲存單元101儲存影像辨識演算法之參數，以供運算單元102讀取。舉例而言，儲存單元101儲存影像辨識神經網路之權重值及偏差值，或儲存回歸模型之參數。

所述運算單元102可以包括通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、微控制器10單元(Micro-Control Unit，MCU)、專用集成電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field Programmable Gate Array，FPGA)或其它可程式設計邏輯裝置、離散門或電晶體邏輯、離散硬體元件、電氣元件、光學元件、機械元件等元件之組合。於一實施例，運算單元102用於執行影像辨識演算法，並將辨識後產生之數據，例如邏輯值、特徵值、座標或辨識物名稱等資訊儲存於儲存單元101。於一實施例，運算單元102用於執行人流偵測方法。於一實施例，運算單元102執行人流偵測方法而產生日誌資料，並進一步執行人流分析方法，容後詳述。

所述通訊介面103可以指無線或有線傳輸介面。以無線傳輸而言，可以但不限於透過全球行動通信(Global System for Mobile communication，GSM)、個人手持式電話系統(Personal Handy-phone System，PHS)、碼多重擷取(Code Division Multiple Access，CDMA)系統、寬頻碼分多址(Wideband Code Division Multiple Access，WCDMA)系統、長期演進(Long Term Evolution，LTE)系統、全球互通微波存取(Worldwide interoperability for Microwave Access，WiMAX)系統、無線保真(Wireless Fidelity，Wi-Fi)系統或藍牙(Bluetooth)等無線傳輸介面進行資料傳輸。以有線傳輸而言，可以但不限於透過導線、匯流排、雙絞線、同軸電纜、排針或外接裝置進行資料傳輸。通訊介面103與所述外接裝置可以但不限於透過USB-A、USB-B、USB-C、Micro USB、Mini USB、USB2.0、USB3.0、Lightning、HDMI-A、HDMI-B、HDMI-C、HDMI-D、DisplayPort(DP)、EIA-RS-232(Recommended Standard232，RS232)、數位視訊介面(Digital Visual Interface，DVI)、視訊圖形陣列 (Video Graphics Array，VGA)、音樂數位介面(Musical Instrument Digital Interface，MIDI)、乙太網路接口、音源孔或讀卡槽等通訊協定相連接，伺服器30亦可採用與通訊介面103相同之通訊協定而與外接裝置連接。

所述攝像器20用以拍攝影像D1。攝像器20可錄製影片，所述影片包含連續時間之多幀影像D1。於一實施例，攝像器20受伺服器30遠端控制而開始或暫停影片錄製。於一實施例，攝像器20於偵測到特定物件後，例如偵測到人像，主動或被驅動而開始影片錄製。於一實施例，攝像器20設置於升降梯之天花板，以利於拍攝升降梯內之全景。所述攝像器20之設置方向可以朝向電梯門口，以利於拍攝乘客進入或離開升降梯之軌跡。

所述伺服器30用以管理一至多台升降梯。於一實施例，伺服器30接收控制器10產生之日誌資料並進行人流分析方法。或者，伺服器30接收控制器10執行人流分析方法後之結果而進一步處理，例如統計分析。

圖3係依據一些實施例之升降梯滿載偵測方法之流程圖，請參照圖3。於一實施例，升降梯系統可透過攝像器20擷取影像D1，或接收外部輸入之影像D1(步驟S301)。所述影像D1至少包含地板901影像以及升降梯閘門903影像。舉例而言，請一併參照圖4A~圖4C，圖4A~圖4C係一些實施例中，透過設置於升降梯天花板一角之攝像器20所拍攝之升降梯影像，所述影像D1可以觀察到升降梯之地板901以及閘門903。因此，升降梯系統可基於地板901以及閘門903之影像進一步做分析。於一實施例，所述影像D1可以觀察到升降梯之操控板902，所述操控板902可以包含樓層按鈕或樓層狀態顯示幕。

升降梯系統處理影像D1(步驟S302)，以產生所需資訊。於一實施例，透過乘客於操控板902的按壓位置、操控板902按鈕的明滅、樓層狀態顯示幕顯示之樓層等特徵，擷取影像D1中各乘客所在樓層以及所欲前往樓層的資訊。然而，在一些實施例中，所述樓層之資訊不限於透過影像擷取方式獲得，亦可透過三軸加速器進行量測(上升或下降時加速度大於或小於0，靜止時加速度等於0)，或透過電梯的樓層控制電路進行記錄。

於一實施例，透過地板901的顏色、花樣、定位點或邊角等特徵，擷取影像D1中的地板901影像。地板901影像之特徵亦可透過影像辨識模型進行特徵擷取而產生，舉例而言，將至少25幀閘門903關閉之升降梯影像進行地板901座標位置之標籤(Labeling)作業，再輸入影像辨識模型，例如卷積神經網路(Convolutional Neural Networks，CNN)，以擷取影像D1中之地板901特徵。升降梯系統可計算地板901的剩餘面積比例。例如，當乘客擁擠時，所拍攝到的影像D1中，具有特定顏色之地板901影像的比例降低；或者，影像D1上具有多個定位點，一定比例之定位點被佔據或遮擋。於一實施例，地板901之影像被區分為低權重區域9011以及高權重區域9012,9012’，且根據不同區域設定有不同之重點區域權重。於一實施例，將鄰近升降梯之閘門903口之區域設定為高權重區域9012，其餘部分設定為低權重區域9011，當高權重區域9012,9012’被占據表示升降梯內趨近於擁擠狀態。舉例而言，請參照圖4A，升降梯之地板901自閘門903口起算一定距離內被區分為高權重區域9012，或者，自底部(正對於閘門903口之牆面)起算一定距離內被區分為高權重區域9012’。一般而言，乘客在進入升降梯後趨向於分散地站在中間部分之地板901，僅在升降梯擁擠之情況，乘客被迫站在閘門903口附近或升降梯底部。所述距離可以定義為平均最大人體寬度(約58 cm)或平均最大人體厚度(約35 cm)。

於一實施例，透過閘門903的顏色、花樣、定位點或邊角等特徵，擷取影像D1中的閘門903影像。閘門903影像之特徵亦可透過影像辨識模型進行特徵擷取而產生，舉例而言，將至少25幀閘門903關閉之升降梯影像進行閘門903座標位置之標籤(Labeling)作業，再輸入影像辨識模型以擷取影像D1中之閘門903特徵。或者，將多幀閘門903關閉之升降梯影像、多幀閘門903開啟之升降梯影像、多幀閘門903半開之升降梯影像作為訓練資料。升降梯系統可根據閘門903影像，判斷門狀態是否已關閉(步驟S303)。舉例而言，以閘門903全開之影像D1訓練影像辨識模型並設定所輸出之特徵分數為1；以閘門903關閉之影像D1訓練影像辨識模型並設定所輸出之特徵分數為0。並且，於一實施例，升降梯系統設定特徵分數之門檻為0.8及0.1可以獲得良好的門狀態區分結果，然不限於此。基此，當特徵分數大於等於門檻值0.8，判斷門狀態為開啟(步驟S303，判斷結果為「否」)，該門狀態對應於圖4A；當特徵分數小於門檻值0.8且大於門檻值0.1，判斷門狀態為半開(步驟S303，判斷結果為「否」)，該門狀態對應於圖4B；當特徵分數小於門檻值0.1，判斷門狀態為關閉(步驟S303，判斷結果為「是」)，該門狀態對應於圖4C。在一些實施例中，所述門狀態資訊不限於透過影像擷取方式獲得，亦可透過升降梯的門狀態偵測器40(可以指控制電梯開關之控制電路本身，或額外配置於升降梯閘門903的狀態感測器，例如紅外線阻斷感測器)而獲得。於一實施例，當影像D1中出現特殊環境條件則判定為例外狀況。例如當環境光過亮或過暗，或當攝像器20被遮蔽，導致無法進行影像辨識。

於一實施例，當升降梯系統判斷門狀態並非關閉(步驟S303，判斷結果為「否」)，則繼續擷取或接收影像D1(步驟S301)；當升降梯系統判斷門狀態為關閉(步驟S303，判斷結果為「是」)，則進一步判斷車廂剩餘面積是否足夠(步驟S304)。升降梯系統可利用地板901剩餘面積之比例計算一特徵分數，例如根據地板901影像上之定位點被佔據或遮擋之比例估算地板901剩餘面積比例。並且，根據特徵分數與車廂本身之容積參數(車廂地板901面積與可容納之人數之關聯性參數，根據車廂內載客人數上限以及車廂內無法站人部分之地板901面積定義)進行評估。當判定剩餘面積不足之可能性未達一門檻值，則判斷車廂剩餘面積足夠再容納至少一人(步驟S304，判斷結果為「是」)，並繼續擷取或接收影像D1(步驟S301)；當判定剩餘面積不足之可能性達到一門檻值，則判斷車廂剩餘面積不足(步驟S304，判斷結果為「否」)，並觸發滿載模式(步驟S305)。於一實施例，所述特徵分數再根據重點區域權重進行權重調整，以獲得一區域加權分數，再根據區域加權分數與車廂本身之容積參數進行評估，判斷車廂剩餘面積是否足夠(步驟S304)。舉例而言，低權重區域9011之地板901所獲之特徵分數為0.9，高權重區域9012之地板901所獲之特徵分數為0.06，門檻值為1，低權重區域9011與高權重區域9012的重點區域權重比為1:2，則區域加權分數為1.02，判斷車廂剩餘面積不足。

於一實施例，當升降梯系統觸發滿載模式(步驟S305)，則控制升降梯直達鄰近之目標樓層。舉例而言，當最後一位乘客於4樓進入準備上升之升降梯，此時車廂內操控板902顯示之樓層(即目標樓層)為6樓、8樓及12樓，當升降梯系統判斷車廂剩餘面積已不足，則控制升降梯直達6樓。換言之，即便5樓候車區有人在等待，升降梯亦不停靠5樓。

圖5係依據一些實施例之升降梯人流偵測方法之流程圖，請參照圖5。升降梯系統擷取或接收影像D1後(步驟S501)，處理影像D1(步驟S502)，以產生所需資訊，例如人像、門狀態或樓層資訊。於一實施例，透過行為或外觀特徵進行人像辨識。或者，透過影像辨識模型進行人像辨識，例如採用YOLO模型。升降梯系統判斷影像D1內是否存在人像(步驟S503)，當判斷影像D1內不存在人像(步驟S503，判斷結果為「否」)，則將判斷結果或空值(Null)儲存於日誌資料(步驟S506)；或者，省略步驟S506而執行步驟S507。當判斷影像D1內存在人像(步驟S503，判斷結果為「是」)，則擷取影像D1中的人像特徵及人像座標(步驟S504)。於一實施例，採用深度餘弦度量學習人像辨識演算法(Deep Cosine Metric Learning for Person Re-identification)進行人像特徵擷取。於一實施例，擷取人像的面部五官、髮型髮色、服裝配件、身高體型等特徵，以利於區分升降梯內的不同乘客。舉例而言，請參照圖8A及圖8B，乘客A具有條紋上衣、未戴帽子等特徵，乘客B具有素色上衣、戴帽子等特徵，該些特徵足以區分乘客A及乘客B之人像。於一實施例，擷取人像於升降梯內的位置座標，以利於確認各乘客的移動方向，以及利於判斷人像是否對應於同一乘客，容後詳述。升降梯系統透過影像辨識或門狀態偵測器40獲取門狀態資訊(步驟S505)，其後，將人像座標及人像特徵儲存於日誌資料(步驟S506)。於一實施例，進一步將門狀態資訊或樓層資訊一併儲存於日誌資料。

圖6係依據一些實施例之日誌資料之示意圖，請參照圖6。日誌資料包含時序欄位C1、人像座標向量欄位C2以及人像特徵向量欄位C3。於圖6之實施例，每一列數據呈現自同一幀影像D1獲取之數據，換言之，本實施例包含自六幀影像D1獲取之數據。時序欄位C1用以標記各個影像D1所被記錄之順序，記錄方式可以採用實際時間或流水號，例如數值177至182。基於流水號，各幀影像D1的資料於日誌資料內並非必須依照順序排列，例如日誌資料由上至下依序記錄流水號181、178、177、182、179及180之數據。相對地，日誌資料由上至下亦可以依時序記錄，則時序欄位C1並非必要。於一實施例，當影像D1內不存在人像，則時序欄位C1記錄流水號而人像座標向量欄位C2以及人像特徵向量欄位C3則為空值。人像座標向量欄位C2用於儲存一或多個人像在升降梯內之座標，所述座標之記錄方式可以採用人像中心點二維座標或人像框選座標。舉例而言，圖6日誌資料的人像座標向量欄位C2之第一列包含數值[[233,338,438,497],[216,53,138,282]]，集中[233,338,438,497]及[216,53,138,282]則分別代表兩個人像之座標資訊，各向量內之四個數值代表框選出該人像之矩形端點座標。基此，自日誌資料的第三列至第四列可以觀察到人像數目由兩人減少為一人。人像特徵向量欄位C3用於儲存一或多個人像的外觀特徵向量。於一實施例，各人像之特徵向量為128維度。所述日誌資料不限於單一檔案，亦可以指分散儲存之多個檔案，各個檔案可分別包含儲存有門狀態、人像特徵向量及人像座標向量之儲存欄位。所述日誌資料亦不限於儲存於硬碟之檔案，亦可以指儲存於暫存記憶體之待處理資料。

復參照圖5，升降梯系統逐幀存取數據至日誌資料之欄位後(步驟S506)，判斷升降梯是否處於空車狀態(步驟S507)。所述空車狀態可定義為該幀影像D1未包含人像且門狀態為保持關閉而達到預設時間。於一實施例，預設時間設定為10秒。當判斷升降梯並非處於空車狀態(步驟S507，判斷結果為「否」)，則繼續擷取或接收影像D1(步驟S501)；當判斷升降梯處於空車狀態(步驟S507，判斷結果為「是」)，則關閉日誌資料(步驟S508)。自此，完成一筆日誌資料的儲存程序。於一實施例，當升降梯系統判斷閘門903開啟或攝像器20拍攝到移動物體(或人像)，重新執行升降梯人流偵測方法以產生下一筆日誌資料。

圖7係依據一些實施例之升降梯人流分析方法之流程圖，請參照圖7。升降梯系統讀取日誌資料(步驟S701)，並依序讀取日誌資料內的人像特徵資料及人像座標資料(步驟S702)。於一實施例，讀取日誌資料所儲存之門狀態資料或樓層資料。其後，基於各幀影像D1的人像特徵資料及人像座標資料建立人像間的相似度(指位於不同幀的人像之間的相似度)(步驟S703)。

圖8A~圖8E係依據另一些實施例之升降梯影像之示意圖；圖9A係圖8A~圖8E之真實人流變化之示意圖；圖9B係圖8A~圖8E之人像特徵變化之示意圖，請先參照圖8A、圖9A及圖9B。於圖8A，攝像器20拍攝到乘客A及乘客B進入升降梯，並拍攝到升降梯外之路人X。其中，乘客A及乘客B以正面進入升降梯，因此升降梯系統得以辨識其面部特徵；乘客A未戴帽子且穿著條紋上衣，乘客B戴有帽子且穿著素色上衣，路人X未戴帽子且穿著素色上衣，該些服飾特徵可以被升降梯系統所辨識。此外，乘客A及乘客B在進入升降梯後之座標變化亦可以被升降梯系統所記錄。參照圖9A，攝像器20所實際拍攝到的人為乘客A、乘客B及路人X；參照圖9B，影像辨識系統根據乘客A、乘客B及路人X的外觀，將其區分為人像特徵F _A、人像特徵F _B及人像特徵F _X。

請再參照圖8B、圖9A及圖9B。於圖8B，攝像器20拍攝到乘客A及乘客B站立在升降梯內。其中，乘客A及乘客B背對升降梯之攝像器20，因此升降梯系統無法辨識其面部特徵；然而，乘客A及乘客B之服飾特徵仍可以被升降梯系統所辨識。參照圖9A，攝像器20所實際拍攝到的人為乘客A及乘客B；參照圖9B，影像辨識系統根據乘客A及乘客B的外觀，將其區分為人像特徵F _D及人像特徵F _E。考量乘客A及乘客B於圖8A及圖8B所面對之方向不同，因此，影像辨識系統根據人像的面部或服裝特徵所辨識出的人像特徵F _A及人像特徵F _B，與人像特徵F _D及人像特徵F _E雖然近似但不完全相同。

請再參照圖8C、圖9A及圖9B。於圖8C，攝像器20拍攝到乘客A站立在升降梯內，乘客B離開升降梯及乘客C進入升降梯。其中，乘客A及乘客B背對升降梯之攝像器20，乘客C以正面進入升降梯，因此升降梯系統無法辨識乘客A及乘客B之面部特徵，然可以辨識乘客C之面部特徵；此外，乘客A、乘客B及乘客C之服飾特徵皆可以被升降梯系統所辨識。參照圖9A，攝像器20所實際拍攝到的人為乘客A、乘客B及乘客C；參照圖9B，影像辨識系統根據乘客A、乘客B及乘客C的外觀，將其區分為人像特徵F _D、人像特徵F _E及人像特徵F _C。考量乘客A及乘客B於圖8B及圖8C所面對之方向相同，因此，理想上影像辨識系統根據圖8B及圖8C的人像的面部或服裝特徵所辨識出的人像特徵F _D及人像特徵F _E相同(事實上則可能為近似但存在差異，於此為利於說明假定為相同)。

請再參照圖8D、圖9A及圖9B。於圖8D，攝像器20拍攝到乘客A及乘客C站立在升降梯內。其中，乘客A背對升降梯之攝像器20，因此升降梯系統無法辨識其面部特徵，乘客C面對升降梯之攝像器20，因此升降梯系統得以辨識其面部特徵；然而，乘客A及乘客C之服飾特徵仍可以被升降梯系統所辨識。參照圖9A，攝像器20所實際拍攝到的人為乘客A及乘客C；參照圖9B，影像辨識系統根據乘客A及乘客C的外觀，將其區分為人像特徵F _D及人像特徵F _C。

最後，請參照圖8E、圖9A及圖9B。於圖8B，攝像器20拍攝到乘客A及乘客C離開升降梯。其中，乘客A及乘客C背對升降梯之攝像器20，因此升降梯系統無法辨識其面部特徵；然而，乘客A及乘客C之服飾特徵仍可以被升降梯系統所辨識。參照圖9A，攝像器20所實際拍攝到的人為乘客A及乘客C；參照圖9B，影像辨識系統根據乘客A及乘客C的外觀，將其區分為人像特徵F _D及人像特徵F _F。考量乘客C於圖8D及圖8E所面對之方向不同，因此，影像辨識系統根據人像的面部或服裝特徵所辨識出的人像特徵F _C，與人像特徵F _F雖然近似但不完全相同。

承上所述，本案申請人理解到幾個現象：(1) 在一般使用情境，升降梯的攝像器20以單一固定角度拍攝升降梯內的景象，導致乘客的運動影響人像特徵的辨識結果。特別是當乘客面對攝像器20而進入升降梯與背對攝像器20而離開升降梯之情境。(2) 在升降梯閘門903開啟的狀態下，升降梯外的活動可能影響到影像辨識結果，例如圖8A之路人X。(3) 在升降梯閘門903開啟的狀態下，人像特徵的變動可能源自乘客的運動或乘客不同。舉例而言，於圖8D至圖8E，乘客C因轉身而導致人像特徵F _C轉變為人像特徵F _F。而於圖8C，乘客B離開升降梯而乘客C進入升降梯，使人像特徵於此其間發生變化。相對地，在升降梯閘門903關閉的狀態下，人像特徵的變動只可能源自乘客的運動。(4) 不同的人像特徵仍可能存在一定的相似度，例如圖8A至圖8B，乘客B因轉身而影響其面部特徵辨識，然其帽子特徵仍能被辨識。

因此，於步驟S703，升降梯系統建立各幀影像D1的人像之間的相似度。舉例而言，請參照圖9B，將圖8A的人像特徵F _A分別與圖8B的人像特徵F _D及人像特徵F _E計算相似度；將圖8A的人像特徵F _B分別與圖8B的人像特徵F _D及人像特徵F _E計算相似度；將圖8A的人像特徵F _X分別與圖8B的人像特徵F _D及人像特徵F _E計算相似度。依此類推，計算各幀影像D1的各個人像之間的相似度。所述人像之間的相似度可以基於圖像相似度以及位置相似度計算而獲得。就圖像相似度而言，針對影像D1進行特徵擷取獲得之特徵向量計算相似度，例如日誌檔案之人像特徵向量欄位C3所記錄之數據。就位置相似度而言，可以利用狀態預測演算法，例如卡爾曼濾波(Kalman filter)，統計人像合理的移動模式及範圍。舉例而言，為了處理乘客在升降梯內轉身而導致人像特徵變化的問題(圖像相似度降低)，演算法先根據人像座標(日誌檔案之人像座標向量欄位C2所記錄之數據)判斷可能的軌跡方向，例如進入或離開升降梯；再根據每個軌跡的向量群中得出一個代表向量(向量群的平均值)；再算出平均配對最小(即每個軌跡對的代表向量距離加總最小)的配對方式。也就是說，由於人像的移動是連續的變化(與影像D1取樣率相關，於一實施例，設置取樣率為2 Hz)，因此根據位置相似度，人像從升降梯之一角瞬間移動到對角的可能性低。或者根據人像的移動模式，瞬間變化為另一種移動模式的可能性低，例如圖8A之路人X瞬間由路過閘門903外變動為走進升降梯。

升降梯系統根據門狀態資料判斷各幀影像D1拍攝當下的門狀態。當升降梯系統判斷門狀態為開啟(步驟S704，判斷結果為「否」)，則依據相似度門檻串接人像(步驟S706)。圖10係依據一些實施例之升降梯處於閘門開啟狀態之示意圖，請參照圖10。當升降梯內包含有乘客A(具有人像特徵F _A)、乘客B(具有人像特徵F _B)及乘客C(具有人像特徵F _C)。於狀況一，乘客B及乘客C於升降梯內走動，從而人像特徵F _B及人像特徵F _C消失，並產生人像特徵F _E及人像特徵F _D。於狀況二，乘客C於升降梯內走動，乘客B離開升降梯而乘客D進入升降梯，從而人像特徵F _B及人像特徵F _C消失，並產生人像特徵F _E及人像特徵F _D。基此，升降梯系統設定一相似度門檻值，當相似度高於該相似度門檻值則判定人像為相同，並串接該些人像之軌跡。以狀況一為例，人像特徵F _B及人像特徵F _E的相似度低於相似度門檻值，判定為不同；人像特徵F _B及人像特徵F _D的相似度高於相似度門檻值，判定為相同。此外，基於相似度門檻值，此幀的各個人像分別對應前幀之人像。以狀況二為例，人像特徵F _C及人像特徵F _E的相似度高於相似度門檻值，判定為相同；而人像特徵F _B及人像特徵F _E的相似度低於相似度門檻值，判定為不同；人像特徵F _B及人像特徵F _D的相似度亦低於相似度門檻值，判定為不同。因此，基於相似度門檻值，人像特徵F _B於其他人像之人像特徵皆無法配對。於此情況，判定人像特徵F _B所對應之人像已離開升降梯。於一實施例，當一幀內的特定人像特徵與其之後的一或多幀影像D1內的各人像特徵皆未互相對應(低於相似度門檻值)，則根據貪婪演算法(Greedy algorithm)抓取最近一次開關門之時間點，即判定該人像於其人像特徵最後一次被識別後之開門狀態離開升降梯。反之，當一幀內的特定人像特徵與其之前的一或多幀影像D1內的各人像特徵皆未互相對應(低於相似度門檻值，或高於一差異度門檻值)，則判定為新人像。於一實施例，當升降梯系統判定人像離開升降梯，停止該人像之軌跡串接；反之，當升降梯系統判定新人像進入升降梯，開始該新人像之軌跡串接。

當升降梯系統判斷門狀態為關閉(步驟S704，判斷結果為「是」)，則依據指派問題演算法串接人像(步驟S705)。圖11A係依據一些實施例之升降梯處於閘門關閉狀態之示意圖；圖11B係依據一些實施例之升降梯處於閘門關閉狀態之人像特徵配對示意圖，請先參照圖11A。當升降梯內包含有乘客A(具有人像特徵F _A)、乘客B(具有人像特徵F _B)及乘客C(具有人像特徵F _C)。於狀況三，乘客B及乘客C於升降梯內走動，從而人像特徵F _B及人像特徵F _C消失，並產生人像特徵F _E及人像特徵F _D。狀況三為升降梯處於閘門903關閉狀態下唯一可能發生之狀況，從而無須考量乘客的增減問題，並可藉以優化演化法。於一實施例，指派問題演算法假設指派對象與被指派對象的數目相同，而將指派對象與被指派對象進行配對。

舉例而言，請參照圖11B，圖11B之左右群集分別代表前後幀影像D1內所被識別的人像特徵，其中前後幀影像D1的人像特徵F _A具有100%的相似度；人像特徵F _B與人像特徵F _D之間具有70%的相似度，人像特徵F _B與人像特徵F _E之間亦具有70%的相似度；人像特徵F _C與人像特徵F _D之間具有20%的相似度，人像特徵F _C與人像特徵F _E之間則具有90%的相似度。於此範例，升降梯系統依據匈牙利演算法進行配對，前後幀之人像特徵F _A具有相似度100%而為唯一配對對象；人像特徵F _B與人像特徵F _D及人像特徵F _E相似度相同，然若將人像特徵F _B與人像特徵F _E配對，則人像特徵F _C僅能與人像特徵F _D配對，其間僅具相似度20%；反之，將人像特徵F _B與人像特徵F _D配對，則人像特徵F _C與人像特徵F _E配對，其間具有相似度90%。基此，使整體配對結果最佳化。

於一實施例，當升降梯系統判斷門狀態為開啟(步驟S704，判斷結果為「否」)，亦可依據相似度門檻(或差異度門檻)篩選並串接新出現之人像後(步驟S706)，剩餘人像採用指派問題演算法進行串接。

升降梯系統在完成步驟S705或步驟S706之串接流程後，建立各人像之軌跡(步驟S707)。於一實施例，各人像軌跡的串接結果可被區分為四種狀態，完整進出、沒有進出、進車廂以及出車廂。完整進出之軌跡代表特定人像從進入至離開升降梯之過程已完整地被串接為單一軌跡；沒有進出之軌跡代表特定人像之軌跡從未進入升降梯，例如圖8A之路人X；進車廂或出車廂之軌跡代表特定人像之軌跡中斷，而未串接成完整進出之軌跡。當升降梯系統判斷特定軌跡為出車廂狀態，則讀取該段軌跡內的平均人物特徵，並與所有在該軌跡以前的進車廂軌跡進行配對(例如利用相對近似，或超過一平均相似度門檻)，以將兩者串接為完整進出之軌跡。舉例而言，圖8A之乘客B的人像被串接為一進車廂軌跡，圖8C至圖8D之乘客C的人像被串接為另一進車廂軌跡，圖8E之乘客C的人像被串接為一出車廂軌跡。於此，將圖8E的出車廂軌跡分別與圖8A的進車廂軌跡及圖8C至圖8D的進車廂軌跡進行配對，而判斷圖8C至圖8D的進車廂軌跡與圖8E的出車廂軌跡的人像平均相似度較高，因此將兩者串接。於一實施例，若無法將特定出車廂軌跡與進車廂軌跡配對(例如低於平均相似度門檻)，則根據貪婪演算法抓取最近一次開關門之時間點。舉例而言，若圖8E的乘客C的人像出車廂軌跡無法與圖8C至圖8D的乘客C的人像進車廂軌跡配對，則假定乘客C的人像是於前一次開門時進入升降梯，即圖8C之開門狀態。或者，將該出車廂軌跡與最近一次的未配對進車廂軌跡配對。

於一實施例，建立人像軌跡後(步驟S707)，再根據樓層資料與軌跡進行配對，以獲取各人像進出樓層之資訊。於一實施例，升降梯系統輸出制表符分隔值格式檔案(Tab Separated Values，TSV)，以記錄每個人像軌跡的進出時間與樓層。於一實施例，所述TSV檔案可儲存於儲存單元101或透過網路上傳至雲端，以利於後續統計分析。

於一實施例，升降梯人流分析方法可先將預錄之影像D1進行特徵擷取儲存程序以獲得人像特徵向量及人像座標向量，並讀取門狀態資料後，產生日誌資料。

應了解，本案升降梯系統僅為利於說明升降梯人流偵測方法及升降梯人流分析方法之一種實施態樣，然所述方法並不限執行於本案所例示之升降梯系統。

綜上所述，升降梯人流偵測方法於影像記錄過程中同時記錄門狀態。升降梯人流分析方法根據門狀態優化人流串接之演算法，以提升系統的人流偵測能力。

10:控制器 101:儲存單元 102:運算單元 103:通訊介面 20:攝像器 30:伺服器 40:門狀態偵測器 901:地板 9011:低權重區域 9012、9012’:高權重區域 902:操控板 903:閘門 A、B、C、D:乘客 C1:時序欄位 C2:人像座標向量欄位 C3:人像特徵向量欄位 D1:影像 F _A、F _B、F _C、F _D、F _E、F _F、F _X:人像特徵 s1:門狀態訊號 S301~S305:步驟 S501~S508:步驟 S701~S707:步驟 X:路人

[圖1~圖2]係依據一些實施例之升降梯系統之方塊圖。 [圖3]係依據一些實施例之升降梯滿載偵測方法之流程圖。 [圖4A~圖4C]係依據一些實施例之升降梯影像之示意圖。 [圖5]係依據一些實施例之升降梯人流偵測方法之流程圖。 [圖6]係依據一些實施例之日誌資料之示意圖。 [圖7]係依據一些實施例之升降梯人流分析方法之流程圖。 [圖8A~圖8E]係依據另一些實施例之升降梯影像之示意圖。 [圖9A]係圖8A~圖8E之真實人流變化之示意圖。 [圖9B]係圖8A~圖8E之人像特徵變化之示意圖。 [圖10]係依據一些實施例之升降梯處於閘門開啟狀態之示意圖。 [圖11A]係依據一些實施例之升降梯處於閘門關閉狀態之示意圖。 [圖11B]係依據一些實施例之升降梯處於閘門關閉狀態之人像特徵配對示意圖。

S501~S508:步驟

Claims

一種升降梯人流偵測方法，適用於一升降梯系統，該升降梯系統包含一車廂，該升降梯人流偵測方法包含：該升降梯系統接收一幀影像，該幀影像包含一門狀態特徵以及一地板影像；該升降梯系統判斷該幀影像是否更包含一人像；當該升降梯系統判斷該幀影像包含該人像，該升降梯系統執行一特徵擷取儲存程序，包含：該升降梯系統根據一人像辨識模型擷取該人像，以產生一人像特徵向量及一人像座標向量；該升降梯系統根據一門狀態辨識模型擷取該門狀態特徵，並根據該門狀態特徵及一門檻值判斷一門狀態；以及該升降梯系統將該人像特徵向量、該人像座標向量及該門狀態儲存至一日誌資料之儲存欄位；當該升降梯系統判斷該幀影像未包含該人像且該門狀態為關閉而達一預設時間，則該升降梯系統關閉該日誌資料；否則該升降梯系統重回該特徵擷取儲存程序；該升降梯系統根據一地板辨識模型擷取該地板影像，以產生一地板特徵；以及該升降梯系統根據該地板特徵及一重點區域權重判斷一剩餘面積比例，該重點區域權重區分該地板影像為一高權重區域及一低權重區域。
一種升降梯人流偵測方法，適用於一升降梯系統，該升降梯系統包含一車廂，該升降梯人流偵測方法包含：該升降梯系統接收一幀影像，該幀影像包含一地板影像；該升降梯系統判斷該幀影像是否包含一人像；當該升降梯系統判斷該幀影像包含該人像，該升降梯系統執行一特徵擷取儲存程序，包含：該升降梯系統根據一人像辨識模型擷取該人像，以產生一人像特徵向量及一人像座標向量；該升降梯系統接收一門狀態訊號，以獲得一門狀態；以及該升降梯系統將該人像特徵向量、該人像座標向量及該門狀態儲存至一日誌資料之儲存欄位；當該升降梯系統判斷該幀影像未包含該人像且該門狀態為關閉而達一預設時間，則該升降梯系統關閉該日誌資料；否則該升降梯系統重回該特徵擷取儲存程序；該升降梯系統根據一地板辨識模型擷取該地板影像，以產生一地板特徵；以及該升降梯系統根據該地板特徵及一重點區域權重判斷一剩餘面積比例，該重點區域權重區分該地板影像為一高權重區域及一低權重區域。
如請求項1或2所述之升降梯人流偵測方法，該升降梯系統更包含一攝像器，該偵測方法於該升降梯系統判斷該幀影像未包含該人像且該門狀態為關閉而達該預設時間之步驟後，關閉該日誌資料及控制該攝像器暫停攝像。
如請求項1或2所述之升降梯人流偵測方法，其中，該地板影像之高權重區域鄰近於該車廂之閘門口。
如請求項1或2所述之升降梯人流偵測方法，其中，該升降梯系統適於提供乘客設定目標樓層，該偵測方法更包括該升降梯系統判斷該剩餘面積比例低於一容積參數，則控制該車廂直達鄰近之目標樓層。
一種升降梯人流分析方法，適用於一升降梯系統，該升降梯人流分析方法包含：該升降梯系統讀取一日誌資料，該日誌資料包含多組時序相鄰之儲存欄位，各該儲存欄位包含一門狀態、至少一人像之人像特徵向量及人像座標向量；該升降梯系統分別讀取該日誌資料之兩組時序相鄰之儲存欄位，以獲取兩筆人像特徵向量，根據該兩筆人像特徵向量建立一圖像相似度；該升降梯系統分別讀取該兩組儲存欄位，以獲取兩筆人像座標向量，並以卡爾曼濾波(Kalman filter)根據該兩筆人像座標向量建立一位置相似度；該升降梯系統根據該圖像相似度及該位置相似度計算一人像相似度；以及該升降梯系統根據該人像相似度串接該人像。
如請求項6所述之升降梯人流分析方法，於該升降梯系統根據該人像相似度串接該人像之步驟前，更包括該升降梯系統讀取該兩組儲存欄位之該門狀態；於該升降梯系統根據該人像相似度串接該人像之步驟中，當該兩筆門狀態皆為關閉狀態，該升降梯系統依據一指派問題演算法串接該些人像；當該兩筆門狀態皆為開啟狀態，該升降梯系統串接該人像相似度高於一相似度門檻之該些人像。
如請求項7所述之升降梯人流分析方法，其中，於根據該人像相似度串接該人像之步驟中，當該兩筆門狀態皆為關閉狀態，該升降梯系統依據匈牙利演算法串接該些人像。