TW202121249A - 行人事件的檢測方法及檢測裝置、電子設備和電腦可讀儲存媒體 - Google Patents

行人事件的檢測方法及檢測裝置、電子設備和電腦可讀儲存媒體 Download PDF

Info

Publication number
TW202121249A
TW202121249A TW109118287A TW109118287A TW202121249A TW 202121249 A TW202121249 A TW 202121249A TW 109118287 A TW109118287 A TW 109118287A TW 109118287 A TW109118287 A TW 109118287A TW 202121249 A TW202121249 A TW 202121249A
Authority
TW
Taiwan
Prior art keywords
pedestrian
coordinates
target pedestrian
preset
processed
Prior art date
Application number
TW109118287A
Other languages
English (en)
Other versions
TWI757756B (zh
Inventor
許波
辛彥哲
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202121249A publication Critical patent/TW202121249A/zh
Application granted granted Critical
Publication of TWI757756B publication Critical patent/TWI757756B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本發明涉及一種行人事件的檢測方法及檢測裝置、電子設備和電腦可讀儲存媒體。所述方法包括：獲取多幀待處理圖像中目標行人的坐標；獲取預設空間的坐標；根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件。本發明實施例能夠提高檢測行人事件的準確率。

Description

行人事件的檢測方法及檢測裝置、電子設備和電腦可讀儲存媒體
本發明要求在2019年11月28日提交中國專利局、發明號爲201911192848.8、發明名稱爲“行人事件的檢測方法及裝置、電子設備和存儲介質”的中國專利發明的優先權，其全部內容通過引用結合在本發明中。
本發明涉及電腦技術領域，尤其涉及一種行人事件的檢測方法及檢測裝置、電子設備和電腦可讀儲存媒體。
隨著智慧城市的興起，高清視訊的應用場景越來越多，在不同的場景下檢測行人事件就是其中很重要的一方面。顯然，海量的視訊訊息無法單純依靠人工查看檢測其中的目標訊息。隨著城市智慧化的要求越來越高，一種自動檢測行人事件的技術極待開發。
本發明提供了一種行人事件的檢測技術方案。
根據本發明的一方面，提供了一種行人事件的檢測方法，包括：
獲取多幀待處理圖像中目標行人的坐標；
獲取預設空間的坐標；
根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件。
通過上述方式，能夠提高檢測行人事件的準確率。
在一種可能的實現方式中，所述獲取多幀待處理圖像中目標行人的坐標包括：
利用深度神經網路的方式獲取所述多幀待處理圖像中目標行人的坐標。
該實現方式通過利用深度神經網路的方式獲取所述多幀待處理圖像中目標行人的坐標，能夠更加快速準確地獲取目標行人的坐標。
在一種可能的實現方式中，所述預設空間包括預設線，所述行人事件包括行人跨線事件；
所述根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，包括：
根據所述預設線的坐標，確定與所述預設線垂直的第一坐標軸；
根據所述多幀待處理圖像中所述目標行人的坐標，確定所述多幀待處理圖像中所述目標行人在所述第一坐標軸上的投影坐標；
在所述投影坐標中的任意兩個分別在目標點的兩側的情況下，確定所述目標行人針對所述預設線發生所述行人跨線事件，其中，所述目標點表示所述第一坐標軸與所述預設線的交點。
根據該實現方式，能夠實現無方向的行人跨線事件的檢測，由此能夠實現地鐵站、火車站、廣場等的人流量及商場的客流量等的統計。
在一種可能的實現方式中，所述在所述投影坐標中的任意兩個分別在目標點的兩側的情況下，確定所述目標行人針對所述預設線發生所述行人跨線事件，包括：
確定預設方向的向量與所述第一坐標軸的方向向量的夾角；
在所述夾角小於90度，所述投影坐標中的第一投影坐標和第二投影坐標分別在所述目標點的兩側，所述第一投影坐標對應的待處理圖像的時間戳早於所述第二投影坐標對應的待處理圖像，且所述第一投影坐標小於所述第二投影坐標的情況下，確定所述目標行人針對所述預設線發生所述預設方向的行人跨線事件；和/或，在所述夾角大於90度，所述投影坐標中的第一投影坐標和第二投影坐標分別在所述目標點的兩側，所述第一投影坐標對應的待處理圖像的時間戳早於所述第二投影坐標對應的待處理圖像，且所述第一投影坐標大於所述第二投影坐標的情況下，確定所述目標行人針對所述預設線發生所述預設方向的行人跨線事件。
基於該實現方式，能夠檢測行人以預設方向跨越預設線的事件，由此能夠實現地鐵站出站人數、地鐵站進站人數等的統計。
在一種可能的實現方式中，所述預設空間包括預設區域，所述行人事件包括行人逗留事件；
所述根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，包括：
根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間；
在所述停留時間大於或等於時間閾值的情況下，確定所述目標行人在所述預設區域內發生所述行人逗留事件。
基於該實現方式，可以在目標行人在預設區域內的停留時間大於或等於時間閾值的情況下，確定目標行人在預設區域內發生行人逗留事件，由此能夠在不希望行人逗留的應用場景中，及時發現行人逗留的情況，以便工作人員及時告知目標行人停止在預設區域內逗留。
在一種可能的實現方式中，所述預設空間包括預設區域，所述行人事件包括行人徘徊事件；
所述根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，包括：
根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間；
確定所述目標行人在所述停留時間內的累計移動距離；
在所述停留時間大於或等於時間閾值，且所述累計移動距離大於或等於距離閾值的情況下，確定所述目標行人在所述預設區域內發生所述行人徘徊事件。
基於該實現方式，可以在目標行人在預設區域內的停留時間大於或等於時間閾值，且累計移動距離大於或等於距離閾值的情況下，確定目標行人在預設區域內發生行人徘徊事件，由此能夠在不希望行人徘徊的應用場景中，及時發現行人徘徊的情況，以便工作人員及時告知目標行人停止在預設區域內徘徊。
在一種可能的實現方式中，所述根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間，包括：
根據所述多幀待處理圖像中目標行人的坐標、所述預設區域的坐標以及所述多幀待處理圖像的時間戳，確定所述目標行人第一次出現在所述預設區域內的待處理圖像的第一時間戳和所述目標行人最後一次出現在所述預設區域內的待處理圖像的第二時間戳；
將所述第二時間戳與所述第一時間戳之間的時間間隔，確定爲所述目標行人在所述預設區域內的停留時間。
在該實現方式中，可以不考慮目標行人中途是否離開預設區域，只考慮目標行人兩次出現在預設區域內的時間間隔是否大於或等於時間閾值，由此能夠適用於不考慮目標行人中途是否離開預設區域的應用場景。
在一種可能的實現方式中，所述根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間，包括：
根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述多幀待處理圖像中所述目標行人在所述預設區域內的圖像數；
將所述圖像數與每幀待處理圖像的時長的乘積，確定爲所述目標行人在所述預設區域內的累計時長，並將所述累計時長作爲所述目標行人在所述預設區域內的停留時間。
該實現方式可以適用於不關心目標行人中途是否離開預設區域，但需考慮目標行人在預設區域內的累計時長的應用場景。
在一種可能的實現方式中，所述根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間，包括：
根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述多幀待處理圖像中所述目標行人在所述預設區域內的最大連續圖像數；
將所述最大連續圖像數與每幀待處理圖像的時長的乘積，確定爲所述目標行人在所述預設區域內的最大持續時間，並將所述最大持續時間作爲所述目標行人在所述預設區域內的停留時間。
在該實現方式中，關心目標行人中途是否離開預設區域，若目標行人中途離開預設區域，則重新計算持續時間。該實現方式可以適用於關心目標行人中途是否離開預設區域的應用場景。
在一種可能的實現方式中，所述確定所述目標行人在所述停留時間內的累計移動距離，包括：
將所述停留時間內所述目標行人在所述預設區域內的待處理圖像分別確定爲停留圖像；
對所述目標行人在相鄰的兩幀停留圖像中的坐標之間的距離進行累加，得到所述目標行人在所述停留時間內的累計移動距離。
採用該實現方式確定的累計移動距離更能反映目標行人在預設區域內徘徊的情況，從而有助於提高行人徘徊事件檢測的準確性。
在一種可能的實現方式中，所述方法還包括：
根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的坐標和所述預設區域的坐標，確定所述待處理圖像中所述目標行人所在區域與所述預設區域的面積重合值；
在所述面積重合值大於或等於重合值閾值情況下，確定所述待處理圖像中所述目標行人在所述預設區域內。
在該實現方式中，可以根據目標行人所在區域與預設區域的面積重合值，判斷目標行人是否在預設區域內，由此能夠提高判斷目標行人是否在預設區域內的準確性。
在一種可能的實現方式中，所述目標行人的坐標包括包含所述目標行人的邊界框的坐標；
所述根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的坐標和所述預設區域的坐標，確定所述待處理圖像中所述目標行人所在區域與所述預設區域的面積重合值，包括：
根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的邊界框的坐標和所述預設區域的坐標，確定所述待處理圖像中所述邊界框包含的區域與所述預設區域的重合區域的第一面積；
將所述第一面積與所述邊界框包含的區域的面積的比值，確定爲所述面積重合值。
根據該示例，可以根據重合區域的面積與目標行人的邊界框的面積的比值來確定所述面積重合值，由此確定的面積重合值更能反映目標行人的邊界框與預設區域的重合情況，從而有助於更準確地進行行人事件的檢測。
在一種可能的實現方式中，所述預設空間包括預設區域，所述行人事件包括行人入侵事件；
所述根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，包括：
獲取入侵敏感係數；
根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的坐標和所述預設區域的坐標，確定所述待處理圖像中所述邊界框包含的區域與所述預設區域的重合區域的第二面積；
在所述第二面積與所述邊界框包含的區域的面積的比值大於所述入侵敏感係數的情況下，確定所述目標行人針對所述預設區域發生所述行人入侵事件。
基於該實現方式，能夠在不希望行人入侵的應用場景中，及時發現行人入侵的情況，以便工作人員及時告知目標行人離開預設區域。
在一種可能的實現方式中，所述方法還包括：
在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，發出警告訊息。
在該實現方式中，通過在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，發出警告訊息，由此能夠使工作人員及時發現行人事件，以便及時進行處理。
在一種可能的實現方式中，所述方法還包括：
在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，提取所述目標行人的屬性訊息；
輸出所述目標行人的屬性訊息。
在該實現方式中，通過在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，輸出所述目標行人的屬性訊息，由此能夠幫助工作人員找到所述目標行人。
根據本發明的一方面，提供了一種行人事件的檢測裝置，包括：
第一獲取模組，用於獲取多幀待處理圖像中目標行人的坐標；
第二獲取模組，用於獲取預設空間的坐標；
第一確定模組，用於根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件。
在一種可能的實現方式中，所述第一獲取模組用於：
利用深度神經網路的方式獲取所述多幀待處理圖像中目標行人的坐標。
在一種可能的實現方式中，所述預設空間包括預設線，所述行人事件包括行人跨線事件；
所述第一確定模組用於：
根據所述預設線的坐標，確定與所述預設線垂直的第一坐標軸；
根據所述多幀待處理圖像中所述目標行人的坐標，確定所述多幀待處理圖像中所述目標行人在所述第一坐標軸上的投影坐標；
在所述投影坐標中的任意兩個分別在目標點的兩側的情況下，確定所述目標行人針對所述預設線發生所述行人跨線事件，其中，所述目標點表示所述第一坐標軸與所述預設線的交點。
在一種可能的實現方式中，所述第一確定模組用於：
確定預設方向的向量與所述第一坐標軸的方向向量的夾角；
在所述夾角小於90度，所述投影坐標中的第一投影坐標和第二投影坐標分別在所述目標點的兩側，所述第一投影坐標對應的待處理圖像的時間戳早於所述第二投影坐標對應的待處理圖像，且所述第一投影坐標小於所述第二投影坐標的情況下，確定所述目標行人針對所述預設線發生所述預設方向的行人跨線事件；和/或，在所述夾角大於90度，所述投影坐標中的第一投影坐標和第二投影坐標分別在所述目標點的兩側，所述第一投影坐標對應的待處理圖像的時間戳早於所述第二投影坐標對應的待處理圖像，且所述第一投影坐標大於所述第二投影坐標的情況下，確定所述目標行人針對所述預設線發生所述預設方向的行人跨線事件。
在一種可能的實現方式中，所述預設空間包括預設區域，所述行人事件包括行人逗留事件；
所述第一確定模組用於：
根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間；
在所述停留時間大於或等於時間閾值的情況下，確定所述目標行人在所述預設區域內發生所述行人逗留事件。
在一種可能的實現方式中，所述預設空間包括預設區域，所述行人事件包括行人徘徊事件；
所述第一確定模組用於：
根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間；
確定所述目標行人在所述停留時間內的累計移動距離；
在所述停留時間大於或等於時間閾值，且所述累計移動距離大於或等於距離閾值的情況下，確定所述目標行人在所述預設區域內發生所述行人徘徊事件。
在一種可能的實現方式中，所述第一確定模組用於：
根據所述多幀待處理圖像中目標行人的坐標、所述預設區域的坐標以及所述多幀待處理圖像的時間戳，確定所述目標行人第一次出現在所述預設區域內的待處理圖像的第一時間戳和所述目標行人最後一次出現在所述預設區域內的待處理圖像的第二時間戳；
將所述第二時間戳與所述第一時間戳之間的時間間隔，確定爲所述目標行人在所述預設區域內的停留時間。
在一種可能的實現方式中，所述第一確定模組用於：
根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述多幀待處理圖像中所述目標行人在所述預設區域內的圖像數；
將所述圖像數與每幀待處理圖像的時長的乘積，確定爲所述目標行人在所述預設區域內的累計時長，並將所述累計時長作爲所述目標行人在所述預設區域內的停留時間。
在一種可能的實現方式中，所述第一確定模組用於：
根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述多幀待處理圖像中所述目標行人在所述預設區域內的最大連續圖像數；
將所述最大連續圖像數與每幀待處理圖像的時長的乘積，確定爲所述目標行人在所述預設區域內的最大持續時間，並將所述最大持續時間作爲所述目標行人在所述預設區域內的停留時間。
在一種可能的實現方式中，所述第一確定模組用於：
將所述停留時間內所述目標行人在所述預設區域內的待處理圖像分別確定爲停留圖像；
對所述目標行人在相鄰的兩幀停留圖像中的坐標之間的距離進行累加，得到所述目標行人在所述停留時間內的累計移動距離。
在一種可能的實現方式中，所述裝置還包括：
第二確定模組，用於根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的坐標和所述預設區域的坐標，確定所述待處理圖像中所述目標行人所在區域與所述預設區域的面積重合值；
第三確定模組，用於在所述面積重合值大於或等於重合值閾值情況下，確定所述待處理圖像中所述目標行人在所述預設區域內。
在一種可能的實現方式中，所述目標行人的坐標包括包含所述目標行人的邊界框的坐標；
所述第二確定模組用於：
根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的邊界框的坐標和所述預設區域的坐標，確定所述待處理圖像中所述邊界框包含的區域與所述預設區域的重合區域的第一面積；
將所述第一面積與所述邊界框包含的區域的面積的比值，確定爲所述面積重合值。
在一種可能的實現方式中，所述預設空間包括預設區域，所述行人事件包括行人入侵事件；
所述第一確定模組用於：
獲取入侵敏感係數；
根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的坐標和所述預設區域的坐標，確定所述待處理圖像中所述邊界框包含的區域與所述預設區域的重合區域的第二面積；
在所述第二面積與所述邊界框包含的區域的面積的比值大於所述入侵敏感係數的情況下，確定所述目標行人針對所述預設區域發生所述行人入侵事件。
在一種可能的實現方式中，所述裝置還包括：
警告模組，用於在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，發出警告訊息。
在一種可能的實現方式中，所述裝置還包括：
提取模組，用於在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，提取所述目標行人的屬性訊息；
輸出模組，用於輸出所述目標行人的屬性訊息。
根據本發明的一方面，提供了一種電子設備，包括：一個或多個處理器；用於儲存可執行指令的記憶體；其中，所述一個或多個處理器被配置爲調用所述記憶體儲存的可執行指令，以執行上述方法。
根據本發明的一方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。
根據本發明的一方面，提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述方法。
在本發明實施例中，通過獲取多幀待處理圖像中目標行人的坐標，獲取預設空間的坐標，並根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，由此能夠提高檢測行人事件的準確率。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
根據下面參考圖式對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
以下將參考圖式詳細說明本發明的各種示例性實施例、特徵和方面。圖式中相同的圖式標記表示功能相同或相似的元件。儘管在圖式中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製圖式。
在這裏專用的詞“示例性”意爲“用作例子、實施例或說明性”。這裏作爲“示例性”所說明的任何實施例不必解釋爲優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，爲了更好地說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
相關技術主要存在兩種行人事件的檢測方法。一種方法是傳統的溫度檢測方法或電子線圈檢測方法，這種方法的可靠性較低，可擴展性較差，且安裝維護較爲不方便。另一種方法是基於視訊的檢測方法，採用背景差分、二值化分割等傳統的圖像處理和模式識別方法，在視訊背景複雜的場景下，行人檢出率較低，因此檢測行人事件的準確率也較低。
在本發明實施例中，通過獲取多幀待處理圖像中目標行人的坐標，獲取預設空間的坐標，並根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，由此能夠提高檢測行人事件的準確率。
本發明實施例可以應用於任何需要進行行人事件檢測的應用場景中。例如，本發明實施例可以應用於地鐵站、火車站、道路、商場、車站、監獄、廣場或者公司門崗等場景中。
下面結合本發明實施例中的圖式對本發明實施例進行描述。
圖1示出本發明實施例提供的行人事件的檢測方法的流程圖。所述行人事件的檢測方法的執行主體可以是行人事件的檢測裝置。例如，所述行人事件的檢測方法可以由終端設備或伺服器或其它處理設備執行。其中，終端設備可以是用戶設備（User Equipment，UE）、行動設備、用戶終端、終端、行動電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備或者可穿戴設備等。在一些可能的實現方式中，所述行人事件的檢測方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。如圖1所示，所述行人事件的檢測方法包括步驟S11至步驟S13。
在步驟S11中，獲取多幀待處理圖像中目標行人的坐標。
本發明實施例的執行主體可以是伺服器，伺服器可以與監控攝影機相連，監控攝影機可以將採集到的視訊流發送至伺服器，伺服器可以將監控攝影機發送的視訊流中包含同一行人的多幀視訊圖像作爲多幀待處理圖像，而多幀待處理圖像中包含的相同行人即爲目標行人。需要理解的是，上述多幀視訊圖像可以是多幀連續的視訊圖像，也可以不是連續的視訊圖像。而目標行人的數量可以是一個，也可以是多個，即多幀待處理圖像中可以包含一個或多個相同的行人。
舉例來說，攝影機採集的視訊流包含10幀圖像，其中，第1幀圖像、第2幀圖像、第3幀圖像、第6幀圖像、第8幀圖像、第9幀圖像中均包含行人A，則可將第1幀圖像、第2幀圖像、第3幀圖像、第6幀圖像、第8幀圖像、第9幀圖像作爲多幀待處理圖像，其中，第1幀圖像的時間戳小於第2幀圖像的時間戳，第2幀圖像的時間戳小於第3幀圖像的時間戳，以此類推，第9幀圖像的時間戳小於第10幀圖像的時間戳。
在一種可能的實現方式中，所述獲取多幀待處理圖像中目標行人的坐標包括：利用深度神經網路的方式獲取所述多幀待處理圖像中目標行人的坐標。該實現方式通過利用深度神經網路的方式獲取所述多幀待處理圖像中目標行人的坐標，能夠更加快速準確地獲取目標行人的坐標。
本發明實施例中，伺服器可通過任意行人檢測算法對待處理圖像進行行人檢測，其中，行人檢測算法可以是物件偵測（you only look once，YOLO）、目標檢測算法（deformable part model，DMP）、單樣本多邊框檢測器（single shot multiBox detector，SSD）、Faster-RCNN（Faster-Region-based Convolutional Neural Networks，快速基於區域卷積神經網路）算法等等，本發明對行人檢測算法不做具體限定。
通過行人檢測算法對每一幀待處理圖像進行行人檢測，可得到每一幀待處理圖像中目標行人的坐標。其中，目標行人的坐標可以是包含目標行人的邊界框的坐標，或者，目標行人的坐標可以是目標行人的邊界框的幾何中心的坐標，或者，目標行人的坐標還可以是目標行人的輪廓上的關鍵點的坐標，上述坐標均指在待處理圖像的坐標系下的坐標。
在一種可能的實現方式中，每一幀待處理圖像均包含時間戳，該時間戳可以表徵待處理圖像的採集時間。按待處理圖像的時間戳的從小到大的順序對每一幀待處理圖像中目標行人的坐標排序可得到目標行人的坐標序列，即目標行人在不同時刻下的坐標。再根據該多幀待處理圖像中目標行人的坐標與該多幀待處理圖像的時間戳可確定該多幀待處理圖像的目標行人的坐標與時間之間的關係。其中，多幀待處理圖像的目標行人的坐標與時間之間的關係可以包含目標行人在任意時刻下的坐標。
在一種可能的實現方式中，通過對多幀待處理圖像中目標行人的坐標進行曲線擬合，可以得到多幀待處理圖像中目標行人的坐標與時間之間的關係，從而可以得到目標行人的運動軌跡，其中，曲線擬合是通過連續曲線近似地刻畫或比擬平面上多個離散點所表示的坐標之間的關係的一種數據處理方法。也就是說，通過對多幀待處理圖像的邊界框的坐標進行曲線擬合，可得到多幀待處理圖像中目標行人的坐標與時間的關係，進而得到任意兩幀待處理圖像之間的任意時刻下目標行人的坐標。
在一個示例中，可以結合匈牙利算法（二分圖最大匹配）和卡爾曼濾波進行處理，確定多幀待處理圖像中目標行人的坐標與時間之間的關係。其中，採用匈牙利算法對前後相鄰兩幀待處理圖像中的目標行人進行匹配，把後一幀的目標行人匹配到前一幀上，多幀組合形成一個坐標與時間序列，從而得到目標行人的坐標與時間之間的關係。卡爾曼濾波的主要作用是對每個目標行人的運動軌跡進行濾波和去除噪聲，從而提高所輸出的運動軌跡的精確度，並提高匈牙利算法的匹配精確度。
在步驟S12中，獲取預設空間的坐標。
在本發明實施例中，所述預設空間可以爲一維空間、二維空間或者三維空間。例如，所述預設空間可以包括預設線和/或預設區域。其中，預設線可以爲一維空間，預設區域可以爲二維空間或者三維空間。
在一種可能的實現方式中，用戶可以在攝影機的監控區域內選擇兩個預設點，並將連接該兩個預設點的線作爲預設線。在另一種可能的實現方式中，用戶可在攝影機的監控區域內依次選取多個預設點，並將多個預設點依次連接，得到一個包含多個預設點的封閉的多邊形，並將該多邊形包含的區域作爲預設區域。
在步驟S13中，根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件。
在本發明實施例中，所述行人事件可以包括行人跨線事件、行人逗留事件、行人徘徊事件和行人入侵事件等中的一種或多種。其中，行人跨線事件可以表示行人跨越預設線的事件，行人逗留事件可以表示行人在預設區域內逗留的事件，行人徘徊事件可以表示行人在預設區域內徘徊的事件，行人入侵事件可以表示行人進入預設區域的事件。
在一種可能的實現方式中，所述預設空間包括預設線，所述行人事件包括行人跨線事件。基於該實現方式，能夠檢測行人跨越預設線的事件，由此能夠實現地鐵站、火車站、廣場等的人流量及商場的客流量等的統計。
作爲該實現方式的一個示例，行人跨線事件可以分爲無方向跨線和有方向跨線兩種形式。其中，無方向跨線不考慮跨線方向，只要從預設線的一邊跨越至另一邊，即發生了行人跨線事件；有方向跨線考慮跨線的方向，檢測行人是否發生預設方向的跨線。
在一種可能的實現方式中，所述根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，包括：根據所述預設線的坐標，確定與所述預設線垂直的第一坐標軸；根據所述多幀待處理圖像中所述目標行人的坐標，確定所述多幀待處理圖像中所述目標行人在所述第一坐標軸上的投影坐標；在所述投影坐標中的任意兩個分別在目標點的兩側的情況下，確定所述目標行人針對所述預設線發生所述行人跨線事件，其中，所述目標點表示所述第一坐標軸與所述預設線的交點。
例如，若將預設線作爲第二坐標軸，則目標點爲第一坐標軸和第二坐標軸的交點，即原點。
根據該實現方式，能夠實現無方向的行人跨線事件的檢測，由此能夠實現地鐵站、火車站、廣場等的人流量及商場的客流量等的統計。
在該實現方式中，預設線的坐標可以採用預設線上的兩個點的坐標來表示。圖2示出本發明實施例提供的行人事件的檢測方法中的行人跨線事件的示意圖。如圖2所示，預設線的坐標可以採用預設線上的兩個點
Figure 02_image001
和
Figure 02_image003
的坐標來表示，其中，點
Figure 02_image001
的坐標爲
Figure 02_image005
，點
Figure 02_image003
的坐標爲
Figure 02_image007
。預設線的方向向量可以表示爲
Figure 02_image009
。預設線的垂直線的方向向量
Figure 02_image011
可以採用式1來確定：
Figure 02_image013
式1，
即，
Figure 02_image015
。
在該實現方式中，第一坐標軸可以爲圖2中的
Figure 02_image017
軸，同時，可以將預設線的方向向量作爲
Figure 02_image019
軸。
目標行人的坐標可以爲目標行人的邊界框的頂點坐標。在圖2中，
Figure 02_image021
表示目標行人的邊界框的頂點，
Figure 02_image021
的坐標可以表示爲
Figure 02_image023
，
Figure 02_image025
，例如，
Figure 02_image027
。在圖2中，目標行人的邊界框的頂點的下標按照順時針順序排列。爲了方便理解，圖2以長方形爲例示出了目標行人的邊界框的示意圖。本領域技術人員可以理解，目標行人的邊界框可以爲任意形狀。
Figure 02_image021
在
Figure 02_image017
軸上的投影坐標
Figure 02_image029
可以採用式2來表示：
Figure 02_image031
式2。
對於一幀待處理圖像而言，若該待處理圖像中目標行人的邊界框的頂點滿足
Figure 02_image033
且
Figure 02_image035
，則可以確定目標行人針對預設線發生行人跨線事件，其中，公式中的等號表示邊界框的頂點在預設線上也認爲跨線。對於多幀待處理圖像而言，若相鄰的兩幀待處理圖像中目標行人的邊界框的頂點滿足
Figure 02_image037
且
Figure 02_image039
，或者滿足
Figure 02_image041
且
Figure 02_image043
，則可以確定目標行人針對預設線發生行人跨線事件，其中，
Figure 02_image025
，
Figure 02_image029
和
Figure 02_image047
分別表示所述相鄰的兩幀待處理圖像中目標行人的邊界框的頂點。
在一種可能的實現方式中，所述在所述投影坐標中的任意兩個分別在目標點的兩側的情況下，確定所述目標行人針對所述預設線發生所述行人跨線事件，包括：確定預設方向的向量與所述第一坐標軸的方向向量的夾角；在所述夾角小於90度，所述投影坐標中的第一投影坐標和第二投影坐標分別在所述目標點的兩側，所述第一投影坐標對應的待處理圖像的時間戳早於所述第二投影坐標對應的待處理圖像，且所述第一投影坐標小於所述第二投影坐標的情況下，確定所述目標行人針對所述預設線發生所述預設方向的行人跨線事件；和/或，在所述夾角大於90度，所述投影坐標中的第一投影坐標和第二投影坐標分別在所述目標點的兩側，所述第一投影坐標對應的待處理圖像的時間戳早於所述第二投影坐標對應的待處理圖像，且所述第一投影坐標大於所述第二投影坐標的情況下，確定所述目標行人針對所述預設線發生所述預設方向的行人跨線事件。
基於該實現方式，能夠檢測行人以預設方向跨越預設線的事件，由此能夠實現地鐵站出站人數、地鐵站進站人數等的統計。
在該實現方式中，第一坐標軸的方向向量可以平行於第一坐標軸，且指向第一坐標軸的正方向。
圖3示出本發明實施例提供的行人事件的檢測方法中的預設方向的行人跨線事件的示意圖。在圖3所示的示例中，預設方向的方向向量可以表示爲
Figure 02_image049
，可以採用上文所述的方法得到預設線的垂直線的方向向量
Figure 02_image051
。在一個例子中，若
Figure 02_image053
，則可以令
Figure 02_image055
，以使預設線的垂直線的方向向量與預設方向的方向向量的夾角小於90度。在一個例子中，可以採用式3確定目標行人的邊界框的幾何中心
Figure 02_image057
：
Figure 02_image059
式3，
並可以在該幾何中心從預設線的一邊跨到預設線的另一邊且與預設方向一致時認爲目標行人以預設方向跨越預設線。以預設線的垂直線的方向向量爲
Figure 02_image017
軸，幾何中心
Figure 02_image057
在
Figure 02_image017
軸上的投影坐標
Figure 02_image062
可以採用式4來表示：
Figure 02_image064
式4。
對於多幀待處理圖像而言，若其中的兩幀待處理圖像
Figure 02_image066
和
Figure 02_image068
滿足
Figure 02_image070
，
Figure 02_image072
，且
Figure 02_image074
，則可以確定目標行人以預設方向跨越預設線，其中，
Figure 02_image066
和
Figure 02_image068
表示這兩幀待處理圖像的序號，
Figure 02_image076
表示待處理圖像
Figure 02_image066
中目標行人的邊界框的幾何中心在
Figure 02_image017
軸上的投影坐標，
Figure 02_image078
表示待處理圖像
Figure 02_image080
中目標行人的邊界框的幾何中心在
Figure 02_image017
軸上的投影坐標，
Figure 02_image082
表示待處理圖像
Figure 02_image066
的時間戳，
Figure 02_image084
表示待處理圖像
Figure 02_image068
的時間戳。
在一種可能的實現方式中，所述預設空間包括預設區域，所述行人事件包括行人逗留事件、行人徘徊事件和行人入侵事件中的一種或多種。基於該實現方式，可以對行人在預設區域內逗留、行人在預設區域內徘徊和行人進入預設區域中的一種或多種事件進行檢測。
例如，地鐵的出口處、機場等希望保持通暢，而不希望人員逗留或徘徊，則可以在地鐵的出口處或者機場等處指定一個區域作爲行人逗留事件或者行人徘徊事件對應的預設區域。
又如，在一些管控區域，例如軍事區域，或者臨時現場保護區域，不希望有人入侵，則可以將這些區域作爲行人入侵事件對應的預設區域。
在一種可能的實現方式中，所述根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，包括：在根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定滿足所述目標行人在所述預設區域內、所述目標行人在所述預設區域內的停留時間大於或等於時間閾值、所述目標行人在所述停留時間內的累計移動距離大於或等於距離閾值中的一個或多個條件的情況下，確定所述目標行人在所述預設區域內發生行人逗留事件、行人徘徊事件和行人入侵事件中的一種或多種。
例如，在根據多幀待處理圖像中目標行人的坐標和預設空間的坐標，確定目標行人在預設區域內的情況下，可以確定目標行人在預設區域內發生行人入侵事件；在根據多幀待處理圖像中目標行人的坐標和預設空間的坐標，確定目標行人在預設區域內的停留時間大於或等於時間閾值的情況下，可以確定目標行人在預設區域內發生行人逗留事件；在根據多幀待處理圖像中目標行人的坐標和預設空間的坐標，確定目標行人在預設區域內的停留時間大於或等於時間閾值，且目標行人在停留時間內的累計移動距離大於或等於距離閾值的情況下，可以確定目標行人在預設區域內發生行人徘徊事件。
基於該實現方式，可以根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標所滿足的條件，對行人逗留事件、行人徘徊事件和行人入侵事件中的一種或多種事件進行檢測。
在一種可能的實現方式中，所述預設空間包括預設區域，所述行人事件包括行人逗留事件；所述根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，包括：根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間；在所述停留時間大於或等於時間閾值的情況下，確定所述目標行人在所述預設區域內發生行人逗留事件。
基於該實現方式，可以在目標行人在預設區域內的停留時間大於或等於時間閾值的情況下，確定目標行人在預設區域內發生行人逗留事件，由此能夠在不希望行人逗留的應用場景中，及時發現行人逗留的情況，以便工作人員及時告知目標行人停止在預設區域內逗留。
在一種可能的實現方式中，所述預設空間包括預設區域，所述行人事件包括行人徘徊事件；所述根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，包括：根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間；確定所述目標行人在所述停留時間內的累計移動距離；在所述停留時間大於或等於時間閾值，且所述累計移動距離大於或等於距離閾值的情況下，確定所述目標行人在所述預設區域內發生行人徘徊事件。
例如，預設區域爲地鐵站廳，距離閾值爲3000米，若目標行人在地鐵站廳的停留時間大於或等於時間閾值，且累計移動距離大於或等於3000米，則可以確定目標行人在地鐵站廳發生行人徘徊事件。
基於該實現方式，可以在目標行人在預設區域內的停留時間大於或等於時間閾值，且累計移動距離大於或等於距離閾值的情況下，確定目標行人在預設區域內發生行人徘徊事件，由此能夠在不希望行人徘徊的應用場景中，及時發現行人徘徊的情況，以便工作人員及時告知目標行人停止在預設區域內徘徊。
在一種可能的實現方式中，所述根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間，包括：根據所述多幀待處理圖像中目標行人的坐標、所述預設區域的坐標以及所述多幀待處理圖像的時間戳，確定所述目標行人第一次出現在所述預設區域內的待處理圖像的第一時間戳和所述目標行人最後一次出現在所述預設區域內的待處理圖像的第二時間戳；將所述第二時間戳與所述第一時間戳之間的時間間隔，確定爲所述目標行人在所述預設區域內的停留時間。
在該實現方式中，可以不考慮目標行人中途是否離開預設區域，只考慮目標行人兩次出現在預設區域內的時間間隔是否大於或等於時間閾值，由此能夠適用於不考慮目標行人中途是否離開預設區域的應用場景。
在一個示例中，若所述多幀待處理圖像中的任意兩幀待處理圖像中目標行人在預設區域內，且這兩幀待處理圖像的時間戳之間的時間間隔大於或等於時間閾值，則可以確定目標行人在預設區域內發生行人逗留事件。例如，待處理圖像
Figure 02_image086
中目標行人在預設區域內，待處理圖像
Figure 02_image088
中目標行人在預設區域內，待處理圖像
Figure 02_image086
的時間戳爲
Figure 02_image090
，待處理圖像
Figure 02_image088
的時間戳爲
Figure 02_image092
，時間閾值爲
Figure 02_image094
，若
Figure 02_image096
，則可以確定目標行人在預設區域內發生行人逗留事件。
在一個例子中，可以記錄目標行人第一次出現在預設區域內的時間戳作爲參考時間戳，若目標行人再次出現在預設區域內的時間戳與參考時間戳之間的時間間隔大於或等於時間閾值，則可以確定目標行人在預設區域內發生行人逗留事件。
在一個示例中，若所述多幀待處理圖像中的任意兩幀待處理圖像中目標行人在預設區域內，這兩幀待處理圖像的時間戳之間的時間間隔大於或等於時間閾值，且目標行人在預設區域內的累計移動距離大於或等於距離閾值，則可以確定目標行人在預設區域內發生行人徘徊事件。
在一種可能的實現方式中，所述根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間，包括：根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述多幀待處理圖像中所述目標行人在所述預設區域內的圖像數；將所述圖像數與每幀待處理圖像的時長的乘積，確定爲所述目標行人在所述預設區域內的累計時長，並將所述累計時長作爲所述目標行人在所述預設區域內的停留時間。基於該實現方式，能夠快速準確地確定目標行人在預設區域內的累計時長。
該實現方式可以適用於不關心目標行人中途是否離開預設區域，但需考慮目標行人在預設區域內的累計時長的應用場景。
例如，可以將所述圖像數與每幀待處理圖像的時長的乘積，作爲所述目標行人在所述預設區域內的累計時長。例如，所述圖像數爲K，每幀待處理圖像的時長爲To ，則累計時長可以等於KTo 。
在一種可能的實現方式中，所述根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間，包括：根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述多幀待處理圖像中所述目標行人在所述預設區域內的最大連續圖像數；將所述最大連續圖像數與每幀待處理圖像的時長的乘積，確定爲所述目標行人在所述預設區域內的最大持續時間，並將所述最大持續時間作爲所述目標行人在所述預設區域內的停留時間。
在該實現方式中，關心目標行人中途是否離開預設區域，若目標行人中途離開預設區域，則重新計算持續時間。該實現方式可以適用於關心目標行人中途是否離開預設區域的應用場景。
在一種可能的實現方式中，所述確定所述目標行人在所述停留時間內的累計移動距離，包括：將所述停留時間內所述目標行人在所述預設區域內的待處理圖像分別確定爲停留圖像；對所述目標行人在相鄰的兩幀停留圖像中的坐標之間的距離進行累加，得到所述目標行人在所述停留時間內的累計移動距離。其中，距離可以爲歐氏距離。
在該實現方式中，可以僅考慮目標行人在預設區域內的移動距離，若目標行人離開預設區域，則不考慮其移動距離。例如，若在待處理圖像1、2、3、5中，目標行人在預設區域內，在待處理圖像4中，目標行人不在預設區域內，則可以將目標行人在待處理圖像1和2中的坐標之間的距離、目標行人在待處理圖像2和3中的坐標之間的距離、目標行人在待處理圖像3和5中的坐標之間的距離計入累計移動距離中，而不將目標行人在待處理圖像3和4中的坐標之間的距離、目標行人在待處理圖像4和5中的坐標之間的距離計入累計移動距離中。
採用該實現方式確定的累計移動距離更能反映目標行人在預設區域內徘徊的情況，從而有助於提高行人徘徊事件檢測的準確性。
在一種可能的實現方式中，可以將目標行人的邊界框的幾何中心的坐標確定爲目標行人的坐標，並可以通過判斷目標行人的邊界框的幾何中心是否在預設區域內，判斷目標行人是否在預設區域內。即，若目標行人的邊界框的幾何中心在預設區域內，則可以判定目標行人在預設區域內；若目標行人的邊界框的幾何中心不在預設區域內，則可以判定目標行人不在預設區域內。
作爲該實現方式的一個示例，可以在預設區域的面積遠遠大於目標行人的邊界框的面積，例如可以在預設區域的面積與目標行人的邊界框的面積的比值大於或等於預設比值的情況下，通過判斷目標行人的邊界框的幾何中心是否在預設區域內，判斷目標行人是否在預設區域內。
在一種可能的實現方式中，所述方法還包括：根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的坐標和所述預設區域的坐標，確定所述待處理圖像中所述目標行人所在區域與所述預設區域的面積重合值；在所述面積重合值大於或等於重合值閾值情況下，確定所述待處理圖像中所述目標行人在所述預設區域內。例如，重合值閾值可以爲0.5。
在該實現方式中，可以根據目標行人所在區域與預設區域的面積重合值，判斷目標行人是否在預設區域內。
作爲該實現方式的一個示例，所述目標行人的坐標包括包含所述目標行人的邊界框的坐標；所述根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的坐標和所述預設區域的坐標，確定所述待處理圖像中所述目標行人所在區域與所述預設區域的面積重合值，包括：根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的邊界框的坐標和所述預設區域的坐標，確定所述待處理圖像中所述邊界框包含的區域與所述預設區域的重合區域的第一面積；將所述第一面積與所述邊界框包含的區域的面積的比值，確定爲所述面積重合值。
根據該示例，可以根據重合區域的面積與目標行人的邊界框的面積的比值來確定所述面積重合值，由此確定的面積重合值更能反映目標行人的邊界框與預設區域的重合情況，從而有助於更準確地進行行人事件的檢測。
作爲該實現方式的另一個示例，可以直接將所述邊界框包含的區域與所述預設區域的重合區域作爲所述面積重合值。
作爲該實現方式的一個示例，可以在預設區域的面積與目標行人的邊界框的面積較接近，例如可以在預設區域的面積與目標行人的邊界框的面積的比值小於預設比值的情況下，根據目標行人的邊界框包含的區域與預設區域的重合程度，判斷目標行人是否在預設區域內。
在一種可能的實現方式中，所述預設空間包括預設區域，所述行人事件包括行人入侵事件；所述根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，包括：獲取入侵敏感係數；根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的坐標和所述預設區域的坐標，確定所述待處理圖像中所述邊界框包含的區域與所述預設區域的重合區域的第二面積；在所述第二面積與所述邊界框包含的區域的面積的比值大於所述入侵敏感係數的情況下，確定所述目標行人針對所述預設區域發生行人入侵事件。
在該實現方式中，入侵敏感係數可以表示對行人入侵預設區域的敏感度。在一個示例中，入侵敏感係數與對行人入侵預設區域的敏感度負相關，入侵敏感係數越小，則對行人入侵預設區域的敏感度越大。入侵敏感係數可以爲大於或等於0且小於或等於1。入侵敏感係數爲0表示只要目標行人的邊界框的任何一部分進入預設區域，就認爲目標行人入侵預設區域，即，確定目標行人針對預設區域發生行人入侵事件。入侵敏感係數爲1表示只有目標行人的邊界框完全處於預設區域的內部時才認爲目標行人入侵預設區域。例如，一般可以將入侵敏感係數設置爲0.5；對於危險區域，例如維修現場或者危險水域等，可以將入侵敏感係數設置爲0；對於路障等較不敏感的區域，可以將入侵敏感係數設置爲1。
基於該實現方式，能夠在不希望行人入侵的應用場景中，及時發現行人入侵的情況，以便工作人員及時告知目標行人離開預設區域。
在一種可能的實現方式中，可以將目標行人的邊界框的一部分（例如目標行人的邊界框的下半部分）確定爲目標行人所在區域，確定待處理圖像中目標行人所在區域與預設區域的重合區域的第三面積，在第三面積與目標行人所在區域的面積的比值大於入侵敏感係數的情況下，確定目標行人針對預設區域發生行人入侵事件。
在一種可能的實現方式中，所述方法還包括：在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，發出警告訊息。
在該實現方式中，通過在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，發出警告訊息，由此能夠使工作人員及時發現行人事件，以便及時進行處理。
在一種可能的實現方式中，爲了降低頻繁警告的機率，可以設置冷卻時間，從發出警告訊息的時刻開始計時，在冷卻時間之內，即使滿足警告條件也不會警告。其中，冷卻時間可以根據具體場景對警告敏感度的要求自適應配置。
在一種可能的實現方式中，所述方法還包括：在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，提取所述目標行人的屬性訊息；輸出所述目標行人的屬性訊息。
在該實現方式中，目標行人的屬性訊息可以爲用於表示目標行人的外形特徵或者屬性的訊息。例如，目標行人的屬性訊息可以包括目標行人的性別、年齡範圍、衣服類型、衣服顔色、髮型、髮色、鞋子樣式、鞋子顔色、是否帶包、包類型、包顔色、是否戴帽子、是否戴眼鏡、是否帶雨傘和雨傘顔色等中的一項或多項。
作爲該實現方式的一個示例，可以採用深度學習技術對目標行人進行屬性識別，獲得目標行人的屬性訊息。
作爲該實現方式的一個示例，所述輸出所述目標行人的屬性訊息，可以包括：向預設終端發送所述目標行人的屬性訊息。在該示例中，在向預設終端發送所述目標行人的屬性訊息的同時，還可以向預設終端發送目標行人針對預設空間發生的行人事件的類型。例如，預設空間爲地鐵站出口區域，預設終端爲地鐵站工作人員的手機，若檢測到目標行人A在地鐵站出口區域發生行人逗留事件，則可以向地鐵站工作人員的手機發送目標行人A的屬性訊息以及目標行人A在地鐵站出口區域發生的行人事件的類型，例如，“黃色上衣、黑色褲子、白色鞋子、戴鴨舌帽、戴眼鏡的男性行人在地鐵站C出口逗留”，以幫助地鐵站工作人員在地鐵站出口區域快速找到目標行人A，並告知目標行人A不應在地鐵站出口區域逗留。
在該實現方式中，通過在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，輸出所述目標行人的屬性訊息，由此能夠幫助工作人員找到所述目標行人。
圖4示出本發明實施例提供的行人檢測方法的應用場景的示意圖。如圖4所示，可以通過攝影機採集視訊，通過伺服器對視訊進行處理，判斷是否發生行人事件，若伺服器判定發生行人事件，則向預設終端發送警告訊息，預設終端可以通過警告顯示頁面輸出警告訊息，以便工作人員及時收到警告訊息。
針對不同的場景及應用，可以配置不同的行人事件的檢測模型，例如，可以配置行人跨線事件、行人逗留事件、行人徘徊事件和行人入侵事件中的一種或多種行人事件的檢測模型。
本發明實施例提供了一種檢出率較高、誤檢率較低、實時性較高且可靠性較高的行人事件的檢測方法，能夠適用於大規模複雜場景，且能夠適用於不同場景下的行人事件的檢測。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外，本發明還提供了行人事件的檢測裝置、電子設備、電腦可讀儲存媒體、程式，上述均可用來實現本發明提供的任一種行人事件的檢測方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖5示出本發明實施例提供的行人事件的檢測裝置的方塊圖。如圖5所示，所述行人事件的檢測裝置包括：第一獲取模組51，用於獲取多幀待處理圖像中目標行人的坐標；第二獲取模組52，用於獲取預設空間的坐標；第一確定模組53，用於根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件。
在一種可能的實現方式中，所述第一獲取模組51用於：利用深度神經網路的方式獲取所述多幀待處理圖像中目標行人的坐標。
在一種可能的實現方式中，所述預設空間包括預設線，所述行人事件包括行人跨線事件；所述第一確定模組53用於：根據所述預設線的坐標，確定與所述預設線垂直的第一坐標軸；根據所述多幀待處理圖像中所述目標行人的坐標，確定所述多幀待處理圖像中所述目標行人在所述第一坐標軸上的投影坐標；在所述投影坐標中的任意兩個分別在目標點的兩側的情況下，確定所述目標行人針對所述預設線發生所述行人跨線事件，其中，所述目標點表示所述第一坐標軸與所述預設線的交點。
在一種可能的實現方式中，所述第一確定模組53用於：確定預設方向的向量與所述第一坐標軸的方向向量的夾角；在所述夾角小於90度，所述投影坐標中的第一投影坐標和第二投影坐標分別在所述目標點的兩側，所述第一投影坐標對應的待處理圖像的時間戳早於所述第二投影坐標對應的待處理圖像，且所述第一投影坐標小於所述第二投影坐標的情況下，確定所述目標行人針對所述預設線發生所述預設方向的行人跨線事件；和/或，在所述夾角大於90度，所述投影坐標中的第一投影坐標和第二投影坐標分別在所述目標點的兩側，所述第一投影坐標對應的待處理圖像的時間戳早於所述第二投影坐標對應的待處理圖像，且所述第一投影坐標大於所述第二投影坐標的情況下，確定所述目標行人針對所述預設線發生所述預設方向的行人跨線事件。
在一種可能的實現方式中，所述預設空間包括預設區域，所述行人事件包括行人逗留事件；所述第一確定模組53用於：根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間；在所述停留時間大於或等於時間閾值的情況下，確定所述目標行人在所述預設區域內發生所述行人逗留事件。
在一種可能的實現方式中，所述預設空間包括預設區域，所述行人事件包括行人徘徊事件；所述第一確定模組53用於：根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間；確定所述目標行人在所述停留時間內的累計移動距離；在所述停留時間大於或等於時間閾值，且所述累計移動距離大於或等於距離閾值的情況下，確定所述目標行人在所述預設區域內發生所述行人徘徊事件。
在一種可能的實現方式中，所述第一確定模組53用於：根據所述多幀待處理圖像中目標行人的坐標、所述預設區域的坐標以及所述多幀待處理圖像的時間戳，確定所述目標行人第一次出現在所述預設區域內的待處理圖像的第一時間戳和所述目標行人最後一次出現在所述預設區域內的待處理圖像的第二時間戳；將所述第二時間戳與所述第一時間戳之間的時間間隔，確定爲所述目標行人在所述預設區域內的停留時間。
在一種可能的實現方式中，所述第一確定模組53用於：根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述多幀待處理圖像中所述目標行人在所述預設區域內的圖像數；將所述圖像數與每幀待處理圖像的時長的乘積，確定爲所述目標行人在所述預設區域內的累計時長，並將所述累計時長作爲所述目標行人在所述預設區域內的停留時間。
在一種可能的實現方式中，所述第一確定模組53用於：根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述多幀待處理圖像中所述目標行人在所述預設區域內的最大連續圖像數；將所述最大連續圖像數與每幀待處理圖像的時長的乘積，確定爲所述目標行人在所述預設區域內的最大持續時間，並將所述最大持續時間作爲所述目標行人在所述預設區域內的停留時間。
在一種可能的實現方式中，所述第一確定模組53用於：將所述停留時間內所述目標行人在所述預設區域內的待處理圖像分別確定爲停留圖像；對所述目標行人在相鄰的兩幀停留圖像中的坐標之間的距離進行累加，得到所述目標行人在所述停留時間內的累計移動距離。
在一種可能的實現方式中，所述裝置還包括：第二確定模組，用於根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的坐標和所述預設區域的坐標，確定所述待處理圖像中所述目標行人所在區域與所述預設區域的面積重合值；第三確定模組，用於在所述面積重合值大於或等於重合值閾值情況下，確定所述待處理圖像中所述目標行人在所述預設區域內。
在一種可能的實現方式中，所述目標行人的坐標包括包含所述目標行人的邊界框的坐標；所述第二確定模組用於：根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的邊界框的坐標和所述預設區域的坐標，確定所述待處理圖像中所述邊界框包含的區域與所述預設區域的重合區域的第一面積；將所述第一面積與所述邊界框包含的區域的面積的比值，確定爲所述面積重合值。
在一種可能的實現方式中，所述預設空間包括預設區域，所述行人事件包括行人入侵事件；所述第一確定模組53用於：獲取入侵敏感係數；根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的坐標和所述預設區域的坐標，確定所述待處理圖像中所述邊界框包含的區域與所述預設區域的重合區域的第二面積；在所述第二面積與所述邊界框包含的區域的面積的比值大於所述入侵敏感係數的情況下，確定所述目標行人針對所述預設區域發生所述行人入侵事件。
在一種可能的實現方式中，所述裝置還包括：警告模組，用於在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，發出警告訊息。
在一種可能的實現方式中，所述裝置還包括：提取模組，用於在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，提取所述目標行人的屬性訊息；輸出模組，用於輸出所述目標行人的屬性訊息。
在本發明實施例中，通過獲取多幀待處理圖像中目標行人的坐標，獲取預設空間的坐標，並根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，由此能夠提高檢測行人事件的準確率。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，爲了簡潔，這裏不再贅述。
本發明實施例還提供一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。其中，所述電腦可讀儲存媒體可以是非揮發性電腦可讀儲存媒體，或者可以是揮發性電腦可讀儲存媒體。
本發明實施例還提出一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述方法。
本發明實施例還提供了另一種電腦程式産品，用於儲存電腦可讀指令，指令被執行時使得電腦執行上述任一實施例提供的方法的操作。
本發明實施例還提供一種電子設備，包括：一個或多個處理器；用於儲存可執行指令的記憶體；其中，所述一個或多個處理器被配置爲調用所述記憶體儲存的可執行指令，以執行上述方法。
電子設備可以被提供爲終端、伺服器或其它形態的設備。
圖6示出本發明實施例提供的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，訊息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖6，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音頻組件810，輸入/輸出（I/O）的介面812，感測器組件814，以及通訊組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，數據通訊，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置爲儲存各種類型的數據以支持在電子設備800的操作。這些數據的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人數據，電話簿數據，訊息，圖片，視訊等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存取記憶體（SRAM），電子可抹除可程式化唯讀記憶體（EEPROM），可抹除可程式化唯讀記憶體（EPROM），可程式化唯讀記憶體（PROM），唯讀記憶體（ROM），磁記憶體，快閃記憶體，磁碟或光碟。
電源組件806爲電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與爲電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和用戶之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（LCD）和觸控面板（TP）。如果螢幕包括觸控面板，螢幕可以被實現爲觸控螢幕，以接收來自用戶的輸入訊號。觸控面板包括一個或多個觸控感測器以感測觸控、滑動和觸控面板上的手勢。所述觸控感測器可以不僅感測觸控或滑動動作的邊界，而且還檢測與所述觸控或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影機和/或後置攝影機。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影機和/或後置攝影機可以接收外部的多媒體數據。每個前置攝影機和後置攝影機可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置爲輸出和/或輸入音頻訊號。例如，音頻組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風被配置爲接收外部音頻訊號。所接收的音頻訊號可以被進一步儲存在記憶體804或經由通訊組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻訊號。
I/O介面812爲處理組件802和周邊介面模組之間提供介面，上述周邊介面模組可以是鍵盤，滑鼠，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啓動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於爲電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件爲電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，用戶與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS（互補式金氧半導體）或CCD（電荷耦合元件）圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通訊組件816被配置爲便於電子設備800和其他設備之間有線或無線方式的通訊。電子設備800可以接入基於通訊標準的無線網路，如Wi-Fi（無線網路）、2G（第二代行動通訊技術）、3G（第三代行動通訊技術）、4G/LTE（第四代行動通訊技術/長期演進技術）、5G（第五代行動通訊技術）或它們的組合。在一個示例性實施例中，通訊組件816經由廣播信道接收來自外部廣播管理系統的廣播訊號或廣播相關訊息。在一個示例性實施例中，所述通訊組件816還包括近場通訊（NFC）模組，以促進短程通訊。例如，在NFC模組可基於射頻識別（RFID）技術，紅外數據協會（IrDA）技術，超寬頻（UWB）技術，藍牙（BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路（ASIC）、數位訊號處理器（DSP）、數位訊號處理設備（DSPD）、可程式化邏輯裝置（PLD）、現場可程式化邏輯閘陣列（FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖7示出本發明實施例提供的一種電子設備1900的方塊圖。例如，電子設備1900可以被提供爲一伺服器。參照圖7，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置爲執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置爲執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置爲將電子設備1900連接到網路，和一個輸入/輸出（I/O）介面1958。電子設備1900可以操作基於儲存在記憶體1932的操作系統，例如Windows Server®（微軟作業系統），Mac OS X®（麥金塔作業系統），Unix®（UNIX作業系統），Linux®（LINUX作業系統），FreeBSD®（FreeBSD系統）或類似。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式産品。電腦程式産品可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是――但不限於――電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子（非窮舉的列表）包括：可擕式電腦盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可抹除可程式化唯讀記憶體（EPROM或快閃）、靜態隨機存取記憶體（SRAM）、可擕式壓縮磁碟唯讀記憶體（CD-ROM）、數位多功能影音光碟（DVD）、記憶卡、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裏所使用的電腦可讀儲存媒體不被解釋爲瞬時訊號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電訊號。
這裏所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備，或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網路下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、硬體指令、狀態設置數據、或者以一種或多種程式化語言的任意組合編寫的原始碼或目標代碼，所述程式化語言包括面向對象的程式化語言—諸如Smalltalk（物件導向語言）、C++（程式設計語言）等，以及常規的過程式程式化語言—諸如“C”語言或類似的程式化語言。電腦可讀程式指令可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作爲一個獨立的套裝軟體執行、部分在用戶電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到用戶電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供商來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態訊息來個性化定制電子電路，例如可程式化邏輯電路、現場可程式化邏輯閘陣列（FPGA）或可程式化邏輯陣列（PLA），該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裏參照根據本發明實施例的方法、裝置（系統）和電腦程式産品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式化數據處理裝置的處理器，從而生産出一種機器，使得這些指令在通過電腦或其它可程式化數據處理裝置的處理器執行時，産生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中，這些指令使得電腦、可程式化數據處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀媒體則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令加載到電腦、其它可程式化數據處理裝置、或其它設備上，使得在電腦、其它可程式化數據處理裝置或其它設備上執行一系列操作步驟，以産生電腦實現的過程，從而使得在電腦、其它可程式化數據處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
圖式中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式産品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作爲替換的實現中，方塊中所標注的功能也可以以不同於圖式中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
該電腦程式産品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式産品具體體現爲電腦儲存媒體，在另一個可選實施例中，電腦程式産品具體體現爲軟體産品，例如軟件開發套件(Software Development Kit，SDK)等等。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
51:第一獲取模組 52:第二獲取模組 53:第一確定模組 800:電子設備 802:處理組件 804:記憶體 806:電源組件 808:多媒體組件 810:音頻組件 812:輸入/輸出介面 814:感測器組件 816:通訊組件 820:處理器 1900:電子設備 1922:處理組件 1926:電源組件 1932:記憶體 1950:網路介面 1958:輸入/輸出介面 S11~S13:步驟
此處的圖式被併入說明書中並構成本說明書的一部分，這些圖式示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案： 圖1示出本發明實施例提供的行人事件的檢測方法的流程圖； 圖2示出本發明實施例提供的行人事件的檢測方法中的行人跨線事件的示意圖； 圖3示出本發明實施例提供的行人事件的檢測方法中的預設方向的行人跨線事件的示意圖； 圖4示出本發明實施例提供的行人檢測方法的應用場景的示意圖； 圖5示出本發明實施例提供的行人事件的檢測裝置的方塊圖； 圖6示出本發明實施例提供的一種電子設備800的方塊圖；及 圖7示出本發明實施例提供的一種電子設備1900的方塊圖。
S11~S13:步驟

Claims (18)

  1. 一種行人事件的檢測方法，其特徵在於，包括： 獲取多幀待處理圖像中目標行人的坐標； 獲取預設空間的坐標； 根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件。
  2. 如請求項1所述的方法，其中，所述獲取多幀待處理圖像中目標行人的坐標包括： 利用深度神經網路的方式獲取所述多幀待處理圖像中目標行人的坐標。
  3. 如請求項2所述的方法，其中，所述預設空間包括預設線，所述行人事件包括行人跨線事件； 所述根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，包括： 根據所述預設線的坐標，確定與所述預設線垂直的第一坐標軸； 根據所述多幀待處理圖像中所述目標行人的坐標，確定所述多幀待處理圖像中所述目標行人在所述第一坐標軸上的投影坐標； 在所述投影坐標中的任意兩個分別在目標點的兩側的情況下，確定所述目標行人針對所述預設線發生所述行人跨線事件，其中，所述目標點表示所述第一坐標軸與所述預設線的交點。
  4. 如請求項3所述的方法，其中，所述在所述投影坐標中的任意兩個分別在目標點的兩側的情況下，確定所述目標行人針對所述預設線發生所述行人跨線事件，包括： 確定預設方向的向量與所述第一坐標軸的方向向量的夾角； 在所述夾角小於90度，所述投影坐標中的第一投影坐標和第二投影坐標分別在所述目標點的兩側，所述第一投影坐標對應的待處理圖像的時間戳早於所述第二投影坐標對應的待處理圖像，且所述第一投影坐標小於所述第二投影坐標的情況下，確定所述目標行人針對所述預設線發生所述預設方向的行人跨線事件；和/或，在所述夾角大於90度，所述投影坐標中的第一投影坐標和第二投影坐標分別在所述目標點的兩側，所述第一投影坐標對應的待處理圖像的時間戳早於所述第二投影坐標對應的待處理圖像，且所述第一投影坐標大於所述第二投影坐標的情況下，確定所述目標行人針對所述預設線發生所述預設方向的行人跨線事件。
  5. 如請求項1所述的方法，其中，所述預設空間包括預設區域，所述行人事件包括行人逗留事件； 所述根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，包括： 根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間； 在所述停留時間大於或等於時間閾值的情況下，確定所述目標行人在所述預設區域內發生所述行人逗留事件。
  6. 如請求項1所述的方法，其中，所述預設空間包括預設區域，所述行人事件包括行人徘徊事件； 所述根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，包括： 根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間； 確定所述目標行人在所述停留時間內的累計移動距離； 在所述停留時間大於或等於時間閾值，且所述累計移動距離大於或等於距離閾值的情況下，確定所述目標行人在所述預設區域內發生所述行人徘徊事件。
  7. 如請求項5或6所述的方法，其中，所述根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間，包括： 根據所述多幀待處理圖像中目標行人的坐標、所述預設區域的坐標以及所述多幀待處理圖像的時間戳，確定所述目標行人第一次出現在所述預設區域內的待處理圖像的第一時間戳和所述目標行人最後一次出現在所述預設區域內的待處理圖像的第二時間戳； 將所述第二時間戳與所述第一時間戳之間的時間間隔，確定爲所述目標行人在所述預設區域內的停留時間。
  8. 如請求項5或6所述的方法，其中，所述根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間，包括： 根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述多幀待處理圖像中所述目標行人在所述預設區域內的圖像數； 將所述圖像數與每幀待處理圖像的時長的乘積，確定爲所述目標行人在所述預設區域內的累計時長，並將所述累計時長作爲所述目標行人在所述預設區域內的停留時間。
  9. 如請求項5或6所述的方法，其中，所述根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述目標行人在所述預設區域內的停留時間，包括： 根據所述多幀待處理圖像中目標行人的坐標和所述預設區域的坐標，確定所述多幀待處理圖像中所述目標行人在所述預設區域內的最大連續圖像數； 將所述最大連續圖像數與每幀待處理圖像的時長的乘積，確定爲所述目標行人在所述預設區域內的最大持續時間，並將所述最大持續時間作爲所述目標行人在所述預設區域內的停留時間。
  10. 如請求項6所述的方法，其中，所述確定所述目標行人在所述停留時間內的累計移動距離，包括： 將所述停留時間內所述目標行人在所述預設區域內的待處理圖像分別確定爲停留圖像； 對所述目標行人在相鄰的兩幀停留圖像中的坐標之間的距離進行累加，得到所述目標行人在所述停留時間內的累計移動距離。
  11. 如請求項5或6所述的方法，其中，所述方法還包括： 根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的坐標和所述預設區域的坐標，確定所述待處理圖像中所述目標行人所在區域與所述預設區域的面積重合值； 在所述面積重合值大於或等於重合值閾值情況下，確定所述待處理圖像中所述目標行人在所述預設區域內。
  12. 如請求項11所述的方法，其中，所述目標行人的坐標包括包含所述目標行人的邊界框的坐標； 所述根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的坐標和所述預設區域的坐標，確定所述待處理圖像中所述目標行人所在區域與所述預設區域的面積重合值，包括： 根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的邊界框的坐標和所述預設區域的坐標，確定所述待處理圖像中所述邊界框包含的區域與所述預設區域的重合區域的第一面積； 將所述第一面積與所述邊界框包含的區域的面積的比值，確定爲所述面積重合值。
  13. 如請求項1至6其中任意一項所述的方法，其中，所述預設空間包括預設區域，所述行人事件包括行人入侵事件； 所述根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件，包括： 獲取入侵敏感係數； 根據所述多幀待處理圖像的任一待處理圖像中所述目標行人的坐標和所述預設區域的坐標，確定所述待處理圖像中邊界框包含的區域與所述預設區域的重合區域的第二面積； 在所述第二面積與所述邊界框包含的區域的面積的比值大於所述入侵敏感係數的情況下，確定所述目標行人針對所述預設區域發生所述行人入侵事件。
  14. 如請求項1至6其中任意一項所述的方法，其中，所述方法還包括： 在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，發出警告訊息。
  15. 如請求項1至6其中任意一項所述的方法，其中，所述方法還包括： 在檢測到所述目標行人針對所述預設空間發生所述行人事件的情況下，提取所述目標行人的屬性訊息； 輸出所述目標行人的屬性訊息。
  16. 一種行人事件的檢測裝置，其特徵在於，包括： 第一獲取模組，用於獲取多幀待處理圖像中目標行人的坐標； 第二獲取模組，用於獲取預設空間的坐標； 第一確定模組，用於根據所述多幀待處理圖像中目標行人的坐標和所述預設空間的坐標，確定所述目標行人針對所述預設空間發生的行人事件。
  17. 一種電子設備，其特徵在於，包括： 一個或多個處理器； 用於儲存可執行指令的記憶體； 其中，所述一個或多個處理器被配置爲調用所述記憶體儲存的可執行指令，以執行如請求項1至15其中任意一項所述的方法。
  18. 一種電腦可讀儲存媒體，其上儲存有電腦程式指令，其特徵在於，所述電腦程式指令被處理器執行時實現如請求項1至15其中任意一項所述的方法。
TW109118287A 2019-11-28 2020-06-01 行人事件的檢測方法及檢測裝置、電子設備和電腦可讀儲存媒體 TWI757756B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911192848.8A CN110969115B (zh) 2019-11-28 2019-11-28 行人事件的检测方法及装置、电子设备和存储介质
CN201911192848.8 2019-11-28

Publications (2)

Publication Number Publication Date
TW202121249A true TW202121249A (zh) 2021-06-01
TWI757756B TWI757756B (zh) 2022-03-11

Family

ID=70032254

Family Applications (3)

Application Number Title Priority Date Filing Date
TW111103951A TW202230213A (zh) 2019-11-28 2020-06-01 行人事件的檢測方法及檢測裝置、電子設備和電腦可讀儲存媒體
TW109118287A TWI757756B (zh) 2019-11-28 2020-06-01 行人事件的檢測方法及檢測裝置、電子設備和電腦可讀儲存媒體
TW111103953A TW202219833A (zh) 2019-11-28 2020-06-01 行人事件的檢測方法及檢測裝置、電子設備和電腦可讀儲存媒體

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW111103951A TW202230213A (zh) 2019-11-28 2020-06-01 行人事件的檢測方法及檢測裝置、電子設備和電腦可讀儲存媒體

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW111103953A TW202219833A (zh) 2019-11-28 2020-06-01 行人事件的檢測方法及檢測裝置、電子設備和電腦可讀儲存媒體

Country Status (7)

Country Link
US (1) US20210327086A1 (zh)
JP (1) JP2022515908A (zh)
KR (1) KR20210113374A (zh)
CN (1) CN110969115B (zh)
SG (1) SG11202107070UA (zh)
TW (3) TW202230213A (zh)
WO (1) WO2021103423A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969115B (zh) * 2019-11-28 2023-04-07 深圳市商汤科技有限公司 行人事件的检测方法及装置、电子设备和存储介质
CN112241696A (zh) * 2020-09-28 2021-01-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN113179423A (zh) * 2021-04-23 2021-07-27 深圳市商汤科技有限公司 事件的检测输出方法及装置、电子设备和存储介质
CN113392754B (zh) * 2021-06-11 2022-06-28 成都掌中全景信息技术有限公司 一种基于yolov5行人检测算法减少行人误检测率的方法
CN114913470B (zh) * 2022-07-11 2022-10-28 浙江大华技术股份有限公司 一种事件检测方法及装置
CN117152890B (zh) * 2023-03-22 2024-03-08 宁德祺朗科技有限公司 指定区域监控方法、系统和终端

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047074A (ja) * 2006-08-21 2008-02-28 Sogo Keibi Hosho Co Ltd 警備装置、警備方法および警備プログラム
CN101965576B (zh) * 2008-03-03 2013-03-06 视频监控公司 用于追踪、索引及搜寻的物件匹配
CN101883261B (zh) * 2010-05-26 2012-12-12 中国科学院自动化研究所 大范围监控场景下异常目标检测及接力跟踪的方法及系统
CN102902971A (zh) * 2012-08-31 2013-01-30 电子科技大学 基于智能视觉感知的电梯人流量统计方法及系统
CN105989367B (zh) * 2015-02-04 2019-06-28 阿里巴巴集团控股有限公司 目标获取方法及设备
CN105184812B (zh) * 2015-07-21 2018-08-24 复旦大学 一种基于目标跟踪的行人徘徊检测方法
JP6417300B2 (ja) * 2015-09-02 2018-11-07 株式会社中電工 指定範囲監視システム
CN105279898A (zh) * 2015-10-28 2016-01-27 小米科技有限责任公司 报警方法及装置
CN105678811B (zh) * 2016-02-25 2019-04-02 上海大学 一种基于运动检测的人体异常行为检测方法
TW201835851A (zh) * 2017-03-27 2018-10-01 晶睿通訊股份有限公司 用來呈現區域分佈特性的物件統計方法及其影像處理裝置
AU2017418043B2 (en) * 2017-07-13 2020-05-21 Beijing Voyager Technology Co., Ltd. Systems and methods for trajectory determination
WO2019188928A1 (ja) * 2018-03-28 2019-10-03 シャープ株式会社 監視装置および制御装置
CN109117721A (zh) * 2018-07-06 2019-01-01 江西洪都航空工业集团有限责任公司 一种行人徘徊检测方法
CN109697734B (zh) * 2018-12-25 2021-03-09 浙江商汤科技开发有限公司 位姿估计方法及装置、电子设备和存储介质
CN109522910B (zh) * 2018-12-25 2020-12-11 浙江商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN109815844A (zh) * 2018-12-29 2019-05-28 西安天和防务技术股份有限公司 目标检测方法及装置、电子设备和存储介质
CN110378312A (zh) * 2019-07-26 2019-10-25 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110491135B (zh) * 2019-08-20 2021-10-22 深圳市商汤科技有限公司 检测违章停车的方法及相关装置
CN110969115B (zh) * 2019-11-28 2023-04-07 深圳市商汤科技有限公司 行人事件的检测方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
TW202230213A (zh) 2022-08-01
CN110969115B (zh) 2023-04-07
WO2021103423A1 (zh) 2021-06-03
SG11202107070UA (en) 2021-07-29
TW202219833A (zh) 2022-05-16
TWI757756B (zh) 2022-03-11
US20210327086A1 (en) 2021-10-21
JP2022515908A (ja) 2022-02-22
CN110969115A (zh) 2020-04-07
KR20210113374A (ko) 2021-09-15

Similar Documents

Publication Publication Date Title
WO2021103423A1 (zh) 行人事件的检测方法及装置、电子设备和存储介质
TWI749423B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存介質
TWI766286B (zh) 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介
TWI717146B (zh) 圖像處理方法及裝置、電子設備和儲存介質
WO2021164469A1 (zh) 目标对象的检测方法、装置、设备和存储介质
WO2020135127A1 (zh) 一种行人识别方法及装置
US20200327353A1 (en) Image processing method and apparatus, electronic device, and storage medium
CN105654039B (zh) 图像处理的方法和装置
TWI738172B (zh) 影片處理方法及裝置、電子設備、儲存媒體和電腦程式
TW202139140A (zh) 圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體
TW202026943A (zh) 錨點確定方法及裝置、電子設備和儲存介質
CN108848389B (zh) 一种全景视频处理方法及播放系统
WO2023103377A1 (zh) 标定方法及装置、电子设备、存储介质及计算机程序产品
KR20160043523A (ko) 동영상 브라우징 방법, 장치, 프로그램 및 기록매체
WO2022134504A1 (zh) 图像检测方法及装置、电子设备和存储介质
KR20220027202A (ko) 객체 검출 방법 및 장치, 전자 기기 및 저장매체
KR20200042513A (ko) 타겟 매칭 방법 및 장치, 전자 기기 및 저장 매체
WO2023103298A1 (zh) 遮挡检测方法及装置、电子设备、存储介质及计算机程序产品
CN111680646B (zh) 动作检测方法及装置、电子设备和存储介质
WO2023173616A1 (zh) 一种人群统计方法及装置、电子设备和存储介质
CN112906484A (zh) 一种视频帧处理方法及装置、电子设备和存储介质
KR102446688B1 (ko) 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체
CN112101216A (zh) 人脸识别方法、装置、设备及存储介质
WO2023155350A1 (zh) 一种人群定位方法及装置、电子设备和存储介质
CN112330721B (zh) 三维坐标的恢复方法及装置、电子设备和存储介质