TWI755758B - 類別標注方法及類別標注裝置、電子設備、電腦可讀儲存媒體 - Google Patents

類別標注方法及類別標注裝置、電子設備、電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI755758B
TWI755758B TW109120320A TW109120320A TWI755758B TW I755758 B TWI755758 B TW I755758B TW 109120320 A TW109120320 A TW 109120320A TW 109120320 A TW109120320 A TW 109120320A TW I755758 B TWI755758 B TW I755758B
Authority
TW
Taiwan
Prior art keywords
category
image acquisition
detection
acquisition device
target video
Prior art date
Application number
TW109120320A
Other languages
English (en)
Other versions
TW202129548A (zh
Inventor
陳英震
張澤
方琪
陳丹婷
裴歡
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202129548A publication Critical patent/TW202129548A/zh
Application granted granted Critical
Publication of TWI755758B publication Critical patent/TWI755758B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本發明涉及一種類別標注方法及類別標注裝置、電子設備、電腦可讀儲存媒體，所述方法包括：對圖像採集設備採集的視訊流進行檢測，確定所述視訊流中的目標視訊幀的檢測結果，所述檢測結果包括檢測類別，所述檢測類別包括：所述目標視訊幀中對象的對象類別，和所述目標視訊幀所對應的場景類別的至少一種；根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果。

Description

類別標注方法及類別標注裝置、電子設備、電腦可讀儲存媒體
本申請要求在2020年1月19日提交中國專利局、申請號為202010060050.4、申請名稱為“類別標注方法及裝置、電子設備和存儲介質”的中國專利申請的優先權，其全部內容通過引用結合在本申請中。
本發明涉及電腦技術領域，尤其涉及一種類別標注方法及類別標注裝置、電子設備、電腦可讀儲存媒體。
隨著科技發展，圖像採集設備已經應用在工業生產和生活的方方面面，例如，視訊監控系統作為社會公共安全的重要組成部分，已經得到了大量的普及，很多企事業單位目前已經建成大量的視訊監控系統，視訊監控系統中往往會包含大量的圖像採集設備。
本發明提出了一種類別標注技術方案。
根據本發明的一方面，提供了一種類別標注方法，包括：對圖像採集設備採集的視訊流進行檢測，確定所述視訊流中的目標視訊幀的檢測結果，所述檢測結果包括檢測類別，所述檢測類別包括：所述目標視訊幀中對象的對象類別，和所述目標視訊幀所對應的場景類別的至少一種；根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果。
在一種可能的實現方式中，對圖像採集設備採集的視訊流進行檢測，確定所述視訊流中的目標視訊幀的檢測結果，包括：確定目標視訊幀對應多個類別的信賴度；在存在大於信賴度閾值的信賴度的情況下，將大於信賴度閾值的所述信賴度對應的類別，作為目標視訊幀的檢測結果。
在一種可能的實現方式中，在確定所述視訊流中的目標視訊幀的檢測結果後，所述方法還包括：確定預設時間區間內得到的所述檢測結果的總數量；相應地，所述根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果，包括：在所述檢測結果的總數量大於數量閾值的情況下，根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果。
在一種可能的實現方式中，所述檢測結果包括多個，所述根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果，包括：確定所述多個檢測結果中一個或多個檢測類別的數量占所述總數量的比值；將大於比值閾值的比值對應的檢測類別，確定為與所述圖像採集設備對應的類別標注結果。
在一種可能的實現方式中，所述對象類別包括下述至少一種：人臉；人體；車牌；車型；所述場景類別包括下述至少一種：高空；低空室內；低空室外。
在一種可能的實現方式中，在確定與所述圖像採集設備對應的類別標注結果後，還包括：在接收到針對目標類別的目標圖像採集設備的查找請求的情況下，基於確定的所述圖像採集設備對應的所述類別標注結果，返回所述目標類別的所述目標圖像採集設備。
在一種可能的實現方式中，在對圖像採集設備採集的視訊流進行檢測前，所述方法還包括：確定當前時間是否為夜間時間；相應地，所述對圖像採集設備採集的視訊流進行檢測，包括：在確定當前時間不是夜間時間的情況下，對所述圖像採集設備採集的視訊流進行檢測。
根據本發明的一方面，提供了一種類別標注裝置，包括： 檢測結果確定模組，用於對圖像採集設備採集的視訊流進行檢測，確定所述視訊流中的目標視訊幀的檢測結果，所述檢測結果包括檢測類別，所述檢測類別包括：所述目標視訊幀中對象的對象類別，和所述目標視訊幀所對應的場景類別的至少一種；標注結果確定模組，用於根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果。
在一種可能的實現方式中，檢測結果確定模組，用於確定目標視訊幀對應多個類別的信賴度；在存在大於信賴度閾值的信賴度的情況下，將大於信賴度閾值的所述信賴度對應的類別，作為目標視訊幀的檢測結果。
在一種可能的實現方式中，所述裝置還包括：總數量確定模組，用於確定預設時間區間內得到的所述檢測結果的總數量；所述標注結果確定模組，用於在所述檢測結果的總數量大於數量閾值的情況下，根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果。
在一種可能的實現方式中，所述檢測結果包括多個，所述標注結果確定模組包括第一標注結果確定子模組和第二標注結果確定子模組，其中，所述第一標注結果確定子模組，用於確定所述多個檢測結果中一個或多個檢測類別的數量占所述總數量的比值；第二標注結果確定子模組，用於將大於比值閾值的比值對應 的檢測類別，確定為與所述圖像採集設備對應的類別標注結果。
在一種可能的實現方式中，所述對象類別包括下述至少一種：人臉；人體；車牌；車型；所述場景類別包括下述至少一種：高空；低空室內；低空室外。
在一種可能的實現方式中，所述裝置還包括：查找模組，用於在接收到針對目標類別的目標圖像採集設備的查找請求的情況下，基於確定的所述圖像採集設備對應的所述類別標注結果，返回所述目標類別的所述目標圖像採集設備。
在一種可能的實現方式中，所述裝置還包括：時間確定模組，用於確定當前時間是否為夜間時間；所述檢測結果確定模組，用於在確定當前時間不是夜間時間的情況下，對所述圖像採集設備採集的視訊流進行檢測。
根據本發明的一方面，提供了一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述方法。
根據本發明的一方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。
根據本發明的一方面，提供了一種電腦程式，其中，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所 述電子設備中的處理器執行用於實現上述的方法。
在本發明實施例中，能夠準確地確定圖像採集設備的類別標注結果，實現了對圖像採集設備進行類別劃分，這樣可以方便管理者通過類別的維度管理和調用圖像採集設備，降低了對圖像採集設備進行管理的難度。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。根據下面參考圖式對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
20:類別標注裝置
21:檢測結果確定模組
22:標注結果確定模組
800:電子設備
802:處理組件
804:記憶體
806:電源組件
808:多媒體組件
810:音訊組件
812:輸入/輸出介面
814:感測器組件
816:通訊組件
820:處理器
1900:電子設備
1922:處理組件
1926:電源組件
1932:記憶體
1950:網路介面
1958:輸入/輸出介面
S11、S12:步驟
此處的圖式被併入說明書中並構成本說明書的一部分，這些圖式示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案：圖1示出根據本發明實施例的類別標注方法的流程圖；圖2示出根據本發明實施例的一種類別標注裝置的方塊圖；圖3示出根據本發明實施例的一種電子設備的方塊圖；及圖4示出根據本發明實施例的一種電子設備的方塊圖。
以下將參考圖式詳細說明本發明的各種示例性實施 例、特徵和方面。圖式中相同的圖式標記表示功能相同或相似的元件。儘管在圖式中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製圖式。
在這裏專用的詞“示例性”意為“用作例子、實施例或說明性”。這裏作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
隨著科技發展，圖像採集設備已經遍布於工業生產和生活的方方面面，圖像採集設備在街道上隨處可見，在一些監控系統中，會存在幾十個，甚至上萬個圖像採集設備需要管理，如此多 數量的圖像採集設備，導致圖像採集設備管理的難度越來越大。
本發明實施例提供的類別標注方法，能夠準確地確定圖像採集設備的類別標注結果，實現了對圖像採集設備進行類別劃分，這樣可以方便管理者通過類別的維度管理和調用圖像採集設備，降低了對圖像採集設備進行管理的難度。
本發明實施例提供的類別標注方法，可應用於對圖像採集設備類別的標注，其應用價值至少可以從以下幾方面體現：
(1)提高圖像採集設備運維和使用的效率。當用戶想通過圖像採集設備查看某些需求的監控圖像時，可實現對用戶請求的迅速響應，而無需用戶挨個查看圖像採集設備的圖像來查找。例如，當公安要查找能拍攝到人臉的圖像採集設備進行犯罪嫌疑人追蹤時，如果要從上百個甚至上萬個圖像採集設備中人工查找，將會耗費大量時間，而通過本發明實施例提供的類別標注方法，由於圖像採集設備標注了類別，因此，公安用戶可以以類別的維度查找圖像採集設備，將會大大提高查找的效率。
(2)提高圖像採集設備類別標注的效率和準確率。通過自動提取視訊幀進行檢測，對圖像採集設備進行分類，相對於人工手動查看每一路視訊採集設備採集的影像進行分析而言，大大節約了人力、物力和時間。同時，由於分類過程可以不受個人因素干擾，且類別是根據多個目標視訊幀的檢測結果得到的，提升了對圖 像採集設備分類的準確率。
本發明實施例提供的類別標注方法的執行主體可以是類別標注裝置，例如，類別標注方法可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以為用戶設備(User Equipment，UE)、行動設備、用戶終端、終端、行動電話、無線電話、個人數位助理(Personal Digital Assistant，PDA)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該類別標注方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
圖1示出根據本發明實施例的類別標注方法的流程圖，如圖1所示，所述類別標注方法包括：步驟S11，對圖像採集設備採集的視訊流進行檢測，確定所述視訊流中的目標視訊幀的檢測結果；所述檢測結果包括檢測類別，所述檢測類別包括：所述目標視訊幀中對象的對象類別，和所述目標視訊幀所對應的場景類別的至少一種。
圖像採集設備具備圖像採集功能，可以將採集到的圖像以視訊流的形式進行發送，進行檢測的視訊流可以是圖像採集設備實時採集到的。
在進行檢測時，可以是對視訊流中的視訊幀進行檢 測，視訊幀的具體表現形式可以是一張圖像，因此，也可稱之為圖像幀。為方便描述，這裏將進行檢測的視訊幀稱為目標視訊幀。
步驟S12，根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果。
在確定所述圖像採集設備對應的類別標注結果時，為了提高標注結果的準確性，可以根據多個目標視訊幀的檢測結果進行確定。
根據本發明的實施例，能夠通過對圖像採集設備採集的視訊流進行檢測，確定該視訊流中目標視訊幀的檢測結果，檢測結果包括檢測類別，檢測類別包括目標視訊幀中對象的對象類別，和目標視訊幀所對應的場景類別的至少一種，然後根據多個目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果。通過對圖像採集設備採集的視訊幀進行檢測，對視訊幀的類別進行確定，並根據多個視訊幀的類別，準確地確定了圖像採集設備的類別標注結果，實現了對圖像採集設備進行類別劃分。這樣可以方便管理者通過類別的維度管理和調用圖像採集設備，降低了對圖像採集設備進行管理的難度。並且，通過自動提取視訊幀進行檢測對圖像採集設備進行分類，相對於人工手動從視訊彙聚平臺查看每一路圖像採集設備的視訊流進行分析而言，大大節約了人力、物力和時間。同時，由於分類過程可以不受個人因素干擾，提升了對圖像採 集設備分類的準確率。
在一種可能的實現方式中，可以通過檢測對目標視訊幀進行分類，得到目標視訊幀的類別。通過檢測對目標視訊幀進行分類時，可以是根據目標視訊幀中包含的對象，確定目標視訊幀中對象的對象類別，也可以是根據目標視訊幀的場景，得到目標視訊幀所對應的場景類別。
對於目標視訊幀中包含的對象，可以通過對視訊幀進行解析得到，具體解析時可以通過神經網路對視訊幀中的對象進行識別，例如，可以利用神經網路進行人臉識別來識別目標視訊幀中是否包含人臉，可以利用神經網路進行車輛識別來識別目標視訊幀中是否包含車輛，等等。
對於目標視訊幀所對應的場景，也可以通過神經網路對目標視訊幀進行解析得到，可以通過標注了場景的樣本圖片對神經網路進行訓練，訓練好的神經網路即可對目標視訊幀的場景進行識別。
在一種可能的實現方式中，在對圖像採集設備採集的視訊流進行檢測前，還包括：確定當前時間是否為夜間時間，在確定當前時間不是夜間時間的情況下，對圖像採集設備採集的視訊流進行檢測。那麽，在確定當前時間是夜間時間的情況下，則可以不對圖像採集設備採集的視訊流進行檢測。
具體的夜間時間可以由用戶預先設定，例如，設定一天的18：00至次日的5：30為夜間時間。或者，夜間時間也可以是根據圖像採集設備所處位置當天的日出時間和日落時間來確定，在日落時間後，日出時間之前，即為夜間時間。那麽，在確定當前時間是否為夜間時間時，可以獲取圖像採集設備所在位置的日出時間和日落時間，根據日出時間和日落時間確定當前時間是否為夜間時間。
獲取日出時間和日落時間的具體方式可以是從提供日出時間和日落時間的網路端口進行獲取，對於具體的獲取方式，本發明不作具體限定。
考慮到夜間獲取的圖像的清晰度可能不高，導致無法準確識別對象和場景，因此，通過在確定當前時間不是夜間時間的情況下，對圖像採集設備採集的視訊流進行檢測，在確定當前時間是夜間時間的情況下，可以不對圖像採集設備採集的視訊流進行檢測。減少了處理資源的浪費，提高了類別標注結果的準確性。
在一種可能的實現方式中，對象類別包括下述至少一種：人臉、人體、車牌、車型。場景類別包括下述至少一種：高空、低空室內、低空室外。
在一種可能的實現方式中，對圖像採集設備採集的視訊流進行檢測，確定視訊流中的目標視訊幀的檢測結果，包括：確 定目標視訊幀對應多個類別的信賴度；在存在大於信賴度閾值的信賴度的情況下，將大於信賴度閾值的信賴度對應的類別，作為目標視訊幀的檢測結果。
確定目標視訊幀對應多個類別的信賴度，可以通過分類網路來確定。分類網路具體可以是超分辨率測試序列網路(VGG Net，Visual Geometry Group Net)，也可以是殘差網路(ResNet，Residual Neural Network)，具體採用何種分類網路可依據本發明的實際應用需求確定，本發明對此不作具體限定。
在一些分類網路中，信賴度可以表徵目標視訊幀屬某個類別的概率，或者，信賴度可以用來表徵目標視訊幀屬某個類別的程度。信賴度越大，該目標視訊幀屬某個類別的可能性就越大。在將目標視訊幀輸入分類網路後，會確定出目標視訊幀對應多個類別的信賴度，一個類別對應一個信賴度。
由於信賴度越大，目標視訊幀屬某個類別的可能性就越大，因此，可以通過設定信賴度閾值，將大於信賴度閾值的信賴度對應的類別，作為目標視訊幀的檢測結果，大於信賴度閾值的信賴度可以有不止一個，此時目標視訊幀會對應多個類別；若不存在大於信賴度閾值的信賴度，則可以確定目標視訊幀不屬分類網路中的任何類別，即沒有得到目標視訊幀的檢測結果。例如，預設的信賴度閾值為60%，分類網路輸出的類別1的信賴度為70%，類別2 的信賴度為20%，類別3的信賴度為10%，那麽可以將類別1作為目標視訊幀的檢測結果。
需要說明的是，信賴度閾值的具體值可依據本發明的實際應用需求確定，本發明對此不作具體限定。
分類網路可通過標注了類別的圖像樣本數據進行訓練，例如，通過標注了人臉、人體、車牌、車型等對象類別的樣本圖片，對分類網路進行訓練，訓練後的網路可用於進行對象類別的識別；通過標注了高空、低空室內、低空室外等場景類別的樣本圖片，對分類網路進行訓練，訓練後的網路可用於進行上述場景類別的識別。至於具體的訓練過程此處不做贅述。
在一種可能的實現方式中，為了提高類別標注結果的準確性，在確定視訊流中的目標視訊幀的檢測結果後，還可以確定預設時間區間內得到的檢測結果的總數量，然後在檢測結果的總數量大於數量閾值的情況下，根據多個所述目標視訊幀的檢測結果，確定與圖像採集設備對應的類別標注結果。
需要說明的是，數量閾值越大，得到的類別標注結果可靠性越高，但是為了保證確定類別標注結果的效率，數量閾值也不能太大，因此，數量閾值的具體值可依據本發明的實際應用需求確定，本發明對此不作具體限定。
在確定視訊流中的目標視訊幀的檢測結果後，即對預 設時間區間內得到的檢測結果的總數量進行確定。這裏在確定預設時間區間內得到的檢測結果的總數量時，可以是在得到一個目標視訊幀的檢測結果後即在總數量上加1，即一個目標視訊幀的檢測結果對應一個數量；也可以是在得到一個目標視訊幀的檢測結果後，在總數量上累加具體得到的類別數量，即一個目標視訊幀的檢測結果包含n個類別，則對應累加n個數量，例如，對一個目標視訊幀的檢測結果為2個類別，則在總數量上加2。總數量的具體確定方式可依據本發明的實際應用需求確定，本發明對此不作具體限定。
預設時間區間可以由用戶自行設定，且預設時間區間可以是一段連續的時間區間，也可以是包含多段不連續的時間區間。另外，多個預設時間區間之間可以由用戶自行設置時間間隔。對於具體預設時間區間的設定，可依據本發明的實際應用需求確定，本發明對此不作具體限定。
根據本發明的實施例，通過在檢測結果的總數量大於數量閾值的情況下，再根據多個所述目標視訊幀的檢測結果，確定與圖像採集設備對應的類別標注結果，可以提高類別標注結果的準確性。
在一種可能的實現方式中，為了進一步提高類別標注結果的準確性，根據多個所述目標視訊幀的檢測結果，確定與圖像採集設備對應的類別標注結果，包括：確定多個檢測結果中一個或 多個檢測類別的數量占總數量的比值；將大於比值閾值的比值對應的檢測類別，確定為與圖像採集設備對應的類別標注結果。比值閾值的具體值可依據本發明的實際應用需求確定，本發明對此不作具體限定。
例如，對於某一個圖像採集設備的視訊流，得到檢測結果的總數量為100個，其中，人臉類別的數量為50個、人體類別的數量為40個；車牌類別數量為10個。那麽得到的人臉類別的比值為50%，人體類別的比值為40%，車牌類別的比值為10%。如果設定的比值閾值為30%，那麽人臉類別和人體類別即為與圖像採集設備對應的類別標注結果。
在一種可能的實現方式中，在確定了圖像採集設備對應的類別標注結果後，便可以對類別標注結果進行儲存，以便後期根據類別標注結果對圖像採集設備進行運維和調用。
在一種可能的實現方式中，在確定了圖像採集設備對應的類別標注結果後，還包括：在接收到針對目標類別的圖像採集設備的查找請求的情況下，基於確定的圖像採集設備對應的類別標注結果，返回目標類別的圖像採集設備。
目標類別的圖像採集設備的查找請求，可由用戶通過人機互動界面觸發，在人機互動界面中可以呈現圖像採集設備的類別，以供用戶選取，為方便描述，這裏將用戶請求查找的類別稱為 目標類別。
在收到該查找請求後，由於預先將圖像採集設備的類別標注結果進行了儲存，因此，可以基於確定的圖像採集設備對應的類別標注結果，確定目標類別的圖像採集設備，並將確定的目標類別的圖像採集設備返回給用戶。
例如，用戶請求調用能看到人臉的圖像採集設備，則可以依據預先標注的類別篩選圖像採集設備。在接收到查找人臉類別的圖像採集設備的請求後，可以在數據庫中查找人臉類別的圖像採集設備，並向用戶返回人臉類別的圖像採集設備。
根據本發明的實施例，可應用於提高圖像採集設備的運維和使用效率。例如，視訊監控已經成為公安偵查破案的一種重要手段，在公安系統中，當建設用於監控目標類別的對象和/或場景的監控系統時，可通過本發明實施例的類別標注方法，對已建設的全量圖像採集設備進行分析，得到圖像採集設備的類別標注結果。然後，用戶可選擇目標類別的對象和/或場景的圖像採集設備，加入監控系統中。實現了對圖像採集設備的高效運維和使用。
根據本發明的實施例，也可應用於對圖像採集設備的摸底分析工作，通過本發明的實施例，可以對監控畫面中的所處的場景類型和適合解析的對象進行摸底分析，提升了摸底效率及圖像採集設備類型的統一性。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外，本發明還提供了類別標注裝置、電子設備、電腦可讀儲存媒體、程式，上述均可用來實現本發明提供的任一種類別標注方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖2示出根據本發明實施例的類別標注裝置20的方塊圖，如圖2所示，所述類別標注裝置20包括：檢測結果確定模組21，用於對圖像採集設備採集的視訊流進行檢測，確定所述視訊流中的目標視訊幀的檢測結果，所述檢測結果包括檢測類別，所述檢測類別包括：所述目標視訊幀中對象的對象類別，和所述目標視訊幀所對應的場景類別的至少一種；標注結果確定模組22，用於根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果。
在一種可能的實現方式中，檢測結果確定模組21，用於確定目標視訊幀對應多個類別的信賴度；在存在大於信賴度閾值的信賴度的情況下，將大於信賴度閾值的所述信賴度對應的類別， 作為目標視訊幀的檢測結果。
在一種可能的實現方式中，所述類別標注裝置20還包括：總數量確定模組，用於確定預設時間區間內得到的所述檢測結果的總數量；所述標注結果確定模組22，用於在所述檢測結果的總數量大於數量閾值的情況下，根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果。
在一種可能的實現方式中，所述檢測結果包括多個，所述標注結果確定模組22包括第一標注結果確定子模組和第二標注結果確定子模組，其中，所述第一標注結果確定子模組，用於確定所述多個檢測結果中一個或多個檢測類別的數量占所述總數量的比值；第二標注結果確定子模組，用於將大於比值閾值的比值對應的檢測類別，確定為與所述圖像採集設備對應的類別標注結果。
在一種可能的實現方式中，所述對象類別包括下述至少一種：人臉；人體；車牌；車型；所述場景類別包括下述至少一種：高空；低空室內；低空室外。
在一種可能的實現方式中，所述類別標注裝置20還包括：查找模組，用於在接收到針對目標類別的目標圖像採集設備的查找請求的情況下，基於確定的所述圖像採集設備對應的所述類別標注結果，返回所述目標類別的所述目標圖像採集設備。
在一種可能的實現方式中，所述類別標注裝置20還包 括：時間確定模組，用於確定當前時間是否為夜間時間；所述檢測結果確定模組21，用於在確定當前時間不是夜間時間的情況下，對所述圖像採集設備採集的視訊流進行檢測。
在本發明實施例中，能夠準確地確定圖像採集設備的類別標注結果，實現了對圖像採集設備進行類別劃分，這樣可以方便管理者通過類別的維度管理和調用圖像採集設備，降低了對圖像採集設備進行管理的難度。
在一些實施例中，本發明實施例提供的類別標注裝置20具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裏不再贅述。
本發明實施例還提出一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存媒體可以是非揮發性電腦可讀儲存媒體。
本發明實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述方法。
本發明實施例還提供了一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現如上任一實施例提供的類別標注方法的指令。
本發明實施例還提供了另一種電腦程式產品，用於儲存電腦可讀指令，指令被執行時使得電腦執行上述任一實施例提供的類別標注方法的操作。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖3示出根據本發明實施例的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，訊息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖3，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音訊組件810，輸入/輸出(I/O)的介面812，感測器組件814，以及通訊組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，數據通訊，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的數據以支持在電子設備800的操作。這些數據的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人數據，電話簿數據，訊息，圖片，視訊等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存取記憶體(SRAM)，電子可抹除可程式化唯讀記憶體(EEPROM)，可抹除可程式化唯讀記憶體(EPROM)，可程式化唯讀記憶體(PROM)，唯讀記憶體(ROM)，磁記憶體，快閃記憶體，磁碟或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和用戶之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器(LCD)和觸控面板(TP)。如果螢幕包括觸控面板，螢幕可以被實現為觸控螢幕，以接收來自用戶的輸入訊號。觸控面板包括一個或多個觸控感測器以感測觸控、滑動和觸控面板上的手勢。所述觸控感測器可以不僅感測觸控或滑動動作的邊界，而且還檢測與所述觸控或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影機和/或後置攝影機。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影機和/ 或後置攝影機可以接收外部的多媒體數據。每個前置攝影機和後置攝影機可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊組件810被配置為輸出和/或輸入音訊訊號。例如，音訊組件810包括一個麥克風(MIC)，當電子設備800處於操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風被配置為接收外部音訊訊號。所接收的音訊訊號可以被進一步儲存在記憶體804或經由通訊組件816發送。在一些實施例中，音訊組件810還包括一個揚聲器，用於輸出音訊訊號。
I/O介面812為處理組件802和周邊介面模組之間提供介面，上述周邊介面模組可以是鍵盤，滑鼠，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，用戶與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件 814還可以包括光感測器，如CMOS(互補式金氧半導體)或CCD(電荷耦合元件)圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通訊組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通訊。電子設備800可以接入基於通訊標準的無線網路，如WiFi(無線網路)，2G(第二代行動通訊技術)或3G(第三代行動通訊技術)，或它們的組合。在一個示例性實施例中，通訊組件816經由廣播信道接收來自外部廣播管理系統的廣播訊號或廣播相關訊息。在一個示例性實施例中，所述通訊組件816還包括近場通訊(NFC)模組，以促進短程通訊。例如，在NFC模組可基於射頻識別(RFID)技術，紅外數據協會(IrDA)技術，超寬頻(UWB)技術，藍牙(BT)技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、數位訊號處理設備(DSPD)、可程式化邏輯裝置(PLD)、現場可程式化邏輯閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體804，上述電腦程式指 令可由電子設備800的處理器820執行以完成上述方法。
圖4示出根據本發明實施例的一種電子設備1900的方塊圖。例如，電子設備1900可以被提供為一伺服器。參照圖4，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和一個輸入輸出(I/O)介面1958。電子設備1900可以操作基於儲存在記憶體1932的操作系統，例如Windows ServerTM(微軟作業系統)，Mac OS XTM(麥金塔作業系統)，UnixTM(UNIX作業系統)，LinuxTM(LINUX作業系統)，FreeBSDTM(FreeBSD系統)或類似。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本 發明的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是──但不限於──電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子(非窮舉的列表)包括：可攜式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM或閃存)、靜態隨機存取記憶體(SRAM)、可攜式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能影音光碟(DVD)、記憶卡、磁片、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裏所使用的電腦可讀儲存媒體不被解釋為瞬時訊號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈衝)、或者通過電線傳輸的電訊號。
這裏所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備，或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發 該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、韌體指令、狀態設置數據、或者以一種或多種程式化語言的任意組合編寫的原始碼或目標代碼，所述程式化語言包括面向對象的程式化語言-諸如Smalltalk(物件導向語言)、C++(程式設計語言)等，以及常規的過程式程式化語言-諸如“C”語言或類似的程式化語言。電腦可讀程式指令可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作為一個獨立的套裝軟體執行、部分在用戶電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路-包括區域網路(LAN)或廣域網路(WAN)-連接到用戶電腦，或者，可以連接到外部電腦(例如利用網際網路服務提供商來通過網際網路連接)。在一些實施例中，通過利用電腦可讀程式指令的狀態訊息來個性化定制電子電路，例如可程式化邏輯電路、現場可程式化邏輯閘陣列(FPGA)或可程式化邏輯陣列(PLA)，該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裏參照根據本發明實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本發明的各個方面。應 當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式化數據處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式化數據處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中，這些指令使得電腦、可程式化數據處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀媒體則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令加載到電腦、其它可程式化數據處理裝置、或其它設備上，使得在電腦、其它可程式化數據處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式化數據處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
圖式中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模 組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於圖式中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
該電腦程式產品可以具體通過影體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品具體體現為電腦儲存媒體，在另一個可選實施例中，電腦程式產品具體體現為軟體產品，例如軟體開發套件(Software Development Kit，SDK)等等。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露 的各實施例。
S11、S12:步驟

Claims (9)

  1. 一種類別標注方法，其中，包括：對圖像採集設備採集的視訊流進行檢測，確定所述視訊流中的目標視訊幀的檢測結果，所述檢測結果包括檢測類別，所述檢測類別包括：所述目標視訊幀中對象的對象類別，和所述目標視訊幀所對應的場景類別的至少一種；根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果；在確定與所述圖像採集設備對應的類別標注結果後，還包括：在接收到針對目標類別的目標圖像採集設備的查找請求的情況下，基於確定的所述圖像採集設備對應的所述類別標注結果，返回所述目標類別的所述目標圖像採集設備。
  2. 如請求項1所述方法，其中，對圖像採集設備採集的視訊流進行檢測，確定所述視訊流中的目標視訊幀的檢測結果，包括：確定目標視訊幀對應多個類別的信賴度；在存在大於信賴度閾值的信賴度的情況下，將大於信賴度閾值的所述信賴度對應的類別，作為目標視訊幀的檢測結果。
  3. 如請求項1或2所述方法，其中，在確定所述視訊流中的目標視訊幀的檢測結果後，所述方法還包括：確定預設時間區間內得到的所述檢測結果的總數量； 相應地，所述根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果，包括：在所述檢測結果的總數量大於數量閾值的情況下，根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果。
  4. 如請求項3所述方法，其中，所述檢測結果包括多個，所述根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果，包括：確定所述多個檢測結果中一個或多個檢測類別的數量占所述總數量的比值；將大於比值閾值的比值對應的檢測類別，確定為與所述圖像採集設備對應的類別標注結果。
  5. 如請求項1所述方法，其中，所述對象類別包括下述至少一種：人臉；人體；車牌；車型；所述場景類別包括下述至少一種：高空；低空室內；低空室外。
  6. 如請求項1所述方法，其中，在對圖像採集設備採集的視訊流進行檢測前，所述方法還包括：確定當前時間是否為夜間時間；相應地，所述對圖像採集設備採集的視訊流進行檢測，包括：在確定當前時間不是夜間時間的情況下，對所述圖像採集設備採集的視訊流進行檢測。
  7. 一種類別標注裝置，其中，包括：檢測結果確定模組，用於對圖像採集設備採集的視訊流進行檢測，確定所述視訊流中的目標視訊幀的檢測結果，所述檢測結果包括檢測類別，所述檢測類別包括：所述目標視訊幀中對象的對象類別，和所述目標視訊幀所對應的場景類別的至少一種；標注結果確定模組，用於根據多個所述目標視訊幀的檢測結果，確定與所述圖像採集設備對應的類別標注結果。
  8. 一種電子設備，其中，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行如請求項1至6其中任意一項所述的方法。
  9. 一種電腦可讀儲存媒體，其上儲存有電腦程式指令，其中，所述電腦程式指令被處理器執行時實現如請求項1至6其中任意一項所述的方法。
TW109120320A 2020-01-19 2020-06-17 類別標注方法及類別標注裝置、電子設備、電腦可讀儲存媒體 TWI755758B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010060050.4 2020-01-19
CN202010060050 2020-01-19

Publications (2)

Publication Number Publication Date
TW202129548A TW202129548A (zh) 2021-08-01
TWI755758B true TWI755758B (zh) 2022-02-21

Family

ID=71003553

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109120320A TWI755758B (zh) 2020-01-19 2020-06-17 類別標注方法及類別標注裝置、電子設備、電腦可讀儲存媒體

Country Status (6)

Country Link
US (1) US20220067379A1 (zh)
JP (1) JP2022545899A (zh)
CN (1) CN111274426B (zh)
SG (1) SG11202112130XA (zh)
TW (1) TWI755758B (zh)
WO (1) WO2021143008A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274426B (zh) * 2020-01-19 2023-09-12 深圳市商汤科技有限公司 类别标注方法及装置、电子设备和存储介质
CN112287169B (zh) * 2020-10-29 2024-04-26 字节跳动有限公司 数据采集方法、装置及系统、电子设备及存储介质
CN112418287B (zh) * 2020-11-16 2023-10-13 深圳市优必选科技股份有限公司 图像预标注方法、装置、电子设备及介质
CN112950667B (zh) * 2021-02-10 2023-12-22 中国科学院深圳先进技术研究院 一种视频标注方法、装置、设备及计算机可读存储介质
CN113033681A (zh) * 2021-03-31 2021-06-25 北京有竹居网络技术有限公司 视频分类方法、装置、可读介质及电子设备
CN113066135A (zh) * 2021-04-26 2021-07-02 深圳市商汤科技有限公司 图像采集设备的标定方法及装置、电子设备和存储介质
CN113722541A (zh) * 2021-08-30 2021-11-30 深圳市商汤科技有限公司 视频指纹的生成方法及装置、电子设备和存储介质
CN114694066A (zh) * 2022-03-24 2022-07-01 商汤集团有限公司 一种图像处理方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478665A (zh) * 2008-12-15 2009-07-08 深圳华为通信技术有限公司 一种视频监控方法及装置
US9704054B1 (en) * 2015-09-30 2017-07-11 Amazon Technologies, Inc. Cluster-trained machine learning for image processing
US9779307B2 (en) * 2014-07-07 2017-10-03 Google Inc. Method and system for non-causal zone search in video monitoring
CN110532971A (zh) * 2019-09-02 2019-12-03 京东方科技集团股份有限公司 图像处理及装置、训练方法以及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101131365A (zh) * 2006-08-23 2008-02-27 宝山钢铁股份有限公司 烧结矿主要矿物相自动识别方法
CN103294811A (zh) * 2013-06-05 2013-09-11 中国科学院自动化研究所 考虑特征可靠性的视频分类器构造方法
CN108734214A (zh) * 2018-05-21 2018-11-02 Oppo广东移动通信有限公司 图像识别方法和装置、电子设备、存储介质
CN108960290A (zh) * 2018-06-08 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
US11100633B2 (en) * 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
CN109308490B (zh) * 2018-09-07 2020-03-17 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN111274426B (zh) * 2020-01-19 2023-09-12 深圳市商汤科技有限公司 类别标注方法及装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478665A (zh) * 2008-12-15 2009-07-08 深圳华为通信技术有限公司 一种视频监控方法及装置
US9779307B2 (en) * 2014-07-07 2017-10-03 Google Inc. Method and system for non-causal zone search in video monitoring
US9704054B1 (en) * 2015-09-30 2017-07-11 Amazon Technologies, Inc. Cluster-trained machine learning for image processing
CN110532971A (zh) * 2019-09-02 2019-12-03 京东方科技集团股份有限公司 图像处理及装置、训练方法以及计算机可读存储介质

Also Published As

Publication number Publication date
TW202129548A (zh) 2021-08-01
SG11202112130XA (en) 2021-12-30
CN111274426A (zh) 2020-06-12
US20220067379A1 (en) 2022-03-03
CN111274426B (zh) 2023-09-12
JP2022545899A (ja) 2022-11-01
WO2021143008A1 (zh) 2021-07-22

Similar Documents

Publication Publication Date Title
TWI755758B (zh) 類別標注方法及類別標注裝置、電子設備、電腦可讀儲存媒體
WO2022011892A1 (zh) 网络训练方法及装置、目标检测方法及装置和电子设备
WO2020088069A1 (zh) 手势关键点检测方法、装置、电子设备及存储介质
CN110942036B (zh) 人员识别方法及装置、电子设备和存储介质
WO2023087741A1 (zh) 缺陷检测方法及装置、电子设备、存储介质及计算机程序产品
WO2021036382A9 (zh) 图像处理方法及装置、电子设备和存储介质
WO2017092127A1 (zh) 视频归类方法及装置
KR102412397B1 (ko) 연관된 사용자를 추천하는 방법 및 디바이스
CN110858924B (zh) 视频背景音乐的生成方法、装置及存储介质
KR20160048708A (ko) 통신 메시지 인식 방법, 장치, 프로그램 및 저장매체
WO2018228422A1 (zh) 一种发出预警信息的方法、装置及系统
CN110990801B (zh) 信息校验方法及装置、电子设备和存储介质
TW202034211A (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
WO2023000639A1 (zh) 视频生成方法、装置、电子设备、存储介质和程序
CN112672208B (zh) 视频播放方法、装置、电子设备、服务器及系统
WO2022021901A1 (zh) 目标检测方法及装置、电子设备和存储介质
CN110728815A (zh) 基于视频分析的预警方法及装置、电子设备和存储介质
CN111523346B (zh) 图像识别方法及装置、电子设备和存储介质
CN110807393A (zh) 基于视频分析的预警方法及装置、电子设备和存储介质
TW202145064A (zh) 對象計數方法、電子設備、電腦可讀儲存介質
WO2023173616A1 (zh) 一种人群统计方法及装置、电子设备和存储介质
WO2022227562A1 (zh) 身份识别方法及装置、电子设备、存储介质和计算机程序产品
WO2023035481A1 (zh) 人流量统计方法及装置、电子设备和存储介质
CN111651627A (zh) 数据处理方法及装置、电子设备和存储介质
WO2023045185A1 (zh) 对象检测方法及装置、电子设备和存储介质