TWI772668B - 一種目標對象處理方法、裝置、電子設備及儲存介質 - Google Patents

一種目標對象處理方法、裝置、電子設備及儲存介質 Download PDF

Info

Publication number
TWI772668B
TWI772668B TW108129693A TW108129693A TWI772668B TW I772668 B TWI772668 B TW I772668B TW 108129693 A TW108129693 A TW 108129693A TW 108129693 A TW108129693 A TW 108129693A TW I772668 B TWI772668 B TW I772668B
Authority
TW
Taiwan
Prior art keywords
data
processing module
scene
processing
neural network
Prior art date
Application number
TW108129693A
Other languages
English (en)
Other versions
TW202030648A (zh
Inventor
韓世欣
郭宇
秦紅偉
趙鈺
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202030648A publication Critical patent/TW202030648A/zh
Application granted granted Critical
Publication of TWI772668B publication Critical patent/TWI772668B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
  • Multi-Process Working Machines And Systems (AREA)
  • Supplying Of Containers To The Packaging Station (AREA)

Abstract

本公開關於一種目標對象處理方法、裝置、電子設備及儲存介質，其中，所述方法包括：將第一資料輸入所述第一處理模組，得到所預測的資料標注結果；將所述資料標注結果輸入所述第二處理模組，根據所述資料標注結果進行場景自適應的增量學習，得到與所述第二資料場景適配的神經網路；根據包含目標對象的資料和所述神經網路，實現對所述目標對象對應場景的處理。採用本公開，既滿足應用場景的處理需求，又能降低成本。

Description

一種目標對象處理方法、裝置、電子設 備及儲存介質
本公開關於電腦視覺技術領域，尤其關於一種目標對象處理方法及裝置、電子設備及儲存介質。
相關技術中，是在雲端進行模型訓練，可得到的訓練資料與實際應用場景的資料存在差異性，且不同的應用場景的檢測需求是不一樣的，導致在雲端進行模型所得到的該訓練資料並不適用所有的應用場景。
而針對每個應用場景採集資料並進行訓練，是不可實施或成本過高的，如何既滿足應用場景的處理需求，又能降低成本，是要解決的技術問題。
本公開提出了一種目標對象處理技術方案。
根據本公開的第一方面，提供了一種目標對象處理方法，所述方法應用於邊緣設備側，將用於第一資料標 注的第一處理模組和用於第二資料場景適配的第二處理模組部署於所述邊緣設備側；所述方法包括：將所述第一資料輸入所述第一處理模組，得到所預測的資料標注結果；將所述資料標注結果輸入所述第二處理模組，根據所述資料標注結果進行場景自適應的增量學習，得到與所述第二資料場景適配的神經網路；根據包含目標對象的資料和所述神經網路，實現對所述目標對象對應場景的處理。
在可能的實現方式中，所述方法還包括：所述場景為當前的第一場景，根據所述資料標注結果進行第一場景自適應的增量學習，得到與所述第一場景適配的神經網路之後，監測到場景由所述第一場景變換到第二場景；觸發對所述第二處理模組中的參數進行參數重置；根據所述資料標注結果進行所述第二場景自適應的增量學習，得到與所述第二場景適配的神經網路。
在可能的實現方式中，得到所述神經網路之前，所述方法還包括：在所述第二處理模組中參數更新的情況下，根據約束條件對所述參數更新進行更新制約。
在可能的實現方式中，所述將第一資料輸入所述第一處理模組，得到所預測的資料標注結果，包括： 根據所述第一處理模組對所述場景資料的預測，得到預測規則；根據所述預測規則對所述第一資料進行標注，得到所預測的資料標注結果。
在可能的實現方式中，所預測的資料標注結果，來源於構成所述第一處理模組的資料樣本訓練網路輸出層的第一輸出；和/或，所預測的資料標注結果，來源於構成所述第一處理模組的資料樣本訓練網路輸出層的第一輸出和中間層的第二輸出。
在可能的實現方式中，所述方法還包括：將所述第一資料輸入所述第一處理模組之前，根據採樣參數對所述第一資料進行選取，得到待處理的第一資料；得到所述神經網路之前，所述方法還包括：針對所述待處理的第一資料，在所述第一處理模組和所述第二處理模組分別輸出的預測結果差異較大的情況下，針對所述待處理的第一資料中預測結果差別大的一幀或多幀第一資料在所述邊緣設備側進行所述場景自適應的增量學習。
在可能的實現方式中，針對所述待處理的第一資料中預測結果差別大的一幀或多幀第一資料在所述邊緣設備側進行所述場景自適應的增量學習，包括：將所述第一處理模組針對所述一幀或多幀第一資料得到的一個或多個資料標注結果輸出給所述第二處理模組； 根據一個或多個資料標注結果對所述第二處理模組進行訓練並更新第二處理模組中的參數；以預先配置的策略增加所述採樣參數的數值。
在可能的實現方式中，所述方法還包括：將所述第一資料輸入所述第一處理模組之前，根據採樣參數對所述第一資料進行選取，得到待處理的第一資料；得到所述神經網路之前，所述方法還包括：針對所述待處理的第一資料，在所述第一處理模組和所述第二處理模組分別輸出的預測結果差異較小的情況下，以預先配置的策略減少所述採樣參數的數值。
在可能的實現方式中，所述方法還包括：將所述第一資料輸入所述第一處理模組之前，將所述第一資料中的部分資料作為在線測試集；得到所述神經網路之前，所述方法還包括：針對所述在線測試集中的第一資料，在所述第一處理模組和所述第二處理模組分別輸出的預測結果差異較大的情況下，將所述第二處理模組中的參數重置。
在可能的實現方式中，所述方法還包括：得到所述神經網路之後，監測多個區域的邊緣設備，獲得處於空閒狀態的第一邊緣設備；根據第一邊緣設備對應的邊緣設備處理能力，對所述第二處理模組執行第二資料場景適配的自適應增量學習。
在可能的實現方式中，所述方法還包括：得到所述神經網路之後，監測多個區域的邊緣設備，獲得多個邊緣設備處理能力；根據所述多個邊緣設備分別對應的自身處理能力和當前資源耗費，從所述多個邊緣設備中選定處理能力高的第二邊緣設備；根據第二邊緣設備對應的邊緣設備處理能力，對所述第二處理模組執行第二資料場景適配的自適應增量學習。
根據本公開的第二方面，提供了一種目標對象處理裝置，所述裝置部署於邊緣設備側，所述裝置包括第一處理模組、第二處理模組以及第三處理模組；其中：所述第一處理模組，用於根據輸入的第一資料，得到所預測的資料標注結果；所述第二處理模組，用於根據輸入的資料標注結果進行場景自適應的增量學習，得到與所述第二資料場景適配的神經網路；所述第三處理模組，用於根據包含目標對象的資料和所述神經網路，實現對所述目標對象對應場景的處理。
在可能的實現方式中，所述裝置還包括：監測模組，用於所述場景為當前的第一場景，根據所述資料標注結果進行第一場景自適應的增量學習，得到與所述第一場景適配的神經網路之後，監測到場景由所述第一場景變換到第二場景； 重置觸發模組，用於觸發對所述第二處理模組中的參數進行參數重置；所述第二處理模組，進一步用於根據所述資料標注結果進行所述第二場景自適應的增量學習，得到與所述第二場景適配的神經網路。
在可能的實現方式中，所述裝置還包括：參數更新模組，用於：在參數更新的情況下，根據約束條件對所述參數更新進行更新制約。
在可能的實現方式中，所述第一處理模組，進一步用於：根據對場景資料的預測，得到預測規則；根據所述預測規則對所述第一資料進行標注，得到所預測的資料標注結果。
在可能的實現方式中，所預測的資料標注結果，來源於構成所述第一處理模組的資料樣本訓練網路輸出層的第一輸出；和/或，所預測的資料標注結果，來源於構成所述第一處理模組的資料樣本訓練網路輸出層的第一輸出和中間層的第二輸出。
在可能的實現方式中，所述裝置還包括：第四處理模組，用於將所述第一資料輸入所述第一處理模組之前，根據採樣參數對所述第一資料進行選取，得到待處理的第一資料； 所述裝置還包括：第五處理模組，用於：針對所述待處理的第一資料，在所述第一處理模組和所述第二處理模組分別輸出的預測結果差異較大的情況下，針對所述待處理的第一資料中預測結果差別大的一幀或多幀第一資料在所述邊緣設備側進行所述場景自適應的增量學習。
在可能的實現方式中，所述第五處理模組，進一步用於將所述第一處理模組針對所述一幀或多幀第一資料得到的一個或多個資料標注結果輸出給所述第二處理模組；根據一個或多個資料標注結果對所述第二處理模組進行訓練並更新第二處理模組中的參數；以預先配置的策略增加所述採樣參數的數值。
在可能的實現方式中，所述裝置還包括：第六處理模組，用於將所述第一資料輸入所述第一處理模組之前，根據採樣參數對所述第一資料進行選取，得到待處理的第一資料；所述裝置還包括：第七處理模組，用於：針對所述待處理的第一資料，在所述第一處理模組和所述第二處理模組分別輸出的預測結果差異較小的情況下，以預先配置的策略減少所述採樣參數的數值。
在可能的實現方式中，所述裝置還包括：第八處理模組，用於將所述第一資料輸入所述第一處理模組之前，將所述第一資料中的部分資料作為在線測試集； 所述裝置還包括：第九處理模組，用於：針對所述在線測試集中的第一資料，在所述第一處理模組和所述第二處理模組分別輸出的預測結果差異較大的情況下，將所述第二處理模組中的參數重置。
在可能的實現方式中，所述裝置還包括：第一設備監測模組，用於得到所述神經網路之後，監測多個區域的邊緣設備，獲得處於空閒狀態的第一邊緣設備；第一訓練處理模組，用於根據第一邊緣設備對應的邊緣設備處理能力，對所述第二處理模組執行第二資料場景適配的自適應增量學習。
在可能的實現方式中，所述裝置還包括：第二設備監測模組，用於得到所述神經網路之後，監測多個區域的邊緣設備，獲得多個邊緣設備處理能力；設備選定處理模組，用於根據所述多個邊緣設備分別對應的自身處理能力和當前資源耗費，從所述多個邊緣設備中選定處理能力高的第二邊緣設備；第二訓練處理模組，用於根據第二邊緣設備對應的邊緣設備處理能力，對所述第二處理模組執行第二資料場景適配的自適應增量學習。
根據本公開的協力廠商面，提供了一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體； 其中，所述處理器被配置為：執行上述任意一項所述的方法。
根據本公開的第四方面，提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，其特徵在於，所述電腦程式指令被處理器執行時實現上述任意一項所述的方法。
在本公開中，通過將用於第一資料標注的第一處理模組和用於第二資料場景適配的第二處理模組部署於邊緣設備側，將所述第一資料輸入所述第一處理模組，得到所預測的資料標注結果。將所述資料標注結果輸入所述第二處理模組，根據所述資料標注結果進行場景自適應的增量學習，得到與第二資料場景適配的神經網路，根據包含目標對象的資料和所述神經網路，實現對目標對象對應場景的處理。採用本公開的場景自適應的增量學習得到與第二資料場景適配的神經網路後，可以根據包含目標對象的資料和所述神經網路實現對目標對象對應場景的處理(比如目標對象為人臉或人體時，實現對人體或人臉的圖像檢測處理)，得到的訓練資料與實際應用場景的資料存在差異性並不大，可以既滿足應用場景的處理需求，又能降低成本。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本公開。
根據下面參考附圖對示例性實施例的詳細說明，本公開的其它特徵及方面將變得清楚。
21:第一處理模組
22:第二處理模組
23:第三處理模組
24:監測模組
25:重置觸發模組
800:電子設備
802:處理組件
804:記憶體
806:電源組件
808:多媒體組件
810:音頻組件
812:輸入/輸出介面
814:感測器組件
816:通信組件
820:處理器
900:電子設備
922:處理組件
926:電源組件
932:記憶體
950:網路介面
958:輸入輸出介面
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本公開的實施例，並與說明書一起用於說明本公開的技術方案。
圖1示出根據本公開實施例的目標對象處理方法的流程圖。
圖2示出根據本公開實施例的目標對象處理方法的流程圖。
圖3示出根據本公開實施例的目標對象處理方法的流程圖。
圖4示出根據本公開實施例的目標對象處理方法的流程圖。
圖5示出根據本公開實施例的目標對象處理裝置的方塊圖。
圖6示出根據本公開實施例的目標對象處理裝置的方塊圖。
圖7示出根據本公開實施例的電子設備的方塊圖。
圖8示出根據本公開實施例的電子設備的方塊圖。
以下將參考附圖詳細說明本公開的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本公開，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本公開同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本公開的主旨。
相關技術中，增量學習是指在新資料的不斷加入和訓練過程中，模型在新資料上達到更好的效果的一種模型訓練方案。增量學習方法通常均是在兩種(或多種)不同的資料集上進行訓練。以兩種資料集為例，首先在資料集A上進行訓練，之後再使用資料集B進行訓練，關注點是在資料集B上取得較好預測效果的同時，在資料集A上保持基本不變的預測效果。
在資料集B訓練的過程中，通過預估模型的參數在資料集A上的重要程度，控制該部分參數在資料集B中 訓練時的梯度權重。在實際情況下更希望的是模型在資料集B(邊緣設備側的應用場景)上表現得更好，而並不十分關心在資料A(雲端在線測試集)中的表現。
資料驅動的機器學習通常在處理和訓練資料情況相近的輸入時表現良好，但是當輸入和訓練資料情況相去甚遠時，由於其特徵和一般的特徵在空間關係上變化嚴重，所以一般的模型可能會表現不佳。而針對每個應用場景採集資料並進行訓練是不可實施或成本過高的，而採用本公開如下各個實施例，實現了場景自適應的增量學習，採用該場景自適應的增量學習方法，在邊緣設備中內置的在線模型(如S模型)，除此之外，還設計了一個精度較高但速度不滿足實用性的離線模型(T模型)。在邊緣設備部署到應用場景之後，將T模型對應用場景資料的預測作為標注，在邊緣設備上對S模型進行增量學習，從而使S模型適應於該應用場景，從而獲得更優秀的處理性能。還可以設計了不同的學習策略，使S模型能夠在盡可能少的反覆運算次數下，獲得最大的性能提升。在場景變換的場合下，通過將S模型重置，保證模型初始的性能，之後再在新的應用場景下訓練和提升模型的處理性能。
圖1示出根據本公開實施例的目標對象處理方法的流程圖，該目標對象處理方法應用於目標對象處理裝置，例如，目標對象處理裝置可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以為使用者設備(UE，User Equipment)、移動設備、蜂窩電話、無線電話、個 人數位處理(PDA，Personal Digital Assistant)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該目標對象處理可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。將用於第一資料標注的第一處理模組和用於第二資料場景適配的第二處理模組部署於邊緣設備側，如圖1所示，該流程包括：步驟S101、將第一資料輸入所述第一處理模組，得到所預測的資料標注結果；步驟S102、將資料標注結果輸入第二處理模組，根據資料標注結果進行場景自適應的增量學習，得到與第二資料場景適配的神經網路；步驟S103、根據包含目標對象的資料和該神經網路，實現對目標對象對應場景的處理。
本公開中，第一處理模組和第二處理模組可以基於運算模型得到。比如，第一處理模組可為T模型，第二處理模組可以為S模型。第一資料是採集目標對象得到的原始資料，比如在圖像檢測的應用場景中，第一資料可以包括人體圖像資料和人臉圖像資料，也可以只包括人體圖像資料和人臉圖像資料中的任意一種圖像資料。其中，T模型可以為離線模型，S模型可以為在線模型。第二資料是場景資料，用於場景適配。
本公開適用的應用場景包括：目標檢測、目標識別、示例分割、超解析度、強化學習等場景。以監控場景下的目標檢測為例，現在的智慧攝影機均在邊緣設備上進行 人臉、人體檢測。由於算力有限，不能使用較大的模型。不同的區域的監控場景有很大的區別，設備上的通用模型無法實現在各種場景下均有很好的性能。但是，當用於目標對象採集的採集設備(如攝影機)位置固定之後，其場景就固化下來(背景相對單一)。對於目標識別、示例分割、超解析度、強化學習等場景中，具體實現方式雖然有所區別，可存在的問題都是場景適配的難度，即：一方面，為每個場景訓練一個模型的成本過高；另一方面當採集設備(如攝影機)位置固定之後，對目標對象的處理任務(如目標檢測)就更得更為簡單了，使用本公開的上述圖1的處理流程，可以使用邊緣設備閒置時間下的算力，將模型針對特定場景下進行增量學習，從而有效的提升特定場景下的任務處理能力(如目標檢測的檢出率)。
可選實現方式中，目標檢測場景中，第一資料包括人體圖像資料或人臉圖像資料。將人體圖像資料或人臉圖像資料標注的T模型和用於第二資料場景適配的S模型部署於邊緣設備(如邊緣節點)側，將人體圖像資料或人臉圖像資料輸入T模型，得到所預測的資料標注結果。將資料標注結果輸入S模型，根據資料標注結果進行場景自適應的增量學習，得到與第二資料場景適配的神經網路，如針對目標檢測的場景中，可以根據包含目標對象的資料和所述神經網路實現對人體圖像或人臉圖像的檢測。
由於本公開不依賴資料的人工標注，使得在線增量學習稱為可能。支援T模型和S模型在邊緣設備側和雲 端上的在線反覆運算，支援產品在交付之後適應各個不同的應用場景，獲得性能提升的同時，以支援T模型和S模型在邊緣設備側反覆運算為例，由於無需聯網，不易洩露資訊，因此，可以保護用戶隱私。若產品用於安防、手機、自動駕駛等應用場景中，可以通過在線增量學習實現模型的個性化自適應更新、模型的再訓練。
一示例中，對於監控場景下的目標檢測而言，現在的智慧攝影機均在邊緣設備上進行人臉、人體檢測。由於邊緣設備的處理能力(計算能力)有限，不能使用較大的模型。且不同區域的監控場景有很大的區別，邊緣設備上的通用模型無法實現在各種監控場景下均有很好的性能。且當邊緣設備固定之後，其場景就固化下來，相對單一。有鑑於此，考慮到T模型精度較S模型更高，但是由於樣本資料比較多，是個大模型，處理速度相對慢，S模型雖然精度不夠高，可是處理速度夠快，因此，將T模型和S模型結合使用來進行樣本資料的訓練學習，可以達到預期的處理需求。將T模型和S模型部署於邊緣設備側，無需邊緣設備側與雲端聯網也可以獨立完成對圖像資料的檢測處理。由於可以在邊緣設備端上獨立完成整個過程，無需聯網，因此，做到了對使用者隱私資料的保護。通過T模型對應用場景資料的預測來標注資料，消除了對人工標注資料的依賴，將資料標注結果用於S模型的資料訓練，如邊緣設備側的端上增量學習，實現了場景自適應的增量學習，達到讓S模型適應應用場景，提升模型性能的目的。得到與第二資料場景適配的神經 網路，如針對目標檢測的應用場景中，可以根據包含目標對象的資料和所述神經網路實現對圖像資料的檢測，得到的訓練資料與實際應用場景的資料存在差異性並不大，可以既滿足應用場景的檢測需求，又能降低成本。無需針對每個應用場景採集資料並進行訓練，適用所有的應用場景。
圖2示出根據本公開實施例的目標對象處理方法的流程圖，該目標對象處理方法應用於目標對象處理裝置，例如，目標對象處理裝置可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以為使用者設備(UE，User Equipment)、移動設備、終端、蜂窩電話、無線電話、個人數位處理(PDA，Personal Digital Assistant)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該目標對象處理可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。將用於第一資料標注的第一處理模組和用於第二資料場景適配的第二處理模組部署於所述邊緣設備側，如圖2所示，該流程包括：步驟S201、將所述第一資料輸入所述第一處理模組，得到所預測的資料標注結果；步驟S202、所述場景為當前的第一場景，根據所述資料標注結果進行第一場景自適應的增量學習，得到與第一場景適配的神經網路，根據包含目標對象的資料和該神經網路，實現對目標對象對應第一場景的處理；步驟S203、監測到場景由第一場景變換到第二場景，觸發對第二處理模組中的參數進行參數重置； 步驟S204、根據資料標注結果進行第二場景自適應的增量學習，得到與第二場景適配的神經網路，根據包含目標對象的資料和該神經網路，實現對目標對象對應第二場景的處理。
本公開中，第一處理模組和第二處理模組可以基於運算模型得到。比如，第一處理模組可為T模型，第二處理模組可以為S模型。第一資料在目標檢測場景中可以包括人體圖像資料和人臉圖像資料，也可以只包括人體圖像資料和人臉圖像資料中的任意一種圖像資料。其中，T模型可以為離線模型，S模型可以為在線模型。T模型和S模型可以是兩個不同規模的網路模型。T模型可以使用較大的網路結構，使其具有很強的預測能力，而S模型作為應用場景的產品中使用的實際模型。對於新資料的流入，預先使用T模型進行預測，將得到的預測結果作為標注，用於小模型的訓練學習。在場景變換的場合下，通過將S模型重置，保證模型初始的性能，之後再在新的應用場景下訓練和提升模型的處理性能。
對S模型加以約束，也可以保證S模型初始的性能，之後再在新的應用場景下訓練和提升模型的處理性能。可選的實現方式中，在所述第二處理模組中參數更新的情況下，根據約束條件對所述參數更新進行更新制約。如，可以通過權重矩陣來實現，目的是使得第二處理模組(S模型)在變化過程中保留一些初始狀態(剛剛部署時)的情況，從 而保留參數固化的特徵，有助於避免過度關注當前場景而導致過擬合等問題。
可選的實現方式中，所述將第一資料輸入所述第一處理模組，得到所預測的資料標注結果，包括：根據所述第一處理模組對所述場景資料的預測，得到預測規則；根據所述預測規則對所述第一資料進行標注，得到所預測的資料標注結果。
可選的實現方式中，對於通過第一處理模組得到的所預測的資料標注結果，有如下至少兩種來源。第一處理模組可以理解為標注源。
一：將第一處理模組的輸出結果作為第二處理模組輸入的情況下，所預測的資料標注結果來源於構成所述第一處理模組的資料樣本訓練網路輸出層的第一輸出；二：將第一處理模組的輸出結果和中間層的輸出結果作為第二處理模組輸入的情況下，所預測的資料標注結果，來源於構成所述第一處理模組的資料樣本訓練網路輸出層的第一輸出和中間層的第二輸出。
圖3示出根據本公開實施例的目標對象處理方法的流程圖，該目標對象處理方法應用於目標對象處理裝置，例如，目標對象處理裝置可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以為使用者設備(UE，User Equipment)、移動設備、蜂窩電話、無線電話、個人數位處理(PDA，Personal Digital Assistant)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的 實現方式中，該目標對象處理可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。如圖3所示，該流程包括：步驟S301、將第一資料輸入第一處理模組之前，根據採樣參數(如採樣頻率)對所述第一資料進行選取，得到待處理的第一資料；步驟S302、針對所述待處理的第一資料，在所述第一處理模組和所述第二處理模組分別輸出的預測結果差異較大的情況下，獲得所述待處理的第一資料中預測結果差別大的一幀或多幀第一資料；步驟S303、將所述第一處理模組針對所述一幀或多幀第一資料得到的一個或多個資料標注結果輸出給所述第二處理模組；步驟S304、根據一個或多個資料標注結果對所述第二處理模組進行訓練並更新第二處理模組中的參數，以預先配置的策略增加所述採樣參數的數值。
通過上述步驟S301-S304，在所述邊緣設備側進行所述場景自適應的增量學習，以得到所述與第二資料場景適配的神經網路，這只是一種可選實現方式。
另一種可選實現方式中，是根據採樣參數(如採樣頻率)對所述第一資料進行選取，得到待處理的第一資料。針對待處理的第一資料，在第一處理模組和所述第二處理模組分別輸出的預測結果差異較小的情況下，以預先配置的策略減少採樣參數的數值。
再一種可選實現方式中，所述方法還包括：將第一資料輸入第一處理模組之前，將第一資料中的部分資料作為在線測試集，針對在線測試集中的第一資料，在第一處理模組和第二處理模組分別輸出的預測結果差異較大的情況下，將第二處理模組中的參數重置。
可選實現方式的其一，所述方法還包括：進行場景自適應的增量學習得到神經網路之後，在利用該神經網路對某一應用場景進行處理的情況下，可以監測多個區域的邊緣設備，獲得處於空閒狀態的第一邊緣設備，根據第一邊緣設備對應的邊緣設備處理能力，對所述第二處理模組執行第二資料場景適配的自適應增量學習。
可選實現方式的其二，所述方法還包括：進行場景自適應的增量學習得到神經網路之後，在利用該神經網路對某一應用場景進行處理的情況下，可以監測多個區域的邊緣設備，獲得多個邊緣設備處理能力，根據所述多個邊緣設備分別對應的自身處理能力和當前資源耗費，從所述多個邊緣設備中選定處理能力高的第二邊緣設備。根據第二邊緣設備對應的邊緣設備處理能力，對所述第二處理模組執行第二資料場景適配的自適應增量學習。
採用上述兩個可選實現方式，可以將模型針對特定場景下進行增量學習，從而有效的提升特定場景下的目標對象檢測的檢出率，邊緣設備處理能力越強，也能提高自適應增量學習的處理速度和處理效率。
圖4示出根據本公開實施例的目標對象處理方法的流程圖，該目標對象處理方法應用於目標對象處理裝置，例如，目標對象處理裝置可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以為使用者設備(UE，User Equipment)、移動設備、蜂窩電話、無線電話、個人數位處理(PDA，Personal Digital Assistant)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該目標對象處理可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。如圖4所示，該流程包括：一個示例中，第一處理模組為T模型，第二處理模組為S模型，將S模型和T模型部署在邊緣設備側，將邊緣設備側置於具體的一應用場景中，比如目標檢測場景中，是通過對樣本資料的訓練，實現場景資料自適應的增量學習。例如，從測試集(如在線測試集)定期選取新資料，獲取預設的採樣頻率f，並以該採樣頻率f選取新資料中的部分圖像(圖4中以虛線箭頭表示)，將部分選取的圖像資料分別送入部署在邊緣設備側的S模型和T模型中進行預測。通過模型蒸餾評估器比較兩個模型(S模型和T模型)的差異。若T模型和S模型輸出的預測結果差異較大，則針對預測結果差別大的圖像資料進行邊緣設備側的端上訓練，即用T模型的輸出此幀圖像的標注結果對S模型進行訓練並更新參數，且以預先設定的策略增加採樣頻率f。比如，記S模型當前參數為θ*， 損失函數除雲端的損失函數外，還有一項為是通過公式(1)計算得到的約束模型。
Figure 108129693-A0305-02-0024-1
採用該約束模型，不會過多遺忘雲端訓練的結果，公式(1)中，λ表徵固化權值的重要性，可將λ置零以放棄固化模型。如果兩個模型(S模型和T模型)輸出的預測結果差異較小，則減小或維持該採樣頻率f。經過時間和訓練圖片的累積，S模型將更好的適應應用場景，即將T模型的輸出用於S模型的資料訓練學習，實現了場景自適應的增量學習，從而可得到與場景資料適配的檢測結果，根據該檢測結果實現對目標對象的檢測。
同時，以預先設定的方式將部分選取的圖像資料作為在線測試集(圖4中以加粗實線箭頭表示)，通過測試評估器比較兩個模型(S模型和T模型)的差異。若S模型和T模型對於同一在線測試集的預測結果差異較大，可將原S模型的參數θ重新載入，以保證模型性能。倘若需要變更應用場景，也可將原S模型的參數θ重新載入，以保證此系統在新場景的表現不受原場景的影響。
可以理解，本公開提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本公開不再贅述。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序 而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外，本公開還提供了目標對象處理裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本公開提供的任一種目標對象處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖5示出根據本公開實施例的目標對象處理裝置的方塊圖，如圖5所示，本公開實施例的目標對象處理裝置，該裝置部署於邊緣設備側，該裝置包括第一處理模組21、第二處理模組22、以及第三處理模組23；其中，第一處理模組21，用於根據輸入的第一資料，得到所預測的資料標注結果。第二處理模組22，用於根據輸入的資料標注結果進行場景自適應的增量學習，得到與所述第二資料場景適配的神經網路。第三處理模組23，用於根據包含目標對象的資料和所述神經網路，實現對所述目標對象對應場景的處理。
圖6示出根據本公開實施例的目標對象處理裝置的方塊圖，如圖6所示，本公開實施例的目標對象處理裝置，該裝置部署於邊緣設備側，該裝置包括第一處理模組21、第二處理模組22、以及第三處理模組23；其中，第一處理模組21，用於根據輸入的第一資料，得到所預測的資料標注結果。第二處理模組22，用於根據輸入的資料標注結果進行場景自適應的增量學習，得到與所述第二資料場景適配的神經網路。第三處理模組23，用於根據包含目標對 象的資料和所述神經網路，實現對所述目標對象對應場景的處理。及監測模組24用於所述場景為當前的第一場景，根據所述資料標注結果進行第一場景自適應的增量學習，得到與所述第一場景適配的神經網路之後，監測到場景由所述第一場景變換到第二場景。及重置觸發模組25，用於觸發對所述第二處理模組中的參數進行參數重置。第二處理模組22，進一步用於根據所述資料標注結果進行所述第二場景自適應的增量學習，得到與所述第二場景適配的神經網路。
在可能的實現方式中，所述裝置還包括：參數更新模組，用於：在參數更新的情況下，根據約束條件對所述參數更新進行更新制約。
在可能的實現方式中，所述第一處理模組，進一步用於：根據對場景資料的預測，得到預測規則；根據所述預測規則對所述第一資料進行標注，得到所預測的資料標注結果。
在可能的實現方式中，所預測的資料標注結果，來源於構成所述第一處理模組的資料樣本訓練網路輸出層的第一輸出；和/或，所預測的資料標注結果，來源於構成所述第一處理模組的資料樣本訓練網路輸出層的第一輸出和中間層的第二輸出。
在可能的實現方式中，所述裝置還包括：第四處理模組，用於將所述第一資料輸入所述第一處理模組之前，根據採樣參數對所述第一資料進行選取，得到待處理的第一資料。所述裝置還包括：第五處理模組，用於：針對所 述待處理的第一資料，在所述第一處理模組和所述第二處理模組分別輸出的預測結果差異較大的情況下，針對所述待處理的第一資料中預測結果差別大的一幀或多幀第一資料在所述邊緣設備側進行所述場景自適應的增量學習。
在可能的實現方式中，所述第五處理模組，進一步用於：將所述第一處理模組針對所述一幀或多幀第一資料得到的一個或多個資料標注結果輸出給所述第二處理模組。根據一個或多個資料標注結果對所述第二處理模組進行訓練並更新第二處理模組中的參數。以預先配置的策略增加所述採樣參數的數值。
在可能的實現方式中，所述裝置還包括：第六處理模組，用於將所述第一資料輸入所述第一處理模組之前，根據採樣參數對所述第一資料進行選取，得到待處理的第一資料。所述裝置還包括：第七處理模組，用於：針對所述待處理的第一資料，在所述第一處理模組和所述第二處理模組分別輸出的預測結果差異較小的情況下，以預先配置的策略減少所述採樣參數的數值。
在可能的實現方式中，所述裝置還包括：第八處理模組，用於將所述第一資料輸入所述第一處理模組之前，將所述第一資料中的部分資料作為在線測試集。所述裝置還包括：第九處理模組，用於：針對所述在線測試集中的第一資料，在所述第一處理模組和所述第二處理模組分別輸出的預測結果差異較大的情況下，將所述第二處理模組中的參數重置。
在可能的實現方式中，所述裝置還包括：第一設備監測模組，用於得到所述神經網路之後，監測多個區域的邊緣設備，獲得處於空閒狀態的第一邊緣設備。及第一訓練處理模組，用於根據第一邊緣設備對應的邊緣設備處理能力，對所述第二處理模組執行第二資料場景適配的自適應增量學習。
在可能的實現方式中，所述裝置還包括：第二設備監測模組，用於得到所述神經網路之後，監測多個區域的邊緣設備，獲得多個邊緣設備處理能力。及設備選定處理模組，用於根據所述多個邊緣設備分別對應的自身處理能力和當前資源耗費，從所述多個邊緣設備中選定處理能力高的第二邊緣設備。及第二訓練處理模組，用於根據第二邊緣設備對應的邊緣設備處理能力，對所述第二處理模組執行第二資料場景適配的自適應增量學習。
在一些實施例中，本公開實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本公開實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本公開實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為上述方法。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖7是根據一示例性實施例示出的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話、電腦、數位廣播終端、消息收發設備、遊戲控制台、平板設備、醫療設備、健身設備、個人數位助理等終端。
參照圖7，電子設備800可以包括以下一個或多個組件：處理組件802、記憶體804、電源組件806、多媒體組件808、音頻組件810、輸入/輸出(I/O)的介面812、感測器組件814、以及通信組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示、電話呼叫、資料通信、相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資 料、電話簿資料、消息、圖片、視頻等。記憶體804可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現，如靜態隨機存取記憶體(SRAM)、電可擦除可程式設計唯讀記憶體(EEPROM)、可擦除可程式設計唯讀記憶體(EPROM)、可程式設計唯讀記憶體(PROM)、唯讀記憶體(ROM)、磁記憶體、快閃記憶體、磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果螢幕包括觸摸面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影頭和/或後置攝影頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風(MIC)，當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。
輸入/輸出(I/O)介面812為處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤、點擊輪、按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS或CCD圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器、陀螺儀感測器、磁感測器、壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如WiFi、2G或3G，或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信(NFC)模組，以促進短程通信。例如，在NFC模組可基於射頻識別(RFID)技術、紅外資料協會(IrDA)技術、超寬頻(UWB)技術、藍牙(BT)技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、數位信號處理設備(DSPD)、可程式設計邏輯器件(PLD)、現場可程式設計閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子組件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖8是根據一示例性實施例示出的一種電子設備900的方塊圖。例如，電子設備900可以被提供為一伺服器。參照圖8，電子設備900包括處理組件922，其進一步包括一個或多個處理器，以及由記憶體932所代表的記憶體資源，用於儲存可由處理組件922的執行的指令，例如應用程 式。記憶體932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件922被配置為執行指令，以執行上述方法。
電子設備900還可以包括一個電源組件926被配置為執行電子設備900的電源管理，一個有線或無線網路介面950被配置為將電子設備900連接到網路，和一個輸入輸出(I/O)介面958。電子設備900可以操作基於儲存在記憶體932的作業系統，例如Windows ServerTM、Mac OSXTM、UnixTM、LinuxTM、FreeBSDTM或類似。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體932，上述電腦程式指令可由電子設備900的處理組件922執行以完成上述方法。
本公開可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本公開的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是(但不限於)電儲存裝置、磁儲存裝置、光儲存裝置、電磁儲存裝置、半導體儲存裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括：可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式設計唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可擕式 壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能盤(DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本公開操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括對象導向的程式設計語言-諸如Smalltalk、C++等，以及常規的過程式程式設計語言-諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執 行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在關於遠端電腦的情形中，遠端電腦可以通過任意種類的網路-包括局域網(LAN)或廣域網路(WAN)-連接到使用者電腦，或者，可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列(FPGA)或可程式設計邏輯陣列(PLA)，該電子電路可以執行電腦可讀程式指令，從而實現本公開的各個方面。
這裡參照根據本公開實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本公開的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括 一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本公開的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所關於的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本公開的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對 於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
圖1代表圖為流程圖，無元件符號說明

Claims (10)

  1. 一種目標對象處理方法，所述方法應用於邊緣設備側，將用於第一資料標注的第一處理模組和用於第二資料場景適配的第二處理模組部署於所述邊緣設備側；所述第一資料是採集目標對象得到的原始資料，所述第二資料是場景資料；所述第一處理模組和所述第二處理模組基於運算模型得到；所述方法包括：將所述第一資料輸入所述第一處理模組，得到所預測的資料標注結果；包括：根據所述第一處理模組對場景資料的預測，得到預測規則；根據所述預測規則對所述第一資料進行標注，得到所預測的資料標注結果；將所述資料標注結果輸入所述第二處理模組，根據所述資料標注結果進行場景自適應的增量學習，得到與所述第二資料場景適配的神經網路；根據包含目標對象的資料和所述神經網路，實現對所述目標對象對應場景的處理；所述方法還包括：得到所述神經網路之後，監測多個區域的邊緣設備，獲得處於空閒狀態的第一邊緣設備；根據第一邊緣設備對應的邊緣設備處理能力，對所述第二處理模組執行第二資料場景適配的自適應增量學習；或者，監測多個區域的邊緣設備，獲得多個邊緣設備處理能力；根據所述多個邊緣設備分別對應的自身處理能力和當前資源耗費，從所述多個邊緣設備中選定處理能 力高的第二邊緣設備；根據第二邊緣設備對應的邊緣設備處理能力，對所述第二處理模組執行第二資料場景適配的自適應增量學習。
  2. 根據請求項1所述的方法，所述方法還包括：所述場景為當前的第一場景，根據所述資料標注結果進行第一場景自適應的增量學習，得到與所述第一場景適配的神經網路之後，監測到場景由所述第一場景變換到第二場景；觸發對所述第二處理模組中的參數進行參數重置；根據所述資料標注結果進行所述第二場景自適應的增量學習，得到與所述第二場景適配的神經網路。
  3. 根據請求項1或2所述的方法，得到所述神經網路之前，所述方法還包括：在所述第二處理模組中參數更新的情況下，根據約束條件對所述參數更新進行更新制約。
  4. 根據請求項1或2所述的方法，所預測的資料標注結果，來源於構成所述第一處理模組的資料樣本訓練網路輸出層的第一輸出；和/或，所預測的資料標注結果，來源於構成所述第一處理模組的資料樣本訓練網路輸出層的第一輸出和中間層的第二輸出。
  5. 根據請求項1所述的方法，所述方法還包括：將所述第一資料輸入所述第一處理模組之前，根據採樣參數對所述第一資料進行選取，得到待處理的第一資料； 得到所述神經網路之前，所述方法還包括：針對所述待處理的第一資料，在所述第一處理模組和所述第二處理模組分別輸出的預測結果差異較大的情況下，針對所述待處理的第一資料中預測結果差別大的一幀或多幀第一資料在所述邊緣設備側進行所述場景自適應的增量學習。
  6. 根據請求項5所述的方法，針對所述待處理的第一資料中預測結果差別大的一幀或多幀第一資料在所述邊緣設備側進行所述場景自適應的增量學習，包括：將所述第一處理模組針對所述一幀或多幀第一資料得到的一個或多個資料標注結果輸出給所述第二處理模組；根據一個或多個資料標注結果對所述第二處理模組進行訓練並更新第二處理模組中的參數；以預先配置的策略增加所述採樣參數的數值。
  7. 根據請求項1所述的方法，所述方法還包括：將所述第一資料輸入所述第一處理模組之前，根據採樣參數對所述第一資料進行選取，得到待處理的第一資料；得到所述神經網路之前，所述方法還包括：針對所述待處理的第一資料，在所述第一處理模組和所述第二處理模組分別輸出的預測結果差異較小的情況下，以預先配置的策略減少所述採樣參數的數值。
  8. 根據請求項1所述的方法，所述方法還包括：將所述第一資料輸入所述第一處理模組之前，將所述第一資料中的部分資料作為在線測試集； 得到所述神經網路之前，所述方法還包括：針對所述在線測試集中的第一資料，在所述第一處理模組和所述第二處理模組分別輸出的預測結果差異較大的情況下，將所述第二處理模組中的參數重置。
  9. 一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為：執行請求項1至8中任意一項所述的方法。
  10. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至8中任意一項所述的方法。
TW108129693A 2019-01-31 2019-08-20 一種目標對象處理方法、裝置、電子設備及儲存介質 TWI772668B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910098735.5 2019-01-31
CN201910098735.5A CN109766954B (zh) 2019-01-31 2019-01-31 一种目标对象处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
TW202030648A TW202030648A (zh) 2020-08-16
TWI772668B true TWI772668B (zh) 2022-08-01

Family

ID=66455838

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108129693A TWI772668B (zh) 2019-01-31 2019-08-20 一種目標對象處理方法、裝置、電子設備及儲存介質

Country Status (7)

Country Link
US (1) US11403489B2 (zh)
JP (1) JP7064593B2 (zh)
KR (1) KR20200096556A (zh)
CN (1) CN109766954B (zh)
SG (1) SG11202005886RA (zh)
TW (1) TWI772668B (zh)
WO (1) WO2020155609A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3788815A1 (en) * 2018-05-02 2021-03-10 Telefonaktiebolaget Lm Ericsson (Publ) First network node, third network node, and methods performed thereby, for handling a performance of a radio access network
CN109766954B (zh) * 2019-01-31 2020-12-04 北京市商汤科技开发有限公司 一种目标对象处理方法、装置、电子设备及存储介质
CN110147836B (zh) * 2019-05-13 2021-07-02 腾讯科技（深圳）有限公司 模型训练方法、装置、终端及存储介质
CN112417986B (zh) * 2020-10-30 2023-03-10 四川天翼网络股份有限公司 一种基于深度神经网络模型的半监督在线人脸识别方法及系统
US20220172064A1 (en) * 2020-12-02 2022-06-02 Htc Corporation Machine learning method and machine learning device for eliminating spurious correlation
CN112419413B (zh) * 2020-12-07 2024-01-05 萱闱(北京)生物科技有限公司 终端设备的运动方向监测方法、介质、装置和计算设备
CN113240119B (zh) * 2021-04-08 2024-03-19 南京大学 一种用于游戏ai策略解释的跨模型蒸馏装置
CN113205120B (zh) * 2021-04-20 2023-11-24 北京百度网讯科技有限公司 数据标注方法、装置、电子设备及可读存储介质
CN113111878B (zh) * 2021-04-30 2022-03-18 中北大学 一种复杂背景下的红外弱小目标检测方法
CN113364543B (zh) * 2021-06-03 2022-03-15 厦门大学 一种基于联邦强化学习的边缘计算模型训练方法
CN114572233B (zh) * 2022-03-25 2022-11-29 阿波罗智能技术(北京)有限公司 基于模型集合的预测方法、电子设备及自动驾驶车辆
CN116050433B (zh) * 2023-02-13 2024-03-26 北京百度网讯科技有限公司 自然语言处理模型的场景适配方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200415524A (en) * 2002-10-24 2004-08-16 Univ Duke Binary prediction tree modeling with many predictors and its uses in clinical and genomic applications
US20080113672A1 (en) * 1996-09-09 2008-05-15 Tracbeam Llc Multiple location estimators for wireless location
US20110222724A1 (en) * 2010-03-15 2011-09-15 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN106488739A (zh) * 2014-03-21 2017-03-08 瑞斯百瑞公司 健康状态监测设备
CN107851213A (zh) * 2015-07-22 2018-03-27 高通股份有限公司 神经网络中的转移学习

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366163B (zh) * 2013-07-15 2016-07-20 北京丰华联合科技有限公司 基于增量学习的人脸检测系统和方法
US9619753B2 (en) * 2014-12-30 2017-04-11 Winbond Electronics Corp. Data analysis system and method
CN106097346B (zh) * 2016-06-13 2019-08-27 中国科学技术大学 一种自学习的视频火灾探测方法
CN106529485A (zh) * 2016-11-16 2017-03-22 北京旷视科技有限公司 用于获取训练数据的方法及装置
CN106919980B (zh) * 2017-01-24 2020-02-07 南京大学 一种基于神经节分化的增量式目标识别系统
US11017291B2 (en) * 2017-04-28 2021-05-25 Intel Corporation Training with adaptive runtime and precision profiling
CN107358257B (zh) * 2017-07-07 2019-07-16 华南理工大学 一种大数据场景下可增量学习的图像分类训练方法
CN107944374A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 视频数据中特定对象检测方法及装置、计算设备
CN108229591B (zh) * 2018-03-15 2020-09-22 北京市商汤科技开发有限公司 神经网络自适应训练方法和装置、设备、程序和存储介质
CN108764269A (zh) * 2018-04-03 2018-11-06 华南理工大学 一种基于时空约束增量学习的跨数据集行人再识别方法
CN108545556B (zh) * 2018-05-02 2019-10-01 中国科学院计算技术研究所 基于神经网络的信息处理装置及方法
CN108764487B (zh) * 2018-05-29 2022-07-08 北京百度网讯科技有限公司 用于生成模型的方法和装置、用于识别信息的方法和装置
CN109242013B (zh) * 2018-08-28 2021-06-08 北京九狐时代智能科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN109224442B (zh) * 2018-09-03 2021-06-11 腾讯科技（深圳）有限公司 虚拟场景的数据处理方法、装置及存储介质
US11158286B2 (en) * 2018-10-05 2021-10-26 Disney Enterprises, Inc. Machine learning color science conversion
EP3867810A1 (en) * 2018-10-15 2021-08-25 Flir Commercial Systems, Inc. Deep learning inference systems and methods for imaging systems
US10867210B2 (en) * 2018-12-21 2020-12-15 Waymo Llc Neural networks for coarse- and fine-object classifications
CN109766954B (zh) * 2019-01-31 2020-12-04 北京市商汤科技开发有限公司 一种目标对象处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080113672A1 (en) * 1996-09-09 2008-05-15 Tracbeam Llc Multiple location estimators for wireless location
TW200415524A (en) * 2002-10-24 2004-08-16 Univ Duke Binary prediction tree modeling with many predictors and its uses in clinical and genomic applications
US20110222724A1 (en) * 2010-03-15 2011-09-15 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
CN106488739A (zh) * 2014-03-21 2017-03-08 瑞斯百瑞公司 健康状态监测设备
CN107851213A (zh) * 2015-07-22 2018-03-27 高通股份有限公司 神经网络中的转移学习

Also Published As

Publication number Publication date
TW202030648A (zh) 2020-08-16
CN109766954A (zh) 2019-05-17
JP2021514499A (ja) 2021-06-10
WO2020155609A1 (zh) 2020-08-06
US11403489B2 (en) 2022-08-02
CN109766954B (zh) 2020-12-04
JP7064593B2 (ja) 2022-05-10
US20200311476A1 (en) 2020-10-01
KR20200096556A (ko) 2020-08-12
SG11202005886RA (en) 2020-11-27

Similar Documents

Publication Publication Date Title
TWI772668B (zh) 一種目標對象處理方法、裝置、電子設備及儲存介質
KR102365890B1 (ko) 신경망의 훈련 방법, 장치 및 저장 매체
TWI759722B (zh) 神經網路訓練方法及裝置、圖像處理方法及裝置、電子設備和計算機可讀存儲介質
US11481574B2 (en) Image processing method and device, and storage medium
TWI769635B (zh) 網路訓練、行人重識別方法、電子設備及電腦可讀存儲介質
TWI766286B (zh) 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介
TWI773945B (zh) 錨點確定方法、電子設備和儲存介質
US20200387795A1 (en) Super network training method and device
CN110598504B (zh) 图像识别方法及装置、电子设备和存储介质
WO2021008022A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN109919300B (zh) 神经网络训练方法及装置以及图像处理方法及装置
US11244228B2 (en) Method and device for recommending video, and computer readable storage medium
TWI778313B (zh) 圖像處理方法、電子設備和儲存介質
CN109165738B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN109670077B (zh) 视频推荐方法、装置和计算机可读存储介质
CN111242303A (zh) 网络训练方法及装置、图像处理方法及装置
CN110659690A (zh) 神经网络的构建方法及装置、电子设备和存储介质
US20220383517A1 (en) Method and device for target tracking, and storage medium
TW202205127A (zh) 目標檢測方法、電子設備和電腦可讀儲存介質
CN111523555A (zh) 图像处理方法及装置、电子设备和存储介质
CN109447258B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN112115321A (zh) 内容推荐模型的训练方法及装置、电子设备和存储介质
CN112800954A (zh) 文本检测方法及装置、电子设备和存储介质
CN111008606A (zh) 图像预测方法及装置、电子设备和存储介质
CN110765943A (zh) 网络训练、识别方法及装置、电子设备和存储介质