TW201820264A - 在視訊序列中的動作辨識 - Google Patents

在視訊序列中的動作辨識 Download PDF

Info

Publication number
TW201820264A
TW201820264A TW106136282A TW106136282A TW201820264A TW 201820264 A TW201820264 A TW 201820264A TW 106136282 A TW106136282 A TW 106136282A TW 106136282 A TW106136282 A TW 106136282A TW 201820264 A TW201820264 A TW 201820264A
Authority
TW
Taiwan
Prior art keywords
video sequence
motion
interest
image frames
video
Prior art date
Application number
TW106136282A
Other languages
English (en)
Other versions
TWI706377B (zh
Inventor
尼可拉斯 丹尼歐森
賽門 莫林
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201820264A publication Critical patent/TW201820264A/zh
Application granted granted Critical
Publication of TWI706377B publication Critical patent/TWI706377B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Abstract

本發明係關於一種用於在一視訊序列中進行動作辨識之系統。該系統包括經組態以擷取該視訊序列之一相機(100)及經組態以執行動作辨識之一伺服器(200)。該相機包括：一物件識別器(124)，其經組態以在該視訊序列之一物件影像圖框中識別一所關注物件；一動作候選者辨識器(126)，其經組態以將一第一動作辨識演算法應用於該物件影像圖框且藉此偵測一動作候選者之存在；一視訊提取器(127)，其經組態以藉由自該視訊序列提取與複數個影像圖框有關之視訊資料而產生一動作視訊序列之動作影像圖框，其中自其提取該等視訊資料之該複數個影像圖框中之一或多者包括該所關注物件；及一網路介面(130)，其經組態以將該動作視訊序列傳送至該伺服器。該伺服器包括一動作驗證器(210)，該動作驗證器(210)經組態以將一第二動作辨識演算法應用於該動作視訊序列且藉此驗證或否定該動作候選者係一動作。本發明亦呈現一種用於在一視訊序列中進行動作辨識之方法。

Description

在視訊序列中的動作辨識
本發明係關於在一視訊序列中進行動作辨識。
在一視訊序列中進行動作辨識係在視訊序列中偵測特定預定義動作之任務。待偵測之動作實例可係(例如)人打鬥、跑步、吃、玩一體育比賽。動作辨識通常需要極大處理能力，該極大處理能力使在擷取視訊序列之數位攝影機上執行動作辨識變得不適合。相反，動作辨識通常係由具有所需處理能力之一伺服器執行。然而，經由數位網路發送大量視訊需要許多頻寬。 因此，需要一視訊序列中之經改良動作辨識。
鑒於上述內容，本發明之一目標係提供一視訊序列中之經改良動作辨識。 根據一第一態樣，提供一種用於在由一相機擷取之一視訊序列中進行動作辨識之方法。該方法包括：藉由該相機之電路進行以下操作：在該視訊序列之一物件影像圖框中識別一所關注物件；將一第一動作辨識演算法應用於該影像圖框且藉此偵測一動作候選者之存在；藉由自該視訊序列提取與複數個影像圖框有關之視訊資料而產生一動作視訊序列之影像圖框，其中自其提取該等視訊資料之該複數個影像圖框中之一或多者包括該所關注物件；及將該動作視訊序列傳送至經組態以執行動作辨識之一伺服器；藉由該伺服器之電路進行以下操作：將一第二動作辨識演算法應用於該動作視訊序列且藉此驗證或否定該動作候選者係一預定義類型之一動作。 用於動作辨識之本方法係有益的，此乃因其允許用於動作辨識所需之處理能力分佈於兩個不同裝置上而不會出現在相機與伺服器之間的通信中佔用過多頻寬之問題。此外，用於動作辨識之本方法使執行處理器密集型之動作辨識而不會使相機之處理器負荷過大且同時不必使視訊序列持續不斷串流湧至伺服器成為可能。因此，本方法允許在相機上本端地使用一處理要求不太高之第一類型之動作辨識演算法且在伺服器上使用一處理要求更高之第二類型之動作辨識演算法。藉由提取且僅發送動作視訊序列而非一持續視訊串流，可節約頻寬。根據用於動作辨識之本方法，可在相機處偵測一候選動作。候選動作觸發將動作視訊序列傳送至伺服器，其中執行一更高級動作辨識分析。因此相機上動作辨識之目的係觸發對動作候選者之偵測。對動作候選者之偵測觸發將動作視訊序列傳送至伺服器以供進一步分析、驗證或否定動作候選者係一實際動作。 第一動作辨識演算法可主要基於使用物件影像圖框中之情境及/或空間資訊之一情境及/或空間動作辨識演算法。情境及/或空間動作辨識演算法通常無太高之處理能力要求。因此，使用彼種類之演算法動作辨識更易於在相機本端上進行。 第二動作辨識演算法可主要基於使用動作視訊序列之複數個影像圖框之時間資訊之一時間動作辨識演算法。時間動作辨識演算法在辨識動作方面通常更準確。因此，可執行一更準確動作辨識。 產生動作影像圖框之該行動可包括修剪視訊序列之該複數個影像圖框，使得包括所關注物件之動作影像圖框包括所關注物件之至少一部分。此可節約相機與伺服器之間的頻寬。 產生動作影像圖框之該行動可包括修剪視訊序列之該複數個影像圖框，使得包括該所關注物件之動作影像圖框包括至少部分地環繞該所關注物件之背景之一部分。藉由併入至少部分地環繞該所關注對之背景，不僅可對動作視訊序列執行時間分析而且可執行情境及/或空間分析。 傳送動作視訊序列之該行動可包括傳送該所關注物件在動作視訊序列內之座標。座標可係指哪一影像圖框或哪些影像圖框包括所關注物件及/或所關注物件在各別影像圖框中之位置。 該方法可進一步包括藉由相機之電路在視訊序列中偵測一所關注物件。產生動作影像圖框之該行動可包括提取與視訊序列之第一預定數目個影像圖框有關之視訊資料，該第一預定數目個影像圖框與偵測到該所關注物件之前的一時間點相關。產生動作影像圖框之該行動可包括提取與該視訊序列之第二預定數目個影像圖框有關之視訊資料，該第二預定數目個影像圖框與偵測到該所關注物件之後的一時間點相關。此允許提高將將在伺服器處被辨識之動作之正確時間窗發送至伺服器之可能性。 相機及伺服器可係定位於距彼此一定距離處之單獨有形實體。相機與伺服器可經組態以經由一數位網路彼此通信。 根據一第二態樣，一種用於在一視訊序列中進行動作辨識之系統。該系統包括：一相機，其經組態以擷取該視訊序列；及一伺服器，其經組態以執行動作辨識。該相機包括：一物件識別器，其經組態以在該視訊序列之一影像圖框中識別一所關注物件；一動作候選者辨識器，其經組態以將一第一動作辨識演算法應用於該物件影像圖框且藉此偵測一動作候選者之存在；一視訊提取器，其經組態以藉由自該視訊序列提取與複數個影像圖框有關之視訊資料而產生一動作視訊序列之影像圖框，其中自其提取該等視訊資料之該複數個影像圖框中之一或多者包括該所關注物件；及一網路介面，其經組態以將該動作視訊序列傳送至該伺服器。該伺服器包括一動作驗證器，其經組態以將一第二動作辨識演算法應用於該動作視訊序列且藉此驗證或否定該動作候選者係一預定義類型之一動作。 該視訊提取器可進一步經組態以修剪該視訊序列之複數個影像圖框，使得包括所關注物件之動作影像圖框包括該所關注物件之至少一部分。 該視訊提取器可進一步經組態以修剪該視訊序列之該複數個影像圖框，使得包括該所關注物件之該等動作影像圖框包括至少部分地環繞該所關注物件之背景之一部分。 該物件識別器可進一步經組態以在該視訊序列中偵測一所關注物件。該視訊提取器可進一步經組態以提取與該視訊序列之第一預定數目個影像圖框有關之視訊資料，該第一預定數目個影像圖框與偵測到該所關注物件之前的一時間點相關。該視訊提取器可進一步經組態以提取與該視訊序列之第二預定數目個影像圖框有關之視訊資料，該第二預定數目個影像圖框與偵測到該所關注物件之後的一時間點相關。 該方法之上述特徵在適用時亦應用於此第二態樣。為了避免過度重複，參考上文。 依據下文所給出之詳細說明，本發明之適用性之一進一步範疇將變得顯而易見。然而，應理解，雖然詳細說明及具體實例指示本發明之較佳實施例，但其僅以圖解說明之方式給出，此乃因熟習此項技術者將自此詳細說明明瞭本發明之範疇內之各種改變及修改。 因此，應理解，本發明並不限於所闡述之裝置之特定組件部分或所闡述之方法之步驟，此乃因此類裝置及方法可變化。亦應理解，本文中所使用之術語僅係出於闡述特定實施例之目的並不意欲具限制性。必須注意，如本說明書及隨附申請專利範圍中所使用，除非內容脈絡另外明確規定，否則冠詞「一(a、an)」及「該(the、said)」意欲意指存在元件中之一或多者。因此，舉例而言，提及「一單元」或「該單元」可包含數個裝置等。此外，詞語「包括」、「包含」、「含有」及類似措辭不排除其他元件或步驟。
現在將在下文中參考隨附圖式更全面地闡述本發明，其中展示本發明之當前較佳實施例之。然而，本發明可以諸多不同形式體現且不應被解釋為限於本文中所陳述之實施例；而是，此等實施例係為透徹及完整起見而提供且將本發明之範疇完全傳達給熟習此項技術者。 圖1圖解說明用於在一視訊序列中進行動作辨識之一系統。該系統包括一數位網路相機100及一伺服器200。數位網路相機100經由一數位網路300連接至伺服器200。數位網路相機100與伺服器200係定位於距彼此一定距離處且經組態以經由數位網路300彼此通信之單獨有形實體。 數位網路300係關於允許與裝置(例如，數位網路相機100及伺服器200)連接以交換數位資料之一網路。連接至數位網路300之裝置之間的連接係使用電纜或以無線方式建立。數位網路之非限制性實例係網際網路、一內部網路、一區域網路及一蜂巢式網路。數位網路之部分可係一私用數位網路。數位網路之部分可係一公用數位網路。私用數位網路可藉由一網路存取限制裝置(未展示)連接至公用數位網路。網路存取限制裝置可係經安裝以保護私用數位網路之一防火牆。網路存取限制裝置可係執行網路位址轉譯NAT之一裝置。 數位網路相機100經配置以擷取繪示一場景之一視訊序列。數位網路相機100包括一外殼112、一透鏡114及電路102。數位網路相機100經配置以擷取且處理(且可能亦儲存)視訊序列。電路102包括一影像感測器116、一影像處理單元118、一物件識別器124、一動作候選者辨識器126、一視訊提取器127及一網路介面130。電路102可進一步包括一中央處理單元CPU 120、一數位資料儲存媒體(記憶體) 122及一編碼單元128中之一或多者。影像處理單元118、物件識別器124、動作候選者辨識器126、視訊提取器127及/或編碼單元128中之任一者可實施為一專用硬體電路及/或軟體模組。若實施為軟體，則可在CPU 120上執行該軟體。CPU 120可係用於執行數位資料處理之任何適合CPU。亦應注意，任何專用硬體電路可部分地包括在一專用處理器上或在CPU 120上執行之軟體部分。 記憶體122可係任何種類之揮發性或非揮發性記憶體。此外，記憶體122可包括複數個記憶體單元。該複數個記憶體單元中之至少一者可用作用於緩衝資料同時處理(例如)視訊序列之內容之一緩衝記憶體。 數位網路相機100經配置以經由網路介面130連接至數位網路300。與數位網路之連接可係有線的或無線的。因此，網路介面130可係適於10/100/1000 Mbps資料流量之一網路埠，諸如一乙太網埠，即經配置以接收一模組化連接器(例如，一RJ45連接器)之一模組化埠。通常，此一RJ45連接器埠經配置以接收一網路電纜，諸如(例如，屬於第5類、第5e類或第6類之)一雙絞線電纜。另一選擇係，網路埠之I/O構件可係使用行動網際網路通信標準(例如，1G、2G、2.5G、2.75G、3G、3.5G、3.75G、3.9G、4G、5G)或使用WiFi之一無線I/O構件。 相機組件，亦即透鏡114及影像感測器116，可經配置以擷取原始影像，其中每一原始影像可被闡述為不同波長之光且源自於不同物件及物件之部分。接著，將此等原始影像自類比格式轉換成數位格式且傳送至影像處理單元118中。根據此實施例，數位網路相機100係經配置以擷取攝影影像之一相機。另一選擇係或與此配套者係，數位網路相機100之影像感測器116可經配置以擷取熱影像。又一選擇係或與此配套者係，數位網路相機100之影像感測器116可經配置以擷取雷達影像。因此，數位網路相機100所擷取之視訊序列可係攝影影像之一表示、熱影像之一表示、雷達影像之一表示或上述各項之一組合。 物件識別器124經組態以在相機100所擷取之視訊序列中偵測所關注物件。所關注物件可係(例如)一人、一臉、一車輛、一運送帶上之一產品、一動物、地形組分、武器等。物件識別器124可進一步經組態以對偵測到之所關注物件進行分類。所關注物件可(例如)被分類為屬一具體物件類型。具體物件類型之實例係：人、臉、車輛、一具體類型之產品。物件識別器124可進一步經組態以識別在視訊序列中首先偵測到所關注物件之一時間點。與此結合，記憶體122可進一步用作經組態以儲存預定數目個影像圖框之一影像圖框緩衝器。因此，表示在視訊序列中首先偵測到所關注物件之時間點之前的影像圖框的影像圖框可儲存於用作影像圖框緩衝器之記憶體122中。 物件識別器124進一步經組態以識別視訊序列之一或多者影像圖框中之所關注物件，其中已識別一所關注物件之一影像圖框在本文中將被稱為一物件影像圖框。 在一視訊序列中之動作辨識係在視訊序列中偵測一或多種預定義類型之動作之任務。預定義類型之動作實例係：人們打鬥、跑步、吃、玩一具體遊戲等。預定義類型之其他動作實例係：醉駕偵測、跳躍偵測、憤怒偵測、微笑偵測、手信號偵測、跌倒偵測、盤旋偵測、步態偵測、威脅行為偵測、嫌疑行為偵測(例如，反常或不平常行為偵測)。 可藉由靜止影像情境及/或空間分析或者時間分析(或以上兩種分析之一組合)來執行動作辨識。對靜止影像(例如，一視訊序列之一單個影像圖框)執行情境及/或空間動作辨識演算法。對一視訊序列之複數個影像圖框執行時間動作辨識演算法。 Georgia Gkioxari、Ross Girshick及Jitendra Malik在「Contextual Action Recognition with R*CNN」預印本1505.01197中揭示了一情境動作辨識演算法之一實例。舉例而言，在CN102855462中、CN103106394中以及Karen Simonyan 及Andrew Zisserman的「Two-Stream Convolutional Networks for Action Recognition in Videos」預印本1406.2199中闡述了動作辨識演算法之另一些實例：情境及/或空間動作辨識演算法以及時間動作辨識演算法兩者。 因此，動作辨識具有兩種主要方法；靜止影像情境及/或空間分析以及時間分析。而最具前景之方法使用時間分析作為一主要動作辨識演算法，靜止影像方法在某些情形中效果極好。然而，時間動作辨識很困難且涉及使用(例如)遞回類神經網路之處理極密集型演算法。此使得不適合於對嵌入式裝置(諸如，數位網路相機100)執行此等時間動作辨識演算法。 本發明針對使用情境及/或空間動作辨識演算法(通常，具備合理之處理密集度)與處理密集型時間動作辨識演算法之間的合併。對數位網路相機100執行一第一動作辨識演算法以發現動作候選者且對伺服器200執行一第二動作辨識演算法以驗證或否定動作候選者係一實際動作。第二動作辨識演算法具有比第一動作辨識演算法更高之處理要求。第一動作辨識演算法主要基於情境及/或空間動作辨識。作為一非限制性實例，第一動作辨識演算法可僅基於一情境及/或空間動作辨識演算法。第二動作辨識演算法主要基於時間動作辨識。然而，第二動作辨識演算法可包括情境及/或空間動作辨識之元素。 動作候選者辨識器126經組態以將第一動作辨識演算法應用於由物件識別器124識別之物件影像圖框中之至少一者。藉由應用該第一動作辨識演算法，偵測到一動作候選者之存在。由動作候選者辨識器126執行之第一動作辨識演算法分析不需要偵測動作類型。其僅需要偵測同屬之動作候選者。然而，第一動作辨識演算法可經組態以對不同類型之動作進行篩選。因此，藉由應用第一動作辨識演算法可偵測到一預定類型動作之一動作候選者之存在。 藉由應用第一動作辨識演算法，動作候選者辨識器126可經組態以偵測可能指示一動作之不平常姿勢。因此，發現一動作之一動作候選者。此外，動作候選者辨識器126可經組態以篩選所偵測姿勢以便發現一預定義類型之一動作之一動作候選者。第一動作辨識演算法係一相對輕型演算法。錯誤肯定在某種程度係可接受的。對一動作候選者之偵測促進使用第二動作辨識演算法之一更高級動作辨識分析。因此，動作候選者辨識器126經組態以觸發可能的動作提議，或其在本文中被稱為動作候選者。 偵測一動作候選者會觸發將一動作視訊序列(係包括該動作候選者之視訊序列之一部分)發送至伺服器200，以藉由將第二動作辨識演算法應用於該動作視訊序列而判定該動作候選者是否係一實際動作。 視訊提取器127經組態以產生動作視訊序列之動作影像圖框。動作視訊序列係包括動作候選者之視訊序列之一部分。動作視訊序列可具有與視訊序列相同之圖框速率。動作視訊序列可具有比視訊序列之圖框速率小之一圖框速率，亦即動作視訊序列所具有之一圖框速率具有比視訊序列低之一圖框數/秒fps。舉例而言，視訊序列之圖框速率可係60 fps且動作視訊序列之圖框速率可係30 fps。 動作視訊序列之影像圖框(本文中稱為動作影像圖框)係藉由提取與來自視訊序列之複數個影像圖框有關之視訊資料而產生。視訊提取器127經組態使得自其提取視訊資料之該複數個影像圖框中之一或多者包括所關注物件。因此，該複數個動作影像圖框中之至少一或多者係物件影像圖框。 視訊提取器127可進一步經組態以提取與視訊序列之第一預定數目個影像圖框有關之視訊資料，該第一預定數目個影像圖框與在視訊序列中首先偵測到所關注物件之所識別時間點之前的一時間點相關。因此，視訊序列之影像圖框可交存於記憶體122中以供稍後用於動作視訊序列中。此允許包含以下兩者：包括所關注物件、觸發第一動作辨識演算法之執行之物件影像圖框及在包含於動作視訊序列中之物件影像圖框之前的影像圖框。此提高以下可能性：動作視訊序列之時間窗包括與由所關注物件執行之動作有關之所有相關資訊。作為一非限制性實例，可取決於所關注物件之類型或動作候選者之動作類型中之一或多者而設定影像圖框之第一預定數目。此外，作為另一非限制性實例，對目標及(在可能情況下)其周圍環境之一運動分析可用於揭示一動作候選者在哪一較早影像圖框處開始。藉此，可自一相對大預緩衝器僅提取實際上可能與第二動作辨識相關之影像圖框。因此，可動態地設定影像圖框之第一預定數目。 視訊提取器127可進一步經組態以提取與視訊序列之第二預定數目個影像圖框有關之視訊資料，該第二預定數目個影像圖框與在視訊序列中偵測到所關注物件之所識別時間點之後的一時間點相關。此允許包含以下兩者：包括所關注物件、觸發第一動作辨識演算法之執行之物件影像圖框及在包含於動作視訊序列中之物件影像圖框之後的影像圖框。此提高以下可能性：動作視訊序列之時間窗包括與由所關注物件執行之動作有關之所有相關資訊。可取決於所關注物件之類型或動作候選者之動作類型中之一或多者而設定影像圖框之第二預定數目。此外，作為另一非限制性實例，對目標及在(在可能情況下)其周圍環境之一運動分析可用於揭示動作候選者在哪一影像圖框處結束。藉此，可僅提取實際上可能與第二動作辨識相關之影像圖框。因此，可動態地設定影像圖框之第二預定數目。 視訊提取器127可進一步經組態以提取與所關注物件在動作視訊序列內之座標有關之資訊。座標可係指包括所關注物件之彼(等)影像圖框及/或所關注物件在各別影像圖框中之位置。此等座標可與動作視訊序列一起被傳送至伺服器。 視訊提取器127可進一步經組態以在產生動作影像圖框時修剪該複數個影像圖框之視訊資料。該複數個影像圖框之視訊資料可經修剪，使得包括所關注物件之動作影像圖框包括所關注物件之至少一部分。此外，該複數個影像圖框之視訊資料可經修剪，使得包括所關注物件之動作影像圖框包括至少部分地環繞所關注物件之背景之一部分。藉由併入至少部分地環繞所關注物件之背景，不僅可對動作視訊序列執行時間分析而且可執行情境及/或空間分析。 編碼單元128經配置以使用視訊編碼法來對一視訊序列之數位視訊資料進行編碼。視訊編碼之非限制性實例係ISO/MPEG或ITU-H.26X家族之視訊編碼標準。編碼單元128經配置以對數位視訊資料之影像進行編碼，後文被稱為經編碼數位視訊資料。經編碼數位視訊資料可經由網路介面130而直接在一數位網路300上傳輸。另一選擇係，經編碼數位視訊資料可儲存於記憶體122中以供稍後經由網路介面130在數位網路300上傳輸。編碼單元128可經組態以在動作視訊序列被傳送至伺服器200之前對動作視訊序列進行編碼。 網路介面130經組態以將動作視訊序列傳送至伺服器200。 伺服器200包括電路201，電路201包括一動作驗證器210。電路201可進一步包括一網路介面202、一解碼單元204、一中央處理單元CPU 206及一數位資料儲存媒體(記憶體) 208中之一或多者。解碼單元204及/或動作驗證器210中之任一者可實施為一專用硬體電路及/或軟體模組。若被實施為軟體，則可在CPU 206上執行該軟體。CPU 206可係用於執行數位資料處理之任何適合CPU。亦應注意，任何專用硬體電路可部分地包括在一專用處理器上或在CPU 206上被執行之軟體部分。 伺服器200經配置以經由網路介面202連接至數位網路300。與數位網路之連接可係有線的或無線的。因此，網路介面202可係適於10/100/1000 Mbps資料流量之一網路埠，諸如經配置以接收一模組化連接器(例如，一RJ45連接器)之一乙太網埠、一模組化埠。通常，此一RJ45連接器埠經配置以接收一網路電纜，諸如一雙絞線電纜(例如，屬於第5類、第5e類或第6類者)。另一選擇係，網路埠之I/O構件可係使用行動網際網路通信標準(例如，1G、2G、2.5G、2.75G、3G、3.5G、3.75G、3.9G、4G、5G)或使用WiFi之一無線I/O構件。 若動作視訊序列被編碼，則解碼單元204經組態以對經編碼視訊序列進行解碼。因此，解碼單元204經配置以使用視訊解碼法來對一視訊序列之數位視訊資料進行解碼。 記憶體122可係任何種類之揮發性或非揮發性記憶體。此外，記憶體122可包括複數個記憶體單元。該複數個記憶體單元中之至少一者可用作用於緩衝資料同時處理(例如)動作視訊序列之一緩衝記憶體。記憶體122可進一步儲存動作視訊序列之整體或部分。 動作驗證器210經組態以將第二動作辨識演算法應用於動作視訊序列。藉此可驗證或否定動作候選者係一實際動作。尤其是，可驗證或否定動作候選者係一預定義動作類型之一動作。由動作驗證器210執行之動作辨識不必即時執行。此乃因該動作係一短時的而非持續不斷進行的事件，且重要的事情係獲悉是否應發出一具體動作類型之一警報。 參考圖2，用於由相機100擷取之一視訊序列中的動作辨識之一方法。該方法包括由相機(100)之電路102執行以下操作： 在視訊序列之一物件影像圖框中識別S501一所關注物件； 將第一動作辨識演算法應用S502於物件影像圖框且藉此偵測一動作候選者之存在； 藉由自視訊序列提取與複數個影像圖框有關之視訊資料而產生S504一動作視訊序列之動作影像圖框，其中自其提取視訊資料之該複數個影像圖框中之一或多者包括所關注物件。 將動作視訊序列傳送S506至伺服器200。 該方法進一步包括：由伺服器200之電路201將第二動作辨識演算法應用S508於動作視訊序列且藉此驗證或否定該動作候選者係一預定義類型之一動作。 產生S504動作影像圖框之行動可包括修剪視訊序列之該複數個影像圖框，使得包括所關注物件之動作影像圖框包括所關注物件之至少一部分。 產生S504動作影像圖框之行動可包括修剪視訊序列之該複數個影像圖框，使得包括所關注物件之動作影像圖框包括至少部分地環繞所關注物件之背景之一部分。 傳送506動作視訊序列之行動可包括將動作視訊序列內之座標傳送至所關注物件。座標可係指包括所關注物件之彼(等)影像圖框及/或所關注物件在各別影像圖框中之位置。 該方法可進一步包括由相機100之電路102偵測S500視訊序列中之一所關注物件。產生S504動作影像圖框之行動可包括提取與視訊序列之第一預定數目個影像圖框有關之視訊資料，該第一預定數目個影像圖框與偵測到所關注物件之前的一時間點相關。產生S504動作影像圖框之行動可包括提取與視訊序列之第二預定數目個影像圖框有關之視訊資料，該第二預定數目個影像圖框與偵測到所關注物件之後的一時間點相關。 熟習此項技術者應認識到，本發明決不限於上文所闡述之較佳實施例。相反，在隨附申請專利範圍之範疇內諸多修改及變化係可能的。 舉例而言，在驗證動作候選者係一實際動作之後，伺服器200可經組態以發出一警報觸發。可將警報觸發發送至數位網路相機100以供在其中進行進一步處理。舉例而言，數位網路相機100可經組態以在接收到警報觸發之後改變一相機設定。可改變相機設定之非限制性實例係：圖框速率、解析度、光敏感度，至HDR之切換，以一標準訊息觸發連接至相機之一揚聲器，對所關注物件開啟PTZ追蹤，觸發所偵測目標之一高級外觀模型之產生，使得其可經由數個相機被追蹤，開啟雷達追蹤，至熱模式之切換，改變臨限值以供進一步動作辨識或對一相關類型之一後續動作之檢查(舉例而言，若一人跌倒，則開始搜尋動作「再次站起」，且若其在特定時間臨限值內未起身則觸發一警報)。 另一選擇係或與此配套者係，可將警報觸發發送至一視訊管理中心VMS。警報觸發可在VMS處用於發送一預定義類型之一動作已發生之通知。 此外，伺服器200可以各種類型之裝置來實施。被實施為伺服器200之裝置之非限制性實例係一專用電腦、另一相機裝置、一視訊管理系統、一雲伺服器、靠近相機之一分析盒、一存取控制單元、具有計算能力之一IoT裝置。此外，伺服器功能性可分佈於不同裝置上。尤其是在動作驗證器210至少部分地被實施為在複數個處理器執行之軟體程式碼部分的情形中。 此外，可在視訊序列之複數個物件影像圖框中識別所關注物件。然後，可將第一動作辨識演算法個別地應用於該複數個物件影像圖框中之每一者。然後，第一動作辨識演算法之個別應用之結果可用於發現動作候選者。舉例而言，對複數個影像進行個別分析可揭示一人之腿始終處於不同角度中。此可指示該人可能正在行走或甚至跑步。此後，藉由自視訊序列提取與複數個影像圖框有關之視訊資料而產生動作視訊序列之動作影像圖框，其中自其提取視訊資料之該複數個影像圖框中之一或多者包括所關注物件。 另外，依據對圖式、揭示內容及隨附申請專利範圍之研究，熟習此項技術者在實踐所主張之本發明時可理解且實現所揭示實施例之變化。
100‧‧‧相機/數位網路相機
102‧‧‧電路
112‧‧‧外殼
114‧‧‧透鏡
116‧‧‧影像感測器
118‧‧‧影像處理單元
120‧‧‧中央處理單元
122‧‧‧數位資料儲存媒體/記憶體
124‧‧‧物件識別器
126‧‧‧動作候選者辨識器
127‧‧‧視訊提取器
128‧‧‧編碼單元
130‧‧‧網路介面
200‧‧‧伺服器
201‧‧‧電路
202‧‧‧網路介面
204‧‧‧解碼單元
206‧‧‧中央處理單元
208‧‧‧數位資料儲存媒體/記憶體
210‧‧‧動作驗證器
300‧‧‧數位網路
現在將參考展示本發明之實施例之隨附圖式更詳細地闡述本發明之以上態樣及其他態樣。各圖不應被視為將本發明限制於具體實施例；而是其等用於闡釋及理解本發明。 如圖中所圖解說明，層及區域之大小可出於說明性目的而被放大且經提供以圖解說明本發明之實施例之一般性結構。通篇中，相似元件符號係指相似元件。 圖1圖解說明用於在一視訊序列中進行動作辨識之一系統。 圖2係用於在一視訊序列中進行動作辨識之一方法之一方塊方案。

Claims (14)

  1. 一種用於在由一相機(100)擷取之一視訊序列中進行動作辨識之方法，該方法包括： 藉由該相機(100)之電路(102)進行以下操作： 在該視訊序列之一影像圖框中識別一所關注物件； 將一第一動作辨識演算法應用於其中該所關注物件被識別出之該影像圖框且藉此偵測一動作候選者之存在，其中該第一動作辨識演算法主要基於使用該視訊序列之一單個影像圖框中之情境及/或空間資訊之一靜止影像情境及/或空間動作辨識演算法，該單個影像圖框包括該所關注物件； 藉由自該視訊序列提取與複數個影像圖框有關之視訊資料而產生一動作視訊序列之影像圖框，其中自其提取該等視訊資料之該複數個影像圖框中之一或多者包括該所關注物件；及 將該動作視訊序列傳送至經組態以執行動作辨識之一伺服器(200)；且 藉由該伺服器之電路(201)進行以下操作： 將一第二動作辨識演算法應用於該動作視訊序列且藉此驗證或否定該動作候選者係一預定義類型之一動作。
  2. 如請求項1之方法，其中該第二動作辨識演算法主要基於使用該動作視訊序列之複數個影像圖框之時間資訊之一時間動作辨識演算法。
  3. 如請求項1之方法，其中產生該動作視訊序列之該等影像圖框之該行動包括修剪該視訊序列之該複數個影像圖框，使得包括該所關注物件之該等影像圖框包括該所關注物件之至少一部分。
  4. 如請求項3之方法，其中包括該所關注物件的該動作視訊序列之該等影像圖框包括至少部分地環繞該所關注物件之背景之一部分。
  5. 如請求項1之方法，其中傳送該動作視訊序列之該行動包括傳送該所關注物件在該動作視訊序列內之座標。
  6. 如請求項1之方法，其中該方法進一步包括，藉由該相機之該電路進行以下操作： 在該視訊序列中偵測一所關注物件， 其中產生該動作視訊序列之該等影像圖框之該行動包括提取與該視訊序列之第一預定數目個影像圖框有關之視訊資料，該第一預定數目個影像圖框與偵測到該所關注物件之前的一時間點相關。
  7. 如請求項1之方法，其中該方法進一步包括，藉由該相機之該電路進行以下操作： 在該視訊序列中偵測一所關注物件， 其中產生該動作視訊序列之該等影像圖框之該行動包括提取與該視訊序列之第二預定數目個影像圖框有關之視訊資料，該第二預定數目個影像圖框與偵測到該所關注物件之後的一時間點相關。
  8. 如請求項1之方法，其中該相機及該伺服器係定位於距彼此一定距離處且經組態以經由一數位網路(300)彼此通信之單獨有形實體。
  9. 一種用於在一視訊序列中進行動作辨識之系統，該系統包括： 一相機(100)，其經組態以擷取該視訊序列；及一伺服器(200)，其經組態以執行動作辨識； 該相機包括： 一物件識別器(124)，其經組態以在該視訊序列之一影像圖框中識別一所關注物件； 一動作候選者辨識器(126)，其經組態以將一第一動作辨識演算法應用於其中該所關注物件被識別出之該影像圖框且藉此偵測一動作候選者之存在，其中該第一動作辨識演算法主要基於使用該視訊序列之一單個影像圖框中之情境及/或空間資訊之一靜止影像情境及/或空間動作辨識演算法，該單個影像圖框包括該所關注物件； 一視訊提取器(127)，其經組態以藉由自該視訊序列提取與複數個影像圖框有關之視訊資料而產生一動作視訊序列之影像圖框，其中自其提取該等視訊資料之該複數個影像圖框中之一或多者包括該所關注物件；及 一網路介面(130)，其經組態以將該動作視訊序列傳送至該伺服器； 該伺服器包括： 一動作驗證器(210)，其經組態以將一第二動作辨識演算法應用於該動作視訊序列且藉此驗證或否定該動作候選者係一預定義類型之一動作。
  10. 如請求項9之系統，其中該視訊提取器(127)進一步經組態以修剪該視訊序列之該複數個影像圖框，使得包括該所關注物件的該視訊序列之該等影像圖框包括該所關注物件之至少一部分。
  11. 如請求項9之系統，其中該視訊提取器(127)進一步經組態以修剪該視訊序列之該複數個影像圖框，使得包括該所關注物件的該視訊序列之該等影像圖框包括至少部分地環繞該所關注物件之背景之一部分。
  12. 如請求項9之系統，其中該物件識別器(124)進一步經組態以在該視訊序列中偵測一所關注物件，其中該視訊提取器(127)進一步經組態以提取與該視訊序列之第一預定數目個影像圖框有關之視訊資料，該第一預定數目個影像圖框與偵測到該所關注物件之前的一時間點相關。
  13. 如請求項9之系統，其中物件識別器(124)進一步經組態以在該視訊序列中偵測一所關注物件，其中該視訊提取器(127)進一步經組態以提取與該視訊序列之第二預定數目個影像圖框有關之視訊資料，該第二預定數目個影像圖框與偵測到該所關注物件之後的一時間點相關。
  14. 如請求項9之系統，其中該第二動作辨識演算法主要基於使用該動作視訊序列之複數個影像圖框之時間資訊之時間動作辨識演算法。
TW106136282A 2016-11-14 2017-10-23 在視訊序列中的動作辨識 TWI706377B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16198678.1 2016-11-14
EP16198678.1A EP3321844B1 (en) 2016-11-14 2016-11-14 Action recognition in a video sequence
??16198678.1 2016-11-14

Publications (2)

Publication Number Publication Date
TW201820264A true TW201820264A (zh) 2018-06-01
TWI706377B TWI706377B (zh) 2020-10-01

Family

ID=57326219

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106136282A TWI706377B (zh) 2016-11-14 2017-10-23 在視訊序列中的動作辨識

Country Status (6)

Country Link
US (1) US10691949B2 (zh)
EP (1) EP3321844B1 (zh)
JP (1) JP6963467B2 (zh)
KR (1) KR102156818B1 (zh)
CN (1) CN108073890B (zh)
TW (1) TWI706377B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107820010B (zh) * 2017-11-17 2020-11-06 英业达科技有限公司 摄影计数装置
KR102323609B1 (ko) 2018-04-30 2021-11-09 이휘원 웨어러블 기기를 이용하여 객체의 이벤트를 자동으로 감지하는 방법 및 이를 운용하는 관리 서버
CN109344770B (zh) * 2018-09-30 2020-10-09 新华三大数据技术有限公司 资源分配方法及装置
GB2611949B (en) * 2018-10-01 2023-08-09 Digital Barriers Services Ltd Video surveillance and object recognition
GB2577689B (en) 2018-10-01 2023-03-22 Digital Barriers Services Ltd Video surveillance and object recognition
EP3667557B1 (en) * 2018-12-13 2021-06-16 Axis AB Method and device for tracking an object
CN111866575B (zh) * 2019-04-24 2022-02-01 北京力动科技有限公司 一种实时动作视频智能捕捉与反馈方法及系统
EP3941032A4 (en) 2019-05-07 2022-12-14 Inhandplus Inc. TECHNO PORTABLE DEVICE FOR PERFORMING EVENT DETECTION USING A CAMERA MODULE AND A WIRELESS COMMUNICATION DEVICE
CN110362715B (zh) * 2019-06-28 2021-11-19 西安交通大学 一种基于图卷积网络的未剪辑视频动作时序定位方法
CN110633630B (zh) * 2019-08-05 2022-02-01 中国科学院深圳先进技术研究院 一种行为识别方法、装置及终端设备
US10997730B2 (en) 2019-08-21 2021-05-04 XNOR.ai, Inc. Detection of moment of perception
CN111062355A (zh) * 2019-12-25 2020-04-24 神思电子技术股份有限公司 一种人体动作识别方法
JP7355674B2 (ja) * 2020-02-18 2023-10-03 株式会社日立製作所 映像監視システムおよび映像監視方法
KR102344338B1 (ko) 2020-08-19 2021-12-29 인핸드플러스 주식회사 약물 이행 모니터링 시스템 및 이를 이용하는 장치
US20220083781A1 (en) * 2020-09-17 2022-03-17 Nec Laboratories America, Inc. Rule enabled compositional reasoning system
KR20230040708A (ko) 2021-09-16 2023-03-23 현대자동차주식회사 행위 인식 장치 및 방법
KR102616236B1 (ko) 2021-10-25 2023-12-21 연세대학교 산학협력단 모방 학습을 이용한 실시간 비디오 동작 검출 장치 및 방법
JP2024032618A (ja) * 2022-08-29 2024-03-12 富士通株式会社 異常送信プログラム、異常送信方法および情報処理装置
CN116071825B (zh) * 2023-01-31 2024-04-19 天翼爱音乐文化科技有限公司 一种动作行为识别方法、系统、电子设备及存储介质

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999007153A1 (en) * 1997-07-31 1999-02-11 Reality Fusion, Inc. Systems and methods for software control through analysis and interpretation of video information
JP2002032766A (ja) * 2000-07-18 2002-01-31 Matsushita Electric Ind Co Ltd 画像認識装置及びその方法
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US9318012B2 (en) * 2003-12-12 2016-04-19 Steve Gail Johnson Noise correcting patient fall risk state system and method for predicting patient falls
US8675059B2 (en) * 2010-07-29 2014-03-18 Careview Communications, Inc. System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients
CN101563710B (zh) * 2006-05-22 2013-12-04 安讯士有限公司 识别由视频监视摄像机检测到的对象的特性的方法及装置
US8295597B1 (en) * 2007-03-14 2012-10-23 Videomining Corporation Method and system for segmenting people in a physical space based on automatic behavior analysis
US20170155877A1 (en) * 2008-05-06 2017-06-01 Careview Communications, Inc. System and method for predicting patient falls
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
JP2011170856A (ja) * 2010-02-22 2011-09-01 Ailive Inc 複数の検出ストリームを用いたモーション認識用システム及び方法
TWI545947B (zh) * 2011-04-08 2016-08-11 南昌歐菲光電技術有限公司 具有影像擷取及分析模組之顯示裝置
US8643746B2 (en) * 2011-05-18 2014-02-04 Intellectual Ventures Fund 83 Llc Video summary including a particular person
US8665345B2 (en) * 2011-05-18 2014-03-04 Intellectual Ventures Fund 83 Llc Video summary including a feature of interest
CN102855462A (zh) 2011-07-01 2013-01-02 富士通株式会社 确定人体动作周期及识别人体动作的方法和装置
CN102855635A (zh) * 2011-07-01 2013-01-02 富士通株式会社 确定人体动作周期及识别人体动作的方法和装置
CN104094287A (zh) * 2011-12-21 2014-10-08 诺基亚公司 用于情境识别的方法、装置以及计算机软件
CN103106394A (zh) 2012-12-24 2013-05-15 厦门大学深圳研究院 一种视频监控中的人体行为识别方法
US10136119B2 (en) * 2013-01-10 2018-11-20 Qualcomm Incoporated View synthesis in 3D video
JP6171374B2 (ja) * 2013-02-06 2017-08-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP5991224B2 (ja) * 2013-02-15 2016-09-14 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP6115630B2 (ja) * 2013-03-19 2017-04-19 日本電気株式会社 処理装置、処理装置のデータ処理方法、およびプログラム
CN104112112A (zh) * 2013-04-19 2014-10-22 华为技术有限公司 识别动作的方法及其装置
EP2838268B1 (en) * 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
US9672728B2 (en) * 2014-04-07 2017-06-06 Google Inc. Smart hazard detector drills
US20160042621A1 (en) * 2014-06-13 2016-02-11 William Daylesford Hogg Video Motion Detection Method and Alert Management
US9213903B1 (en) * 2014-07-07 2015-12-15 Google Inc. Method and system for cluster-based video monitoring and event categorization
CN104298974B (zh) * 2014-10-10 2018-03-09 北京工业大学 一种基于深度视频序列的人体行为识别方法
US10110858B2 (en) * 2015-02-06 2018-10-23 Conduent Business Services, Llc Computer-vision based process recognition of activity workflow of human performer
CN104766051B (zh) * 2015-03-20 2018-08-31 北京交通大学 基于结构化的特征图的人体行为识别方法
US10984355B2 (en) * 2015-04-17 2021-04-20 Xerox Corporation Employee task verification to video system
US10643442B2 (en) * 2015-06-05 2020-05-05 Withings Video monitoring system
US9626849B2 (en) * 2015-06-12 2017-04-18 Google Inc. Using scene information from a security camera to reduce false security alerts
CN204791482U (zh) * 2015-07-11 2015-11-18 新疆东正科技发展有限公司 视频监控设备检测管理无线传输报警系统
US10296793B2 (en) * 2016-04-06 2019-05-21 Nec Corporation Deep 3D attention long short-term memory for video-based action recognition
US10410086B2 (en) * 2017-05-30 2019-09-10 Google Llc Systems and methods of person recognition in video streams

Also Published As

Publication number Publication date
KR20180054453A (ko) 2018-05-24
US10691949B2 (en) 2020-06-23
TWI706377B (zh) 2020-10-01
EP3321844A1 (en) 2018-05-16
CN108073890B (zh) 2023-01-24
JP2018125841A (ja) 2018-08-09
US20180137362A1 (en) 2018-05-17
KR102156818B1 (ko) 2020-09-16
CN108073890A (zh) 2018-05-25
JP6963467B2 (ja) 2021-11-10
EP3321844B1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
TWI706377B (zh) 在視訊序列中的動作辨識
Yan Introduction to intelligent surveillance: surveillance data capture, transmission, and analytics
US10565395B2 (en) Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
TWI749113B (zh) 在視訊監控系統中產生警示之方法、系統及電腦程式產品
CN104205865B (zh) 用于认证视频内容的方法和装置
US10986338B2 (en) Thermal-image based video compression systems and methods
US20120114177A1 (en) Image processing system, image capture apparatus, image processing apparatus, control method therefor, and program
US20160210518A1 (en) Systems and methods for controlling the recording, storing and transmitting of video surveillance content
WO2020094088A1 (zh) 一种图像抓拍方法、监控相机及监控系统
US20180047173A1 (en) Methods and systems of performing content-adaptive object tracking in video analytics
US11373685B2 (en) Event/object-of-interest centric timelapse video generation on camera device with the assistance of neural network input
US11200683B2 (en) Image processing device and image processing method
CN111147808B (zh) 网络装置、影像处理方法及电脑可读媒体
CN109564686B (zh) 在视频分析中更新用于对象追踪器的运动模型的方法和系统
KR102022971B1 (ko) 영상의 객체 처리 방법 및 장치
JP6679373B2 (ja) 顔検出装置、顔検出方法及び顔認識システム
US11706389B2 (en) Data transmission method, camera and electronic device
JP7211373B2 (ja) 動画像解析装置、動画像解析システム、動画像解析方法、及びプログラム
KR102179077B1 (ko) 상용분류기 외부 연동 학습형 신경망을 이용한 압축영상에 대한 신택스 기반의 객체 분류 방법
JP2016021716A (ja) 追尾装置及びその制御方法
US20170256285A1 (en) Video processing method and video processing system
KR102527133B1 (ko) 영상 분석 대상 판별 서버 및 그 제어방법
KR20210077178A (ko) 깊이 추정을 이용한 영상 관리 장치 및 방법
Chong et al. Distributed human detection on mobile platform
TW201541953A (zh) 影像竄改偵測方法及其系統