TWI604323B - 視訊索引建立方法及應用其之裝置 - Google Patents

視訊索引建立方法及應用其之裝置 Download PDF

Info

Publication number
TWI604323B
TWI604323B TW105136649A TW105136649A TWI604323B TW I604323 B TWI604323 B TW I604323B TW 105136649 A TW105136649 A TW 105136649A TW 105136649 A TW105136649 A TW 105136649A TW I604323 B TWI604323 B TW I604323B
Authority
TW
Taiwan
Prior art keywords
video
data
storage device
similarity
objects
Prior art date
Application number
TW105136649A
Other languages
English (en)
Other versions
TW201818274A (zh
Inventor
蔡洛緯
李國徵
陳國睿
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW105136649A priority Critical patent/TWI604323B/zh
Priority to CN201710010619.4A priority patent/CN108073668A/zh
Priority to US15/470,325 priority patent/US10283166B2/en
Application granted granted Critical
Publication of TWI604323B publication Critical patent/TWI604323B/zh
Publication of TW201818274A publication Critical patent/TW201818274A/zh

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

視訊索引建立方法及應用其之裝置
本揭露是有關於一種視訊索引建立方法及應用其之裝置，以及關於一種基於物件代表截圖建立視訊索引的視訊索引建立方法及應用其之裝置。
伴隨監控系統數量持續成長，監控錄影已經成為治安維護不可或缺之重要工具，其運用時機多為事件發生後，但伴隨攝影機數量持續擴增，以人工方式過濾龐大視訊資料非常耗時費力。
視訊濃縮(video synopsis)為近年來最新之影像檢索技術，是一種時間上的濃縮表現方式，這種方法降低了影片中時間和空間上過多冗餘的部分，讓使用者易於瀏覽影片以及截取影片資料。
然而，如何提升視訊濃縮的影像檢索效率，仍是目前業界所致力的課題之一。
本揭露係有關於一種視訊索引建立方法及應用其之 裝置，可萃取視訊資料中的物件並基於各物件的物件代表截圖將視訊資料濃縮成至少一張的視訊索引圖，以供使用者快速瀏覽視訊內容，進而提高影片檢索效率。
根據本揭露之一實施例，提出一種視訊索引建立方法，其步驟包括：分析一視訊資料中複數個物件的移動軌跡資訊，並將對應取得的複數筆物件軌跡資料存入一儲存裝置；判斷該儲存裝置是否滿足一資料清除條件；當該資料清除條件滿足時，對儲存於該儲存裝置中的該些物件軌跡資料執行一物件軌跡分析，以自該些物件中選出至少一目標物件；自該儲存裝置取出該至少一目標物件的物件軌跡資料，並據以產生至少一視訊索引圖。當該資料清除條件滿足時，該儲存裝置包括至少一第一物件的一第一物件軌跡資料以及至少一第二物件的一第二物件軌跡資，該物件軌跡分析包括：計算該第二物件軌跡資料與基於該第一物件軌跡資料運算取得的一平均軌跡資料之間的一相似度；判斷該相似度是否滿足一相似度條件；當該相似度滿足該相似度條件，挑選該至少一第一物件以及該至少一第二物件作為該至少一目標物件；當該相似度未滿足該相似度條件，挑選該至少一第一物件作為該至少一目標物件，並排除該至少一第二物件作為該至少一目標物件。
根據本揭露之一實施例，提出一種視訊索引建立裝置，其包括儲存裝置以及視訊索引模組。該視訊索引模組耦接該儲存裝置，並經配置而用以：分析一視訊資料中複數個物件的移 動軌跡資訊，並將對應取得的複數筆物件軌跡資料存入一儲存裝置；判斷該儲存裝置是否滿足一資料清除條件；當該資料清除條件滿足時，對儲存於該儲存裝置中的該些物件軌跡資料執行一物件軌跡分析，以自該些物件中選出至少一目標物件；自該儲存裝置取出該至少一目標物件的物件軌跡資料，並據以產生至少一視訊索引圖。當該資料清除條件滿足時，該儲存裝置包括至少一第一物件的一第一物件軌跡資料以及至少一第二物件的一第二物件軌跡資，該物件軌跡分析包括：計算該第二物件軌跡資料與基於該第一物件軌跡資料運算取得的一平均軌跡資料之間的一相似度；判斷該相似度是否滿足一相似度條件；當該相似度滿足該相似度條件，挑選該至少一第一物件以及該至少一第二物件作為該至少一目標物件；當該相似度未滿足該相似度條件，挑選該至少一第一物件作為該至少一目標物件，並排除該至少一第二物件作為該至少一目標物件。
根據本揭露之一實施例，提出一種內儲程式之電腦可讀取紀錄媒體，當電腦載入該程式並執行後，可完成如本揭露所提出之視訊索引建立方法。
為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
100、1000‧‧‧視訊索引建立裝置
102‧‧‧分析單元
104‧‧‧篩取單元
106‧‧‧決定單元
108‧‧‧索引產生單元
110‧‧‧設定單元
1002‧‧‧儲存裝置
1004‧‧‧視訊索引模組
VD‧‧‧視訊資料
S1‧‧‧物件截圖串列
S2‧‧‧候選物件截圖串列
SS‧‧‧場景
OR1~ORN‧‧‧物件代表截圖
I、I1、I2‧‧‧視訊索引圖
K‧‧‧物件數量
202、204、206、208、1102、1104、1106、1108、1202、1204、1206、1208‧‧‧步驟
OB1~OBN‧‧‧物件
t1~t5‧‧‧取樣時點
BG1~BGN‧‧‧候選背景影像
BG‧‧‧背景影像
A1~A4、B1~B3、C1~C4‧‧‧位置
PA、PB、PM‧‧‧軌跡
TC‧‧‧資料清除條件滿足時的時間點
第1圖繪示依據本揭露一實施例之視訊索引建立裝置的方塊 圖
第2圖繪示依據本揭露之一實施例之視訊索引建立方法的流程圖。
第3圖繪示以視訊資料建立相應之視訊索引圖之一例示意圖。
第4圖繪示依據本揭露之一實施例之物件截圖串列的示意圖。
第5圖繪示依據本揭露之一實施例之自物件截圖串列產生候選物件截圖串列的示意圖。
第6圖繪示自候選物件截圖串列挑選各物件的物件代表截圖以融合產生視訊索引圖的一例示意圖。
第7圖繪示自候選物件截圖串列挑選各物件的物件代表截圖以融合產生視訊索引圖的另一例示意圖。
第8圖繪示依據本揭露之一實施例之依據物件數量將物件代表截圖填入視訊索引圖之示意圖。
第9圖繪示依據本揭露之一實施例之產生視訊索引圖之背景影像之示意圖。
第10圖繪示依據本發明又一實施例之視訊索引建立裝置的方塊圖。
第11圖繪示依據本發明又一實施例之視訊索引建立方法。
第12圖繪示物件軌跡分析之一例流程圖。
第13A圖繪示多個物件在一場景中的物件軌跡示意圖。
第13B圖對應地繪示該些物件的物件軌跡資料。
第14A圖繪示多個物件在一場景中的物件軌跡的另一示意 圖。
第14B圖對應地繪示該些物件的物件軌跡資料。
以下係參照所附圖式詳細敘述本揭露之其中幾組實施態樣。需注意的是，實施例所提出的多組實施態樣之結構和內容僅為舉例說明之用，本揭露欲保護之範圍並非僅限於所述之該些態樣。需注意的是，本揭露並非顯示出所有可能的實施例，相關領域者可在不脫離本揭露之精神和範圍內對實施例之結構加以變化與修飾，以符合實際應用所需。因此，未於本揭露提出的其他實施態樣也可能可以應用。再者，實施例中相同或類似的標號係用以標示相同或類似之部分。
請參考第1圖及第2圖。第1圖繪示依據本揭露一實施例之視訊索引建立裝置100的方塊圖。第2圖繪示依據本揭露之一實施例之視訊索引建立方法的流程圖。視訊索引建立裝置100可以是行動裝置、平板、個人電腦、監視系統或其他具備分析、處理視訊資料能力的電子裝置。
視訊索引建立裝置100主要包括分析單元102、篩取單元104、決定單元106以及索引產生單元108。此些單元可例如以積體電路、電路板來實現，或是由處理單元自至少一記憶體裝置讀取至少一可讀取程式碼來實現。
在步驟202，分析單元102分析視訊資料VD中複 數個物件之移動軌跡資訊以取得一物件截圖串列S1。物件截圖串列S1例如包括複數張物件截圖。視訊資料VD的來源例如為影音檔案、行動裝置之攝影機、網路影音串流(如YouTube)、網路攝影機或景深攝影機等。
分析單元102可透過物件偵測與追蹤演算法來萃取物件之移動軌跡資訊。物件偵測演算法例如包括高斯混合模型法(Gaussians mixture model,GMM)、時間中值法(temporal median filter)以及無參數核心密度估測法(nonparametric kernel density estimation,KDE)。物件追蹤演算法例如包括均值飄移法(Meanshift)、連續自適應均值飄移法(Camshift)以及粒子濾波器(particle filter)。
舉例來說，分析單元102可先建構出一張不含物件之背景影像，再比較一輸入影像與背景影像中各像素之差異值，當差異值大於臨界值時則判斷為異動像素，或稱前景(Foreground)。在一實施例中，分析單元102可利用多位移偵測方法，例如以高斯混合模型為基礎之背景相減擷取法以偵測異動像素。取得畫面中異動像素後，再進一步標記前景之不同物件，以進行物件追蹤。
在完成物件偵測與追蹤的程序後，分析單元102可取得物件出現於視訊資料VD中一連串之移動軌跡及其物件截圖，並對該些物件截圖進行排序，以產生該物件截圖串列S1。
在步驟204，篩取單元104依據該些物件截圖間的 外顯差異，篩除部分之該些物件截圖，以產生一候選物件截圖串列S2。舉例來說，篩取單元104可自物件截圖串列S1中，篩除相似度大於一相似度閥值的物件截圖，以產生該候選物件截圖串列S2。該相似度之計算例如是依據物件外觀(appearance)、移動距離(distance)、異動向量(motion vector)及起始至結束時間(life cycle)之至少一因素。
在步驟206，決定單元106自該候選物件截圖串列S2中挑選複數個物件代表截圖OR1~ORN。各張物件代表截圖OR1~ORN分別對應視訊資料VD中的一個物件。
在步驟208，索引產生單元108將該些物件代表截圖OR1~ORN疊合於背景影像，以產生至少一張視訊索引圖I。在一實施例中，分析單元102可分析取樣自該視訊資料的複數張影像截圖以萃取多張候選背景影像，索引產生單元108再自該些候選背景影像選取其一作為該背景影像。
索引產生單元108產生之至少一張視訊索引圖I可例如顯示於一螢幕以供使用者檢視分析結果。舉例來說，使用者可透過點選視訊索引圖I中的一物件代表截圖以瀏覽相應物件的視訊內容。
在一實施例中，視訊索引建立裝置100更包括設定單元110，用以決定一物件數量K。物件數量K可用來決定視訊索引圖中填入的物件代表截圖數量。舉例來說，索引產生單元108會依序將物件代表截圖OR1~ORN疊合至背景影像，直到該背景 影像中的物件代表截圖數量達到物件數量K，即輸出視訊索引圖I1。此時視訊索引圖11包括對應K個物件的K張物件代表截圖(例如OR1~ORK)。接著，尚未填入視訊索引圖I1的物件代表截圖(例如ORK+1~ORN)係被填入另一視訊索引圖I2，以此類推。設定單元110例如是一人機介面，可回應外部操作而設定物件數量K的值。
第3圖繪示以視訊資料VD建立相應之視訊索引圖之一例示意圖。在第3圖的例子中，視訊資料VD的前景內容包括三個物件OB1、OB2、OB3。透過物件追蹤之演算法，可獲得物件OB1~OB3在視訊資料VD中各自的移動軌跡資訊(如箭頭所示)及其物件截圖，其中，物件OB1的多張物件截圖分別對應取樣時間t2~t5；物件OB2的多張物件截圖分別對應取樣時間t1~t5；物件OB3的多張物件截圖分別對應取樣時間t3~t5。
透過如第2圖所示之方法，可自物件OB1的多張物件截圖中挑選其一作為物件OB1的物件代表截圖OR1，並自物件OB2的多張物件截圖中挑選其一作為物件OB2的物件代表截圖OR2，以及自物件OB3的多張物件截圖中挑選其一作為物件OB3的物件代表截圖OR3。
由於各物件代表截圖OR1、OR2、OR3係分別取樣自對應物件OB1、OB2、OB3的移動軌跡，出現在同一張視訊索引圖中的物件代表截圖可能對應不同取樣時間下的物件截圖。如第3圖所示，位在同一張視訊索引圖I1的物件代表截圖OR1及 OR2係分別對應取樣時間t5及t1的物件截圖。
此外，取決於物件代表截圖的填入方式及/或所設定之物件數量K的不同，對應於同一取樣時點的物件代表截圖亦可能分別出現在不同張視訊索引圖當中。也就是說，不同視訊索引圖的內容並不受物件出現時間優先次序的限制。以第3圖為例，若物件數量K=2，當視訊索引圖I1已填入物件代表截圖OR1及OR2，即便物件代表截圖OR1及OR3皆對應取樣時間t5的物件截圖，剩下的物件代表截圖OR3仍會被填入另一張視訊索引圖I2。
在一實施例中，亦可將視訊資料VD分成多個子片段，並針對各子片段產生相應的視訊索引圖。以來自監視器的無間斷視訊資料VD為例，可將其以每ts分鐘為單位分割成數個子片段，再針對各個子片段執行如第2圖所示之方法，以產生相應的至少一張視訊索引圖。
第4圖繪示依據本揭露之一實施例之物件截圖串列S1的示意圖。在第4圖的例子中，視訊資料VD的視訊內容包括物件OB1~OBN。符號「(i,j)」代表第i個物件(即OBi)於第j取樣時點的物件截圖，其中1iN。舉例來說，符號「(1,2)」代表物件OB1於第2取樣時點的物件截圖，符號「(2,3)」代表物件OB2於第3取樣時點的物件截圖，以此類推。
分析單元102可依序排列關聯於同一物件之物件截圖以產生物件截圖串列S1。如第4圖所示，在物件截圖串列S1 中，關聯於物件OB1的物件截圖(1,1)~(1,4)、關聯於物件OB2的物件截圖(2,1)~(2,5)、關聯於物件OB3的物件截圖(3,1)~(3,3)乃至關聯於物件OBN的物件截圖(N,1)~(N,P)係依序緊鄰排列。可理解，亦可採用其他種排序方式來產生物件截圖串列S1。
第5圖繪示依據本揭露之一實施例之自物件截圖串列S1產生候選物件截圖串列S2的示意圖。在第5圖的例子中，係自物件截圖串列S1中篩除物件OB1的物件截圖(1,2)及(1,4)、物件OB2的物件截圖(2,2)及(2,4)、物件OB3的物件截圖(3,3)、以及物件OBN的物件截圖(N,3)~(N,P)，以產生候選物件截圖串列S2。被篩除的物件截圖例如是具有高相似度的物件截圖。
第6圖繪示自候選物件截圖串列S2挑選各物件的物件代表截圖並將其融合以產生視訊索引圖的一例示意圖。在此例中，決定單元106先自候選物件截圖(1,1)、(1,3)選取其一作為物件OB1的物件代表截圖OR1(如(1,1))。接著，決定單元106計算物件OB2之各候選物件截圖(2,1)、(2,3)、(2,5)對物件代表截圖OR1的物件遮蔽率，並依據該計算結果自候選物件截圖(2,1)、(2,3)、(2,5)中選取其一作為物件OB2的物件代表截圖OR2。如第6圖所示，由於候選物件截圖(2,5)對物件代表截圖OR1的物件遮蔽率最低，被選作物件OB2的物件代表截圖OR2。類似地，決定單元106將計算物件截圖(3,1)、(3,2)與已填入之物件代表截圖OR1、OR2的物件遮蔽率，並選擇當中物件遮蔽率最低者(如(3,1))作為物件OB3的物件代表截圖OR3，以此類推。
在一實施例中，每挑選一個新的候選物件截圖ci，並將其置放於視訊索引圖的位置li，則與之前的物件截圖cj彼此間滿足最小空間重疊之目標函數：
其中Ea(.)代表放置候選物件截圖於視訊索引圖中產生碰撞(collision)所需的代價，Q代表所有物件截圖所形成的集合，Q'代表候選物件截圖所形成的集合，其中Q' Q。此方法在每加入一個新的物件截圖時，都挑選局部最佳解(local optimal)來產生最終緊密空間配置的視訊索引圖。在另一實施例中，亦可採用全域最佳解來填入候選物件截圖。
第7圖繪示自候選物件截圖串列S2挑選各物件的一張物件代表截圖以融合產生視訊索引圖的另一例示意圖。在第7圖的例子中，當一物件的各張物件截圖對已填入的物件代表截圖的物件遮蔽率皆大於一遮蔽率閥值時，將產生另一視訊索引圖，並自該物件的該些物件截圖中選取其一顯示於該另一視訊索引圖。
假若定義一個候選物件截圖ci的遮蔽率函數如下：
其中Area(ci)為候選物件截圖ci於視訊索引圖中所占的面積，thr_a代表物件截圖面積遮蔽率的一遮蔽率閥值，若 新加入的物件遮蔽率小於遮蔽率閥值thr_a，便可依照其擺放位置加入視訊索引圖I(i)，反之則放棄加入I(i)，等待下一張視訊索引圖以尋求較佳的空間位置。在一實施例中，每張視訊索引圖可設定一全域面積閥值thr_b，若目前填入之候選物件截圖所佔之總面積已超過該全域面積閥值thr_b，表示畫面已足夠緊密，此時便可產生下一張視訊索引圖I(i+1)。
如第7圖所示，當物件截圖(2,1)、(2,3)、(2,5)對物件代表截圖OR1的物件遮蔽率皆大於遮蔽率閥值(如thr_a)，視訊索引圖I1中將跳過此些物件截圖，物件OB2的物件代表截圖OR2(如(2,1))將被填入另一張視訊索引圖I2。
另外，由於物件OB3的物件截圖(3,1)對已填入的物件代表截圖OR1的物件遮蔽率小於遮蔽率閥值，故物件截圖(3,1)被選作物件OB3的物件代表截圖OR3，並與物件代表截圖OR1顯示於同一張視訊索引圖I1。
可理解本發明填入物件代表截圖的方式並不以上述例子為限。凡是考慮物件代表截圖的面積及/或其擺放位置，對物件遮蔽率作最佳化或優化的時間/空間演算法，皆在本發明的精神範疇內。
第8圖繪示依據本揭露之一實施例之依據物件數量K將物件代表截圖填入視訊索引圖之示意圖。物件數量K可用來決定一張視訊索引圖中物件代表截圖的數量。在此例子中，物件數量K=4，也就是說，一張視訊索引圖中最多可填入4張物件代 表截圖。如第8圖所示，視訊索引圖I1依序被填入物件代表截圖OR1~OR4，剩下的物件代表截圖OR5及OR6則被填入下一張視訊索引圖I2。
第9圖繪示依據本揭露之一實施例之產生視訊索引圖之背景影像之示意圖。在第9圖中，索引產生單元108可累計各物件代表截圖所對照之背景影像，並以投票法決定多數者為視訊索引圖所採用的背景影像。以第9圖為例，假如候選背景影像BG1、BG2係呈現一場景的夜晚時刻，而候選背景影像BG3至BGN(N>4)皆呈現該場景的白天時刻，索引產生單元108將基於投票法，選擇多數候選背景影像所對應的白天場景作為視訊索引圖I的背景影像BG。之後，索引產生單元108可將物件代表截圖OR1~ORN以影像混合的方式(Poisson image blending)的方式疊合於該背景影像BG中，以產生視訊索引圖I。
第10圖繪示依據本揭露又一實施例之視訊索引建立裝置1000的方塊圖。視訊索引建立裝置1000主要包括儲存裝置1002以及視訊索引模組1004。儲存裝置1002可以任何形式的儲存媒體來實現，如硬碟、記憶體等。視訊索引模組1004可以處理器或具有運算處理能力的積體電路、電路板來實現。舉例來說，視訊索引模組1004可實現於電腦系統或網路儲存設備(Network Attached Storage,NAS)中，可接取視訊資料VD並藉由執行本揭露之視訊索引建立方法以產生視訊索引圖I。換言之，視訊索引模組1004可實現如第1圖中視訊索引建立裝置100中 各單元之功能，並執行本揭露實施例之視訊索引建立方法。視訊索引模組1004所產生的視訊索引圖I可顯示於電子裝置(如電腦、手機)的螢幕，以供使用者瀏覽、分析。
在此實施例中，提供至視訊索引模組1004的視訊資料VD係一即時視訊串流，如連續24小時的監視器影像串流，其具有持續、不間斷的特性。
視訊索引模組1004可分析視訊資料VD中多個物件的移動軌跡資訊，並將對應取得的多筆物件軌跡資料存入儲存裝置1002。考量儲存裝置1002的記憶空間有限而視訊資料VD卻不間斷，視訊索引模組1004會在儲存裝置1002滿足一資料清除條件時，對儲存裝置1002中的物件軌跡資料作物件軌跡分析，再依分析結果產生視訊索引圖I，並釋放儲存裝置1002的記憶空間，以供存入後續視訊資料VD的物件軌跡資訊。因此，當視訊資料VD為不間斷的即時視訊串流，視訊索引模組1004可利用儲存裝置1002有限的記憶空間，以線上(online)即時方式處理視訊資料VD並產生視訊索引圖I。不同於視訊資料VD為有限長度片段(例如一完整的影片檔)的例子，只要儲存裝置1002的記憶空間足夠大，即可存入整個視訊資料VD的物件軌跡資料，以供視訊索引模組1004以離線(offline)方式處理並建立視訊索引圖I。
第11圖繪示依據本揭露又一實施例之視訊索引建立方法。在步驟1102，視訊索引模組1004分析視訊資料VD中多個物件的移動軌跡資訊，並將對應取得的多筆物件軌跡資料存 至儲存裝置1002。舉例來說，視訊索引模組1004會基於分析單元102之功能，對視訊資料VD中的多個物件進行物件偵測與追蹤程序，以取得關聯各物件的移動軌跡和不同時點下的物件截圖，並將其存入儲存裝置1002。
在步驟1104，視訊索引模組1004判斷儲存裝置1002是否滿足一資料清除條件。資料清除條件用以作為觸發視訊索引模組1004基於儲存裝置1002中的物件軌跡資料建立視訊索引圖I的條件。在一實施例中，資料清除條件係指儲存裝置1002的記憶空間不足，例如儲存裝置1002記憶空間已滿。又一實施例中，資料清除條件係指儲存裝置1002已達一週期時間點，例如每5分鐘。
當儲存裝置1002滿足資料清除條件，在步驟1106，視訊索引模組1004將對儲存於儲存裝置1002中的物件軌跡資料執行一物件軌跡分析，以自該些物件中選出一或多個目標物件。
反之，當儲存裝置1002尚未滿足資料清除條件，流程將返回至步驟1102，視訊索引模組1004將持續對儲存裝置1002存入物件的物件軌跡資料。
執行物件軌跡分析的主要目的在於，利用視訊資料VD中多數物件移動軌跡的共通性，比對尚未完成物件追蹤程序的物件與平均軌跡間的相似度，以找出符合相似度條件(例如相似度大於或等於一閥值)的一或多個目標物件。此些目標物件的移動軌跡將被視為具有可預測性。故即便視訊索引模組1004在資料 清除條件滿足時尚未完成對部分目標物件的物件追蹤程序，視訊索引模組1004仍可利用此部分目標物件的物件軌跡資料建立並輸出視訊索引圖I，進而省略對此部分目標物件的後續追蹤程序。透過此方式，除可減少視訊索引模組1004執行物件追蹤程序所需的運算時間，亦可節省儲存裝置1002的記憶空間，使視訊索引模組1004在有限資源條件下仍可針對串流形式的視訊資料VD快速並即時地生成視訊索引圖I，以提供使用者快速瀏覽。
在步驟1108，視訊索引模組1004自儲存裝置1002取出目標物件的物件軌跡資料，並據以產生一或多張視訊索引圖I。
目標物件的物件軌跡資料包括各目標物件的物件截圖。此些物件截圖例如會依照和對應目標物件之間的關聯性而排列成物件截圖串列S1。在取得目標物件的物件截圖串列S1後，視訊索引模組1004例如會執行如第2圖所示的視訊索引建立方法來產生一或多張視訊索引圖I，其中關於物件代表截圖的選取、配置等細節，亦適用如第5至9圖的實施方式，此處不另贅述。
視訊索引模組1004在取出目標物件的物件軌跡資料後，將隨後清空儲存裝置1002中的物件軌跡資料，以利寫入最新之物件軌跡資料，並在下一次資料清除條件滿足時產生新的一或多張視訊索引圖I。
第12圖繪示物件軌跡分析之一例流程圖。
在執行物件軌跡分析時，視訊索引模組1004會將儲 存裝置中物件軌跡資料所對應的物件分成兩類，一類是已對其完成物件追蹤程序的物件(第一物件)，另一類是尚未完成對其物件追蹤程序的物件(第二物件)。所述之物件追蹤程序係如前述分析單元102用以萃取物件之移動軌跡資訊所執行之演算法。
一般來說，若視訊索引模組1004已完成對一物件的物件追蹤程序，表示視訊索引模組1004可偵測並取得該物件從進入場景到離開該場景的完整移動軌跡資訊。反之，若視訊索引模組1004尚未完成對一物件的物件追蹤程序，表示視訊索引模組1004測得的該物件仍存留在場景中移動，其移動軌跡仍在進行。因此，在一實施例中，第一物件的物件軌跡資料(第一物件軌跡資料)會包括第一物件進入一場景時的物件截圖以及離開該場景時的物件截圖；而第二物件的物件軌跡資料(第二物件軌跡資料)會包括第二物件在資料清除條件滿足時所被截取到的物件截圖。
假設在資料清除條件滿足時，儲存裝置1002中包括至少一第一物件的第一物件軌跡資料以及至少一第二物件的第二物件軌跡資料，在步驟1202，視訊索引模組1004將計算第二物件軌跡資料與基於第一物件軌跡資料運算取得的一平均軌跡資料之間的相似度。
舉例來說，可利用最長共同子序列(Longest Common Subsequence,LCS)演算法計算第二物件軌跡資料與平均軌跡資料的相似度如下：S(T V ,T avg )=LCS ε (T V ,T avg )/min(M,N)
其中Tv為第二物件軌跡資料，Tavg為平均軌跡資料，M、N分別為第二物件軌跡資料與平均軌跡資料中軌跡點的數量，而LCS ε (T V ,T avg )代表Tv與Tavg之最長共同軌跡。
在一實施例中，可採用尤拉距離計算LCS ε (T V ,T avg )與Tavg每個軌跡點的長度。若兩條軌跡滿足距離的點數超過預先設定的閥值，則表示該尚未完成追蹤程序的第二物件可被視為具有符合正常移動的物件，故可省略後續追蹤步驟，直接與第一物件一同被視為目標物件，否則便寫回儲存裝置1002並等待完成物件追蹤程序，直到下次儲存裝置1002的記憶空間被填滿後再取出進行分析。
在步驟1204，視訊索引模組1004判斷相似度是否滿足一相似度條件。舉例來說，若相似度高至跨過一閥值，則表示滿足相似度條件。
在步驟1206，當相似度滿足相似度條件(表示第二物件軌跡資料與平均軌跡資料相似)，視訊索引模組1004將挑選第一物件以及第二物件作為目標物件。
承前所述，當一物件被選作目標物件，視訊索引模組1004將在資料清除條件滿足時取出該物件的物件軌跡資料，並據以產生物件索引圖I。舉例來說，當第一物件以及第二物件皆被選為目標物件，視訊索引模組1004將基於如第2圖的視訊索引建立方法，從第一物件軌跡資料和第二物件軌跡資料分別挑選出第一物件的物件代表截圖(第一物件代表截圖)以及第二物件 的物件代表截圖(第二物件代表截圖)，並將第一物件代表截圖及第二物件代表截圖置入一或多張的視訊索引圖I中。
在步驟1208，當相似度未滿足相似度條件，視訊索引模組1004將挑選第一物件作為目標物件，並排除第二物件作為目標物件。
由於第二物件並未被選作目標物件，視訊索引模組1004在接下來建立視訊索引圖I的處理中，將不會依據第二物件軌跡資料產生第二物件的第二物件代表截圖，並將其置入視訊索引圖I當中。
在此情況下，視訊索引模組1004在清空儲存裝置1002中的物件軌跡資料後，仍會繼續對第二物件執行剩下未完成的物件追蹤程序，以對儲存裝置1002存入第二物件的另一第二物件軌跡資料。視訊索引模組1004將依據此另一第二物件軌跡資料產生第二物件的第二物件代表截圖，並將此第二物件代表截圖顯示於此階段所產生的另一視訊索引圖I。
接著請參考第13A圖和第13B圖。第13A圖繪示多個物件在一場景中的物件軌跡示意圖。第13B圖對應地繪示該些物件的物件軌跡資料。
在第13A圖中，物件OB1隨時間推遲而依序出現在場景SS中的位置A1~A4，其連線則相當於物件OB1的物件軌跡。同理，物件OB2隨時間推遲而依序出現在場景SS中的位置B1~B3，其連線相當於物件OB2的物件軌跡，而物件OB3隨時 間推遲而依序出現在場景SS中的位置C1~C4，其連線相當於物件OB3的物件軌跡。
倘若在資料清除條件滿足時，視訊索引模組1004已完成對物件OB1及OB2的物件追蹤程序而取得其完整的物件軌跡PA、PB，但尚未完成對物件OB3的物件追蹤程序(例如物件OB3僅從位置C1移動到位置C2)，視訊索引模組1004將對已完成物件追蹤程序的物件OB1及OB2(第一物件)的物件軌跡資料(第一物件軌跡資料)作平均，以取得平均軌跡資料(如軌跡PM)。舉例來說，視訊索引模組1004會將物件OB1及OB2在對應時間點的位置座標值作平均，以取得平均軌跡資料在該時間點的位置座標值。
之後，視訊索引模組1004將計算OB3從位置C1移動到位置C2的物件軌跡資料(第二物件軌跡資料)與平均軌跡資料之間的相似度，以判斷該第二物件軌跡資料是否具可預測性。
如第13B圖所示，物件OB1在位置A1~A4的物件截圖分別為(1,1)~(1,4)，物件OB2在位置B1~B3的物件截圖分別為(2,1)~(2,3)，物件OB3在位置C1~C4的物件截圖分別為(3,1)~(3,4)。
在時間點Tc，資料清除條件滿足，此時儲存裝置1002包括物件OB1的物件軌跡資料(物件截圖(1,1)~(1,4))、物件OB2的物件軌跡資料(物件截圖(2,1)~(2,3))以及物件OB3的物件 軌跡資料(物件截圖(3,1)、(3,2))。由於視訊索引模組1004已完成對物件OB1及OB2的物件追蹤程序，故視訊索引模組1004會依據物件OB1及OB2的物件軌跡資料(第一物件軌跡資料)作運算以取得平均軌跡資料。接著，視訊索引模組1004會計算未完成物件追蹤程序的物件OB3的物件軌跡資料(第二物件軌跡資料)與平均軌跡資料之間的相似度，以判斷其是否滿足相似度條件。在此例中，係假設物件OB3的物件軌跡資料與平均軌跡資料之間的相似度大於一閥值，故物件OB3以及已完成物件追蹤程序的物件OB1、OB2皆會被視為目標物件。視訊索引模組1004將從物件OB1、OB2、OB3的物件軌跡資料中分別取出物件截圖(1,3)、(2,2)、(3,1)作為物件代表截圖並顯示於視訊索引圖I。
在時間點Tc之後，視訊索引模組1004將省略對物件OB3的物件追蹤程序，以節省運算資源及記憶空間。
第14A圖繪示多個物件在一場景中的物件軌跡的另一示意圖。第14B圖對應地繪示該些物件的物件軌跡資料。
與第13A、13B圖例子的主要差別在於，在資料清除條件滿足時，尚未完成物件追蹤程序的物件OB3與平均軌跡資料之間的相似度並不滿足相似度條件(例如低於一閥值)。此時，視訊索引模組1004將捨棄在時間點Tc前存在儲存裝置1002中物件OB3的物件截圖(3,1)、(3,2)，而僅把已完成物件追蹤程序的物件OB1及OB2的物件代表截圖(如物件截圖(1,3)、(2,2))顯示在視訊索引圖I1中。
在時間點Tc之後，視訊索引模組1004將繼續對物件OB3的物件追蹤程序，並從對應產生的物件軌跡資料(如物件截圖(3,3)、(3,4))中挑選其一(如物件截圖(3,3))作為物件OB3的物件代表截圖，並將其顯示於下一階段所產生視訊索引圖I2中(每當滿足一次資料清除條件視為一階段)。
本揭露更提出一種內儲程式之電腦可讀取紀錄媒體，當電腦載入該程式並執行後，可完成如上述實施例所載之視訊索引建立方法。
綜上所述，雖然本揭露已以較佳實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
1102、1104、1106、1108‧‧‧步驟

Claims (21)

  1. 一種視訊索引建立方法，包括：分析一視訊資料中複數個物件的移動軌跡資訊，並將對應取得的複數筆物件軌跡資料存入一儲存裝置；判斷該儲存裝置是否滿足一資料清除條件；當該資料清除條件滿足時，對儲存於該儲存裝置中的該些物件軌跡資料執行一物件軌跡分析，以自該些物件中選出至少一目標物件，其中當該資料清除條件滿足時，該儲存裝置包括至少一第一物件的一第一物件軌跡資料以及至少一第二物件的一第二物件軌跡資，該物件軌跡分析包括：計算該第二物件軌跡資料與基於該第一物件軌跡資料運算取得的一平均軌跡資料之間的一相似度；判斷該相似度是否滿足一相似度條件；當該相似度滿足該相似度條件，挑選該至少一第一物件以及該至少一第二物件作為該至少一目標物件；以及當該相似度未滿足該相似度條件，挑選該至少一第一物件作為該至少一目標物件，並排除該至少一第二物件作為該至少一目標物件；以及自該儲存裝置取出該至少一目標物件的物件軌跡資料，並據以產生至少一視訊索引圖。
  2. 如申請專利範圍第1項所述之視訊索引建立方法，更包括： 當該相似度滿足該相似度條件：自該第一物件軌跡資料取得一第一物件代表截圖；自該第二物件軌跡資料取得一第二物件代表截圖；以及將該第一物件代表截圖與該第二物件代表截圖顯示於該視訊索引圖。
  3. 如申請專利範圍第1項所述之視訊索引建立方法，更包括：當該相似度不滿足該相似度條件：自該第一物件軌跡資料取得一第一物件代表截圖；以及將該第一物件代表截圖顯示於該視訊索引圖，其中該視訊索引圖不具該至少第二物件之一第二物件代表截圖。
  4. 如申請專利範圍第1項所述之視訊索引建立方法，其中該資料清除條件係該儲存裝置的記憶空間不足。
  5. 如申請專利範圍第1項所述之視訊索引建立方法，其中該資料清除條件係該儲存裝置已達一週期時間點。
  6. 如申請專利範圍第1項所述之視訊索引建立方法，更包括：自該儲存裝置取出該至少一目標物件的物件軌跡資料後，清空該儲存裝置中的該些物件軌跡資料。
  7. 如申請專利範圍第6項所述之視訊索引建立方法，更包括：在清空該儲存裝置中的該些物件軌跡資料後，對該儲存裝置 存入對應該至少一第二物件的另一第二物件軌跡資料；以及自該另一第二物件軌跡資料取得一第二物件代表截圖，並將該第二物件代表截圖顯示於另一視訊索引圖。
  8. 如申請專利範圍第1項所述之視訊索引建立方法，更包括：對該視訊資料中的該些物件執行一物件追蹤程序，以產生該些物件軌跡資料；其中該至少一第一物件係該些物件中已完成該物件追蹤程序者，該至少一第二物件係該些物件中尚未完成該物件追蹤程序者。
  9. 如申請專利範圍第1項所述之視訊索引建立方法，其中該相似度條件係該相似度大於或等於一閥值。
  10. 如申請專利範圍第1項所述之視訊索引建立方法，其中該視訊資料係一即時視訊串流。
  11. 一種內儲程式之電腦可讀取紀錄媒體，當電腦載入該程式並執行後，可完成如申請專利範圍第1項所述之方法。
  12. 一種視訊索引建立裝置，包括：一儲存裝置；一視訊索引模組，耦接該儲存裝置，並經配置而用以：分析一視訊資料中複數個物件的移動軌跡資訊，並將對應取得的複數筆物件軌跡資料存入該儲存裝置；判斷該儲存裝置是否滿足一資料清除條件； 當該資料清除條件滿足時，對儲存於該儲存裝置中的該些物件軌跡資料執行一物件軌跡分析，以自該些物件中選出至少一目標物件，其中當該資料清除條件滿足時，該儲存裝置包括至少一第一物件的一第一物件軌跡資料以及至少一第二物件的一第二物件軌跡資，該物件軌跡分析包括：計算該至少一第二物件軌跡資料與基於該第一物件軌跡資料運算取得的一平均軌跡資料之間的一相似度；判斷該相似度是否滿足一相似度條件；當該相似度滿足該相似度條件，挑選該至少一第一物件以及該至少一第二物件作為該至少一目標物件；以及當該相似度未滿足該相似度條件，挑選該至少一第一物件作為該至少一目標物件，並排除該至少一第二物件作為該至少一目標物件；以及自該儲存裝置取出該至少一目標物件的物件軌跡資料，並據以產生至少一視訊索引圖。
  13. 如申請專利範圍第12項所述之視訊索引建立裝置，其中該視訊索引模組更用以：當該相似度滿足該相似度條件：自該第一物件軌跡資料取得一第一物件代表截圖；自該第二物件軌跡資料取得一第二物件代表截圖；以及將該第一物件代表截圖與該第二物件代表截圖顯示於該視訊索引圖。
  14. 如申請專利範圍第12項所述之視訊索引建立裝置，其中該視訊索引模組更用以：當該相似度不滿足該相似度條件：自該第一物件軌跡資料取得一第一物件代表截圖；以及將該第一物件代表截圖顯示於該視訊索引圖，其中該視訊索引圖不具該至少第二物件之一第二物件代表截圖。
  15. 如申請專利範圍第12項所述之視訊索引建立裝置，其中該資料清除條件係該儲存裝置的記憶空間不足。
  16. 如申請專利範圍第12項所述之視訊索引建立裝置，其中該資料清除條件係該儲存裝置已達一週期時間點。
  17. 如申請專利範圍第12項所述之視訊索引建立裝置，其中該視訊索引模組更用以：自該儲存裝置取出該至少一目標物件的物件軌跡資料後，清空該儲存裝置中的該些物件軌跡資料。
  18. 如申請專利範圍第17項所述之視訊索引建立裝置，其中該視訊索引模組更用以：在清空該儲存裝置中的該些物件軌跡資料後，對該儲存裝置存入對應該至少一第二物件的另一第二物件軌跡資料；以及自該另一第二物件軌跡資料取得一第二物件代表截圖，並將該第二物件代表截圖顯示於另一視訊索引圖。
  19. 如申請專利範圍第12項所述之視訊索引建立裝置，其中該視訊索引模組更用以： 對該視訊資料中的該些物件執行一物件追蹤程序，以產生該些物件軌跡資料；其中該至少一第一物件係該些物件中已完成該物件追蹤程序者，該至少一第二物件係該些物件中尚未完成該物件追蹤程序者。
  20. 如申請專利範圍第12項所述之視訊索引建立裝置，其中該相似度條件係該相似度大於或等於一閥值。
  21. 如申請專利範圍第12項所述之視訊索引建立裝置，其中該視訊資料係一即時視訊串流。
TW105136649A 2016-11-10 2016-11-10 視訊索引建立方法及應用其之裝置 TWI604323B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105136649A TWI604323B (zh) 2016-11-10 2016-11-10 視訊索引建立方法及應用其之裝置
CN201710010619.4A CN108073668A (zh) 2016-11-10 2017-01-06 视频索引建立方法及应用其的装置
US15/470,325 US10283166B2 (en) 2016-11-10 2017-03-27 Video indexing method and device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105136649A TWI604323B (zh) 2016-11-10 2016-11-10 視訊索引建立方法及應用其之裝置

Publications (2)

Publication Number Publication Date
TWI604323B true TWI604323B (zh) 2017-11-01
TW201818274A TW201818274A (zh) 2018-05-16

Family

ID=61023159

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105136649A TWI604323B (zh) 2016-11-10 2016-11-10 視訊索引建立方法及應用其之裝置

Country Status (3)

Country Link
US (1) US10283166B2 (zh)
CN (1) CN108073668A (zh)
TW (1) TWI604323B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110809130B (zh) * 2018-08-06 2020-10-30 杭州海康威视系统技术有限公司 分配存储设备的方法和装置
US11328160B2 (en) * 2020-06-10 2022-05-10 Ionetworks Inc. Video condensation and recognition method and system thereof

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200919209A (en) * 2007-10-30 2009-05-01 Mediatek Inc Methods for reserving index memory space in AVI recording
TW200935905A (en) * 2008-02-13 2009-08-16 Realtek Semiconductor Corp Digital video apparatus and related method for generating index information
TWI353787B (en) * 2006-09-19 2011-12-01 Method for indexing a sports video program carried
TWI420910B (zh) * 2009-04-15 2013-12-21 Echostar Technologies Llc 於視訊內容發送器處之視訊串流索引產生
TW201408073A (zh) * 2012-04-11 2014-02-16 Qualcomm Inc 用於在視訊寫碼中之參考索引寫碼的旁路位元子
TWI491390B (zh) * 2011-08-16 2015-07-11 Ind Tech Res Inst 電動輪椅及其控制方法
US20150356745A1 (en) * 2010-08-17 2015-12-10 International Business Machines Corporation Multi-mode video event indexing
US20150380055A1 (en) * 2012-09-12 2015-12-31 Intel Corporation Techniques for indexing video files
US20160014439A1 (en) * 2014-07-14 2016-01-14 Cisco Technology Inc. Indexing of Video Assets
TWI520095B (zh) * 2013-10-21 2016-02-01 財團法人工業技術研究院 影像索引方法、影像索引裝置及電腦可讀取媒體
US9348909B1 (en) * 2015-09-18 2016-05-24 Unreel Entertainment LLC Video indexing, search and delivery platforms, methods, systems and apparatuses

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760956B2 (en) 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US8949235B2 (en) 2005-11-15 2015-02-03 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Methods and systems for producing a video synopsis using clustering
EP1955205B1 (en) 2005-11-15 2012-08-29 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for producing a video synopsis
WO2007096003A1 (en) * 2006-02-27 2007-08-30 Robert Bosch Gmbh Trajectory-based video retrieval system, method and computer program
US20070237225A1 (en) 2006-03-30 2007-10-11 Eastman Kodak Company Method for enabling preview of video files
CN101201824A (zh) * 2006-12-15 2008-06-18 深圳市锐明视讯技术有限公司 一种视频流的信号处理方法
AU2007345938B2 (en) 2007-02-01 2011-11-10 Briefcam, Ltd. Method and system for video indexing and video synopsis
TW201004339A (en) 2008-07-09 2010-01-16 Univ Nat Taiwan Method and system for processing synthetic graphic images on digital video file
US20120027371A1 (en) 2010-07-28 2012-02-02 Harris Corporation Video summarization using video frames from different perspectives
EP2580738A4 (en) 2010-08-10 2018-01-03 LG Electronics Inc. Region of interest based video synopsis
US20130173853A1 (en) * 2011-09-26 2013-07-04 Nec Laboratories America, Inc. Memory-efficient caching methods and systems
TWI495339B (zh) 2011-11-11 2015-08-01 Univ Nat Cheng Kung 摘要影像的製造方法
US8719687B2 (en) 2011-12-23 2014-05-06 Hong Kong Applied Science And Technology Research Method for summarizing video and displaying the summary in three-dimensional scenes
TWI519147B (zh) 2011-12-28 2016-01-21 財團法人工業技術研究院 提供與傳送複合濃縮串流之方法以及系統
JP6193972B2 (ja) 2012-03-27 2017-09-06 ユークリッド・ディスカバリーズ・エルエルシーＥｕｃｌｉｄ Ｄｉｓｃｏｖｅｒｉｅｓ，Ｌｌｃ 映像圧縮レポジトリおよびモデル再利用
US8787730B2 (en) 2012-05-21 2014-07-22 Yahoo! Inc. Creating video synopsis for use in playback
CN103714158A (zh) * 2013-12-26 2014-04-09 乐视网信息技术（北京）股份有限公司 视频网站的垂直搜索方法及其系统
TWI511058B (zh) 2014-01-24 2015-12-01 Univ Nat Taiwan Science Tech 一種影片濃縮之系統及方法
TW201605239A (zh) 2014-07-22 2016-02-01 鑫洋國際股份有限公司 視訊分析方法與裝置
CN105469425A (zh) 2015-11-24 2016-04-06 上海君是信息科技有限公司 一种视频浓缩方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI353787B (en) * 2006-09-19 2011-12-01 Method for indexing a sports video program carried
TW200919209A (en) * 2007-10-30 2009-05-01 Mediatek Inc Methods for reserving index memory space in AVI recording
TW200935905A (en) * 2008-02-13 2009-08-16 Realtek Semiconductor Corp Digital video apparatus and related method for generating index information
TWI420910B (zh) * 2009-04-15 2013-12-21 Echostar Technologies Llc 於視訊內容發送器處之視訊串流索引產生
US20150356745A1 (en) * 2010-08-17 2015-12-10 International Business Machines Corporation Multi-mode video event indexing
TWI491390B (zh) * 2011-08-16 2015-07-11 Ind Tech Res Inst 電動輪椅及其控制方法
TW201408073A (zh) * 2012-04-11 2014-02-16 Qualcomm Inc 用於在視訊寫碼中之參考索引寫碼的旁路位元子
US20150380055A1 (en) * 2012-09-12 2015-12-31 Intel Corporation Techniques for indexing video files
TWI520095B (zh) * 2013-10-21 2016-02-01 財團法人工業技術研究院 影像索引方法、影像索引裝置及電腦可讀取媒體
US20160014439A1 (en) * 2014-07-14 2016-01-14 Cisco Technology Inc. Indexing of Video Assets
US9348909B1 (en) * 2015-09-18 2016-05-24 Unreel Entertainment LLC Video indexing, search and delivery platforms, methods, systems and apparatuses

Also Published As

Publication number Publication date
TW201818274A (zh) 2018-05-16
US10283166B2 (en) 2019-05-07
CN108073668A (zh) 2018-05-25
US20180130498A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
US11676389B2 (en) Forensic video exploitation and analysis tools
US9002069B2 (en) Social media event detection and content-based retrieval
RU2688757C1 (ru) Устройство и способ для анализа импортированного видео
CN111241872B (zh) 视频图像遮挡方法及装置
US20170124427A1 (en) Methods, apparatuses, systems, and non-transitory computer readable media for image trend detection and curation of image
Elharrouss et al. FSC-set: counting, localization of football supporters crowd in the stadiums
JP2018045302A (ja) 情報処理装置、情報処理方法及びプログラム
CN108228709A (zh) 数据存储方法和系统、电子设备、程序和介质
KR102592904B1 (ko) 영상 요약 장치 및 방법
TWI604323B (zh) 視訊索引建立方法及應用其之裝置
TWI616763B (zh) 視訊索引建立方法及應用其之裝置
US20230353701A1 (en) Removing objects at image capture time
CN115205330A (zh) 轨迹信息生成方法、装置、电子设备和计算机可读介质
CN111444819A (zh) 切割帧确定方法、网络训练方法、装置、设备及存储介质
CN113207038B (zh) 视频处理方法、视频处理装置和电子设备
WO2023186009A1 (zh) 计步方法及装置
US10580145B1 (en) Motion-based feature correspondence
Iparraguirre et al. Speeded-up video summarization based on local features
CN102984601A (zh) 摄像头视频摘要生成系统
Wang et al. Motch: An automatic motion type characterization system for sensor-rich videos
CN104253928B (zh) 基于场景侦测的实时影像记录系统及方法
Wang et al. OSCOR: An orientation sensor data correction system for mobile generated contents
Patel et al. OBJECT DETECTION IN HOCKEY SPORT VIDEO VIA PRETRAINED YOLOV3 BASED DEEP LEARNING MODEL.
CN111046228B (zh) 一种基于流计算的视频处理方法
JP7310935B2 (ja) 表示システムおよび表示方法