TW201605239A

TW201605239A - 視訊分析方法與裝置

Info

Publication number: TW201605239A
Application number: TW103125215A
Authority: TW
Inventors: 張正欣; 游哲生; 郭景明
Original assignee: 鑫洋國際股份有限公司
Priority date: 2014-07-22
Filing date: 2014-07-22
Publication date: 2016-02-01

Abstract

一種視訊分析方法與裝置，適用於依據一原始視訊產生一濃縮視訊，所述方法包括下列步驟。藉由背景濾除處理與一前景物件追蹤來分析原始視訊的影像圖框，以獲取原始視訊的多個物件串列。依據物件串列各自於時間軸上的多個時間區間，判斷物件串列之間的時間相關性，據以將物件串列分群成多個相關群組。決定物件串列的多個相對開始時間，以及決定相關群組各自對應的多個全域開始時間。依據全域開始時間以及相對開始時間，產生物件串列於時間軸上的多個最終播放時間。

Description

視訊分析方法與裝置

本發明是有關於一種視訊分析方法與裝置，且特別是有關於一種可濃縮視訊影片的視訊分析方法與裝置。

隨著科技發展，環境及自身安全越來越受到重視，視訊監控(surveillance)技術的研究更是眾所矚目，除了監控錄影設備的種類與日俱增外，監控視訊的分析技術更是日新月異。進一步來說，為了能夠更快速且準確的從監控視訊中獲取視訊畫面所提供的訊息，監控視訊的分析與處理技術為非常重要的一環。具體來說，在藉由人力觀看監視器畫面的過程中，人為失誤發生的機率將隨著監控視訊之播放長度的增加而上升。除此之外，監控視訊的保留與儲存將受限於硬體儲存空間的大小。舉例來說，監控視訊的保存時間將依據儲存空間的大小而限制為以月為單位或以周為單位，此舉將可能導致重要畫面未被保留下來的狀況發生。

因此，如何利用有限的儲存空間來有效率的儲存監控視訊，以及如何讓使用者可快速且精準的獲得監控視訊所提供的訊息為監控視訊分析技術中非常重要的議題。視訊濃縮技術即為因應上述議題而生的視訊分析技術之一，其藉由移除監控視訊之空間上與時間上的冗餘資訊，以產生播放時間較短、檔案大小較小且可保留重要資訊的濃縮視訊。進一步來說，視訊濃縮技術將所有移動物件進行時間軸上的位移，以及改變物件之間的時間相關性而創造出新的濃縮視訊，並藉此讓使用者可快速的掌握原始視訊資訊。

針對產生濃縮視訊的議題，已有許多相關文獻對其進行探討。基於物件的視訊濃縮(Object-based Video Synopsis)首先被Pritch等人於“Making a long video short：dynamic video synopsis”,In Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition,vol.1,pp.435-441,June.2006之論文中被提出，其以單一物件作為濃縮視訊演算法的最小單位(object-based)並改變物件之間的時間相關性(chronological order)來達到濃縮視訊的目的。此外，Pritch等人之後更不只是將視訊進行濃縮而是更進一步的依照物件的相似性進行分類，提高觀看濃縮視訊的整體效率。然而，在Pritch等人提出的方法中卻存在下列缺點，像是用於找出每個物件的最佳播放時間點的最佳化演算法不僅耗時更具備計算複雜度高的問題。且，由於沒有考慮到各物件之間相關性而是將各個物件獨立進行處理，將造成物件之間的互動資訊失真。再者，Pritch等人提出的演算法中係由使用者自行設定濃縮視訊長度，可能造成物件丟失的問題。

由Lei等人於“A Tracking based Fast Online Complete Video Synopsis Approach,”In Proc.IEEE Conference on Pattern Recognition,pp.1956-1959,Nov.2012之論文中所提出的方法中，濃縮視訊是由一連串的濃縮視訊小片段所組成的，在每個小片段中獨立的針對其內包含的物件進行能量最小化來這些決定物件於濃縮視訊的空間時間位置。但此演算法不僅會失去物件之間的時間相關性而導致濃縮視訊出現不自然的現象，更可能將物件放置到非正常的移動區域。另外，此演算法係對每個小片段進行空間及時間的位移，而非對整個完整的物件串列進行考慮，將可能導致每個濃縮視訊片段在切換時產生閃爍與不連續的現象。

不同於Lei等人提出的方法，Nie等人於“Compact video synopsis via global spatiotemporal optimization,”IEEETransactions on Visualization and Computer Graphics,vol.19,no.10,pp.1664-1676,Oct.2013之論文中提出利用MPR(Multilevel Patch Relocation)演算法來擴張視訊濃縮的背景畫面，讓背景有更多的容納空間讓物件進行空間上的位移進而避免把物件錯誤的移到非合理移動區域上。但此演算法的整體計算複雜度仍然很高，且能還是有機會出現物件移動到不正常區域的情形。Fu等人於“Online video synopsis of structured motion,”Neurocomputing,vol.135,pp.155-162,July.2014之論文中提出了著重於維持物件之間的空間相關性的演算法，其將空間距離彼此接近的物件分為同一群組，並更進一步將物件之間的相似(motion proximity)性作為區分物件群組的依據。此演算法由於加入了上述相似性的資訊於能量最佳化的公式裡，因此會拖慢能量最佳化的速度。其次，僅維持物件之間的空間關聯性仍無法完全解決濃縮視訊出現的不自然現象。

然而，一個好的視訊濃縮技術需具備下列多個條件，包括：濃縮視訊需避免不自然的現象，像是前景閃爍效應(blinking effect)、瞬移效應(jumping effect)和鬼影效應(ghost effect)等現象；視訊分析效率佳，分析與處理視訊的時間不會過長；濃縮視訊需包含原始視訊中的所有移動物件；以及使用者可透過濃縮視訊而得知原始視訊中具有時間關聯性之移動物件之間的互動關係，以避免使用者對移動物件產生錯誤的行為分析。因此，如何針對冗長的原始視訊產生符合上列條件的濃縮視訊實為本領域技術人員所關心的議題之一。

有鑑於此，本發明提出一種視訊分析方法與裝置，可依據物件之間的時間關聯性來分群物件串列並據以產生濃縮視訊。於是，本發明之視訊分析方法與裝置所產生出來的濃縮視訊可保留原始視訊中移動物件間的互動資訊，從而讓使用者可有效率的透過觀看濃縮視訊而充分獲取原始視訊所提供的訊息。

本發明提出一種視訊分析方法，適用於一視訊分析裝置，所述方法包括下列步驟。接收包括多張影像圖框(frame)的原始視訊。此原始視訊的播放長度為一原始時間長度。藉由背景濾除處理與前景物件追蹤來分析影像圖框，以獲取原始視訊的多個物件串列。每一物件串列包括於一時間軸上連續出現的多個前景物件。依據物件串列各自於時間軸上的多個時間區間，判斷物件串列之間的時間相關性，據以將物件串列分群成多個相關群組。決定屬於相關群組中同一相關群組的多個物件串列各自對應的多個相對開始時間。決定相關群組各自對應的多個全域開始時間。依據全域開始時間以及相對開始時間，產生物件串列於時間軸上的多個最終播放時間，從而獲取播放長度為一濃縮時間長度的濃縮視訊，此濃縮時間長度短於上述原始時間長度。

從另一觀點來看，本發明提出一種視訊分析裝置，其包括紀錄多個模組的儲存單元以及處理單元。處理單元耦接儲存單元以存取並執行儲存單元中所記錄的模組，這些模組包括一視訊接收模組、一物件串列產生模組、一物件串列分群模組、一相對時間決定模組、一全域時間決定模組以及濃縮視訊產生模組。視訊接收模組接收包括多張影像圖框的原始視訊，且此原始視訊的播放長度為一原始時間長度。物件串列產生模組藉由背景濾除處理與前景物件追蹤來分析影像圖框，以獲取原始視訊的多個物件串列。每一物件串列包括於一時間軸上連續出現的多個前景物件。物件串列分群模組依據物件串列各自於時間軸上的多個時間區間，判斷物件串列之間的時間相關性，據以將物件串列分群成多個相關群組。相對時間決定模組決定屬於相關群組中同一相關群組的多個物件串列各自對應的多個相對開始時間。全域時間決定模組決定這些相關群組各自對應的多個全域開始時間。濃縮視訊產生模組依據全域開始時間以及相對開始時間，產生物件串列於時間軸上的多個最終播放時間，從而獲取播放長度為濃縮時間長度的濃縮視訊。濃縮視訊的濃縮時間長度短於原始視訊的原始時間長度。

基於上述，本發明的視訊分析方法係基於將物件串列進行分群來估算出物件串列於濃縮視訊中的出現時間。本發明的視訊分析方法並非逐一針對單一物件串列來進行獨立的判斷，而是將包括多個物件串列的相關群組作為判斷的基本單位，因此大幅的降低了計算複雜度。再者，本發明的視訊分析方法是基於時間相關性對物件串列進行分群，因此物件串列之間的互動資訊可保留於濃縮視訊中，並且避免濃縮視訊產生不自然的現象，從而提高濃縮視訊的實用性與正確性。除此之外，由於本發明的視訊方法可大幅降低運算複雜度，因此可大幅度的縮短產生濃縮視訊所需要的時間花費。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧視訊分析裝置

110‧‧‧儲存單元

120‧‧‧處理單元

111‧‧‧視訊接收模組

112‧‧‧物件串列產生模組

113‧‧‧物件串列分群模組

114‧‧‧相對時間決定模組

21、22、23、24‧‧‧視訊區塊

115‧‧‧全域時間決定模組

116‧‧‧濃縮視訊產生模組

117‧‧‧獨立判斷模組

118‧‧‧獨立串列處理模組

V1‧‧‧原始視訊

P1‧‧‧軌跡圖

△t‧‧‧時間位移量

OT1、OT2、OT3、OT4、OT5、OT6、OT7、OT8、OT22、OT23、OT24、OT22_1、OT22_2、OT22_3、OT22_4、OT22_5、OT22_6、OT22_7、OT31、OT32、OT33、OT34、OT35‧‧‧物件串列

41、42、43、44、45、71、72‧‧‧前景物件

t1、t2、t3、t4、t5、TA、TB、T1、T2、T3、T4、T5、T6、T7‧‧‧時間點

F1、F2、F3、F4、F5、F7‧‧‧影像圖框

G1、G2、G3、O_A、O_D、G9、G9_1、G9_2‧‧‧相關群組

下面的所附圖式是本發明的說明書的一部分，繪示了本發明的示例實施例，所附圖式與說明書的描述一起說明本發明的原理。

圖1為依照本發明一實施例所繪示的視訊分析裝置的方塊示意圖。

圖2A與圖2B為依照本發明一實施例所繪示的視訊濃縮方法的概念示意圖。

圖3為依照本發明一實施例所繪示的視訊分析方法的流程圖。

圖4為依照本發明一實施例所繪示的產生物件串列的範例示意圖。

圖5為依照本發明一實施例所繪示的分群物件串列的範例示意圖。

圖6為依照本發明一實施例所繪示的計算全域開始時間的範例示意圖。

圖7為依照本發明一實施例所繪示之產生軌跡圖的範例示意圖。

圖8A與圖8B為依照本發明一實施例所繪示的分割物件串列的範例示意圖。

圖9A與圖9B為依照本發明一實施例所繪示的分割相關群組的範例示意圖。

現在將在下文參看繪示有本發明之部分而非全部實施例的隨附圖式，以更充分地描述本發明的部分實施例。實際上，本發明的各種實施例可採用許多不同形式來體現，且不應被解釋為限於本揭露中闡明的實施例；相反地，此等實施例僅提供使得本發明內容將滿足可適用的合法要求。全篇中同樣的參考數字代表同樣的元件。

圖1為依據本發明一實施例所繪示的一種視訊分析裝置的方塊示意圖，但此僅是為了方便說明，並不用以限制本發明。圖1首先介紹視訊分析裝置的所有構件以及配置關係。

請參照圖1，本實施例的視訊分析裝置100可接收一影像擷取裝置所拍攝的視訊，從而依據影像擷取裝置所拍攝的原始視訊來產生播放時間較短但保留原始視訊所提供之訊息的濃縮視訊。視訊分析裝置100例如是桌上型電腦、筆記型電腦、平板電腦、智慧型手機、數位相機或數位攝錄機等具有運算功能的電子裝置，本發明對此不限制。視訊分析裝置100包括儲存單元110及一或多個處理單元(本實施例僅以處理單元120為例做說明，但不限於此)，其功能分述如下。

儲存單元110例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合，而用以記錄可由處理單元120 執行的多個模組，這些模組可載入處理單元120以對原始視訊進行有關於濃縮視訊的處理，並且產生濃縮視訊。

處理單元120例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合。處理單元120耦接至儲存單元110，其可存取並執行記錄在儲存單元110中的模組。

上述模組包括視訊接收模組111、物件串列產生模組112、物件串列分群模組113、相對時間決定模組114、全域時間決定模組115、濃縮視訊產生模組116、獨立判斷模組117以及獨立串列處理模組118。這些模組例如是電腦程式，其可載入處理單元120，從而執行視訊濃縮的功能。

圖2A與圖2B為依照本發明一實施例所繪示的視訊濃縮的概念示意圖。請先參照圖2A，X軸與Y軸表示物件串列的二維空間位置，而t軸表示物件串列的時間資訊。物件串列代表原始視訊中隨時間變換位置的移動物件。於本範例中，假設原始視訊包括八個物件串列，其分別是物件串列OT1至物件串列OT8。如圖2A所示，原始視訊可以依據時間軸t上的時間區段而切割成於時間軸t上連續的數個視訊區塊21至視訊區塊24。於本範例中，視訊區塊21包括物件串列(Object Tube)OT1、物件串列OT2以及物件串列OT3。如圖2A所示，物件串列OT1分別與物件串列OT2~OT3具有時間上的相關性(代表物件串列OT1與物件串列OT2~OT3曾經同時出現在原始視訊中)，而物件串列OT2以及物件串列OT3更在空間上有部分重疊(代表物件串列OT2與物件串列OT3曾經出現於相同的空間位置上)。

此外，視訊區塊22包括物件串列OT4以及物件串列OT5，且物件串列OT4以及物件串列OT5同樣具有時間上的相關性。相似的，視訊區塊24包括物件串列OT7以及物件串列OT8，且物件串列OT7以及物件串列OT8同樣具有時間上的相關性。需注意的是，視訊區塊23僅包括物件串列OT6，物件串列OT6與其他視訊區塊中的物件串列之間並不具有時間上的相關性。

由於本發明之視訊分析裝置100可對時間上有關連性的物件串列進行分群而產生多個相關群組，因此物件串列OT1、物件串列OT2以及物件串列OT3將被分群成第一個相關群組，而物件串列OT4以及物件串列OT5將被分群成第二個相關群組。相似的，物件串列OT6被分群獨自成為第三個相關群組，而物件串列OT7以及物件串列OT8將被分群成第四個相關群組。

之後，本發明之視訊分析裝置100再針對各相關群組決定時間軸t上的位移量而產生濃縮後的濃縮視訊。請參照圖2B，圖2B繪示了將圖2A中各相關群組進行時間軸t上的位移後而產生的濃縮結果。由於視訊分析裝置100係以整個相關群組為考量而決定出各個物件串列於時間軸t上的位移量，並非逐一針對各個物件串列獨立地決定出各個物件串列於時間軸t上的位移量。因此，彼此之間具有時間關聯性的物件串列(像是物件串列OT1、物件串列OT2以及物件串列OT3)於時間軸上的相關性仍然保留於濃縮視訊中。

此外，於本範例中，獨立的物件串列OT6例如是採用空間域的重疊率去計算其於濃縮視訊中最佳擺放的時間點。決定每一物件串列的時間軸上的位移量之後，於圖2B所示的濃縮視訊中，物件串列OT4至物件串列OT8的播放時間點皆被提前。此外，原本獨立出現於原始視訊的物件串列OT6更提前至與物件串列OT1一同出現於濃縮視訊中。再者，物件串列OT4的播放時間也將提前，以致於物件串列OT4將與物件串列OT1、物件串列OT2或物件串列OT3一同出現於濃縮視訊中。基此，本發明可產生播放時間較短且可保留原始視訊所提供之訊息的濃縮視訊。

為了進一步詳細說明本發明，以下特舉一實施例來對本發明的詳細實施步驟進行說明。圖3為依據本發明一實施例所繪示的視訊分析方法的流程圖。請參照圖3，本實施例的方法適用於圖1的視訊分析裝置100，以下即搭配視訊分析裝置100中的各項元件說明本發明之視訊分析方法的詳細步驟。

於步驟S301，視訊接收模組111接收包括多張影像圖框的一原始視訊，其中此原始視訊的播放長度為一原始時間長度。具體來說，若監視攝影機對同一場景進行長達24小時的攝影，則視訊接收模組111可從上述監控攝影機接收到原始時間長度為24小時的原始視訊。其次，於長達24小時的攝影過程中，監視攝影機可能拍攝到多個移動物體通過上述拍攝場景，因此被監視攝影機拍攝到的移動物體將被紀錄於原始視訊中。換言之，原始視訊的影像圖框中包括基於這些移動物體而產生的前景物件。

接著，於步驟S302，物件串列產生模組112藉由一背景濾除處理與一前景物件追蹤來分析原始視訊的多張影像圖框，以獲取原始視訊的多個物件串列。由於本實施例之視訊分析裝置100係基於物件萃取的方式來進行視訊濃縮，因此物件串列產生模組112必須先對原始視訊進行前景物件的萃取與前景物件的追蹤。換言之，物件串列產生模組112用以產生代表原始視訊中之移動物體的物件串列。於本實施例中，物件串列產生模組112先針對形成原始視訊的各影像圖框進行背景濾除處理而分辨出各影像圖框中背景與前景物件。

具體來說，於本實施例中，背景濾除處理例如可包含多層式碼簿模型(Multi-layer Codebook Model)背景模型的建立。當背景模型建立後，可藉由比對背景模型與影像圖框而萃取出影像圖框中的前景物件。簡單來說，當影像圖框中的一影像區塊不符合背景模型時可判定此影像區塊為前景物件，並將視為前景物件的影像區塊的空間位置、大小、色彩等資訊進行儲存。

之後，物件串列產生模組112對各影像圖框所過濾出來的前景物件進行前景物件追蹤，從而將這些前景物件辨識為多個物件串列。舉例來說，物件串列產生模組112可比對各影像圖框上之各前景物件的色彩資訊，從而達到前景物件追蹤與建立物件串列的目的。具體來說，物件串列產生模組112可利用色彩比對方式對關聯於不同時間點的前景物件進行前景物件的追蹤，從而取得對應至不同時間點但關聯於相同移動物體的多個前景物件的集合，而此集合即為物件串列。換言之，每一物件串列包括於一時間軸上連續出現的多個前景物件。

舉例來說，圖4為依照本發明一實施例所繪示的產生物件串列的示意圖。請參照圖4，原始視訊V1包括於時間軸t上連續的影像圖框F1、影像圖框F2、影像圖框F3、影像圖框F4以及影像圖框F5。且，影像圖框F1對應至時間點t1，影像圖框F2對應至時間點t2。影像圖框F3對應至時間點t3，影像圖框F4對應至時間點t4，且影像圖框F5對應至時間點t5。影像圖框F1至影像圖框F5經背景濾除處理後，可分別獲取影像圖框F1至影像圖框F5上的前景物件41至前景物件45。接著，藉由比對各前景物件的色彩資訊可將前景物件41、前景物件42、前景物件43、前景物件44以及前景物件45識別為同一物件串列。

也就是說，在前景物件的萃取之後，視訊分析裝置100可獲取各影像圖框上的前景物件。經前景物件追蹤後，視訊分析裝置100可獲取原始視訊中的多個物件串列。於此，物件串列的集合可表示為ρ={φ _i(m,n,τ)}，其中m與n為空間上的座標，而τ=[t ^s,t ^e]代表物件串列φ _i在原始視訊中的時間區間。t ^s表示物件串列φ _i的起始時間點而t ^e表示物件串列φ _i的結束時間點，而i是代表各物件串列的索引。因此，索引為i的物件串列可定義為φ _i={P _i(t)|t ^s t t ^e}，其中P _i(t)代表第i個物件串列中對應至時間t的前景物件。

在視訊濃縮中最基本的概念為時間上的位移，即將物件串列從原始視訊的時間域位置τ=[t ^s,t ^e]位移到濃縮視訊的時間域中。經視訊濃縮處理後，濃縮視訊中物件串列的時間變為τ'=[t'^s,t'^e]，這兩者之間經過一個轉換函式如式(1)所示。其中，M(φ)為時間位移函數，經過轉換後的物件串列可表示為(m,n,τ')。

τ'=M(φ) 式(1)

回到圖3的流程，於步驟S303，物件串列分群模組113依據物件串列各自於時間軸上的多個時間區間，判斷物件串列之間的時間相關性，據以將物件串列分群成多個相關群組。換言之，在基於時間相關性的物件串列分群法中，需判斷各物件串列之間的時間相關性。詳細來說，物件串列分群模組113判斷物件其中之一的時間區間與物件其中之另一的時間區間是否於時間軸上重疊，從而得知物件串列之間的時間相關性為正相關或不相關。

進一步來說，若物件其中之一的時間區間與物件其中之另一的時間區間於時間軸上重疊，物件串列分群模組113判別物件其中之一與物件其中之另一之間的時間相關性為正相關。反之，物件串列分群模組113判別物件其中之一與物件其中之另一之間的時間相關性為不相關。因此，當物件串列其中之一與物件串列其中之另一之間的時間相關性為正相關時，物件串列分群模組113將此物件串列其中之一與此物件串列其中之另一分群至相同的相關群組。

舉例來說，本實施例之物件串列分群模組113可採用類似物件標籤關聯性表格的概念來進行物件串列的分群。首先物件串列分群模組113初始化一個時間重疊統計表OC[I][J]| _I,J=1.....tn，其中I與J代表物件串列的索引編號，tn為原始視訊中物件串列的總數量。接著，物件串列分群模組113計算物件串列φ _i與物件串列φ _j之間的時間相關性，計算方式如式(2)所示。

其中，若temporal(φ _i,φ _j)為正相關，則將時間重疊表中的元素OC[i][j]以及元素OC[j][i]設定為正相關。若temporal(φ _i,φ _j)為不相關，則將時間重疊表中的元素OC[i][j]以及元素OC[j][i]設定為不相關。物件串列分群模組113將重複式(2)的判斷，直至所有物件串列之間的時間相關性都完成判斷。表1為依據式(2)所產生之時間重疊統計表的範例。

基於表1可知，由於物件串列A、物件串列B以及物件串列C之間的時間相關性皆為正相關，因此物件串列A、物件串列B以及物件串列C將被分群至同一相關群組。此外，物件串列D單獨被分群成另一相關群組。也就是說，當時間重疊表建立後，可得知那些物件串列屬於同一相關群組。然而，表1僅用來示範說明，但並非用以限定本發明。

於步驟S304，獨立判斷模組117判斷物件串列是否屬於一獨立資料串列(independent object)。具體來說，若物件串列中的一第一物件串列與物件串列中非為第一物件串列的其他物件串列之間的時間相關性皆為不相關，獨立判斷模組117判定此第一物件串列屬於獨立資料串列。需說明的是，第一物件串列為所述物件串列其中之任一。具體來說，於一實施例中，獨立判斷模組117可依據物件串列分群模組112所建立的時間重疊表來判斷物件串列是否為獨立資料串列。以表1為例，獨立判斷模組117可依據表1而判斷出物件串列D屬於獨立資料串列。簡單來說，屬於獨立資料串列的物件串列與原始視訊中其他物件串列之間不具有時間上的相關性。

舉例來說，圖5為依據本發明一實施例所繪示的分群物件串列的範例示意圖。需先說明的是，於本範例中，假設物件串列分群模組113對圖2A所示的原始視訊進行物件串列於時間域上的分群，且物件串列OT1至物件串列OT8相對於時間軸上的順序如圖5所示。請參照圖5，物件串列分群模組113可依據上述說明將物件串列OT1至物件串列OT8分群成多個相關群組，其分別為相關群組G1至相關群組G3。相關群組G1包括物件串列OT1至物件串列OT3，相關群組G2包括物件串列OT4以及物件串列OT5，且相關群組G3包括物件串列OT7以及物件串列OT8。再者，獨立判斷模組117可識別出物件串列OT6為獨立資料串列。

經過基於時間關聯性的分群後，若物件串列屬於獨立資料串列時，於步驟S305，獨立串列處理模組118計算屬於獨立資料串列的物件串列與已具有最終播放時間其中之至少一的至少一已判斷物件串列之間的一空間重疊參數(spatial collision cost parameter)。於此，最終播放時間代表物件串列於濃縮視訊中的起始時間點。接著，於步驟S306，獨立串列處理模組118依據該空間重疊參數是否小於門檻值而決定物件串列於時間軸上的最終播放時間。

進一步來說，為了計算屬於獨立資料串列的物件串列於濃縮視訊中的最終播放時間，獨立串列處理模組118將決定屬於獨立資料串列的物件串列的最佳時間位移函數M(φ)。於計算最佳時間位移函數M(φ)的過程中，獨立串列處理模組118只考慮已經存在於濃縮視訊中的已判斷物件串列所造成的影響，並非將所有的物件串列同時列入考慮。在這裡定義ρ ^*為原始視訊中已具有最終播放時間的至少一已判斷物件串列的集合，而空間重疊參數可由式(3)而獲得。

其中，FE(M)代表空間重疊參數，代表屬於獨立資料串列的物件串列，代表已判斷物件串列，β為使用者根據場景設定的參數。其中，可透過計算式(4)至式(6)而獲得。

其中，的定義為聯集兩物件串列之時間區間的總時間長度，area(P _indenO(t))定義了前景物件P _indenO(t)的總面積，定義了前景物件的總面積，而則是兩物件串列之間重疊區域的像素點總和。

可以知道的是，為已經處理過也就是最終播放時間已經計算完成並放進濃縮視訊中的物件串列，而為目前正在決定最終播放時間的獨立物件串列。於本實施例中，由於濃縮視訊的總長度為不定值，所以最佳的時間位移函數M(φ)採用臨界值判斷。當空間重疊參數FE(M)小於所設定的門檻值時便判定式(3)已經找到屬於獨立資料串列的物件串列的最佳時間位移函數M(φ)，計算方式(7)所示。

M(φ)=FE(M)<門檻值式(7)如此一來，獨立串列處理模組118可找到屬於獨立資料串列的物件串列的於濃縮視訊中的最終播放時間。

另一方面，若物件串列並非屬於獨立資料串列，於步驟S307，相對時間決定模組114決定屬於相關群組中同一相關群組的多個物件串列各自對應的多個相對開始時間。進一步來說，相對時間決定模組114從同一相關群組內的物件串列中搜尋出一起始物件串列。此起始物件串列出現於原始視訊中的時間早於同一相關群組內的非為起始物件串列的至少一物件串列出現於原始視訊中的時間。之後，相對時間決定模組114依據起始物件串列於原始視訊中的一第一原始出現時間與非為起始物件串列的物件串列於原始視訊中的至少一第二原始出現時間，決定同一相關群組內的物件串列各自對應的相對開始時間。

詳細來說，本發明的做法為當多個物件串列有時間相關性時，將利用分群的方法來維持物件串列之間於時間軸上的關聯性。對同一相關群組內所有物件串列採取相對時間位置不變更的方式決定其最佳時間位移函數M(φ)，目的是為了維持同一相關群組內所有物件串列的關連性，從而使濃縮視訊避免物件閃爍或突然消失的現象。

假設物件串列φ _earliest為相關群組O _n中的起始串列物件，即物件串列φ _earliest為相關群組O _n中最早出現於原始視訊的物件串列。物件串列φ _other為相關群組O _n中的非為起始串列物件的其他物件串列，則物件串列φ _other於濃縮視訊中的最終播放時間可經由式(8)而獲取。

M(φ _other)=t'^s _earliest+(t ^s _other-t ^s _earliest) 式(8)其中，t'^s _earliest為物件串列φ _earliest於濃縮視訊的最終播放時間，t ^s _other和t ^s _earliest分別為物件串列φ _other與物件串列φ _earliest於原始視訊中出現的原始出現時間。基此，同一相關群組內的物件串列可基於相對開始時間的計算而保留彼此之間於時間軸上的相關性。因此，於本實施例中，只要相關群組內的起始串列物件的最終播放時間確定後，此相關群組內的所有物件串列都可透過各自對應的相對開始時間而獲取其最終播放時間。

之後，於步驟S308，全域時間決定模組115決定相關群組各自對應的多個全域開始時間。進一步來說，經過步驟S307後，相關群組內的所有物件串列可得知同一相關群組內的物件串列之間的相對開始時間。因此，只要再獲取各相關群組中起始物件串列於濃縮視訊中的最終播放時間點，就可獲取各個物件串列的最終播放時間。需特別說明的是，本實施例之相關群組的全域開始時間即為各相關群組中起始物件串列於濃縮視訊中的最終播放時間。因此，於步驟S308中，全域時間決定模組115將決定相關群組各自對應的多個全域開始時間。

於本發明中，全域時間決定模組115以機率權重的估算方式來評估相關群組之間的影響程度，並據以決定各相關群組的全域開始時間。全域時間決定模組115將以下列考量來決定各相關群組的全域開始時間。此些考量包括相關群組之間的一物件組成差異、一軌跡差異、一速度差異以及一重疊比例差異。以物件組成差異來說，本實施例之全域時間決定模組115將依據相關群組內物件串列所涵蓋的面積來決定相關群組於時間軸上的位移量，從而避免濃縮視訊的畫面過於複雜或物件串列重疊率過高的現象。

就軌跡差異而言，倘若兩相關群組內的物件串列的軌跡差異明顯，則代表即使將兩相關群組同時播放也不會相互影響。就速度差異而言，倘若兩相關群組內的物件串列的移動速度差異非常大，則代表即使將兩相關群組同時播放也不會相互影響。另外，就重疊比例差異而言，其係考慮到兩相關群組內的物件串列的軌跡、速度皆一致時，兩相關群組只要錯開一段時間就可避免兩相關群組產生重疊的現象。

基此，圖6為依據本發明一實施例所繪示的計算全域開始時間的示意圖。請參照圖6，第一步，全域時間決定模組115首先將當前判斷相關群組O _D的全域開始時間暫時與最新已判斷相關群組O _A的全域開始時間對齊。如圖所示，全域時間決定模組115將當前判斷相關群組O _D的全域開始時間先預設為最新已判斷相關群組O _A的全域開始時間(即時間點TA)。

之後，全域時間決定模組115比較當前判斷相關群組與尚存在相關群組之間的物件組成差異、軌跡差異、速度差異以及重疊比例差異而獲取當前判斷相關群組的權重機率函數。權重機率函數可代表當前判斷相關群組O _D與最新已判斷相關群組O _A可能重疊的機率大小。因此，若當前判斷相關群組O _D的權重機率函數越大，當前判斷相關群組O _D需與最新已判斷相關群組O _A需要錯開的幅度也就越大。

需說明的是，已判斷相關群組為已經具有濃縮視訊中的全域開始時間的相關群組，而最新已判斷相關群組O _A為已判斷相關群組中具有最遲的全域開始時間的相關群組。此外，尚存在相關群組為在最新已判斷相關群組的全域開始時間前尚未播放完畢的已判斷相關群組。請再次參照圖6，第二步，全域時間決定模組115可依據權重機率函數計算出當前判斷相關群組O _D的時間位移量△t。因此，全域時間決定模組115可依據權重機率函數與最新已判斷相關群組的全域開始時間TA，決定當前判斷相關群組的全域開始時間TB。

進一步來說，依據圖6的說明可知，當前判斷相關群組的全域開始時間可經由式(9)的計算而獲取。

其中，M(O _I)代表當前判斷相關群組O _I的全域開始時間，M(O _I-1)代表最新已判斷相關群組O _I-1的全域開始時間，P(O _I)代表當前判斷相關群組O _I的權重機率函數，代表尚存在相關群組於時間軸上的時間總長度。基此，全域時間決定模組115可將針對原始視訊中的所有相關群組逐一進行其全域開始時間的計算。

最後，於步驟S309，濃縮視訊產生模組116依據全域開始時間以及相對開始時間，產生物件串列於該時間軸上的多個最終播放時間，從而獲取播放長度為一濃縮時間長度的一濃縮視訊。濃縮時間長度短於原始視訊的原始時間長度。

另外需要說明的是，本實施例之權重機率函數是由三個權重項所組成，可反映出相關群組之間的物件組成差異、軌跡差異、速度差異以及重疊比例差異。權重機率函數可表示出兩相關群組可能重疊的程度大小。於此，權重機率函數定義如式(10)所示。

P(O _n)=K×μ×υ 式(10)其中，P(O _n)為相關群組O _n的權重機率函數。K為第一權重、μ為第二權重而υ為第三權重。

全域時間產生模組115可依據一使用者設定決定該權重機率函數的一第一權重。也就是說，第一權重K可讓使用者自行決定，好讓使用者可根據觀看喜好而決定濃縮視訊的濃縮程度。其次，全域時間產生模組115依據物件組成差異、軌跡差異、速度差異來獲取權重機率函數的第二權重μ。再者，全域時間產生模組115依據重疊比例差異獲取權重機率函數的第三權重υ。

為了獲取權重機率函數的第二權重μ，全域時間產生模組115依據當前判斷相關群組中的物件串列經過多個空間位置的次數，建立當前判斷相關群組的第一軌跡圖。此第一軌跡圖紀錄多個第一軌跡權重值。第一軌跡圖Path ^I的定義如式(11)所示。

Path ^I={ω _x,y|1<x<W,1<y<H} 式(11)其中，I為當前判斷相關群組的群組索引，ω _x,y為每個空間位置上的軌跡權重值，其中x,y為空間位置的座標。軌跡權重值ω _x,y係透過累加的方式而獲取。進一步來說，全域時間產生模組115基於當前判斷相關群組的各物件串列中的各個前景物件的所在位置，針對各空間位置上的軌跡權重值進行累加而獲取當前判斷相關群組的第一軌跡圖Path ^I。

舉例來說，圖7為依據本發明一實施例所繪示之產生軌跡圖的示意圖。請參照圖7，假設影像圖框F7為構成原始視訊的多個影像圖框其中之一。於本範例中，影像圖框F7中的前景物件71與前景物件72分別對應至不同的物件串列。假設前景物件71與前景物件72各自對應的物件串列之間的時間相關性為正相關，因此前景物件71與前景物件72分別對應各自對應的物件串列屬於同一相關群組，且假設上述相關群組並未包括其他物件串列。依據上述說明，全域時間產生模組115可針對包括前景物件71與前景物件72的相關群組產生的軌跡圖P1。由此可知，軌跡圖P1可顯示出相關群組之物件串列的移動軌跡、移動速度以及物件涵蓋面積等資訊。軌跡圖P1的亮度可顯示出相關群組內物件串列通過各空間位置的次數。

另外，全域時間產生模組115可依據尚存在相關群組中的物件串列經過各個空間位置的次數，建立對應至尚存在相關群組的第二軌跡圖。此第二軌跡圖紀錄相對於各個空間位置上的多個第二軌跡權重值。全域時間產生模組115建立第二軌跡圖的方式與建立第一軌跡圖的方式相似，與此不再贅述。不同的地方在於，全域時間產生模組115係針對關聯於當前判斷相關群組的多個尚存在相關群組來產生第二軌跡圖。由此可知，第二軌跡圖將依據一個以上的相關群組內的物件串列而產生。

在獲取第一軌跡圖與第二軌跡圖之後，全域時間產生模組115可計算第一軌跡權重值的第一軌跡權重總和與第二軌跡權重值的第二軌跡權重總和。詳細來說，第一軌跡權重總和可經由累加各空間位置上的第一軌跡權重值而獲取。相似的，第二軌跡權重總和可經由累加各空間位置上的第二軌跡權重值而獲取。全域時間產生模組115更計算第一軌跡權重值與第二軌跡權重值之間的一軌跡權重差異。第一軌跡權重值與第二軌跡權重值之間的軌跡權重差異可經由式(12)而獲取。

其中ω'_i,j代表第一軌跡權重值，而ω _i,j代表第二軌跡權重值。也就是說，全域時間產生模組115針對第一軌跡圖與第二軌跡圖上每個個空間位置上的第一軌跡權重值與第二軌跡權重值進行比較，將位於同一空間位置上之第一軌跡權重值與第二軌跡權重值中較小者取出並進行累加而獲取軌跡權重差異。

全域時間產生模組115最後依據第一軌跡權重總和、第二軌跡權重總和以及軌跡權重差異計算出權重機率函數的第二權重，其計算方式如式(13)所示。

第二權重的目的在於反映目前當前判斷相關群組以及尚存在相關群組之間軌跡與移動速度上的差異。當當前判斷相關群組以及尚存在相關群組之間速度差異越大時，第二權重的值會越小。除此之外，第二權重也可以反映出當前判斷相關群組以及尚存在相關群組於軌跡上的差異。

由此可知，倘若兩個相關群組的移動速度與移動軌跡都相同，第二權重會趨近於100%，而因使這兩個相關群組於時間軸上被完全的錯開。然而，可以知道的是，對於具有相同軌跡與相同速度的兩個相關群組來說，只要於時間軸上錯開與面積相關的比例值就可以避免同軌跡與同速度之相關群組的於濃縮視訊中的重疊，還可進一步提昇濃縮視訊的濃縮率。第三權重即為針對上述狀況而設計出來的權重值。

於一實施例中，全域時間產生模組115利用第二軌跡權重總和與時間聯集長度計算出尚存在相關群組的平均面積，如式(14)所示。

其中，代表尚存在相關群組的平均面積，t _pre代表尚存在相關群組中各個物件串列的時間區間的聯集長度。

之後，全域時間產生模組115利用第二軌跡圖計算尚存在相關群組的軌跡總和。最後，全域時間產生模組115依據平均面積與軌跡總和，決定權重機率函數的第三權重。此第三權重與平均面積為正比關係，第三權重與軌跡總和為反比關係，如式(15)所示。

其中為尚存在相關群組的軌跡總和，可視為第二軌跡圖上第二軌跡權重值大於零的位置數量總和。也就是說，全域時間產生模組115可依據第二軌跡圖所提供的訊息而決定出第三權重。如此一來，第三權重可用來彌補因速度相同以及軌跡相同而導致第二權重值過大所造成的負面影響，進而提高濃縮視訊的濃縮率。需說明的是，第三權重的使用可視監視場景而定。舉例來說，對於移動物件大小、物件移動速度以及物件軌跡皆相似的監視場景(像是針對高速公路的拍攝場景)而言，第三權重可用來加強濃縮視訊的濃縮率。

值得一提的是，為了保留移動物件之間的互動資訊，本發明係基於物件串列的時間關聯性而進行物件串列的分群。因此，倘若物件串列其中之一的於時間軸上時間區間相當的長久(即一移動物件持續的在監視畫面上移動)，將導致濃縮視訊的濃縮率不佳且播放時間較長的現象發生。為了解決上述問題，本發明在產生原始視訊的物件串列的過程中還可進一步將符合特定條件的物件串列進行進一步的分割。

詳細來說，物件串列產生模組112還可依據一條件設定，判斷物件串列是否屬於一被關聯物件串列。仔細來說，此條件設定可以是使用者定也可以是預先設定，例如是依據物件串列之時間區間的長短、物件串列於原始視訊內的原始出現時間、物件串列之空間位置、物件串列之空間上的變化、物件串列的色彩或面積資訊或物件串列的移動方向來判斷物件串列是否屬於被關聯物件串列。

若物件串列中的第二物件串列屬於被關聯物件串列，物件串列產生模組112分割第二物件串列成多個子物件串列，並以這些子物件串列取代物件串列中的第二物件串列。需說明的是，第二物件串列可以是物件串列的其中之任一。基此，當此第二物件串列獨立出現於原始視訊中時，物件串列產生模組112以一固定時間間隔分割此第二物件串列。

舉例來說，圖8A為依照本發明一實施例所繪示的分割物件串列的範例示意圖。請參照圖8A，假設物件串列產生模組112在執行背景濾除處理與前景物件追蹤後可獲取物件串列OT22。如圖8A所示，物件串列OT22於原始視訊中的起始時間為T1而結束時間為T2。於本範例中，時間區間過長的物件串列OT22將被判定為被關聯物件串列，且由於物件串列OT22並未與其他物件串列一同出現，因此物件串列OT22依據一固定時間間隔而被分割成多個子物件串列，其分別是子物件串列OT22_1、子物件串列OT22_2、子物件串列OT22_3以及子物件串列OT22_4。之後，子物件串列OT22_2至子物件串列OT22_4將取代原本的物件串列OT22來進行物件串列的分群與時間軸上的位移。

此外，當屬於被關聯物件串列的第二物件串列與物件串列中非屬於被關聯物件串列的一般物件串列同時出現於原始視訊中時，物件串列產生模組112以一般物件串列於時間軸上的至少一起始時間與至少一結束時間來分割第二物件串列。舉例來說，圖8B為依照本發明一實施例所繪示的分割物件串列的範例示意圖。請參照圖8B，由於屬於被關聯物件串列的物件串列OT22與非屬於被關聯物件串列的一般物件串列OT23以及一般物件串列OT24同時出現於原始視訊中。於本範例中，物件串列OT22將依據一般物件串列OT23的起始時間T3以及一般物件串列OT24的起始時間T4而分割成子物件串列OT22_5、子物件串列OT22_6以及子物件串列OT22_7。上述判斷物件串列是否為被關聯物件而進行分割的方式適用於視訊拍攝場景中具有軌跡固定且移動時間長的移動物件的應用場景。

另外需要說明的是，不僅是單一物件串列的時間區間過長將導致濃縮視訊的播放時間過長，還有另一狀況將導致濃縮視訊的播放時間過長。基於時間關連性將物件串列進行分群可能導致之單一相關群組的時間總長度過長，而導致濃縮視訊的濃縮率不佳。因此，物件串列分群模組113於依據物件串列的時間區間是否重疊而將物件串列分群成多個相關群組後，物件串列分群模組113判斷相關群組的總時間長度是否超過一預設值。

若相關群組中的第一相關群組的總時間長度超過預設值，依據第一相關群組中的多個物件串列之間的空間關聯性，將第一相關群組分成多個子相關群組，並以這些子相關群組取代第一相關群組。需說明的是，第一相關群組可以是相關群組其中之任一。舉例來說，對於第一相關群組中的多個物件串列而言，移動軌跡不重疊的物件串列可進一步被區分成多個子相關群組。此外，也可將第一相關群組內無空間相連關係的物件串列區分成多個子相關群組。於一實施例中，更可以依據物件串列的軌跡、空間相連關係以及距離因素作為判斷而將第一相關群組分割成多個子相關群組。

舉例來說，圖9A與圖9B為依據本發明一實施例所繪示的分割相關群組的範例示意圖。請參照圖9A與圖9B，假設物件串列產生模組112在執行背景濾除處理與前景物件追蹤後可獲取物件串列OT31、物件串列OT32、物件串列OT33、物件串列OT34以及物件串列OT35。由於物件串列OT31至物件串列OT35彼此之間的時間相關性為正相關，因此物件串列OT31至物件串列OT35被分群成同一相關群組G9。然而，由於相關群組G9的時間總長度過長(即T6-T5>預設值)，物件串列分群模組113依據相關群組G9中的物件串列OT31至物件串列OT35之間的空間關聯性，將相關群組G9分成子相關群組G9_1以及子相關群組G9_2。之後，子相關群組G9_1以及子相關群組G9_2將用以取代相關群組G9來進行時間軸上的位移。其中，為了同時保留物件串列OT33與物件串列OT32之間的互動資訊以及物件串列OT33與物件串列OT34之間的互動資訊，被打斷的物件串列OT33將同時出現於子相關群組G9_1以及子相關群組G9_2，即物件串列OT33會於濃縮視訊中被重複播放。

綜上所述，本發明的視訊分析方法係基於分群和機率權重的方式來估算出各個物件串列與濃縮視訊中的最終播放時間，讓濃縮視訊能夠確實的表達出原始視訊中互動物件之間的關連性。即，本發明的視訊分析方法先依據物件串列之間的時間關聯性進行分群，再利用機率權重來估算每個物件串列應該出現於濃縮視訊的時間點。本發明的視訊分析方法可以避免習知視訊濃縮演算法所使用的能量最佳化所造成之處理速度過慢與計算量龐大的問題，還可避免濃縮視訊產生不自然的現象。除此之外，本發明之濃縮視訊的濃縮時間長度係經依據原始視訊的內容而動態決定而非使用者預先決定，可避免物件丟失而造成不適當的濃縮結果。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S301~S309‧‧‧一實施例中視訊分析方法的各步驟

Claims

一種視訊分析方法，適用於一視訊分析裝置，所述方法包括：接收包括多張影像圖框(frame)的一原始視訊，其中該原始視訊的播放長度為一原始時間長度；藉由一背景濾除處理與一前景物件追蹤來分析所述影像圖框，以獲取該原始視訊的多個物件串列，其中每一所述物件串列包括於一時間軸上連續出現的多個前景物件；依據所述物件串列各自於該時間軸上的多個時間區間，判斷所述物件串列之間的一時間相關性，據以將所述物件串列分群成多個相關群組；決定屬於所述相關群組中同一相關群組的多個物件串列各自對應的多個相對開始時間；決定所述相關群組各自對應的多個全域開始時間；以及依據所述全域開始時間以及所述相對開始時間，產生所述物件串列於該時間軸上的多個最終播放時間，從而獲取播放長度為一濃縮時間長度的一濃縮視訊，其中該濃縮時間長度短於該原始時間長度。
如申請專利範圍第1項所述的視訊分析方法，其中依據所述物件串列各自於該時間軸上的所述時間區間，判斷所述物件串列之間的該時間相關性，據以將所述物件串列分群成所述相關群組的步驟包括：判斷所述物件串列其中之一的時間區間與所述物件串列其中之另一的時間區間是否於該時間軸上重疊，若是，判別該所述物件串列其中之一與該所述物件串列其中之另一之間的時間相關性為正相關，若否，判別該所述物件串列其中之一與該所述物件串列其中之另一之間的時間相關性為不相關；以及當該所述物件串列其中之一與該所述物件串列其中之另一之間的該時間相關性為正相關時，將該所述物件串列其中之一與該所述物件串列其中之另一分群至所述相關群組其中之一。
如申請專利範圍第1項所述的視訊分析方法，其中決定屬於所述相關群組中該同一相關群組的所述物件串列各自對應的所述相對開始時間的步驟包括：從該同一相關群組內的所述物件串列中搜尋出一起始物件串列，其中該起始物件串列出現於該原始視訊中的時間早於該同一相關群組內的非為所述起始物件串列的至少一物件串列出現於該原始視訊中的時間；以及依據該起始物件串列於該原始視訊中的一第一原始出現時間與非為所述起始物件串列的該至少一物件串列於該原始視訊中的至少一第二原始出現時間，決定同一相關群組內的所述物件串列各自對應的所述相對開始時間。
如申請專利範圍第1項所述的視訊分析方法，其中所述相關群組包括一當前判斷相關群組以及至少一尚存在相關群組，其中所述尚存在相關群組包括一最新已判斷相關群組，而決定所述相關群組各自對應的所述全域開始時間的步驟包括：將該當前判斷相關群組的全域開始時間與該最新已判斷相關群組的全域開始時間對齊；比較該當前判斷相關群組與所述尚存在相關群組之間的一物件組成差異、一軌跡差異、一速度差異以及一重疊比例差異而獲取該當前判斷相關群組的一權重機率函數：以及依據該權重機率函數與該最新已判斷相關群組的該全域開始時間，決定該當前判斷相關群組的該全域開始時間。
如申請專利範圍第4項所述的視訊分析方法，其中而比較該當前判斷相關群組與所述尚存在相關群組之間的該物件組成差異、該軌跡差異、該速度差異以及該重疊比例差異而獲取該當前判斷相關群組的該權重機率函數的步驟包括：依據一使用者設定決定該權重機率函數的一第一權重；依據該物件組成差異、該軌跡差異、該速度差異獲取該權重機率函數的一第二權重；以及依據該重疊比例差異獲取該權重機率函數的一第三權重。
如申請專利範圍第5項所述的視訊分析方法，其中依據該物件組成差異、該軌跡差異、該速度差異計算該權重機率函數的該第二權重的步驟包括：依據該當前判斷相關群組中的物件串列經過多個空間位置的次數，建立該當前判斷相關群組的一第一軌跡圖，其中該第一軌跡圖紀錄多個第一軌跡權重值；依據所述尚存在相關群組中的物件串列經過所述空間位置的次數，建立對應至所述尚存在相關群組的一第二軌跡圖，其中該第二軌跡圖紀錄多個第二軌跡權重值；計算所述第一軌跡權重值的一第一軌跡權重總和與所述第二軌跡權重值的一第二軌跡權重總和，以及計算所述第一軌跡權重值與所述第二軌跡權重值之間的一軌跡權重差異；以及依據該第一軌跡權重總和、該第二軌跡權重總和以及該軌跡權重差異計算出該權重機率函數的該第二權重。
如申請專利範圍第6項所述的視訊分析方法，其中依據該重疊比例差異計算該權重機率函數的該第三權重的步驟包括：利用該第二軌跡權重總和與一時間聯集長度計算出所述尚存在相關群組的一平均面積；利用該第二軌跡圖計算所述尚存在相關群組的一軌跡總和；以及依據該平均面積與該軌跡總和，決定該權重機率函數的該第三權重，其中該第三權重與該平均面積為正比關係，該第三權重與該軌跡總和為反比關係。
如申請專利範圍第1項所述的視訊分析方法，更包括：判斷所述物件串列是否屬於一獨立資料串列，其中若所述物件串列中的一第一物件串列與所述物件串列中非為所述第一物件串列的物件串列之間的時間相關性為不相關，判定該第一物件串列屬於該獨立資料串列。
如申請專利範圍第8項所述的視訊分析方法，所述方法更包括：若所述物件串列的該第一物件串列屬於該獨立資料串列時，計算該第一物件串列與已具有所述最終播放時間其中之至少一的至少一已判斷物件串列之間的一空間重疊參數；以及依據該空間重疊參數是否小於一門檻值而決定該第一物件串列於該時間軸上的所述最終播放時間。
如申請專利範圍第1項所述的視訊分析方法，其中藉由該背景濾除處理與該前景物件追蹤來分析所述影像圖框，以獲取該原始視訊的所述物件串列的步驟更包括：依據一條件設定，判斷所述物件串列是否屬於一被關聯物件串列；以及若所述物件串列中的一第二物件串列屬於該被關聯物件串列，分割該第二物件串列成多個子物件串列，並以所述子物件串列取代所述物件串列中的該第二物件串列。
如申請專利範圍第10項所述的視訊分析方法，其中分割該第二物件串列成所述子物件串列的步驟包括：當該第二物件串列獨立出現於該原始視訊中，以一固定時間間隔分割該第二物件串列；以及當該第二物件串列與所述物件串列中非屬於該被關聯物件串列的至少一一般物件串列同時出現於該原始視訊中，以該至少一一般物件串列於該時間軸上的至少一起始時間或至少一結束時間分割該第二物件串列。
如申請專利範圍第1項所述的視訊分析方法，其中在依據所述物件串列各自於該時間軸上的多個時間區間，判斷所述物件串列之間的該時間相關性，據以將所述物件串列分群成所述相關群組的步驟之後，更包括：判斷所述相關群組的一總時間長度是否超過一預設值；以及若所述相關群組中的一第一相關群組的總時間長度超過該預設值，依據該第一相關群組中的多個物件串列之間的一空間關聯性，將該第一相關群組分成多個子相關群組，並以所述子相關群組取代該第一相關群組。
一種視訊分析裝置，包括：一儲存單元，記錄多個模組；以及一或多個處理單元，耦接該儲存單元以存取並執行該儲存單元中所記錄的所述模組，所述模組包括：一視訊接收模組，接收包括多張影像圖框的一原始視訊，其中該原始視訊的播放長度為一原始時間長度；一物件串列產生模組，藉由一背景濾除處理與一前景物件追蹤來分析所述影像圖框，以獲取該原始視訊的多個物件串列，其中每一所述物件串列包括於一時間軸上連續出現的多個前景物件；一物件串列分群模組，依據所述物件串列各自於該時間軸上的多個時間區間，判斷所述物件串列之間的一時間相關性，據以將所述物件串列分群成多個相關群組；一相對時間決定模組，決定屬於所述相關群組中同一相關群組的多個物件串列各自對應的多個相對開始時間；一全域時間決定模組，決定所述相關群組各自對應的多個全域開始時間；以及一濃縮視訊產生模組，依據所述全域開始時間以及所述相對開始時間，產生所述物件串列於該時間軸上的多個最終播放時間，從而獲取播放長度為一濃縮時間長度的一濃縮視訊，其中該濃縮時間長度短於該原始時間長度。
如申請專利範圍第13項所述的視訊分析裝置，其中該物件串列分群模組判斷所述物件串列其中之一的時間區間與所述物件串列其中之另一的時間區間是否於該時間軸上重疊，若是，該物件串列分群模組判別該所述物件串列其中之一與所述物件串列其中之另一之間的時間相關性為正相關，若否，該物件串列分群模組判別該所述物件串列其中之一與所述物件串列其中之另一之間的該時間相關性為不相關，其中，當所述物件串列其中之一與所述物件串列其中之另一之間的該時間相關性為正相關時，該物件串列分群模組將所述物件串列其中之一與所述物件串列其中之另一分群至所述相關群組其中之一。
如申請專利範圍第13項所述的視訊分析裝置，其中該相對時間決定模組從該同一相關群組內的所述物件串列中搜尋出一起始物件串列，其中該起始物件串列出現於該原始視訊中的時間早於該同一相關群組內的非為所述起始物件串列的至少一物件串列出現於該原始視訊中的時間，其中，該相對時間決定模組依據該起始物件串列於該原始視訊中的一第一原始出現時間與非為所述起始物件串列的該至少一物件串列於該原始視訊中的至少一第二原始出現時間，決定同一相關群組內的所述物件串列各自對應的所述相對開始時間。
如申請專利範圍第13項所述的視訊分析裝置，其中所述相關群組包括一當前判斷相關群組以及至少一尚存在相關群組，而所述尚存在相關群組包括一最新已判斷相關群組，其中該全域時間定模組將該當前判斷相關群組的全域開始時間與該最新已判斷相關群組的全域開始時間對齊，並比較該當前判斷相關群組與所述尚存在相關群組之間的一物件組成差異、一軌跡差異、一速度差異以及一重疊比例差異而獲取該當前判斷相關群組的一權重機率函數，其中，該全域時間定模組依據該權重機率函數與該最新已判斷相關群組的該全域開始時間，決定該當前判斷相關群組的該全域開始時間。
如申請專利範圍第16項所述的視訊分析裝置，其中該全域時間決定模組依據一使用者設定決定該權重機率函數的一第一權重，依據該物件組成差異、該軌跡差異、該速度差異獲取該權重機率函數的一第二權重，以及依據該重疊比例差異獲取該權重機率函數的一第三權重。
如申請專利範圍第17項所述的視訊分析裝置，其中該全域時間決定模組依據該當前判斷相關群組中的物件串列經過多個空間位置的次數，建立該當前判斷相關群組的一第一軌跡圖，其中該第一軌跡圖紀錄多個第一軌跡權重值，其中該全域時間決定模組依據所述尚存在相關群組中的物件串列經過所述空間位置的次數，建立對應至所述尚存在相關群組的一第二軌跡圖，其中該第二軌跡圖紀錄多個第二軌跡權重值，其中該全域時間決定模組計算所述第一軌跡權重值的一第一軌跡權重總和與所述第二軌跡權重值的一第二軌跡權重總和，並且計算所述第一軌跡權重值與所述第二軌跡權重值之間的一軌跡權重差異，以及依據該第一軌跡權重總和、該第二軌跡權重總和以及該軌跡權重差異計算出該權重機率函數的該第二權重。
如申請專利範圍第17項所述的視訊分析裝置，其中該全域時間決定模組利用該第二軌跡權重總和與一時間聯集長度計算出所述尚存在相關群組的一平均面積，利用該第二軌跡圖計算所述尚存在相關群組的一軌跡總和，以及依據該平均面積與該軌跡總和決定該權重機率函數的該第三權重，其中該第三權重與該平均面積為正比關係，該第三權重與該軌跡總和為反比關係。
如申請專利範圍第13項所述的視訊分析裝置，所述模組更包括一獨立判斷模組，該獨立判斷模組判斷所述物件串列是否屬於一獨立資料串列，其中若所述物件串列中的一第一物件串列與所述物件串列中非為所述第一物件串列的物件串列之間的時間相關性為不相關，判定該第一物件串列屬於該獨立資料串列。
如申請專利範圍第20項所述的視訊分析裝置，其中所述模組更包括一獨立串列處理模組，若所述物件串列的該第一物件串列屬於該獨立資料串列時，該獨立串列處理模組計算該第一物件串列與已具有所述最終播放時間其中之至少一的至少一已判斷物件串列之間的一空間重疊參數，以及依據該空間重疊參數是否小於一門檻值而決定該第一物件串列於該時間軸上的所述最終播放時間。
如申請專利範圍第13項所述的視訊分析裝置，其中該物件串列產生模組依據一條件設定，判斷所述物件串列是否屬於一被關聯物件串列，若所述物件串列中的一第二物件串列屬於該被關聯物件串列，該物件串列產生模組分割該第二物件串列成多個子物件串列，並以所述子物件串列取代所述物件串列中的該第二物件串列。
如申請專利範圍第22項所述的視訊分析裝置，其中當該第二物件串列獨立出現於該原始視訊中，該物件串列產生模組以一固定時間間隔分割該第二物件串列，當該第二物件串列與所述物件串列中非屬於該被關聯物件串列的至少一一般物件串列同時出現於該原始視訊中，該物件串列產生模組以該至少一一般物件串列於該時間軸上的至少一起始時間或至少一結束時間分割該第二物件串列。
如申請專利範圍第13項所述的視訊分析裝置，其中該物件串列分群模組判斷所述相關群組的一總時間長度是否超過一預設值，若所述相關群組中的一第一相關群組的總時間長度超過該預設值，該物件串列分群模組依據該第一相關群組中的多個物件串列之間的一空間關聯性，將該第一相關群組分成多個子相關群組，並以所述子相關群組取代該第一相關群組。