TW201328358A - 攝影畫面之物件串接修正方法及其多攝影機監控系統 - Google Patents

攝影畫面之物件串接修正方法及其多攝影機監控系統 Download PDF

Info

Publication number
TW201328358A
TW201328358A TW100149787A TW100149787A TW201328358A TW 201328358 A TW201328358 A TW 201328358A TW 100149787 A TW100149787 A TW 100149787A TW 100149787 A TW100149787 A TW 100149787A TW 201328358 A TW201328358 A TW 201328358A
Authority
TW
Taiwan
Prior art keywords
camera
photographic
video
monitoring
result
Prior art date
Application number
TW100149787A
Other languages
English (en)
Other versions
TWI601425B (zh
Inventor
Sze-Yao Ni
Tom Zhong-Yi Lin
Yuang-Tzong Lan
Jiann-Cherng Luo
Original Assignee
Gorilla Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gorilla Technology Inc filed Critical Gorilla Technology Inc
Priority to TW100149787A priority Critical patent/TWI601425B/zh
Publication of TW201328358A publication Critical patent/TW201328358A/zh
Application granted granted Critical
Publication of TWI601425B publication Critical patent/TWI601425B/zh

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

本發明係揭露一種攝影畫面之物件串接修正方法,其用於多攝影機監控系統。此攝影畫面之物件串接修正方法透過提供使用者互動平台,讓使用者透過該互動平台選擇欲追蹤的特定物件。使用者互動平台上呈現了目前攝影畫面、先前相關物件列表、後續相關物件列表、先前物件串接結果與後續物件串接結果。使用者透過參考先前相關物件列表、後續相關物件列表、先前物件串接結果與後續物件串接結果點選物件列表中之一特定攝影畫面中的指定修正物件,以藉此指示多攝影機監控系統修正特定物件的自動串接結果。

Description

攝影畫面之物件串接修正方法及其多攝影機監控系統
本發明有關於一種多攝影機監控系統,且特別是一種用以修正多攝影機監控系統錯誤串接多攝影畫面之物件的物件串接修正方法以及使用此攝影畫面串接修正方法的多攝影機監控系統。
傳統攝影機監控系統係針對單一監控區域提供特定事件偵測服務,同時將所有相關視訊資料與偵測結果回報至中心伺服器。然而,於視訊監控的應用上,針對單一監控區域提供特定事件偵測服務的作法已經無法滿足需要;特別針對事後分析的應用上,往往需要針對已發生的事件進行相關人事物的在整個監控系統中出現的時間位置軌跡的完整描述時,對單一特定環境提供特定事件偵測服務是無法滿足這項需求。據此,多攝影機監控系統已成為現今監控系統中的主流。
當今所提出的多攝影機監控系統中,各系統大都將設置於特定監控區域中的各攝影機所拍攝的攝影畫面傳送至中心伺服器,而中心伺服器則將各攝影機所拍攝之畫面內容進行影像分析,以獲得單一畫面中的物件分析結果。接著,中心伺服器依據物件分析結果獲得各攝影畫面中之各物件的時空關聯性(亦即各物件出現於各監控區域的前後順序與所處位置之關聯性),並且依據各物件的時空關聯性來串接特定物件,以獲得特定物件在整體多攝影機監控環境中的軌跡資訊以及歷史影像序列。
請參照美國公告US7242423號專利,其發明名稱為「Linking zones for object tracking and camera handoff」。此篇相關專利所提供的多攝影機監控系統會對各攝影機所拍攝的視訊資料獨立地進行影像分析,以藉此取得各物件在單一攝影機監控範圍中之偵測與追蹤的分析結果。接著,所述攝影機監控系統依據分析結果擷取出各物件在各攝影機監控範圍中的出現與離開的位置與其時間關聯性,並接著根據各物件的出現與離開的位置與其時間關聯性建立機率分布函式(probability distribution function)。如此,所述攝影機監控系統便可以透過上述之機率分布函式估測出出現於各攝影畫面之物件的關係,以藉此串接各攝影畫面中的特定物件,進而獲得特定物件在整體多攝影機監控環境中的歷史影像與軌跡資訊。
另外,請參照中華民國TW200943963號公開專利申請案,其發明名稱為「整合式影像監視系統及其方法/INTEGRATED IMAGE SURVEILLANCE SYSTEM AND MANUFACTURING METHOD THEREOF」。此篇公開專利申請案提出了一種影像拼接方法(image registration method),此影像拼接方法將多攝影機所拍攝之多個攝影畫面拼接成一個單一畫面,以降低使用者的監控負擔。雖然,多攝影機所拍攝之多個攝影畫面拼接成一個單一畫面可以有效地降低使用者的監控負擔,但此篇公開專利申請案並未提出相對應之智慧型多攝影機監控內容分析系統。雖然拼接的多張單一畫面可以作為多攝影機監控系統的視訊資料,但因為所得之拼接單一畫面過大,因此依然會造成智慧型多攝影機監控內容分析系統的運算負擔。
前述之多攝影機監控系統皆信任所使用的影像分析與物件串聯演算法,並且自動地對針對各攝影畫面之相同特定物件進行串接,以產生特定物件的軌跡影像。然而,因為實際環境的不同,將可能會使各種演算法產生不同程度的誤差。因此,前述之多攝影機監控系統可能會錯誤串接不同物件,而未能即時修正。
本發明實施例提供一種多攝影機監控系統所取得的攝影畫面之物件串接及其修正方法。此攝影畫面之物件串接及其修正方法用於多攝影機監控系統中,且其步驟敘述如下。提供使用者互動平台給使用者,以讓使用者透過使用者互動平台選擇欲追蹤的特定物件。依據目前攝影畫面之拍攝時間為分界,將在此時間之前與之後,出現於各攝影機的監控畫面中與特定物件具有相關性的相關物件之攝影畫面,依據時間順序分別陳列於使用者互動平台的先前相關物件列表與後續相關物件列表。此外,系統依據物件間的相關性進行關聯性評分,進而產生物件跨攝影機串接結果。將串結結果,依據前述的時間定義,將物件串接結果,分別陳列於區物件先前串接結果以及物件後續串接結果中,也就是將串接之特定物件的軌跡影像序列中,出現於目前攝影畫面的拍攝時間之前且為其他攝影機拍攝之數張攝影畫面,依時間順序以及關聯性評分高低排列於使用者互動平台的先前物件串接結果中。將自動串接之特定物件的軌跡影像序列中,出現於目前攝影畫面的拍攝時間之後且為其他攝影機拍攝之數張攝影畫面,依時間順序以及關聯性評分高低排列於使用者互動平台的後續物件串接結果中。使用者透過參考先前相關物件列表、後續相關物件列表、先前物件串接結果與後續物件串接結果等資料判定串接結果是否正確,若發現結果有誤,則點選物件列表中的關聯性評分並非最大的一特定攝影畫面中的特定物件,以藉此指示多攝影機監控系統修正特定物件的自動串接結果。
本發明實施例提供一種多攝影機監控系統,此多攝影機監控系統包括多個視訊擷取分析單元、多個視訊分析資料彙整單元、視訊分析資料資料庫、多視訊內容分析單元與使用者互動平台。每一個視訊擷取分析單元係由攝影機串接一視訊分析裝置所實現,且配置於多攝影機監控系統之監控環境的各位置,其中視訊分析裝置可為一電腦或為一嵌入式系統所構成。每一個視訊擷取單元串接該相關之視訊分析資料彙整單元。視訊分析資料資料庫串接多個視訊分析資料彙整單元,且多視訊內容分析單元串接視訊分析資料資料庫。使用者互動平台串接視訊分析資料分析單元,其用以讓使用者選擇欲追蹤的特定物件,並且讓使用者透過參考使用者互動平台所提供的先前相關物件列表、後續相關物件列表、先前物件串接結果與後續物件串接結果,透過點選後續物件列表中的關聯性並非最大的一特定攝影畫面中的指定修正物件,以藉此指示分析單元修正特定物件的自動串接結果。
使用者互動平台依據目前攝影畫面之拍攝時間為分界,將在此時間之前與之後,出現於各攝影機的監控畫面中與特定物件具有相關性的相關物件之攝影畫面,依據時間順序分別陳列於使用者互動平台的先前相關物件列表與後續相關物件列表。除此之外,系統依據物件間的相關性進行關聯性評分,進而產生物件跨攝影機串接結果。將串結結果,依據前述的時間定義,將物件串接結果,分別陳列於區物件先前串接結果以及物件後續串接結果中,也就是將串接之特定物件的軌跡影像序列中,出現於目前攝影畫面的拍攝時間之前,且為其他攝影機拍攝之包括該特定物件的數張攝影畫面,依時間順序以及關聯性評分高低排列於使用者互動平台的先前物件串接結果中。將自動串接之特定物件的軌跡影像序列中,出現於目前攝影畫面的拍攝時間之後,且為其他攝影機拍攝之包括該特定物件的數張攝影畫面,依時間順序以及關聯性評分高低排列於使用者互動平台的後續物件串接結果中。使用者透過參考先前相關物件列表、後續相關物件列表、先前物件串接結果與後續物件串接結果點選後續物件列表中的關聯性評分並非最大的一特定攝影畫面中的特定物件,以藉此指示多攝影機監控系統修正特定物件的自動串接結果。
綜上所述,本發明實施例所提供的多攝影機監控系統具有攝影畫面之物件串接修正方法,且多攝影機監控系統具有一個使用者互動平台給予使用者操作,以使用者透過執行攝影畫面之物件串接修正方法來修正傳統多攝影機監控系統自動串接物件可能發生的錯誤。
為讓本發明之上述和其他目的、特徵和優點能更明顯易懂,下文特舉本發明之較佳實施例,並配合所附圖式,作詳細說明如下。
為了充分瞭解本發明,於下文將以實施例並配合附圖作詳細說明。然而,要說明的是,以下實施例並非用以限定本發明。
請參照圖1,圖1本發明實施例提供的多攝影機安全監控系統之方塊圖。多攝影機監控系統100包括多個視訊擷取分析單元110、多個視訊分析資料彙整單元120、視訊與分析資料資料庫130、多視訊內容分析單元140與使用者互動平台150,其中多個視訊擷取分析單元110被設置在多個不同位置以針對多個不同監控區域進行監控。每一個視訊擷取分析單元110串接於對應的一個視訊分析資料彙整單元120,且這些視訊分析資料彙整單元120更串接於視訊與分析資料資料庫130。視訊分析資料資料庫130串接多視訊內容分析單元140,而多視訊內容分析單元140串接至使用者互動平台150。
視訊擷取分析單元110用以取得所監控之監控區域的攝影畫面,並且針對攝影畫面進行影像分析,進而擷取出攝影畫面中的各物件及各物件中具有物理意義的特徵資料,以獲得物件分析結果。接著,視訊擷取分析單元110將影像序列與物件分析結果傳送至對應之視訊分析資料彙整單元120,其中視訊擷取分析單元110於連續多個時間點擷取的攝影畫面可以構成一個影像序列。
更詳細地說,視訊擷取分析單元110可以藉由數位攝影機串接視訊分析裝置來實現,其中視訊分析裝置可由一電腦實現,亦可以由一嵌入式系統(embedded system)平台所構成。數位攝影機用以擷取各時間點的攝影畫面,而視訊分析裝置則分析所取得之攝影畫面,並取得包含了分析所得之物件專屬的編號、位置與特徵等物件分析結果,而後將物件分析結果與影像序列傳遞至視訊分析資料彙整單元120。
為了有效率地傳輸影像序列與物件分析結果,視訊分析資料彙整單元120用以將接收的物件分析結果與影像序列進行相對應之資料壓縮編輯,以產生資料壓縮編輯結果。然後,視訊分析資料彙整單元120會將資料壓縮編輯結果傳遞視訊與分析資料資料庫130儲存,其中資料壓縮編輯結果具有物件分析結果與攝影畫面的資訊。
更詳細地說,視訊分析資料彙整單元120將透過視訊壓縮法(如H.264等高壓縮效果的視訊編碼方法)對影像序列進行資料壓縮編輯,以減少傳輸頻寬的需求。另外,對於物件分析結果而言,視訊分析資料彙整單元120先將時序資訊插入物件分析結果中,以此確認物件分析結果與攝影畫面的對應關係。接著,視訊分析資料彙整單元120依據使用所需進行相對應的資訊轉換(諸如資料壓縮等方法),以降低傳輸資料量。
為了有效的同步攝影畫面與物件分析結果的關聯,同時減少傳輸資料量,視訊分析資料彙整單元120除了將時序資訊插入物件分析結果中外,視訊分析資料彙整單元120還能夠以資料隱藏技術或使用視訊壓縮標準所定義的使用者資料區(user data zone),將各攝影畫面的物件分析結果隱藏於影像序列所對應之視訊資料中。舉例來說,視訊分析資料彙整單元120將壓縮後之物件分析結果的位元資料依序透過資料隱藏方式將這些由經過處理的視訊分析資料所構成之位元資料隱藏於影像序列對應之視訊資料的離散餘弦轉換(DCT)參數中。
視訊與分析資料資料庫130用以儲存視訊分析資料彙整單元120所傳遞之資料壓縮編輯結果,因為資料壓縮編輯結果具有物件分析結果與攝影畫面的資訊,因此視訊擷取分析單元110於監控區域所拍攝的攝影畫面與物件出現前後的時空關係都會被儲存至視訊與分析資料資料庫130中,以備多視訊內容分析單元140讀取對特定物件進行分析時所需要的資料。
多視訊內容分析單元140自視訊與分析資料資料庫130中讀取對特定物件進行分析時所需要的資料,並分析各視訊擷取分析單元110之各攝影畫面內的物件與特定物件的關聯性,以串接目前分析的特定物件的完整歷史軌跡資訊,進而產生特定物件的歷史影像序列。
更詳細地說,多視訊內容分析單元140從視訊與分析資料資料庫130中調閱對特定物件進行分析時所需的資料,並取出嵌於資料的相對應之物件分析結果,藉此分析特定物件與各攝影畫面內的各物件之間的相關性進行關聯性評分,而獲得相關性分析結果。接著,多視訊內容分析單元140依據相關性分析結果將各攝影畫面中出現之特定物件進行串接,而產生關聯性評分最大的串接結果,其中此關聯性評分最大的串接結果即為特定物件的軌跡影像。接著,多視訊內容分析單元140將所產生的特定物件的軌跡影像透過使用者互動平台150提供給使用者觀看,並且將特定物件的軌跡影像所對應的視訊資料反饋至視訊與分析資料資料庫130儲存。
換句話說,跨越視訊擷取分析單元110之監控區域的特定物件會被記錄於各視訊擷取分析單元110的攝影畫面中,而多視訊內容分析單元140可以依據時間順序,將多個攝影畫面之特定物件串接,而形成特定物件的軌跡影像。此特定物件的軌跡影像可以讓使用者透過使用者平台150快速觀看此特定物件在各監控區域中何時出現與離開,進而瞭解特定物件在整體多攝影機監控環境中的完整行為歷史資訊。
使用者互動平台150可以提供使用者自視訊與分析資料資料庫130取得各監控區域的各攝影畫面與直接地針對各監控區域進行同步撥放控制。另外,使用者互動平台150還可以依據使用者所設定之監控條件進行特定事件偵測與特定物件追蹤。
除此之外,有鑑於傳統多攝影機監控系統並無法保證其所自動產生之特定物件的軌跡影像為正確串接結果,因此此實施例的使用者互動平台150還可以提供使用者對特定物件的軌跡影像進行修正,以使最後呈現的軌跡影像為正確串接結果。
對應於使用者互動平台150具有修正軌跡影像的能力,多視訊內容分析單元140除了提供關聯性評分最大的串接結果之外,多視訊內容分析單元140還必須提供其他關聯性評分較大的串接結果,以讓使用者在使用者互動平台150直接對特定物件的軌跡影像進行修正,其中這些串接結果是依據其關聯性評分的高低進行排列。
若使用者未透過使用者互動平台150來對軌跡影像進行修正,則多視訊內容分析單元140會默認關聯性評分最大的串接結果為正確串接結果,並接著繼續之後的串接工作,以產生特定物件的軌跡影像。相反地,若使用者認為多視訊內容分析單元140所產生之具有最高關聯性評分的串接結果為錯誤串接結果,則使用者可以透過使用者互動平台150選擇其他的串接結果,以藉此修正串接錯誤,而產生特定物件的正確軌跡影像。
舉例來說,多視訊內容分析單元140可藉由依據使用者於使用者互動平台150所預定分析之事件的時間,向視訊與分析資料資料庫130調閱所需分析的資料壓縮編輯結果。接著,多視訊內容分析單元140分析分散於各攝影畫面的物件,例如物件於各攝影畫面出現、離開、行進軌跡、物件特徵、甚至是過往歷史的物件出現時的日期、時間、天氣等資訊。透過分析這些資訊,多視訊內容分析單元140得以瞭解各物件在監控環境中之各種條件下出現的機率值以及可能行進的軌跡分布,便可以獲得各物件的相關性分析結果,並藉此串接散落於不同視訊擷取分析單元110所拍攝的攝影畫面中的相同物件,進而得到所有物件在整體監控環境中的完整軌跡。
視訊擷取分析單元110所獲得的物件分析結果可以與多視訊內容分析單元140所獲得的相關性分析結果連結。若要令各物件出現於對應之攝影畫面時,該物件可以具有物件編號、位置擷取出的物件特徵等物件資訊顯示於物件出現的監控環境時,多視訊內容分析單元140會將多個可能的物件之編號、出現機率、監控環境位置等資訊彙整成相關性分析結果,並且將此相關性分析結果嵌入對應的視訊資料中。接著,多視訊內容分析單元140將嵌入相關性分析結果的視訊資料反饋至視訊與分析資料資料庫130進行儲存,以備使用者互動平台150呈現所需。
多視訊內容分析單元140可以利用物件的先前與目前空間、時間、物件特徵等物件資訊來串接各攝影畫面之相同物件。上述物件資訊可依據分析資料的取得難易、出現的順序以及其特性而可分為三個層級。
第一個層級的物件資訊是物件的出現位置與速度。藉由物件出現、消失的位置以及當時的行進速度,多視訊內容分析單元140可以推估該物件下一刻可能出現的位置。更詳細地說,多視訊內容分析單元140可透過各攝影畫面中各物件的出現、消失以及使用者設定之視訊擷取分析單元110的空間位置等資訊,配合圖形理論(graph theory)的推算,進而建構出各物件的機率分佈函數(probability distribution function,PDF)。接著,多視訊內容分析單元140利用此機率函數進行關聯性評分,藉此串接分佈於各攝影畫面的相同物件。
舉例來說,在捷運站的監控環境中,對一剛進入捷運站入口的人員而言,下一刻會出現的位置最高機率應為在捷運入口附近的監控區域,如收費閘道之位置。相對地,此物件因尚未經過收費閘道,故此物件出現於等候月台的機率為零。據此,多視訊內容分析單元140會分析出人員若出現在某位置時,此人員下一刻出現在各視訊擷取分析單元110所處之監控區域的機率分佈函數。換言之,多視訊內容分析單元140可以藉此機率分佈函數來串接出現於各監控畫面的相同物件,而獲得此相同物件的軌跡資訊與歷史影像。
第二個層級的物件資訊為物件特徵,多視訊內容分析單元140可用以比對在不同時刻、監控區域中出現的物件,並據此串接出現於各攝影畫面中的相同物件。更詳細地說,多視訊內容分析單元140依據機率分佈函數取得欲進行串接之物件的可能候選物件,並利用分析所得之物件行進方向濾除較低可能的可能候選物件。接著,多視訊內容分析單元140再透過比對物件於攝影畫面中的物件特徵(如顏色、外形等資訊)來串接物件,也就是進行相關性分析時,同時考慮機率分布函數以及物件特徵資訊,進而取得較佳的關聯性評分結果。
再以捷運站的監控環境為例說明,多視訊內容分析單元140對捷運站收費閘口離開的人員分析其離開收費閘口的速度、方向以及人員離開收費閘口之監控影像的對應位置。接著,多視訊內容分析單元140還分析出上述人員下一刻可能會出現再哪些視訊擷取分析單元110的攝影畫面中,並且會比對這些視訊擷取分析單元110的攝影畫面中之人員的特徵(如顏色)而串接各攝影畫面中之人員的行為軌跡。
第三個層級的物件資訊為歷史資料,多視訊內容分析單元140可以統計過往的視訊資料,進而分析各物件所有可能的移動軌跡,計算出各種軌跡之分佈機率,並用以推估分析物件的可能出現位置。更詳細地說,多視訊內容分析單元140可以對監控環境中的所有歷史資料(過往的視訊資料)與由其中所分析出的物件資訊進行資料分析與數據統計,以獲得對應於此監控環境之相對可信的物件統計資訊。另外,物件統計資訊可進一步地依據時間、環境參數等不同條件進行分類。如此,多視訊內容分析單元140可以得知在特定時間、環境參數的條件下,監控環境中之物件的歷史行為軌跡。也就是進行相關性分析時,同時考慮機率分布函數、物件特徵資訊以及歷史物件行為軌跡分類資訊,進而取得較佳的關聯性評分結果。
再以捷運站監控環境為實施例,多視訊內容分析單元140針對某捷運站的過往視訊資料進行分析統計,並在統計一段特定時間長度的影像序列後,得知人員在上下課時間時的歷史行為軌跡。例如,在上下課時間時,穿著學生制服的民眾將僅會經過各出入口,穿越捷運上層通道,然後離開捷運站,並不會進入捷運站搭乘捷運;而在上下班時間時,大多進入捷運站的人員將經過捷運站出入口,穿越收費閘道,而後搭乘捷運。
由此,多視訊內容分析單元140可得知此捷運站的出入人員的流動統計資料,並藉此預估監控區域出現的人員可能的行進方向。例如,在上下課時間時,若有一個人員穿著特定的學生制服,則此人員穿越上層通道離開捷運站的機率將高於穿越收費閘道搭乘捷運的機率。
另外,對跨視訊擷取分析單元110之攝影畫面的物件進行串接時,多視訊內容分析單元140將可得到物件軌跡分布之關聯性評分拓譜圖。關聯性評分拓譜圖中的各個結點表示為進行追蹤的可能物件,藉由串聯起所有最高關聯性評分的可能物件,將可取得物件的行為軌跡。
圖2為本發明實施例之攝影畫面之物件串接修正方法於使用者互動平台上之介面的示意圖。使用者互動平台上之介面包括監控環境視窗210、攝影機列表視窗220、至少一監控物件視窗230與多攝影機攝影畫面視窗240。攝影畫面之物件串接修正方法可以使用軟體來實現,且使用者互動平台上之介面可以實現於各種作業系統的平台上。然而,攝影畫面之物件串接修正方法與使用者互動平台上之介面的實現方式卻不以此為限。
監控環境視窗210包括用以呈現整體監控環境的環境示意圖211,環境示意圖211可以讓使用瞭解監控環境的地理特性(例如走廊位置與房間佈局的資訊)、視訊擷取分析單元110的分佈狀況(亦即分佈位置)與監控環境中之特定物件的行為軌跡。使用者可以設定環境示意圖211自地理環境圖、建築架構圖與監控設施分佈圖中選擇其中之一作為環境示意圖211,或者使用者亦可以選擇上述部份或全部的圖進行疊合,並以疊合的圖作為環境示意圖211。除此之外,使用者亦可以透過三維電腦圖像(3D computer graphics)來呈現境示意圖211。
監控環境視窗210還包括播放控制單元212與時間軸控制元件213。播放控制單元212係用以對特定物件之事後歷史軌跡追蹤、呈現與修正時得以有效地操控視訊資料的播放(前進、後退),而時間軸控制元件213可以控制視訊資料於特定時間點開始播放。播放控制單元212可連動控制所有呈現於使用者介面中的視訊資料的播放,以同步地將多攝影監控系統100之各視訊擷取分析單元110的視訊資料於此使用者互動平台150的介面上播放。
攝影機列表視窗220係用以呈現系統中所有的攝影機(即視訊擷取分析單元110中所使用的攝影機)的編號以及攝影機在監控環境中的位置之間的關係。各攝影機可以特定的識別方式來顯示與區分,例如以不同顏色區分各攝影機。攝影機列表視窗220內容與監控環境視窗210的內容同步顯示。當使用者點選攝影機列表視窗220的其中一個攝影機時,所選擇的攝影機將以醒目色標記呈現於監控環境視窗210與多攝影機列表視窗220中,而未被選擇的攝影機則將以非醒目色標記呈現於監控環境視窗210與多攝影機列表視窗220上。
監控物件視窗230的顯示畫面231係用以呈現使用者所選擇之攝影機目前所拍攝的攝影畫面。監控物件視窗230可以持續呈現所選擇的物件,縱使此選擇的物件已經離開原選定的攝影機之監控區域。監控物件視窗230可以讓使用者針對物件串接的結果進行修正(亦即修正選擇物件的行為軌跡),以更正多視訊內容分析單元140錯誤串接攝影畫面的物件。
更詳細地說,使用者透過監控物件視窗230可選擇同時或部分呈現出目前正在追蹤的物件之先前、後續的可能物件(透過先前物件列表232、後續相關物件列表233來呈現)、先前及後續的串接結果(透過先前物件串接結果234、後續串接結果235來呈現),以讓使用者得以依此監控物件視窗230針對物件串接的結果進行修正,以避免多多視訊內容分析單元140錯誤串接攝影畫面的物件。同時為了令使用者得以明確了解可能物件的完整狀態,先前、後續的可能物件呈現方式可為一影像序列撥放或是完整物件之截圖亦或是透過疊加方式產生之物件軌跡影像。影像序列撥放係指撥放該可能物件在該攝影機監控範圍內所記錄之影像序列。完整物件之截圖係指該物件完整呈現於該攝影機監控範圍時所擷取之完整監控影像,而物件軌跡影像則將該可能物件在該攝影機監控範圍內所記錄之影像序列透過特定的影像處理疊加方式產生之特殊處理的單一影像。
多攝影機攝影畫面視窗240係用以呈現使用者選定的數個攝影機所擷取的即時攝影畫面,亦或用以播放視訊與分析資料資料庫130中所記錄之多個選定攝影機的歷史視訊資料。多攝影機攝影畫面視窗240內可以由數個特定組合之視訊播放視窗所組合而成,亦可為由至少一個浮動視窗呈現多個攝影機所拍攝的攝影畫面。
當使用者於使用者互動平台150對監控環境進行即時監控時,使用者互動平台上之介面會具有監控環境示意圖210、攝影機列表視窗220與多攝影機攝影畫面視窗240。多攝影機攝影畫面視窗240呈現了數個甚至是所有的即時攝影畫面,所呈現的攝影畫面皆可由視訊與分析資料資料庫130中取得。各攝影機的攝影畫面可為獨立子視窗241,且各獨立子視窗241的大小與位置可由使用者自行設定。另外,各攝影機的攝影畫面亦可為分割畫面242中的其中一個畫面,且其分布方式由使用者自行設定。
圖3A為本發明實施例之使用者選擇攝影機進行即時監控時之使用者互動平台上的介面示意圖。當使用者由多攝影機攝影畫面視窗240、監控環境視窗210中的攝影機分佈位置或多攝影機列表視窗220點選其中一個攝影機時,特定攝影機監控視窗250立即產生,同時在監控環境視窗210與攝影機列表視窗220將被選擇的攝影機以醒目色(如紅色)標記,而其他未被選擇的攝影機則以非醒目色(如暗灰色)標記。另外,多攝影機攝影畫面視窗240將縮小至介面之畫面下緣;或者,多攝影機攝影畫面視窗240將縮小而位於介面之畫面邊緣,且其他多攝影機之攝影畫面擇以縮小畫面來呈現。
被選擇之攝影機目前所拍攝的攝影畫面會呈現於特定攝影機監控視窗250的顯示畫面231。另外,先前相關物件列表232會呈現被選擇的攝影機之鄰近攝影機於數秒前的所拍攝的攝影畫面,後續相關物件列表233則呈現被選擇的攝影機之鄰近攝影機目前所拍攝的攝影畫面。另外,因使用者尚未點選要追蹤的物件,故先前物件串接結果234與後續物件串接結果235並不需要呈現任何內容,且可以暗色系標記呈現,亦或是不用會出現於特定攝影機監控視窗250中。
舉例來說,當使用者點選1號攝影機時,對應於1號攝影機使的特定攝影機監控視窗250會立即產生。同時,攝影機列表視窗220中的1號攝影機將以紅色標記呈現,其餘攝影機則以暗灰色標記呈現。環境示意圖中的位置A將呈現紅色外框,其餘位置(位置B~位置H)將呈現半透明暗灰色外框。因為即時監控無需使用播放控制單元212與時間軸控制元件213,因此播放控制單元212與時間軸控制元件213以半透明方式呈現。除此之外,多攝影機攝影畫面視窗240則將縮小至介面之畫面下緣。
圖3B為本發明實施例之特定攝影機監控視窗的詳細示意圖。如同前面所述,因使用者尚未點選要追蹤的物件,故先前物件串接結果234與後續物件串接結果235並不需要呈現任何內容,且可以暗色系標記呈現。
多攝影機監控系統100除了會將被選擇攝影機目前所拍攝的攝影畫面呈現於顯示區231外,還會將被選擇之攝影機的編號標記於特定攝影機監控視窗250上,例如,將1號攝影機標記於特定攝影機監控視窗250的上緣。另外,多攝影機監控系統100還可以在的顯示區231上標記拍攝時間。
除此之外,多攝影機監控系統100還會擷取攝影畫面中的物件資訊(包括物件的出現位置、物件編號與物件特徵等,但不以此為限),並將這些物件資訊標記於顯示區231之攝影畫面的物件。物件的出現位置會以方框標記,且在方框周圍描述物件的物件資訊(如對應機率值最高的物件編號、物件型態、顏色特徵、目前存在於監控環境中的空間資訊等資訊,但不以此為限)。
舉例來說,於圖3B中,人物甲出現的位置會以方框標記,且物件資訊標記於方框附近,其中人物甲之物件編號物件型態與顏色特徵分別為123、人與棕色。同樣地,人物乙出現的位置會以方框標記,且物件資訊標記於方框附近,其中人物乙之物件編號物件型態與顏色特徵分別為126、人與紅/灰色。
先前相關物件列表232除了會呈現被選擇的攝影機之鄰近攝影機於數秒前的所拍攝的攝影畫面外,還會有拍攝時間與攝影機編號標記於先前相關物件列表232中。同樣地,後續相關物件列表233除了會呈現被選擇的攝影機之鄰近攝影機目前所拍攝的攝影畫面,還會有拍攝時間與攝影機編號標記於後續相關物件列表233中。於先前相關物件列表232與後續相關物件列表233中,攝影畫面的排序方式係以攝影機編號或與被選擇之攝影機的遠近來排列。
圖3B的先前相關物件列表232與後續相關物件列表233中,攝影畫面的排序方式係以攝影機編號來排列,因此鄰近於1號攝影機的2、3、4、6號攝影機所拍攝的攝影畫面會依序排列來呈現。於圖3B中,顯示區所顯示之1號攝影機目前所拍攝的攝影畫面之拍攝時間為12:06:30,因此,後續相關物件列表233之2、3、4、6號攝影機所拍攝的攝影畫面之拍攝時間亦為12:06:30,另外,先前相關物件列表232之2、3、4、6號攝影機所拍攝的攝影畫面之拍攝時間則為12:06:20。
圖4A為本發明實施例之使用者選擇特定物件進行即時監控時之使用者互動平台上的介面示意圖。當使用者點選特定物件後,特定攝影機監控視窗250將變為監控物件視窗230。例如,使用者點選物件編號“123”的物件後,使用者互動平台150上之介面將轉變,特定攝影機監控視窗250將變為物件編號“123”之物件的監控物件視窗230,且因此介面提供使用者控制所選擇之特定物件於各時間點的攝影畫面,因此播放控制單元212與時間軸控制元件213不再以半透明的方式呈現,而是以可用狀態的方式呈現。
在監控環境視窗210中,除了位置A將呈現紅色外框,其餘位置(位置B~位置H)將呈現半透明暗灰色外框。同時,監控環境視窗210呈現了所選擇之特定物件的歷史行為軌跡。特定物件的歷史行為軌跡可以透過分析過濾的方式來取得。更詳細地說,首先在視訊與分析資料資料庫130中取得屬於物件編號“123”的物件資訊。接著,透過相對應的時間與物件存在於監控環境中的空間資訊串接出此特定物件的歷史行為軌跡。另外,為避免進行多次的資料擷取與分析,使用者互動平台150更可以將暫存目前正在觀看之攝影畫面中的所有物件的物件資訊。
圖4B為本發明實施例之監控物件視窗的詳細示意圖。圖4B用以詳細地表示圖4A中的監控物件視窗230,監控物件視窗230中央的顯示區231用以呈現目前的攝影畫面,且目前的顯示區231還標記對應於目前之攝影畫面的攝影機編號、拍攝時間與各物件的物件資訊等。舉例來說,圖4B之目前的攝影畫面為如1號攝影機所拍攝,因此顯示區231有1號攝影機的標記。
除此之外,使用者所點選的特定物件可以醒目色(如紅色等顏色)的外框標示,而其他物件將以非醒目色虛線外框標示。此處的先前相關物件列表232可用以呈現出現於先前時間且不同之攝影機拍攝出之可能物件的攝影畫面,這些可能物件的攝影畫面將於先前相關物件列表232中依據物件相關機率的高低順序來排列。此處的後續相關物件列表233可用以呈現出現於目前時間幾秒後且不同之攝影機拍攝出之可能物件的攝影畫面,這些可能物件的攝影畫面將於先前相關物件列表233中依據物件相關機率的高低順序來排列。
舉例來說,在圖4B的先前相關物件列表232中,對應於目前的攝影畫面之物件編號“123”之物件的物件相關機率高低排列的可能物件依序為3號攝影機之攝影畫面中出現的之物件編號“123”的物件、4號攝影機之攝影畫面中出現的之物件編號“147”的物件與6號攝影機之攝影畫面中出現的之物件編號“169”的物件。於此實施例中,多視訊內容分析單元140認為3號攝影機之攝影畫面中出現的之物件編號“123”的物件與目前之攝影畫面中之物件編號“123”的物件應為相同物件,因此3號攝影機之攝影畫面中出現的之物件編號“123”的物件,而4號攝影機之攝影畫面中出現的之物件編號“147”的物件與6號攝影機之攝影畫面中出現的之物件編號“169”的物件則以非醒目虛線外框標示之。
另外,呈現於先前相關物件列表232中之攝影畫面可為一可能物件在攝影機最終完整呈現的攝影畫面外,亦可為一可能物件在攝影機之監控區域內的部份攝影畫面,亦或是可能物件出現於監控區域內之行為軌跡疊加後的攝影畫面。總而言之,先前相關物件列表232用以呈現可能物件之攝影畫面的方式並非用以限定本發明。
另外,若後續相關物件列表233之攝影畫面中存在與所選定之特定物件為相同物件時,則此攝影畫面會被排列至最高位置。舉例來說,因4號攝影機之監控區域與1號攝影機之監控區域重疊,因此選定之特定物件(例如物件編號“123”之物件)會同時出現於1號攝影機與4號攝影機機拍攝的攝影畫面中。因為4號攝影機所拍攝的攝影畫面中含有選定之特定物件(物件編號“123”之物件),因此4號攝影機所拍攝的攝影畫面被置放於後續相關物件列表233中的第一優先位置呈現。同時,4號攝影機所拍攝的攝影畫面中的被選定的物件也將以醒目的物件外框標示。
先前物件串接結果234則用以呈現被選定之物件先前所出現之不同攝影機的攝影畫面,且這些攝影畫面會依據時間順序來排列呈現。呈現於先前物件串接結果234中之攝影畫面可以是可能物件在攝影機最終完整呈現的攝影畫面外,亦可以是可能物件在攝影機之監控區域內的部份攝影畫面,或者是可能物件出現於監控區域內之行為軌跡疊加後的攝影畫面。總而言之,先前物件串接結果234呈現的方式並非用以限定本發明。
由於圖4B為於即時監控的情況下的監控物件視窗230,因此後續物件串接結果235在即時監控的情況下並無法得知所選定之特定物件的未來行為軌跡,故後續物件串接結果235可以依舊暗色系標記來呈現,或者甚至是不出現於監控物件視窗230中。
若使用者希望看到先前的選定之特定物件的攝影畫面,則可以拉選時間軸控制元件213,亦或是透過播放控制單元212,即可在監控物件視窗230中觀看選定物件在指定時間的攝影畫面。換句話說,使用者互動平台150還具有針對特定物件進行事後檢閱的功能。
當使用者透過使用者互動平台150欲檢閱特定時段之的攝影畫面時,此時使用者互動平台150上所呈現的介面包含監控環境視窗210、攝影機列表視窗220、播放控制單元212、時間軸控制元件213與多攝影機攝影畫面視窗240。多攝影機攝影畫面視窗240呈現了數個甚至是所有的使用者指定之特定時段之攝影畫面,且這些攝影畫面可以由視訊與分析資料資料庫130中取得。各攝影畫面可以由獨立子視窗來呈現,或可以由分割畫面中的其中一個畫面來呈現。如同前面所述,獨立子視窗大小與位置可由使用者自行設定,且分割畫面中之各畫面的分佈方式也可以由使用者自行定義。使用者可以使用播放控制單元212與時間軸控制元件213對所有的攝影畫面同步進行撥放或操控,以藉此觀看到監控環境中所需之攝影畫面。
請參照圖5A與圖5B,圖5A為本發明實施例之使用者選擇攝影機進行事後檢閱時之使用者互動平台上的介面示意圖,圖5B為本發明實施例之特定攝影機監控視窗的詳細示意圖,其中圖5B的詳細示意圖對應於使用者選擇攝影機進行事後檢閱時之特定攝影機監控視窗。
當使用者由多攝影機攝影畫面視窗240、監控環境視窗210中的攝影機分佈位置或攝影機列表視窗220中點選某特定攝影機時,特定攝影機監控視窗250會立即產生。同時,在監控環境視窗210與攝影機列表視窗220會將選定的攝影機以醒目色(如紅色)標示,而其他未被選定的攝影機則以非醒目色(如暗灰色)標示。另外,多攝影機攝影畫面視窗240將縮小至介面之畫面下緣;或者,多攝影機攝影畫面視窗240將縮小而位於介面之畫面邊緣,且其他多攝影機之攝影畫面則以縮小畫面來呈現。
被選擇之攝影機目前所播放的攝影畫面會呈現於特定攝影機監控視窗250的顯示畫面231。另外,先前相關物件列表232會呈現被選擇的攝影機之鄰近攝影機於數秒前的所播放的攝影畫面,後續相關物件列表233則呈現被選擇的攝影機之鄰近攝影機於數秒後所播放的攝影畫面。另外,因使用者尚未點選要追蹤的物件,故先前物件串接結果234與後續物件串接結果235並不需要呈現任何內容,且可以暗色系標記呈現,亦或是不出現於特定攝影機監控視窗250中。
舉例來說,當使用者點選1號攝影機時,對應於1號攝影機使的特定攝影機監控視窗250會立即產生。同時,攝影機列表視窗220中的1號攝影機將以紅色標記呈現,其餘攝影機則以暗灰色標記呈現。環境示意圖中的位置A將呈現紅色外框,其餘位置(位置B~位置H)將呈現半透明暗灰色外框。除此之外,多攝影機攝影畫面視窗240則將縮小至介面之畫面下緣。
圖6A為本發明實施例之使用者選擇特定物件進行事後檢閱時之使用者互動平台上的介面示意圖。當使用者點選特定物件後,特定攝影機監控視窗250將變為監控物件視窗230。例如,使用者點選物件編號“123”的物件後,使用者互動平台150上之介面將轉變,特定攝影機監控視窗250將變為物件編號“123”之物件的監控物件視窗230。
在監控環境視窗210中,除了位置A將呈現紅色外框,其餘位置(位置B~位置H)將呈現半透明暗灰色外框。同時,監控環境視窗210呈現了所選擇之特定物件的歷史行為軌跡,其中監控環境視窗210所標記的圓點表示物件於監控環境中的位置,故此圓點將依據播放時間時物件所在位置而變動,且可以閃爍的方式呈現,以凸顯選擇物件在監控環境中的位置。據此,所選定之物件的整個行為軌跡將依據所得之串接物件的結果而獲得。
圖6B為本發明實施例之監控物件視窗的詳細示意圖。圖6B用以詳細地表示圖6A中的監控物件視窗230,監控物件視窗230中央的顯示區231用以呈現目前的攝影畫面,且目前的顯示區231還標記對應於目前之攝影畫面的攝影機編號、拍攝時間與各物件的物件資訊等。舉例來說,圖6B之目前的攝影畫面為如1號攝影機所拍攝,因此顯示區231有1號攝影機的標記。
先前相關物件列表232可用以呈現出現於先前時間且不同之攝影機拍攝出之可能物件的攝影畫面,這些可能物件的攝影畫面將於先前相關物件列表232中依據物件關聯性評分的高低順序來排列。
另外,呈現於先前相關物件列表232中之攝影畫面可以是可能物件在攝影機最終完整呈現的攝影畫面外,亦可以是可能物件在攝影機之監控區域內的部份攝影畫面,或者是可能物件出現於監控區域內之行為軌跡疊加後的攝影畫面。總而言之,先前相關物件列表232用以呈現可能物件之攝影畫面的方式並非用以限定本發明。
此處的後續相關物件列表233可用以呈現出現於目前播放時間幾秒後且不同之攝影機拍攝出之可能物件的攝影畫面,這些可能物件的攝影畫面將於先前相關物件列表233中依據物件關聯性評分的高低順序來排列。
先前物件串接結果234則用以呈現被選定之物件先前所出現之不同攝影機之監控區域中的攝影畫面,且這些攝影畫面會依據時間順序來排列呈現。呈現於先前物件串接結果234中之攝影畫面可以是可能物件在攝影機最終完整呈現的攝影畫面外,亦可以是可能物件在攝影機之監控區域內的部份攝影畫面,或者是可能物件出現於監控區域內之行為軌跡疊加後的攝影畫面。
後續物件串接結果235則用以呈現被選定之物件目前時間之後所出現之不同攝影機之監控區域中的攝影畫面,且這些攝影畫面會依據時間順序來排列呈現。呈現於後續物件串接結果235中之攝影畫面可以是可能物件在攝影機最終完整呈現的攝影畫面外,亦可以是可能物件在攝影機之監控區域內的部份攝影畫面,或者是可能物件出現於監控區域內之行為軌跡疊加後的攝影畫面。
圖7為本發明實施例之多攝影機監控系統串接物件錯誤時的監控物件視窗之詳細示意圖。於圖7中,可以得知多攝影機監控系統100在對物件編號為“123”進行串接時有錯誤的發生。不論在即時監控亦或是事後檢閱的操作過程中,多視訊內容分析單元140都有可能因故導致物件串接錯誤,而造成不同物件被辨識成同一物件,導致使用者互動平台150上呈現出平滑但卻是錯誤的物件之軌跡資訊與歷史影像。
使用者在觀看選擇之物件的軌跡資訊與歷史影像時,有可能時發現實為不同物件被標記為相同的物件編號。於圖7的實施例中,物件編號為“123”之物件為使用者所選擇欲追蹤的特定物件。在此監控物件視窗230中,顯示區231顯示拍攝時間為12:06:30之1號攝影機的畫面,且因為物件編號為“123”之物件被選擇,所以多視訊內容分析單元140會對物件編號為“123”之物件進行串接。
於此實施例中,物件編號為“123”之物件實質上為甲人員,但多視訊內容分析單元140卻將乙人員誤認為物件編號為“123”之物件,而產生了錯誤的串接結果。據此,後續物件串接結果235所呈現的攝影畫面並非為甲人員的正確行為軌跡。
此時,使用者僅須自後續相關物件列表233中點選使用者認定之正確物件的攝影畫面。於此實施例中,使用者將點選12號攝影機於拍攝時間12:06:40所拍攝之物件編號為“126”之物件的攝影畫面。接著,顯示區231將顯示使用者於後續物件列表所選擇的攝影畫面。使用者再點選物件編號為“126”之物件(實質上為甲人員)後,介面將出現詢問是否校正的確認訊息。待使用者確認後,介面將把此校正資料傳送至多視訊內容分析單元140,而多視訊內容分析單元140則依據校正資料修正物件資訊,也就是將物件編號為“123”之物件與物件編號為“126”之物件,在時間為12:06:40之後的攝影畫面皆進行重新比對,進而修正串接結果,而使得甲人員都標記為物件編號為“123”之物件,而乙人員都標記為物件編號為“126”之物件。另外,修正後的串接結果除了通知使用者互動平台150外,同時將會將此修正後的串接結果儲存至視訊與分析資料資料庫130中。
在對串接結果進行修正時,因使用者所點選的攝影畫面並非為機率值最大的攝影畫面,故使用者互動平台150將通知分析單元140目前追蹤的特定物件應出現於12號攝影機於拍攝時間12:06:40所拍攝之物件編號為“126”之物件的攝影畫面中。另外,多視訊內容分析單元140將依據目前追蹤的物件之物件特徵以及相關物件資訊,在使用者選定的攝影畫面中的物件資訊進行物件比對,並給予使用紅色虛框顯示的建議串接物件。若使用者判定建議串接物件為正確物件,使用者僅須點選紅色虛框,無須再次確認,使用者互動平台150便會此校正資料送給分析單元140。若使用者所認為建議串接物件為錯誤物件,則使用者可點選其他虛框表示的物件。在使用者點選其他虛框表示的物件後,介面會再次地詢問使用者是否確認此校正,且在使用者確認校校正後,使用者互動平台150才會送出校正資料給多視訊內容分析單元140。
在詳細地介紹完本發明實施例所提供的攝影畫面之物件串接修正方法所使用的介面後,接著使用流程圖來說明攝影畫面之物件串接修正方法的各步驟。請參照圖8,圖8是本發明實施例攝影畫面之物件串接修正方法的流程圖。首先,在步驟S800中,獲取多攝影機監控系統中之各攝影機的攝影畫面。接著,在步驟S801中,對各攝影畫面進行分析,以獲得各攝影畫面中之各物件資訊,其中物件資訊包括物件編號、物件特徵與物件型態等。
然後,在步驟S802中,提供使用者互動平台給使用者,以讓使用者透過使用者互動平台選擇欲追蹤的特定物件。在步驟S803中,多攝影機監控系統計算目前攝影畫面之拍攝時間前各攝影機的攝影畫面之物件與特定物件的相關性。在步驟S804中,多攝影機監控系統計算目前攝影畫面之拍攝時間後各攝影機的攝影畫面之物件與特定物件的相關性。
在步驟S805中,多攝影機監控系統自動地將出現於各攝影畫面的特定物件進行串接,以獲得特定物件的軌跡資訊與歷史影像,其中自動串接特定物件的方式是將特定物件與其關聯性評分最高的物件進行串接。
在步驟S806中,依據目前攝影畫面之拍攝時間前各攝影機的攝影畫面與特定物件的相關性將各物件之攝影畫面依序列於使用者互動平台的先前相關物件列表。在步驟S807中,依據目前攝影畫面之拍攝時間後各攝影機的攝影畫面與特定物件的相關性將各物件之攝影畫面依序列於使用者互動平台的後續相關物件列表。
在步驟S808中,將自動串接之特定物件的軌跡資訊與歷史影像中於目前攝影畫面之拍攝時間前,且為非目前攝影機所拍攝之包含該特定物件數張攝影畫面,依序排列於使用者互動平台的先前物件串接結果中。在步驟S809中,將自動串接之特定物件的軌跡資訊與歷史影像中於目前攝影畫面之拍攝時間後,且為非目前攝影機所拍攝之包含該特定物件的數張攝影畫面,依序排列於使用者互動平台的後續物件串接結果中。
若使用發現自動串接結果錯誤,則使用者會點選後續物件列表中的關聯性並非最大的一張攝影畫面中的正確串接物件來修正。據此,在步驟S810中,判斷後續物件列表中的關聯性並非最大的一張攝影畫面是否被點選。若後續物件列表中的關聯性並非最大的一張攝影畫面未被點選,則表示物件自動串接結果為正確串接結果,並結束此攝影畫面之物件串接修正方法。
若後續物件列表中的關聯性並非最大的一張攝影畫面有被點選,則在步驟S811中,將所點選的攝影畫面顯示為目前攝影畫面,並在使用者點選目前攝影畫面的物件後,詢問使用者是否對物件自動串接的結果進行修正。若使用者不對物件自動串接的結果進行修正,則結束此攝影畫面之物件串接修正方法。若使用者確認對物件自動串接的結果進行修正,則在步驟S812中,使用者互動平台依據所點選的攝影畫面之物件產生校正資料給多攝影機監控系統,以讓多攝影機監控系統產生建議的物件串接修正結果。
之後,在步驟S813中,使用者互動平台詢問使用者是否此建議的物件串接修正結果作為特定物件的正確串接結果。若使用者認為建議的物件串接修正結果作為特定物件的正確串接結果,則在步驟S814中,將建議的物件串接修正結果作為特定物件的正確串接結果,並接著結束攝影畫面之物件串接修正方法。相反地,若使用者不認為建議的物件串接修正結果作為正確物件串接結果,則回到步驟S810中。
綜上所述,本發明實施例所提供的多攝影機監控系統具有攝影畫面之物件串接修正方法,且多攝影機監控系統具有一個使用者互動平台給予使用者操作,以使用者透過執行攝影畫面之物件串接修正方法來修正傳統多攝影機監控系統自動串接物件可能發生的錯誤。
雖然本發明之較佳實施例已揭露如上,然本發明並不受限於上述實施例,任何所屬技術領域中具有通常知識者,在不脫離本發明所揭露之範圍內,當可作些許之更動與調整,因此本發明之保護範圍應當以後附之申請專利範圍所界定者為準。
100...多攝影機監控系統
110...視訊擷取分析單元
120...視訊分析資料彙整單元
130...視訊與分析資料資料庫
140...多視訊內容分析單元
150...使用者互動平台
210...監控環境視窗
211...環境示意圖
212...播放控制單元
213...時間軸控制元件
210...攝影機列表視窗
230...監控物件視窗
231...顯示區
232...先前物件列表
233...後續物件列表
234...先前物件串接結果
235...後續物件串接結果
240...多攝影機攝影畫面視窗
241...獨子視窗
242...分割畫面
250...特定攝影機監控視窗
S800~S814...步驟流程
圖1本發明實施例提供的多攝影機安全監控系統之方塊圖。
圖2為本發明實施例之攝影畫面之物件串接修正方法於使用者互動平台上之介面的示意圖。
圖3A為本發明實施例之使用者選擇攝影機進行即時監控時之使用者互動平台上的介面示意圖。
圖3B為本發明實施例之特定攝影機監控視窗的詳細示意圖。
圖4A為本發明實施例之使用者選擇特定物件進行即時監控時之使用者互動平台上的介面示意圖。
圖4B為本發明實施例之監控物件視窗的詳細示意圖。
圖5A為本發明實施例之使用者選擇攝影機進行事後檢閱時之使用者互動平台上的介面示意圖。
圖5B為本發明實施例之特定攝影機監控視窗的詳細示意圖。
圖6A為本發明實施例之使用者選擇特定物件進行事後檢閱時之使用者互動平台上的介面示意圖。
圖6B為本發明實施例之監控物件視窗的詳細示意圖。
圖7為本發明實施例之多攝影機監控系統串接物件錯誤時的監控物件視窗之詳細示意圖。
圖8是本發明實施例攝影畫面之物件串接修正方法的流程圖。
230...監控物件視窗
231...顯示區
232...先前物件列表
233...後續物件列表
234...先前物件串接結果
235...後續物件串接結果

Claims (16)

  1. 一種攝影畫面之物件串接修正方法,用於一多攝影機監控系統中,包括:提供一使用者互動平台給一使用者,以讓該使用者透過該使用者互動平台選擇欲追蹤的一特定物件;依據一目前攝影畫面之拍攝時間前各攝影機的攝影畫面與該特定物件的相關性,將包含該特定物件之不同攝影機所取得之攝影畫面依序列於該使用者互動平台的一先前相關物件列表;依據該目前攝影畫面之拍攝時間後各攝影機的攝影畫面與該特定物件的相關性將包含該特定物件之不同攝影機所取得之攝影畫面依序列於該使用者互動平台的一後續相關物件列表;將自動串接之該特定物件的軌跡影像中於該目前攝影畫面之拍攝時間前,且為非目前攝影機所拍攝之包含該特定物件的數張攝影畫面,依序排列於該使用者互動平台的一先前物件串接結果中;將自動串接之該特定物件的軌跡影像中於該目前攝影畫面之拍攝時間後,且為非目前攝影機所拍攝之包含該特定物件的數張攝影畫面,依序排列於該使用者互動平台的一後續物件串接結果中;以及該使用者透過參考該先前相關物件列表、該後續相關物件列表、該先前物件串接結果與該後續物件串接結果判定串接結果是否正確,若發現結果有誤,則點選該物件列表中之指定修正物件,以藉此指示該多攝影機監控系統修正該特定物件的自動串接結果。
  2. 如申請專利範圍第1項所述之攝影畫面之物件串接修正方法,該使用者互動平台包括一監控物件視窗,用以呈現目前監控物件及其先前相關物件列表、後續相關物件列表以及先前物件串接結果及後續串接結果。
  3. 如申請專利範圍第1項所述之攝影畫面之物件串接修正方法,其中先前相關物件列表、後續相關物件列表、先前物件串接結果以及後續串接結果的呈現方式可為一影像序列撥放、完整物件之截圖亦或是透過疊加方式產生之物件軌跡影像。若為即時多視訊監控應用時,後續相關物件列表將呈現鄰近攝影機所拍攝之監控畫面,而後續串接結果則以空白影像呈現之。
  4. 如申請專利範圍第1項所述之攝影畫面之物件串接修正方法,更包括:獲取該多攝影機監控系統的資料庫中所紀錄之各攝影機的攝影畫面;對各攝影畫面進行分析,以獲得各攝影畫面中之各物件資訊;該多攝影機監控系統的多視訊內容分析單元計算該目前攝影畫面之拍攝時間前各攝影機的攝影畫面之物件與該特定物件的相關性;該多視訊內容分析單元計算該目前攝影畫面之拍攝時間後各攝影機的攝影畫面之物件與該特定物件的相關性;以及該多視訊內容分析單元自動地將出現於各攝影畫面的該特定物件進行串接,以獲得該特定物件的軌跡資訊與歷史影像,其中自動串接該特定物件的方式是將該特定物件與其關聯性評分最高的物件進行串接。
  5. 如申請專利範圍第1項所述之攝影畫面之物件串接修正方法,其中指示該多攝影機監控系統修正該特定物件的自動串接結果的步驟包括:該使用者互動平台依據所點選的攝影畫面之物件產生一校正資料給該多攝影機監控系統,以讓該多攝影機監控系統產生建議的物件串接修正結果;將建議的物件串接修正結果作為該物件的正確串接結果。
  6. 如申請專利範圍第1項所述之攝影畫面之物件串接修正方法,其中該使用者互動平台更包括:一監控環境視窗,包括一環境示意圖,其中該環境示意圖用以呈現該多攝影機監控系統之一整體監控環境,且用以讓該使用瞭解該監控環境的一地理特性、各攝影機的分佈位置與與該監控環境中之特定物件的行為軌跡;一攝影機列表視窗,係用以呈現各攝影機編號以及各攝影機在該監控環境中的分佈位置之間的關係;以及一多攝影機攝影畫面視窗,係用以呈現該使用者選定的數個攝影機所擷取的即時攝影畫面,亦或用以播放一資料庫中所記錄之多個選定攝影機的歷史視訊資料。
  7. 如申請專利範圍第5項所述之攝影畫面之物件串接修正方法,其中該監控環境視窗更包括:一播放控制單元,係用以對該特定物件之事後歷史軌跡追蹤、呈現與修正時得以有效地操控視訊資料的播放;以及一時間軸控制元件,用以控制該視訊資料於一特定時間點開始前後播放。
  8. 如申請專利範圍第5項所述之攝影畫面之物件串接修正方法,其中該環境示意圖為自一地理環境圖、一建築架構圖與監控設施分佈圖中選擇其中之一,或者為選擇上述部份或全部的圖進行疊合,又或者為透過三維電腦圖像來疊合上述多個圖的至少其中之一。
  9. 一種多攝影機監控系統,包括:多個視訊擷取分析單元,每一個視訊擷取單元係由一攝影機串接一視訊分析裝置所實現,配置於該多攝影機監控系統之一監控環境的各位置,其中該視訊分析裝置可由一電腦實現亦或是嵌入式系統平台進行實現;多個視訊分析資料彙整單元,每一個視訊擷取分析單元串接每一個視訊分析資料彙整單元;一視訊分析資料資料庫,串接該些視訊分析資料彙整單元;一多視訊內容分析單元,串接該視訊分析資料資料庫;以及一使用者互動平台,串接該多視訊內容分析單元,用以讓一使用者選擇欲追蹤的一特定物件,並且讓該使用者透過參考使用者互動平台所提供的一先前相關物件列表、一後續相關物件列表、一先前物件串接結果與一後續物件串接結果點選該後續物件列表中的關聯性評分並非最高的一張攝影畫面中之指定修正物件,以藉此指示該分析單元修正該特定物件的自動串接結果。
  10. 如申請專利範圍第9項所述之多攝影機監控系統,其中該使用者互動平台包括一監控物件視窗,用以呈現目前監控物件及其先前相關物件列表、後續相關物件列表以及先前物件串接結果及後續串接結果。其中前相關物件列表、後續相關物件列表以及先前物件串接結果及後續串接結果的呈現方式可為一影像序列撥放、完整物件之截圖亦或是透過疊加方式產生之物件軌跡影像。
  11. 如申請專利範圍第10項所述之多攝影機監控系統,其中該後續相關物件列表及後續串接結果在即時應用時,後續相關物件列表呈現目前監控攝影機之鄰近攝影機所提供之監控畫面,而後續串接結果則以空白影像呈現。
  12. 如申請專利範圍第9項所述之多攝影機監控系統,其中每一個視訊擷取分析單元用以拍攝其攝影機之監控區域的攝影畫面,並分析該攝影畫面中的各物件以獲得物件資訊;該視訊分析資料彙整單元用以對該些攝影畫面與該些分析結果進行資料壓縮編輯;該視訊分析資料資料庫用以儲存該些物件資訊與該些攝影畫面;該多視訊內容分析單元用以計算該目前攝影畫面之拍攝時間前後各攝影機的攝影畫面之物件與該特定物件的相關性,且用以將該特定物件與其關聯性最大的物件進行串接。
  13. 如申請專利範圍第9項所述之多攝影機監控系統,其中該使用者互動平台依據所點選的攝影畫面之物件產生一校正資料給該多攝影機監控系統,以讓該多攝影機監控系統產生建議的物件串接修正結果;接著,該使用者互動平台將建議的物件串接修正結果作為該物件的正確串接結果,並將該物件串接修正結果儲存於該資料庫中。
  14. 如申請專利範圍第9項所述之多攝影機監控系統,其中該使用者互動平台更包括:一監控環境視窗,包括一環境示意圖,其中該環境示意圖用以呈現該多攝影機監控系統之一整體監控環境,且用以讓該使用瞭解該監控環境的一地理特性、各攝影機的分佈位置與與該監控環境中之特定物件的行為軌跡;一攝影機列表視窗,係用以呈現各攝影機編號以及各攝影機在該監控環境中的分佈位置之間的關係;以及一多攝影機攝影畫面視窗,係用以呈現該使用者選定的數個攝影機所擷取的即時攝影畫面,亦或用以播放一資料庫中所記錄之多個選定攝影機的歷史視訊資料。
  15. 如申請專利範圍第14項所述之多攝影機監控系統,其中該監控環境視窗更包括:一播放控制單元,係用以對該特定物件之事後歷史軌跡追蹤、呈現與修正時得以有效地操控視訊資料的播放;以及一時間軸控制元件,用以控制該視訊資料於一特定時間點開始播放。
  16. 如申請專利範圍第13項所述之多攝影機監控系統,其中該環境示意圖為自一地理環境圖、一建築架構圖與監控設施分佈圖中選擇其中之一,或者為選擇上述部份或全部的圖進行疊合,又或者為透過三維電腦圖像來疊合呈現示意圖。
TW100149787A 2011-12-30 2011-12-30 一種串接攝影畫面以形成一物件軌跡的方法 TWI601425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW100149787A TWI601425B (zh) 2011-12-30 2011-12-30 一種串接攝影畫面以形成一物件軌跡的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100149787A TWI601425B (zh) 2011-12-30 2011-12-30 一種串接攝影畫面以形成一物件軌跡的方法

Publications (2)

Publication Number Publication Date
TW201328358A true TW201328358A (zh) 2013-07-01
TWI601425B TWI601425B (zh) 2017-10-01

Family

ID=49225389

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100149787A TWI601425B (zh) 2011-12-30 2011-12-30 一種串接攝影畫面以形成一物件軌跡的方法

Country Status (1)

Country Link
TW (1) TWI601425B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI563844B (en) * 2015-07-24 2016-12-21 Vivotek Inc Setting method for a surveillance system, setting device thereof and computer readable medium
TWI571835B (zh) * 2015-07-17 2017-02-21 Jin-Chang Yang Instantly record the transmission of the field command system
TWI589158B (zh) * 2016-06-07 2017-06-21 威聯通科技股份有限公司 監控資料的原始畫面儲存系統及其儲存方法
TWI601423B (zh) * 2016-04-08 2017-10-01 晶睿通訊股份有限公司 攝影系統及其同步方法
TWI647956B (zh) * 2017-04-11 2019-01-11 大眾電腦股份有限公司 物件追蹤系統及其方法
TWI650018B (zh) * 2017-07-18 2019-02-01 晶睿通訊股份有限公司 提供使用者介面以進行場景之監控畫面縫合之方法及其電子裝置
TWI760812B (zh) * 2020-08-10 2022-04-11 威聯通科技股份有限公司 跨感測器之物體空間對應分析方法與系統

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
GB0502369D0 (en) * 2005-02-04 2005-03-16 British Telecomm Classifying an object in a video frame
EP1867167A4 (en) * 2005-04-03 2009-05-06 Nice Systems Ltd DEVICE AND METHOD FOR SEMI-AUTOMATIC TRACKING AND INVESTIGATION OF AN OBJECT OR EVENT AT A MONITORED LOCATION

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI571835B (zh) * 2015-07-17 2017-02-21 Jin-Chang Yang Instantly record the transmission of the field command system
TWI563844B (en) * 2015-07-24 2016-12-21 Vivotek Inc Setting method for a surveillance system, setting device thereof and computer readable medium
TWI601423B (zh) * 2016-04-08 2017-10-01 晶睿通訊股份有限公司 攝影系統及其同步方法
US10097737B2 (en) 2016-04-08 2018-10-09 Vivotek Inc. Image capture system and method for synchronizing image
TWI589158B (zh) * 2016-06-07 2017-06-21 威聯通科技股份有限公司 監控資料的原始畫面儲存系統及其儲存方法
US9805272B1 (en) 2016-06-07 2017-10-31 Qnap Systems, Inc. Storage system of original frame of monitor data and storage method thereof
TWI647956B (zh) * 2017-04-11 2019-01-11 大眾電腦股份有限公司 物件追蹤系統及其方法
TWI650018B (zh) * 2017-07-18 2019-02-01 晶睿通訊股份有限公司 提供使用者介面以進行場景之監控畫面縫合之方法及其電子裝置
TWI760812B (zh) * 2020-08-10 2022-04-11 威聯通科技股份有限公司 跨感測器之物體空間對應分析方法與系統

Also Published As

Publication number Publication date
TWI601425B (zh) 2017-10-01

Similar Documents

Publication Publication Date Title
TWI601425B (zh) 一種串接攝影畫面以形成一物件軌跡的方法
US11704936B2 (en) Object tracking and best shot detection system
US10181197B2 (en) Tracking assistance device, tracking assistance system, and tracking assistance method
US10515471B2 (en) Apparatus and method for generating best-view image centered on object of interest in multiple camera images
RU2498404C2 (ru) Способ и устройство для генерирования регистрационной записи события
US9596399B2 (en) Apparatus for intelligent and autonomous video content generation and streaming
JP6397581B2 (ja) 混雑状況可視化装置、混雑状況可視化システム、混雑状況可視化方法、および混雑状況可視化プログラム
Lee et al. Hierarchical abnormal event detection by real time and semi-real time multi-tasking video surveillance system
JP5227911B2 (ja) 監視映像検索装置及び監視システム
DE112016002373T5 (de) Tracking-support-vorrichtung, tracking-support-system und tracking-support-verfahren
JP2018509016A (ja) 放送において目標を追跡及びタグ付けするためのシステム及び方法
US8724970B2 (en) Method and apparatus to search video data for an object of interest
DE112017003800T5 (de) Überwachungsunterstützungsvorrichtung, überwachungsunterstützungssystem und überwachungsunterstützungsverfahren
CN103460248B (zh) 图像处理方法和装置
CN110830756A (zh) 一种监控方法与装置
JP2018107793A (ja) 仮想視点画像の生成装置、生成方法及びプログラム
DE102006053286A1 (de) Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, Vorrichtung sowie Computerprogramm zur Durchführung des Verfahrens
US20230093631A1 (en) Video search device and network surveillance camera system including same
WO2021017496A1 (zh) 导播方法、装置及计算机可读存储介质
CN113194291A (zh) 一种基于大数据的视频监控系统及方法
JP4728795B2 (ja) 人物オブジェクト判定装置及び人物オブジェクト判定プログラム
KR101513414B1 (ko) 감시 영상 분석 방법 및 시스템
JP2007312271A (ja) 監視システム
CN103260004A (zh) 摄影画面的对象串接修正方法及其多摄影机监控系统
JP2006301995A (ja) 人物検索装置及び人物検索方法