TW201328359A - 基於壓縮域的移動物件偵測方法及裝置 - Google Patents

基於壓縮域的移動物件偵測方法及裝置 Download PDF

Info

Publication number
TW201328359A
TW201328359A TW100147187A TW100147187A TW201328359A TW 201328359 A TW201328359 A TW 201328359A TW 100147187 A TW100147187 A TW 100147187A TW 100147187 A TW100147187 A TW 100147187A TW 201328359 A TW201328359 A TW 201328359A
Authority
TW
Taiwan
Prior art keywords
moving object
external
block
external prediction
blocks
Prior art date
Application number
TW100147187A
Other languages
English (en)
Inventor
En-Jung Fam
Shen-Zheng Wang
yue-min Jiang
Cheng-Chang Lien
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW100147187A priority Critical patent/TW201328359A/zh
Priority to US13/368,342 priority patent/US20130155228A1/en
Publication of TW201328359A publication Critical patent/TW201328359A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

揭露基於壓縮域的移動物件偵測方法及裝置之實施範例。此方法及裝置係接收第一壓縮視訊資料及像素視訊資料,偵測第一壓縮視訊資料中的移動物件資訊,並將移動物件資訊與像素視訊資料進行整合,並輸出含有移動物件資訊的像素視訊資料。

Description

基於壓縮域的移動物件偵測方法及裝置
本揭露有關於一種移動物件偵測方法及裝置。
隨著近年來視訊系統技術的快速發展,即時視訊監控成了安全上的一個重要課題。而在即時視訊監控系統下,則有著許多不同的議題,像是:人車分辨(Human/Car Classification)、人數計算(People Counting)、物件追蹤(Object Tracking)等等。然而,這些議題都基於一個最基本的議題之上:移動物件偵測(Object Detection)。
傳統基於像素域上的物件偵測方法中,最常見的為建立背景模組(Background Model)來擷取移動物件,例如高斯混合模型(Gaussian mixture model,GMM)背景模組或是隱藏式馬可夫模型(Hidden Markov Model,HMM)背景模組等。這些方法皆需對畫面上的每一個像素建立模組,並且需要不斷的更新,也因而需要龐大的運算時間。雖然目前的硬體設備之下,搭配普通的攝影機勉強可達成即時運算的需求,但隨著攝影機技術的大幅成長,即時視訊監控系統邁向更高畫質的視訊畫面,傳統的像素域物件偵測方法將會因為視訊畫面像素的大量增加,終究無法滿足即時運算的要求。
此外,現今的攝影機皆將視訊畫面壓縮成譬如符合H.264格式來節省傳輸的時間,而在目前市面上之攝影機已經邁入百萬像素的時代,原本廣為使用的基線(Baseline)設定檔已逐漸被淘汰。因為在此基線設定檔中,僅使用I和P畫面進行壓縮,效能不佳,但若再加入使用B畫面進行壓縮,則可大幅提升壓縮品質及效能,故目前的攝影機已經開始改用可使用I、P和B畫面來壓縮主要(Main)或高階(High)設定檔,以追求更高的畫面品質。且有些監控系統為了追蹤移動物件,還使用動態攝影機來取代非靜態攝影機。
傳統基於像素域之物件偵測模組皆需等待解碼器將所接收的符合壓縮規格之視訊資料解壓縮為像素視訊畫面,才對這些像素視訊畫面進行移動物件偵測,但此動作需要對視訊畫面中的每一個像素建立背景模組,在現今攝影機邁入百萬像素之時代,將會非常耗時。
有鑑於此,本揭露提出一種基於壓縮域的移動物件偵測方法及裝置,藉由將在壓縮域偵測到之移動物件資訊整合到像素視訊畫面後,再提供給後端裝置進行智慧型物件分析。
本揭露一實施例提出一基於壓縮域的移動物件偵測方法。此方法係接收第一壓縮視訊資料及像素視訊資料,偵測第一壓縮視訊資料中的移動物件資訊,並將移動物件資訊與像素視訊資料進行整合,並輸出含有移動物件資訊的像素視訊資料。
本揭露一實施例提出一基於壓縮域的移動物件偵測裝置,其包括移動物件偵測模組及資訊整合模組。其中移動物件偵測模組接收第一壓縮視訊資料並偵測第一壓縮視訊資料中的移動物件資訊。資訊整合模組將移動物件資訊與接收之像素視訊資料進行整合,並輸出含有移動物件資訊的像素視訊資料。
基於上述,本揭露之基於壓縮域的移動物件偵測方法及裝置擷取其中壓縮域之視訊畫面的移動向量以進行移動物件偵測,並整合像素視訊畫面與移動物件偵測的結果於。藉此,使用者在接收到整合之視訊畫面後,即可直接從中解讀移動物件資訊,並進行後續之分析。
為讓本揭露之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本揭露提供一種可適用於動態或靜態攝影機的移動物件偵測方法及裝置,使得攝影機可依據壓縮格式之基線、主要或高階等設定檔來壓縮基於壓縮域的視訊資料。本揭露之移動物件偵測方法,可以應用在例如基於H.264壓縮域、符合MPEG-1或MPEG-2壓縮規格之包括一或多個視訊畫面的視訊資料上,但不以此為限。
圖1是依照本揭露一實施例所繪示之基於壓縮域的移動物件偵測裝置的架構圖。請參照圖1,本實施例的移動物件偵測裝置10係接收符合H.264等壓縮規格之視訊資料12,從中擷取H.264壓縮域之視訊畫面的移動向量資訊以進行移動物件偵測,且同時將輸入之視訊資料12依照H.264之規格解壓縮成像素視訊畫面。然後根據使用者之需求,依照物件偵測之結果在像素視訊畫面上標示出移動物件,或是以資訊隱藏技術將詳細的移動物件資訊藏入像素視訊畫面中,最後輸出包含移動物件資訊之像素視訊畫面14。此實施例中之移動物件偵測裝置10可取代傳統H.264解碼器和物件偵測模組,而能夠大幅提升裝置效能,並給與串接在後的智慧型物件分析模組更多的運算時間。
圖2是依照本揭露一實施例所繪示之基於壓縮域的移動物件偵測裝置方塊圖。圖3是依照本揭露一實施例所繪示之基於壓縮域的移動物件偵測方法流程圖。請同時參照圖2及圖3,本實施例之移動物件偵測裝置20包括移動物件偵測模組23和資訊整合模組24。另外,移動物件偵測裝置20亦可選擇性包括解壓縮模組22。以下即搭配圖2中的各項元件說明本實施例之移動物件偵測方法的詳細步驟:符合H.264等壓縮規格之原始壓縮視訊資料被分配為第一壓縮視訊資料及第二壓縮視訊資料,而分別提供給移動物件偵測模組23及解壓縮模組22(步驟S302)。其中,包括原始壓縮視訊資料中的設定檔、內部畫面(Intra frame,以下簡稱I畫面)、預測畫面(Predicted frame,以下簡稱P畫面)與雙向預測畫面(Bidirectional frame,以下簡稱B畫面)之第二壓縮視訊資料傳送給解壓縮模組22,同時包括P畫面和B畫面之第一壓縮視訊資料傳送給移動物件偵測模組23。
解壓縮模組22在接收到第二壓縮視訊資料之後,隨即根據此壓縮視訊資料的壓縮格式,以及所接收到的設定檔規格,例如基線(Baseline)設定檔、主要(Main)設定檔或高階(High)設定檔等規格,將所接收到的I、P或B畫面解壓縮成像素視訊畫面,並傳送至資訊整合模組24(步驟S306)。
移動物件偵測模組23在接收到第一壓縮視訊資料後,即針對其中的P及B畫面,擷取其壓縮域之部分資訊以進行移動物件偵測,而獲得移動物件資訊,並傳送至資訊整合模組24(步驟S304)。
資訊整合單元24係接收來自解壓縮模組22傳來的像素視訊畫面以及移動物件偵測模組23傳來的移動物件資訊,並將此移動物件資訊與像素視訊資料進行整合,並輸出含有此移動物件資訊的像素視訊資料(步驟S308)。其中,資訊整合單元24例如可根據移動物件資訊在像素視訊畫面上直接標示出移動物件,或是使用最不重要位元取代法(Least Significant Bit Replacement)、濕編碼(Wet Paper Code,WPC)演算法等資訊隱藏法將移動物件資訊整合在像素視訊資料內。
藉由上述的資訊整合方式,使用者在接收移動物件偵測裝置20所輸出的像素視訊畫面之後,即可很清楚的看到被標示出來的移動物件,或是可以依據資訊整合模組14所使用資訊隱藏法,將詳細的移動物件資訊從像素視訊畫面中取出,而可省去移動物件偵測的步驟,直接進行後續的智慧型物件分析等應用。藉此,移動物件偵測裝置20提供了移動物件的預先偵測機制,而可取代任何需要進行移動物件偵測之系統、架構或應用程式中的解碼器。
以H.264為例進行說明,其所有畫面皆由4×4、4×8、8×4、8×8、8×16、16×8和16×16的區塊所組成,而H.264的畫面可分為下列三種:I畫面:全部區塊皆為內部預測(Intra-Prediction),每個區塊皆無移動向量(Motion Vector)。因此,移動物件偵測模組23將不處理此種畫面。
P畫面:全部區塊採用內部預測或外部預測(Inter-Prediction),而採用外部預測的區塊只有一個移動向量,且此移動向量所參考畫面只能為之前出現的畫面(Previous Frame)。
B畫面:全部區塊採用內部預測或是外部預測,而採用外部預測的區塊有兩個移動向量,此二移動向量所參考畫面不限定為之前已出現過的畫面,也可為之後出現的畫面(Post Frame)。
本揭露例如會擷取壓縮域之P畫面和B畫面中所有採用外部預測之區塊的資訊以進行移動物件偵測。所述資訊包含畫面上每一個區塊的位置、大小、移動向量。對於B畫面而言,每一個區塊則有兩個移動向量,且還有兩個相對應的權重值。上述的資訊都會影響移動物件偵測的結果。對此,本揭露提供一套完整的移動物件偵測技術方案,可獲得較佳的移動物件偵測結果。
圖4是依照本揭露一實施例所繪示之移動物件偵測模組的方塊圖。圖5是依照本揭露一實施例所繪示之移動物件偵測方法的流程圖。請同時參照圖4及圖5,本實施例係介紹圖2中的移動物件偵測模組23實施移動物件偵測的詳細方式。移動物件偵測模組23依其功能屬性可區分為移動向量擷取單元231、正規化處理單元232、移動向量分析單元233、相似度分析單元234及物件集合單元235,以下即搭配圖4中的各項元件說明本實施例之移動物件偵測方法的詳細步驟:首先,由移動向量擷取單元231接收壓縮視訊資料,並針對其中的多個外部預測畫面,擷取各個外部預測畫面之壓縮域中多個外部預測區塊的移動向量(步驟S502)。其中,移動向量擷取單元231例如會擷取P畫面中參考之前出現畫面的移動向量,以及擷取B畫面中參考之前或之後畫面的移動向量。
接著,正規化處理單元232會針對上述外部預測區塊的移動向量進行正規化處理(步驟S504)。其中,由於每個外部預測區塊所參考的畫面可能會在兩種不同的方向上,而為了統一區塊的移動方向,正規化處理單元232會先針對所有P或B畫面的移動向量進行方向正規化。詳言之,正規化處理單元232會根據各個外部預測區塊參考畫面的參考方向,對外部預測區塊的移動向量進行參考方向的正規化處理,例如是將所有參考之前出現畫面之移動向量MV(x,y)的方向逆轉,而得到正規化的移動向量Inv(MV(x,y)),其公式如下:
Inv(MV(x,y))={MV(-x,-y)} (1)
另一方面,由於外部預測區塊所參考的畫面與區塊本身所在的畫面之間的參考距離(△t)並非固定,因此正規化處理單元232還會對所有P或B畫面的移動向量進行時間正規化。詳言之,正規化處理單元232會根據各個外部預測區塊本身所在畫面與所參考畫面之間的參考距離,對外部預測區塊的移動向量MV(x,y)進行參考距離的正規化處理,而得到正規化的移動向量Time_Norm(MV(x,y)),其公式如下:
再者,B畫面的每個區塊皆有兩個移動向量(MV1、MV2),且這兩個移動向量皆有對應的權重值(W1、W2,且W1+W2=1)。其中,B畫面的每一個區塊皆是由這兩個移動向量所對應到的參考區塊乘上對應的權重值後相加所構成的。據此,正規化處理單元232即會將各個區塊的兩個移動向量MV 1(x,y)及MV 2(x,y)分別乘上對應的權重W 1W 2後相加成為一個合併移動向量Combine(MV(x,y)),以作為此區塊的移動向量,其公式如下:
Combine(MV(x,y))={W 1×MV 1(x,y)+W 2×MV 2(x,y)} (3)
雖然移動向量在大多數的情況下可以代表物件在畫面上移動的狀況,但是實際上移動向量可以是以壓縮效能為考量來決定,因此在某些情況下並不能代表真實物件的移動狀況。為了去除這類可能的影響,本揭露一實施例會對每一個外部預測區塊的移動向量進行平均值過濾(Median Filter)。考量到H.264壓縮畫面上的區塊大小之不固定性,正規化處理單元232會針對同一張畫面中的各個外部預測區塊,計算其周圍多個相接區塊的移動向量的平均值向量,並計算外部預測區塊之移動向量與此平均值向量的差異(例如歐式距離(Euclidian Distance)),並與門檻值比較。而當此差異大於該門檻值時,正規化處理單元232即會以平均值向量取代外部預測區塊之移動向量,以下即舉一個實施例詳細說明。
圖6是依照本揭露一實施例所繪示之移動向量之平均值過濾的範例。請參照圖6,當前區塊61的大小為16×16,移動向量為(-5,9)。其周圍相接的區塊,從左上角開始順時針排序:8×4區塊62,移動向量為(3,2)、16×8區塊63,移動向量為(3,2)、8×16區塊64,移動向量為(3,2)、8×8區塊65,移動向量為(4,1)、16×8區塊66,移動向量為(3,2)、4×8區塊67,移動向量為(4,1)和8×8區塊68,移動向量為(4,1)。其中,本實施例只取直接與當前區塊61相鄰之區塊並以4×4的大小為單位,從左上角開始順時針排序的移動向量為:(3,2)、(3,2)、(3,2)、(3,2)、(3,2)、(3,2)、(3,2)、(3,2)、(4,1)、(3,2)、(3,2)、(3,2)、(4,1)、(4,1)、(4,1)、(4,1),經由四捨五入後可得這些移動向量的平均值向量為(3,2)。此平均值向量與原本移動向量(-5,9)之間的歐式距離很大,故本實施例即將當前區塊61的移動向量改為(3,2)。
回到圖5的流程,接著由移動向量分析單元233利用正規化後的外部預測區塊的移動向量計算一個廣域移動向量,並用以移除外部預測區塊中屬於背景的區塊(步驟S506)。其中,移動向量分析單元233係以此廣域移動向量作為分辨畫面中可能屬於移動物件的區塊的依據。
圖7是依照本揭露一實施例所繪示之利用廣域移動向量分辨移動物件區塊的方法流程圖。請參照圖7,移動向量分析單元233將同一畫面中所有移動向量標記為非移動物件向量(步驟S702),計算各個非移動物件向量的平均值向量(步驟S704),計算各個非物件向量與平均值向量的差異(例如歐式距離標準差)(步驟S706),並與一門檻值(例如標準差的兩倍)比較,而判斷所計算的差異是否大於門檻值(步驟S708)。其中,若判斷該差異大於門檻值,則移動向量分析單元233會將對應的非移動物件向量移除(步驟S710),並回到步驟S704,繼續判斷另一個非移動物件向量是否需要移除。直到在步驟S706中判斷沒有非移動物件向量被移除時,移動向量分析單元233才會使用最後計算的平均值向量來做為代表所有外部預測區塊的廣域移動向量(步驟S712)。
計算出廣域移動向量後,移動向量分析單元233即會計算所有移動向量與此廣域移動向量之間的歐式距離標準差,最後再將此標準差當成邊界值,將與廣域移動向量之歐式距離大於此標準差的移動向量對應之區塊,標記為可能屬於移動物件之區塊。
回到圖5的流程,接著由相似度分析單元234利用相似度分析法計算各個外部預測區塊的相似度,據以判定外部預測區塊是否屬於移動物件(步驟S508)。其中,所述的相似度分析法包括時間相似度的分析(Temporal Correlation Analysis)以及空間相似度的分析(Spatial Correlation Analysis),茲分述如下:對於外部預測區塊的時間相似度分析,相似度分析單元234會判斷各個外部預測區塊於前一張畫面及後一張畫面中相同位置的兩個對應區塊是否為移動物件,而在這兩個對應區塊均不屬於移動物件時,判定外部預測區塊不屬於移動物件,反之則判定外部預測區塊屬於移動物件。
對於外部預測區塊的空間相似度分析,相似度分析單元234係針對同一個畫面中的各個外部預測區塊,分別計算其與周圍多個相接區塊的相似度(例如歐式距離相似度),而在相似度最高的相接區塊不屬於移動物件時,判定該外部預測區塊不屬於移動物件,反之則判定該外部預測區塊屬於移動物件。
物件集合單元235會將被判定屬於移動物件且彼此相接的外部預測區塊集合為移動物件區塊,而生成移動物件資訊(步驟S510)。詳言之,對於每一個尚未找到所屬集合的移動物件區塊,物件集合單元235會建立一個新集合,並對此集合中尚未處理過的區塊檢查其周圍相接之區塊是否有可信賴的屬於移動物件之區塊。若有,則納入該集合之中。物件集合單元235將重複這個動作直到集合中沒有未處理過的區塊為止。
需說明的是,上述集合中可能包含一個以上的移動物件,為了能夠完整的分離出來,物件集合單元235還會對集合中所有區塊的移動向量進行直方圖(Histogram)分析。在此直方圖中,每一個鋒(Pick)都代表一個物件,而依據此結果,物件集合單元235即可將集合分割開來,使得分割後的區塊成為完整的移動物件。
上述每一個集合即代表一個物件,物件集合單元235會計算其所包含區塊的移動向量平均值,並以此值代表此物件的移動方向。最後,物件集合單元235會將總共有幾個物件以及每一個物件的物件位置、物件大小、移動方向和移動物件所包含區塊的分析數據傳至資訊整合單元24。
藉由上述方法,即可獲得移動物件偵測結果,而此結果可由資訊整合單元24譬如利用資訊隱藏法或其他方法整合到解壓縮模組22解壓縮後的像素視訊畫面中,使得該像素視訊畫面本身即帶有移動物件資訊。其中,資訊整合單元24例如是採用最不重要位元取代法,將移動物件資訊依序取代像素視訊資料中像素視訊畫面的每一個像素之像素值的最後多個位元,以下即舉一實施例詳細說明。
資訊整合單元24在使用最不重要位元取代法時,例如是將移動物件資訊的多個位元依次從左到右,從上到下取代像素視訊畫面的每一個像素之RGB值的最後三個位元(每一個像素可以藏9個位元)。舉例來說,若移動物件資訊為(1,19,18,32,3,4,2,16,16,19,18,3,4,8,8,25,18,3,4)。第一個1代表總共一個物件;接著的19、18代表物件位置為(19,18);32代表物件大小為32個4×4區塊;3、4代表移動方向為(3,4);2代表包含兩個區塊;16、16代表第一個區塊的大小為16×16;19、18代表第一個區塊位置為(19,18);3、4代表第一個區塊移動向量為(3,4);8、8代表第二個區塊大小為8×8;25、18代表第二個區塊位置為(25,18);3、4代表第二個區塊移動向量為(3,4)。
首先,將移動物件資訊的第一個數字1轉換成9位元:110=0000000012,然後從高位元開始依次以三個位元為一組(000,000,001),取代最左上角像素之R、G、B值(11111111,11111111,11111111)的最後三個位元,即(11111000,11111000,11111001)。接著,將移動物件資訊的第二個數字比照第一個數字的方法藏入最左上角像素右邊的像素之R、G、B值中。以此類推,剩餘的移動物件資訊可從左到右,從上到下依次藏入像素之R、G、B值中。最後,即可將包含移動物件資訊的像素視訊畫面輸出。
綜上所述,本揭露之基於壓縮域的移動物件偵測方法一實施例,可藉由對壓縮視訊資料中每張畫面上區塊的移動向量作時間及空間的正規化,再利用正規化過後的移動向量計算出畫面的廣域移動向量,據以分辨出可能屬於移動物件的區塊。接著,對可能屬於移動物件的區塊進行時間及空間上之周圍區塊相似度分析,來移除不可信賴的可能屬於移動物件的區塊。然後,使用一區域成長方法來將可信賴的畫面上所有的移動物件區塊分成多個區塊集合。最後,則針對每一個區塊集合進行直方圖分析來切割出完整的移動物件,並紀錄每一個移動物件之物件位置、物件大小、移動方向和物件所包含的區塊之分析數據。據此,本揭露實施方法不受限於靜態攝影機之外,也能處理使用基線以外設定檔之H.264、MPEG-1或MPEG-2等壓縮格式的視訊資料。
雖然已以實施範例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本揭露之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10、20...移動物件偵測裝置
12...符合H.264等壓縮規格之視訊資料
14...包含移動物件資訊之像素視訊畫面
22...解壓縮模組
23...移動物件偵測模組
24...資訊整合模組
231...移動向量擷取單元
232...正規化處理單元
233...移動向量分析單元
234...相似度分析單元
235...物件集合單元
61~68...區塊
S302~S308...本揭露一實施例之移動物件偵測方法的步驟
S502~S510...本揭露一實施例之移動物件偵測方法的步驟
S702~S712...本揭露一實施例之利用廣域移動向量分辨移動物件區塊的方法步驟
圖1是依照本揭露一實施例所繪示之基於壓縮域的移動物件偵測裝置架構圖。
圖2是依照本揭露一實施例所繪示之基於壓縮域的移動物件偵測裝置方塊圖。
圖3是依照本揭露一實施例所繪示之基於壓縮域的移動物件偵測方法流程圖。
圖4是依照本揭露一實施例所繪示之移動物件偵測模組的方塊圖。
圖5是依照本揭露一實施例所繪示之移動物件偵測方法的流程圖。
圖6是依照本揭露一實施例所繪示之移動向量之平均值過濾的範例。
圖7是依照本揭露一實施例所繪示之利用廣域移動向量分辨移動物件區塊的流程圖。
S302~S308...本揭露一實施例之移動物件偵測方法的步驟

Claims (32)

  1. 一種基於壓縮域的移動物件偵測方法,包括下列步驟:接收第一壓縮視訊資料及像素視訊資料;偵測該第一壓縮視訊資料中的移動物件資訊;整合該移動物件資訊與該像素視訊資料;以及輸出含有該移動物件資訊的該像素視訊資料。
  2. 如申請專利範圍第1項所述之基於壓縮域的移動物件偵測方法,其中偵測該第一壓縮視訊資料中的該移動物件資訊的步驟包括:針對該第一壓縮視訊資料的多個外部預測畫面,擷取各該些外部預測畫面之一壓縮域中多個外部預測區塊的移動向量;針對該些外部預測區塊的移動向量進行一正規化處理;利用正規化後的該些外部預測區塊的移動向量計算一廣域移動向量,而用以移除該些外部預測區塊中屬於背景的區塊;利用一相似度分析法計算各該些外部預測區塊的一相似度,據以判定該外部預測區塊是否屬於移動物件;以及集合被判定屬於移動物件且彼此相接的外部預測區塊為移動物件區塊,而生成該移動物件資訊。
  3. 如申請專利範圍第2項所述之基於壓縮域的移動物件偵測方法,其中針對該些外部預測區塊的移動向量進行該正規化處理的步驟包括:根據各該些外部預測區塊參考畫面的一參考方向,對該些外部預測區塊的移動向量進行該參考方向的正規化處理。
  4. 如申請專利範圍第2項所述之基於壓縮域的移動物件偵測方法,其中針對該些外部預測區塊的移動向量進行該正規化處理的步驟包括:根據各該些外部預測區塊本身所在的外部預測畫面與所參考的外部預測畫面之間的一參考距離,對該些外部預測區塊的移動向量進行該參考距離的正規化處理。
  5. 如申請專利範圍第2項所述之基於壓縮域的移動物件偵測方法,其中針對該些外部預測區塊的移動向量進行該正規化處理的步驟包括:將各該些外部預測區塊的兩個移動向量分別乘上對應的權重後相加成為一合併移動向量,以作為該外部預測區塊的移動向量。
  6. 如申請專利範圍第2項所述之基於壓縮域的移動物件偵測方法,其中針對該些外部預測區塊的移動向量進行該正規化處理的步驟包括:針對同一外部預測畫面中的各該些外部預測區塊,計算其周圍多個相接區塊的移動向量的一平均值向量;計算該外部預測區塊之移動向量與該平均值向量的一差異,並與一門檻值比較;以及當該差異大於該門檻值時,以該平均值向量取代該外部預測區塊之移動向量。
  7. 如申請專利範圍第2項所述之基於壓縮域的移動物件偵測方法,其中利用正規化後的該些外部預測區塊的移動向量計算該廣域移動向量,而用以移除該些外部預測區塊中屬於背景的區塊的步驟包括:標記該些外部預測區塊的所有移動向量為非移動物件向量;計算所有非移動物件向量的一平均值向量;計算各該些非移動物件向量與該平均值向量的一差異,並與一門檻值比較;移除該差異大於該門檻值的非移動物件向量;以及重複上述步驟,直到沒有非移動物件向量被移除時,以最後計算的該平均值向量作為該些外部預測區塊的該廣域移動向量。
  8. 如申請專利範圍第2項所述之基於壓縮域的移動物件偵測方法,其中利用該相似度分析法計算各該些外部預測區塊的該相似度,據以判定該外部預測區塊是否屬於移動物件的步驟包括:判斷各該些外部預測區塊於一前一畫面及一後一畫面中相同位置之兩個對應區塊是否為移動物件;以及若該兩個對應區塊均不屬於移動物件,則判定該外部預測區塊不屬於移動物件,反之則判定該外部預測區塊屬於移動物件。
  9. 如申請專利範圍第2項所述之基於壓縮域的移動物件偵測方法,其中利用該相似度分析法計算各該些外部預測區塊的該相似度,據以判定該外部預測區塊是否屬於移動物件的步驟包括:針對同一外部預測畫面中的各該些外部預測區塊,分別計算其與周圍多個相接區塊的一相似度;以及若該相似度最高的相接區塊不屬於移動物件,則判定該外部預測區塊不屬於移動物件,反之則判定該外部預測區塊屬於移動物件。
  10. 如申請專利範圍第2項所述之基於壓縮域的移動物件偵測方法,其中集合被判定屬於移動物件且彼此相接的外部預測區塊為移動物件區塊,而生成該移動物件資訊的步驟包括:針對各該些移動物件區塊中所有區塊的移動向量進行一直方圖分析;以及依據該直方圖分析的結果,分割該移動物件區塊為完整的移動物件。
  11. 如申請專利範圍第1項所述之基於壓縮域的移動物件偵測方法,其中該像素視訊資料係被解壓縮自第二壓縮視訊資料。
  12. 如申請專利範圍第11項所述之基於壓縮域的移動物件偵測方法,其中解壓縮該第二壓縮視訊資料為該像素視訊資料的步驟包括:依據該第二壓縮視訊資料的一設定檔規格,解壓縮該第二壓縮視訊資料的多個內部預測畫面及多個外部預測畫面為多個像素視訊畫面,而生成該像素視訊資料。
  13. 如申請專利範圍第12項所述之基於壓縮域的移動物件偵測方法,其中該設定檔規格包括基線(Baseline)設定檔、主要(Main)設定檔或高階(High)設定檔。
  14. 如申請專利範圍第1項所述之基於壓縮域的移動物件偵測方法,其中整合該移動物件資訊與該像素視訊資料的步驟包括:利用一最不重要位元取代法,將該移動物件資訊依序取代該像素視訊資料中一或多個像素視訊畫面的每一個像素之像素值的最後多個位元。
  15. 如申請專利範圍第1項所述之基於壓縮域的移動物件偵測方法,其中該第一壓縮視訊資料包括P畫面和B畫面。
  16. 如申請專利範圍第11項所述之基於壓縮域的移動物件偵測方法,其中該第二壓縮視訊資料包括I畫面、P畫面、B畫面和設定檔。
  17. 一種基於壓縮域的移動物件偵測裝置,包括:一移動物件偵測模組,接收第一壓縮視訊資料並偵測該第一壓縮視訊資料中的移動物件資訊;以及一資訊整合模組,整合該移動物件資訊與接收之像素視訊資料,並輸出含有該移動物件資訊的該像素視訊資料。
  18. 如申請專利範圍第17項所述之基於壓縮域的移動物件偵測裝置,其中該移動物件偵測模組包括:一移動向量擷取單元,針對該第一壓縮視訊資料的多個外部預測畫面,擷取各該些外部預測畫面之一壓縮域中多個外部預測區塊的移動向量;一正規化處理單元,針對該些外部預測區塊的移動向量進行一正規化處理;一移動向量分析單元,利用正規化後的該些外部預測區塊的移動向量計算一廣域移動向量,而用以移除該些外部預測區塊中屬於背景的區塊;一相似度分析單元,利用一相似度分析法計算各該些外部預測區塊的一相似度,據以判定該外部預測區塊是否屬於移動物件;以及一物件集合單元,集合被判定屬於移動物件且彼此相接的外部預測區塊為移動物件區塊,而生成該移動物件資訊。
  19. 如申請專利範圍第18項所述之基於壓縮域的移動物件偵測裝置,其中該正規化處理單元包括根據各該些外部預測區塊參考畫面的一參考方向,對該些外部預測區塊的移動向量進行該參考方向的正規化處理。
  20. 如申請專利範圍第18項所述之基於壓縮域的移動物件偵測裝置,其中該正規化處理單元包括根據各該些外部預測區塊本身所在的外部預測畫面與所參考的外部預測畫面之間的一參考距離,對該些外部預測區塊的移動向量進行該參考距離的正規化處理。
  21. 如申請專利範圍第18項所述之基於壓縮域的移動物件偵測裝置,其中該正規化處理單元包括將各該些外部預測區塊的兩個移動向量分別乘上對應的權重後相加成為一合併移動向量,以作為該外部預測區塊的移動向量。
  22. 如申請專利範圍第18項所述之基於壓縮域的移動物件偵測裝置,其中該正規化處理單元包括針對同一外部預測畫面中的各該些外部預測區塊,計算其周圍多個相接區塊的移動向量的一平均值向量,並計算該外部預測區塊之移動向量與該平均值向量的一差異,並與一門檻值比較,而當該差異大於該門檻值時,以該平均值向量取代該外部預測區塊之移動向量。
  23. 如申請專利範圍第18項所述之基於壓縮域的移動物件偵測裝置,其中該移動向量分析單元包括標記該些外部預測區塊的所有移動向量為非移動物件向量,計算所有非移動物件向量的一平均值向量,計算各該些非移動物件向量與該平均值向量的一差異,並與一門檻值比較,而移除該差異大於該門檻值的非移動物件向量,以及重複上述步驟,直到沒有非移動物件向量被移除時,以最後計算的該平均值向量作為該些外部預測區塊的該廣域移動向量。
  24. 如申請專利範圍第18項所述之基於壓縮域的移動物件偵測裝置,其中該相似度分析單元包括判斷各該些外部預測區塊於一前一畫面及一後一畫面中相同位置之兩個對應區塊是否為移動物件,而在該兩個對應區塊均不屬於移動物件時,判定該外部預測區塊不屬於移動物件,反之則判定該外部預測區塊屬於移動物件。
  25. 如申請專利範圍第18項所述之基於壓縮域的移動物件偵測裝置,其中該相似度分析單元包括針對同一外部預測畫面中的各該些外部預測區塊,分別計算其與周圍多個相接區塊的一相似度,而在該相似度最高的相接區塊不屬於移動物件時,判定該外部預測區塊不屬於移動物件,反之則判定該外部預測區塊屬於移動物件。
  26. 如申請專利範圍第18項所述之基於壓縮域的移動物件偵測裝置,其中該物件集合單元包括針對各該些移動物件區塊中所有區塊的移動向量進行一直方圖分析,並依據該直方圖分析的結果,分割該移動物件區塊為完整的移動物件。
  27. 如申請專利範圍第17項所述之基於壓縮域的移動物件偵測裝置,其中包括一解壓縮模組,解壓縮第二壓縮視訊資料為該像素視訊資料。
  28. 如申請專利範圍第27項所述之基於壓縮域的移動物件偵測裝置,其中該解壓縮模組包括依據該第二壓縮視訊資料的一設定檔規格,解壓縮該第二壓縮視訊資料的多個內部預測畫面及多個外部預測畫面為多個像素視訊畫面,而生成該像素視訊資料。
  29. 如申請專利範圍第28項所述之基於壓縮域的移動物件偵測裝置,其中該設定檔規格包括基線設定檔、主要設定檔或高階設定檔。
  30. 如申請專利範圍第17項所述之基於壓縮域的移動物件偵測裝置,其中該資訊整合模組包括利用一最不重要位元取代法,將該移動物件資訊依序取代該像素視訊資料中一或多個像素視訊畫面的每一個像素之像素值的最後多個位元。
  31. 如申請專利範圍第17項所述之基於壓縮域的移動物件偵測裝置,其中該第一壓縮視訊資料包括P畫面和B畫面。
  32. 如申請專利範圍第27項所述之基於壓縮域的移動物件偵測裝置,其中該第二壓縮視訊資料包括I畫面、P畫面、B畫面和設定檔。
TW100147187A 2011-12-19 2011-12-19 基於壓縮域的移動物件偵測方法及裝置 TW201328359A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100147187A TW201328359A (zh) 2011-12-19 2011-12-19 基於壓縮域的移動物件偵測方法及裝置
US13/368,342 US20130155228A1 (en) 2011-12-19 2012-02-08 Moving object detection method and apparatus based on compressed domain

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100147187A TW201328359A (zh) 2011-12-19 2011-12-19 基於壓縮域的移動物件偵測方法及裝置

Publications (1)

Publication Number Publication Date
TW201328359A true TW201328359A (zh) 2013-07-01

Family

ID=48609753

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100147187A TW201328359A (zh) 2011-12-19 2011-12-19 基於壓縮域的移動物件偵測方法及裝置

Country Status (2)

Country Link
US (1) US20130155228A1 (zh)
TW (1) TW201328359A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201113527D0 (en) * 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
US8855436B2 (en) * 2011-10-20 2014-10-07 Xerox Corporation System for and method of selective video frame compression and decompression for efficient event-driven searching in large databases
US9159362B2 (en) * 2013-03-15 2015-10-13 Disney Enterprises, Inc. Method and system for detecting and recognizing social interactions in a video
CN104427337B (zh) * 2013-08-21 2018-03-27 杭州海康威视数字技术股份有限公司 基于目标检测的感兴趣区域视频编码方法及其装置
KR20170096088A (ko) * 2016-02-15 2017-08-23 삼성전자주식회사 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
US10638124B2 (en) * 2017-04-10 2020-04-28 Intel Corporation Using dynamic vision sensors for motion detection in head mounted displays
CN110796662B (zh) * 2019-09-11 2022-04-19 浙江大学 一种实时的语义视频分割方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW321748B (zh) * 1994-02-23 1997-12-01 Rca Thomson Licensing Corp
JP3994445B2 (ja) * 1995-12-05 2007-10-17 ソニー株式会社 動きベクトル検出装置及び動きベクトル検出方法
US5793985A (en) * 1996-06-17 1998-08-11 Hewlett-Packard Company Method and apparatus for block-based motion estimation
JPH10213932A (ja) * 1997-01-31 1998-08-11 Minolta Co Ltd 複写装置
SG89282A1 (en) * 1999-05-28 2002-06-18 Kent Ridge Digital Labs Motion information extraction system
US8135177B2 (en) * 2005-09-27 2012-03-13 Koninklijke Philips Electronics, N.V. Motion detection device

Also Published As

Publication number Publication date
US20130155228A1 (en) 2013-06-20

Similar Documents

Publication Publication Date Title
TW201328359A (zh) 基於壓縮域的移動物件偵測方法及裝置
US20230030020A1 (en) Defining a search range for motion estimation for each scenario frame set
Singh et al. Muhavi: A multicamera human action video dataset for the evaluation of action recognition methods
US8675065B2 (en) Video monitoring system
EP2326091B1 (en) Method and apparatus for synchronizing video data
Bleiweiss et al. Fusing time-of-flight depth and color for real-time segmentation and tracking
US8938092B2 (en) Image processing system, image capture apparatus, image processing apparatus, control method therefor, and program
JP5478047B2 (ja) 映像データ圧縮前処理方法およびこれを用いた映像データ圧縮方法と映像データ圧縮システム
Yeo et al. High-speed action recognition and localization in compressed domain videos
JP2008165792A (ja) 画像処理方法及び装置
Santamaria et al. A comparison of block-matching motion estimation algorithms
JP2013510462A5 (zh)
JP2012239085A (ja) 画像処理装置、画像処理方法
Jiang et al. Surveillance video analysis using compressive sensing with low latency
CN104796580B (zh) 一种基于选择集成的实时稳像视频巡检系统
KR20100068529A (ko) 장면 전환 검출 시스템 및 방법
JP6829412B1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
Laumer et al. Moving object detection in the H. 264/AVC compressed domain
Ko et al. An energy-quality scalable wireless image sensor node for object-based video surveillance
Kroneman et al. Accurate pedestrian localization in overhead depth images via Height-Augmented HOG
JP2006202209A (ja) 画像圧縮方法および画像圧縮装置
Fonseca et al. Face detection in the compressed domain
CN101894379A (zh) 一种针对大帧间运动视频的特征点运动分割方法和装置
KR101220003B1 (ko) 시차 맵 생성 방법
CN110728173A (zh) 基于感兴趣目标显著性检测的视频传输方法和装置