TWI393076B - 視訊分析技術 - Google Patents
視訊分析技術 Download PDFInfo
- Publication number
- TWI393076B TWI393076B TW098131314A TW98131314A TWI393076B TW I393076 B TWI393076 B TW I393076B TW 098131314 A TW098131314 A TW 098131314A TW 98131314 A TW98131314 A TW 98131314A TW I393076 B TWI393076 B TW I393076B
- Authority
- TW
- Taiwan
- Prior art keywords
- pixel
- interest
- pixels
- binary mask
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 44
- 238000004458 analytical method Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 42
- 238000005516 engineering process Methods 0.000 claims description 40
- 230000002776 aggregation Effects 0.000 claims description 16
- 238000004220 aggregation Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 11
- 238000003672 processing method Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000007480 spreading Effects 0.000 description 3
- 238000003892 spreading Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本發明係關於一種用於有效率實行視訊分析技術作業之方法、一種對應的電腦程式及一種相機。
視訊分析技術或視訊內容分析之範圍係自視訊動作偵測與音訊偵測至更為先進系統,其包括相機破壞偵測、人數計數、跨越關注線條或區域之物件偵測、車輛牌照辨識、視訊成為前景與背景部分之分段、追蹤物體、交通分析、元(meta)資料擷取、生物特徵量測應用、與臉部辨識。視訊分析技術係亦使監視系統為更有智慧以降低大量的影像資料至可管理程度。舉例而言,智慧型視訊監視系統係可即時自動分析且標記監視視訊、偵測可疑活動、起始視訊記錄、啟動警報器或其他行動以警示操作者或其他人員。
於監視應用,視訊分析技術係經常用以偵測動作。動作偵測係一種藉由分析影像資料以定義於一個場景的活動之方式,且可為實行於監視相機的整個視野或於使用者定義的關注區域。甚者,具有動作偵測能力之一視訊監視系統相較於操作人員係能夠較為可靠偵測動作,且因此能夠使操作人員得以解脫而免於長時間凝視多個視訊監視器。而具有動作偵測能力之一視訊監視系統係能夠運用一視覺指示器、一音訊指示器、或是二者以當動作為測得時而警示該操作者。該種監視系統係亦可將一監視相機自動對焦於測得該動作的區域以得到一較詳細的影像。
如為由本發明人所認知能夠實行視訊分析技術之一網路相機係將降低一集中式影像處理系統的工作負載、且節省有價值的網路頻寬。該網路相機係將允許真實事件驅動監視系統,其中藉由該相機之動作偵測可觸發事先定義的自動處理,諸如調整溫度、啟動警報器、鎖門/開門等。
然而因為視訊分析技術經常必須將交數個相當簡單運算實行於大量像素資料,所以目前方法係無助於諸如網路相機之行動式或嵌入式應用。快速降低於視訊分析技術所處理的資料量(像素數量)之習用方法係已經發展以降低CPU處理負擔。
此一習用方法係依序通過於一影像的所有像素以識別其所關注像素。若該像素係非為關注,該種方法係移動至下一個像素以供分析。於此上下文,“關注(of interest)”係意指的是:該像素係含有相關於其進行分析之資訊,例如:動作資訊。若該像素為關注,則該種方法係在移動至下一個像素之前而實行於該像素之相關作業。因此,此種方法係將一像素之視訊分析技術處理套疊於識別關注像素的常式內。舉例而言,於一種濾波器之情形,儘管該濾波器係選擇性施加至僅所關注像素,該種濾波器係仍然一次僅施加至一個關注像素。
諸多現代處理器係能夠實行單指令多資料(SIMD,Single Instruction,Multiple Data)指令,藉以並行處理多個資料欄位且提高效能。於具有SIMD指令能力之處理器,各個暫存器係分割為至少二個欄位。各個欄位係代表其為無關於其他欄位的資料之資料。舉例而言,於一視訊分析技術背景,各個欄位係可代表一各別像素。由於處理器係能夠執行一SIMD指令於整個暫存器,於該暫存器之欄位所含有的像素係同時處理。因此,相較於一種通用處理器之效能,一種能夠SIMD的處理器之效能係可為顯著較佳。
然而,如為由本發明人所認知的是:選擇將作處理的像素之上述的習用方法係非為相當適用於SIMD指令處理。因為該種方法係套疊該視訊分析技術處理於像素選擇常式之內,一種能夠SIMD的處理器係以極為相同於通用處理器之方式而強制為一次處理一個選擇的像素,因而使得藉由運用SIMD指令所得到的優點為無效。
習用視訊分析技術之上述無效率的結果係在於:具有高處理能力之強大的電腦系統係仍為較佳以實行視訊分析技術功能,諸如:濾波與動作偵測。因此,此等方法係非為相當適用於網路相機之視訊分析技術的局部實施。
一種典型的視訊監視系統係包括藉由一網路所連接至一中央處理單元之多個視訊監視相機,網路係諸如一IP式網路。通常,IP式網路係非專用於視訊監視系統,而是共用於其他基於網路的應用,諸如:電子郵件、網頁瀏覽、資料庫系統、與類似者。於該視訊監視系統為運用由中央處理單元所實行的習用視訊分析技術之情形,各個相機係必須提供一未處理的視訊影像串流至中央處理單元。此舉係加諸大量視訊資料於具有大量資料流量之網路,需要其可能若由其他網路應用所使用的頻寬。
此揭露內容係提出一種用於選擇自一影像的關注像素之方法、電腦程式、及相機,適用於可SIMD處理器,因而解決於此技術之前述缺點。
根據本發明之一種用於視訊分析技術處理的示範系統係包括:一像素聚集單元,其藉由運用一種預定二元遮罩聚集自一影像的複數個關注像素。預定二元遮罩係用以定義於影像上之關注像素的位置。一電子記憶體係儲存該等關注像素為一像素矩陣,其含有僅為相鄰配置於其的關注像素。一資料處理器係無關於像素聚集單元而實行視訊分析技術處理於該像素矩陣,且一像素散佈單元係根據預定遮罩將已處理後的像素散佈回影像。
此揭露內容係參考伴隨圖式以描述一較佳實施例。
圖1係根據此揭露內容的一個示範實施例之一種視訊分析技術系統10的示意圖。視訊分析技術系統10係包括:一聚集單元3,用於聚集關注像素;一散佈單元4,用於在一旦處理為完成時而散佈關注像素;一電子記憶體2,用於儲存關注像素;及,一資料處理器1,用於實行視訊分析技術處理。所有上述的構件係由一資料匯流排5所互連。
視訊分析技術系統10係可實施於一種個人計算裝置,諸如:運用一奔騰(Pentium)處理器之個人電腦(PC)。聚集單元3與散佈單元4之指令集係可提供為公用應用程式、背景常駐程式或一作業系統的構成要素、或連同於一處理器與作業系統所執行之其組合者,作業系統係諸如:Microsoft、Unix、Solaris、Linux、Apple MAC-OS、與熟悉此技術人士所習知的其他系統。
電子記憶體2係可為構成PC不可或缺之動態或靜態的隨機存取記憶體(RAM),或可為其他的記憶體裝置,諸如:快閃記憶體(Flash)、電氣可抹除可程式唯讀記憶體(EEPROM)、光碟、伺服器、與類似者。該種記憶體係亦可為可拆卸自視訊分析技術處理系統。
圖2係根據此個實施例之一種客戶電腦、或監視中心電腦的示意圖。該種電腦係包括一計算裝置100,一鍵盤112、指向裝置111與一顯示器110係連接至計算裝置100。
計算裝置100係包括:一處理器101,其實行控制處理且關連於一主記憶體105以供所處理資料之暫時儲存;及,一ROM 106,其儲存由處理器101所執行的指令。一磁碟控制器107係控制至少一個磁碟108與一CD-ROM 109,其中視訊序列係可在處理之前與之後而為儲存。一顯示控制器104係運用以控制一外部顯示器,且一I/O介面102係運用以控制其他的外部裝置,諸如:鍵盤112、指向裝置111與顯示器110。一匯流排103係互連所有此等構件。
計算裝置100係可例如為其運用一奔騰處理器之一PC。儲存於ROM 106之指令集係可提供為公用應用程式、背景常駐程式或一作業系統的構成要素、或連同於一處理器與作業系統所執行之其組合者,作業系統係諸如:Microsoft、Unix、Solaris、Linux、Apple MAC-OS、與熟悉此技術人士所習知的其他系統。
計算裝置100之主記憶體105係可為構成PC不可或缺之動態或靜態的隨機存取記憶體(RAM),或可為其他記憶體裝置,諸如:快閃記憶體、電氣可抹除可程式唯讀記憶體、光碟、伺服器、與類似者。此外,主記憶體105之至少部分者係亦可為可拆卸自視訊動作偵測系統。
視訊分析技術處理系統係亦可實施於諸如:FPGA、ASIC、微控制器、PLD之硬體裝置、或習知於此技術的其他該等裝置。
圖3係描繪根據此揭露內容的一個示範實施例之視訊分析技術處理方法。該種視訊分析技術處理方法係具有三個階段:聚集像素、處理像素、及散佈像素。於聚集階段22,一個二元遮罩23係運用以聚集自一影像21之針對於視訊分析技術處理所選擇的像素。二元遮罩23係一種位元映像(bitmap),其運用1(one)與0(zero)以定義該等關注像素的像素位置。各個像素係由二元遮罩23之單一個位元所代表。具有值1之一位元係定義其選擇為用於處理的一像素(即:一“關注(of interest)”像素)而具有值0之一位元係定義其未選擇為用於處理的一像素。然而,相反的情形係亦可為用於此揭露內容,即:一關注像素係可由一0值所表示且其可能為未作處理之一像素係由一1值所表示。
運用二元遮罩23以識別關注像素係極為有效率,由於該二元遮罩的數個像素位置係可為同時測試。圖4係施加二元遮罩至一影像的流程圖。於此個實例,一32位元暫存器係運用,但是此過程係可運用任何長度的暫存器。該過程係開始於步驟S40。於步驟S41,一暫存器係載入其對應於32個影像像素之32個二元遮罩位元。於步驟S42,該暫存器係相較於零(0),正如於此實例,一0值係定義其未選擇為用於處理之一像素。若該暫存器係等於0,該過程係繼續至步驟S51以確定該遮罩之結束是否為已經到達。若該遮罩之結束為已經到達,則該過程係結束於步驟S53。
然而,若存在待處理的多個遮罩位元(且因此為像素),確定32個遮罩位元之方塊為檢驗之一指向器係於步驟S52而前進為32,且該過程係返回至步驟S41以載入一組新的32個遮罩位元至該暫存器。若該暫存器係於步驟S42為不等於0,暫存器係於步驟S43而分割為二個16位元的字組,即:一最高有效字組(MSW,Most Significant Word)與一最低有效字組(LSW,Least Significant Word)。於步驟S44,該MSW係相較於0。若該MSW係不等於0,則於步驟S45而分割為二個8位元的位元組,即:一最高有效位元組(MSB,Most Significant Byte)與一最低有效位元組(LSB,Least Significant Byte)。於步驟S46,該MSB係相較於0,且若該MSB係不等於0,則於步驟S47進行線性搜尋以識別非零的位元。然後,類似的一連串步驟係針對於LSB而執行於步驟S49與S47。在回復至步驟S51之前,非零的像素係於步驟S48而儲存為“關注像素”。
一個類似過程係針對於LSW而執行,開始於步驟S50。一旦所有的關注像素係聚集,且該遮罩之結束係到達,則該過程係結束於步驟S53。
儘管於上述的實例僅有二個階層的分割係運用(即:自32個位元至16個位元及自16個位元至8個位元),另外的分割階層係可能,或較少個階層的分割係可運用。替代而言,暫存器係可直接為線性搜尋而無須實行任何分割。於此種情形,分割係意指自一較大群的像素以創造其像素數目為相等之二群像素。舉例而言,一群8個位元之一第一階層的分割係形成二群4個位元,諸如此類。
於上述的像素聚集,由二元遮罩23所定義的關注像素係聚集於一事先定義順序而成為一陣列以供進一步處理。舉例而言,該等像素係可自左至右聚集而成一維陣列。然而,關於相鄰像素的資訊係喪失於垂直方向,且針對於一區域的邊界之像素係聚集於水平方向。諸多視訊分析技術作業係需要該等相鄰資訊,且因此需要聚集其鄰近於關注像素之附加相鄰像素。此等作業係包括例如:Sobel梯度濾波器。聚集於水平方向之該等附加像素係透過二元遮罩23於水平方向之形態擴張來包括相鄰像素而有效達成。
至於垂直方向之形態擴張的情形,三個聚集操作(pass)係實行:一操作係針對於在其原始位置之上方平移一列之水平擴張遮罩;另一操作係於其原始位置;且最後一操作係在其原始位置之下方的一個像素列。如此係產生一3×N陣列。關注像素於是具有來自原始影像在該陣列的相同相對位置處之其個別相鄰像素。填補(padding)像素係加入作為對於位在沿著一邊界的彼等關注像素之相鄰像素。
圖5係上述的聚集過程之一個簡化實例。關注像素58係灰色,由“X”所標示的像素52係聚集為形態擴張之結果的像素,藉著帶“X”圓形所標示的像素係填補像素56,且藉著方框所標示的像素係顯示於一垂直方向之附加相鄰像素55。圖5係亦包括造成的陣列59,其中聚集於第二操作的關注像素58係顯示為關於其最接近的相鄰者。其他方法係亦為可能而未脫離此揭露內容之範疇。舉例而言,該等像素係可為聚集於單一聚集操作。
圖6係施加二元遮罩54至一影像的流程圖,根據此揭露內容的一示範實施例。於步驟S61,二元遮罩54(參閱:圖5)係向上移位為一個像素列以聚集在關注像素58之上方的垂直相鄰者。然後於步驟S62,二元遮罩54係施加至影像51,且於步驟S63,對應的像素係儲存於陣列59之頂列59a。於步驟S64,該二元遮罩係移位回到其原始位置,藉以聚集關注像素58與其個別水平相鄰者。於步驟S65,二元遮罩54係如上所述而施加至影像51,且於步驟S66,對應的像素係儲存於陣列59之第二列59b。二元遮罩54係接著向下移位為一個像素列,藉以聚集在關注像素58之下方的垂直相鄰者。於步驟S68,二元遮罩54係施加,且於步驟S69,該等像素係儲存於陣列59之第三列59c。
應為注意的是:於流程圖的任何過程描述或方塊係應瞭解為代表其包括用於實施於過程的特定邏輯函數或步驟之一或多個可執行指令的代碼模組、片段、部分,且替代實施係納於本發明之示範實施例的範疇內,其中函數視所涉及功能性係可執行為脫離所顯示或論述之順序,包括實質為同時或於相反順序,如將由熟悉此技術人士所瞭解。
聚集該等像素於一個3×N像素矩陣(如上所述)係致能SIMD指令之有效率運用,因為該像素矩陣係僅含有原始影像之一些像素。施加至該像素矩陣的一列或行之一SIMD指令係同時處理多個關注像素,不同於一次處理一個關注像素之習用方法。實行於3×N像素矩陣的SIMD指令之實例係包括:一編接指令、一雙倍絕對值指令、具有一捨入結果之一平均指令、具有截斷指令之一平均指令、與其具有朝一預定數所捨入的結果之一線性內插指令。
參考圖7,一影像36係由對應於像素位置(X,Y)之大量像素所構成,其中X係定義該像素的列位置(A至F)且Y係定義行位置(1至5)。然而,於影像之僅有某些像素係確定為關注像素(31至34)。於影像36,關注像素(31至34)係散開而非為鄰近。於像素聚集期間像素矩陣35係形成,像素矩陣35係僅含有關注像素(31至34)、與任何相關的相鄰像素。因為像素矩陣35係含有於影像36之僅一小部分像素,所以SIMD式處理係可有效率達成。
其次,參考圖8,像素散佈係描述。於像素散佈期間,於像素矩陣45所含有之處理後的像素(41至44)係置放回到影像36在其個別的原始位置(31至34)。因此,散佈係聚集之反向過程,且運用相同的二元遮罩23。
於此揭露內容之另一個示範實施例,具有用於聚集與散佈階段之一種DMA單元係較佳。DMA單元係允許直接記憶體存取,以旁通該資料處理器1且卸載該資料處理器的一些處理需求。
圖9係流程圖,概述其根據此揭露內容的一示範實施例之視訊分析技術方法的步驟。於步驟S1,定義關注像素的位置之二元遮罩係施加至影像。識別的關注像素係接著為聚集於步驟S2,且於步驟S3期間為彼此相鄰而儲存於一像素矩陣。然後於步驟S4,視訊分析技術處理係實行於像素矩陣。視訊分析技術處理係可包括:運用SIMD指令以處理該影像。於步驟S5,處理後的像素係運用該二元遮罩以定義其個別位置而被散佈回到該影像。
於另一個示範實施例,上述的方法係運用以實施一種N×N濾波器。N×N濾波器核心(kernel)係在關注像素為已經聚集於聚集階段之後而施加至像素矩陣35。此係改良濾波效率,因為該濾波器係僅為操作於先前所聚集成像素矩陣之關注像素、與其個別相鄰者而非為整個影像。一旦濾波作用完成,該等像素係如上所述而散佈。
藉由實施該濾波器後濾波效率係可進一步改良,其所運用技術避免實行於濾波器核心與像素資料之間的卷積(convolution)之習用方式。一種習用卷積之中間結果係含有對於卷積函數之引數的位元數目的二倍。舉例而言,一8位元卷積係於一中間步驟將該資料展開至16位元。運用諸如平均指令、編接指令與線性內插指令之SIMD運算以實施一種視訊分析技術濾波器係免除其針對於實行卷積之需要且於整個濾波過程中保持每個像素的位元數目為固定。
其次,運用上述視訊分析技術系統與關聯方法之一網路相機係相關於圖9而描述。一網路相機70(或一IP相機)係可為其能夠產生影像序列且透過一網路將該等影像序列或自該等影像序列的影像資料(一影像元資料)交流至一用戶之任何數位相機。
圖10係一種具有嵌入式視訊分析技術之網路相機70。網路相機70係包括:一透鏡系統71,用於收集入射光;一影像感測器(感測器)72,用於登錄該入射光;一影像處理器73;一中央處理單元(CPU)76,用於管理相機功能性以及視訊分析技術處理76a;一影像/視訊編碼器75;一記憶體74;及,一網路介面77。
於網路相機70,感測器72係可為例如一電荷耦合元件(CCD,Charged Coupled Device)、一CMOS-感測器、或類似者。影像/視訊編碼器75係編碼視訊於任何習知視訊/影像編碼格式,諸如:MPEG1、MPEG2、MPEG4、H.264、JPEG、M-JPEG、位元映像等等。記憶體74係儲存影像資訊、程式指令等等,且網路介面77係運用為透過諸如一IP網路之一網路以轉移影像資訊、並且亦自該網路接收資訊。
再者,影像處理器73、視訊分析技術76a、及影像/視訊編碼器75係可實施為由CPU 76所執行的軟體指令,或可實施於諸如個別的微處理器、FPGA、ASIC、與類似者的硬體。CPU 76係亦可實施為具有SIMD指令能力與否之一微處理器、FPGA、ASIC、與類似者。該記憶體係可為靜態或動態的隨機存取記憶體、唯讀記憶體、可抹除可程式唯讀記憶體、電氣可抹除可程式唯讀記憶體、快閃記憶體、與類似者,且該透鏡系統71係可永久附接至網路相機70或可為移動式。
儘管上述網路相機70係描述為單一個單元,其他實施仍係可能。一類比相機(能夠產生類比影像序列)與一轉換器(諸如:一視訊編碼器或一視訊伺服器)之一種系統係亦可為一網路相機。於該種系統之轉換器係將來自該類比相機的類比影像序列轉換成數位影像序列或影像資料,且提供該數位影像序列或影像資料至網路。該轉換器係亦實行視訊/影像編碼及局部視訊分析技術。
網路相機70之其他構件(諸如:用以聚焦該透鏡系統71之電動馬達、光計量器、電源供應器等等)係習知且因此為了簡明而省略。再者,其他實施係可行而未脫離此揭露內容之範疇。舉例而言,網路相機70係可為一紅外線相機,或該網路介面係可為一無線介面、與類似者。
藉由局部實行於網路相機之視訊分析技術,僅有相關的視訊資料係可置放於網路,相較於習用網路相機所置放於網路的視訊資料量係顯著為較少。
圖11係一種網路相機系統,其運用如上所述的網路相機。此示範的網路係包括多個網路相機(81-85),其連接至專用網路92或公用網路93。網路相機81係包括一類比相機81a與一轉換器81b,而網路相機82-85係完全整合所有功能性,其包括:視訊分析技術。
專用網路92係可為存取受到限制之一區域網路(LAN)或廣域網路(WAN)。再者,專用網路92係可透過一存取限制裝置90而連接至一公用網路93,存取限制裝置90係可提供一防火牆功能、網路位址變譯等等。存取限制裝置90係可為一專屬路由器、電腦、伺服器等等。公用網路93(例如:網際網路)係可含有無線與有線區段,諸如:Wifi、蜂巢式(cellular)網路、PSTN、ISDN等等。專用網路92係亦可包括無線與有線區段,諸如:Wifi、乙太網路等等。
客戶電腦(87、88、91)、一監視中心89、與一網路視訊記錄器86係經由專用或公用網路(分別為92或93)而連接至網路相機(81-85)。於網路相機系統80,網路相機(81-85)之網路介面係致能網路相機(81-85)與客戶電腦(87、88、91)之間的通訊。該種通訊係包括影像資料、音訊資料、控制資訊(左右移動、上下傾斜、變焦等等)、視訊設定、與類似者之轉移。再者,網路相機(81-85)係可服務超過一個客戶,例如:一監視中心89、客戶電腦(87、88、91)或一伺服器,伺服器係用於儲存影像且將其轉發至其他客戶(未圖示)。
此外,上述的網路相機係可用於美國專利申請案序號第12/273,220號之圖3所論述的一種系統。
影像分析技術應用(諸如:動作偵測)係基於自網路相機(81-85)所捕捉的影像序列之影像分析。如為由本發明人所認知,當影像分析實行於網路相機其本身時,於公用網路93或專用網路92之資料流量係可降低。僅有關於相關事件的資料係可傳送至監視中心89或客戶電腦(87、88、91),以節省對於其他應用之頻寬、降低其儲存視訊資訊所需的儲存空間量、且降低其待隨後搜尋的視訊資料量。
雖然動作偵測論述於以上說明,本文所述的系統與關聯方法係亦為適用於其他形式的視訊分析技術,諸如:臉部辨識、物件辨識、背景/前景分離、型樣分析等等。
前文的論述係揭示僅為此揭露內容的示範實施例。如將為熟悉此技術人士所瞭解,此進步係可實施於其他特定形式而未脫離其精神或本質的特徵。是以,本發明之揭露內容係意圖為說明性質,而未限制該進步及其他申請專利範圍之範疇。此揭露內容(包括本文揭示者之任何易於可識別的變化者)係部分界定前述的術語之範疇,俾使並無創新標的為貢獻於公眾。
1...資料處理器
2...電子記憶體
3...聚集單元
4...散佈單元
5...資料匯流排
10...視訊分析技術系統
21...影像
22...聚集階段
23...二元遮罩
24...散佈階段
25...單指令多資料(SIMD)處理階段
26...影像
31-34...關注像素
35...像素矩陣
36...影像
41-44...處理後的像素
45...像素矩陣
51...影像
52...像素
54...二元遮罩
55...相鄰像素
56...填補像素
58...關注像素
59...陣列
59a-59c...陣列之列
70...網路相機
71...透鏡系統
72...影像感測器
73...影像處理器
74...記憶體
75...影像/視訊編碼器
76...中央處理單元(CPU)
76a...視訊分析技術處理
77...網路介面
80...網路相機系統
81-85...網路相機
81a...類比相機
81b...轉換器
86...網路視訊記錄器
87、88、91...客戶電腦
89...監視中心
90...存取限制裝置
92...專用網路
93...公用網路
100...計算裝置
101...處理器
102...輸入/輸出(I/O)介面
103...匯流排
104...顯示控制器
105...主記憶體
106...唯讀記憶體(ROM)
107...磁碟控制器
108...磁碟
109...唯讀光碟(CD-ROM)
110...顯示器
111...指向裝置
112...鍵盤
本發明的較完整理解與其將同樣容易得到的諸多伴隨優點在關連於伴隨的圖式所考量時係已經參照上述詳細說明而得到較佳瞭解,其中:
圖1係根據此揭露內容一示範實施例之一種視訊分析技術系統的示意圖;
圖2係根據此揭露內容一示範實施例之其上執行一視訊分析技術方法的一種電腦系統的示意圖;
圖3係根據此揭露內容一示範實施例之一種視訊分析技術方法的示意圖;
圖4係根據此揭露內容一示範實施例之二元遮罩應用的流程圖;
圖5係根據此揭露內容一示範實施例之形態擴張與二元遮罩應用的示意圖;
圖6係根據此揭露內容一示範實施例之形態擴張的流程圖;
圖7係根據此揭露內容一實施例之像素聚集的示意圖;
圖8係根據此揭露內容一實施例之像素散佈的示意圖;
圖9係根據此揭露內容一示範實施例之一種視訊分析技術方法的流程圖;
圖10係一種視訊監視系統的示意圖;及
圖11係根據此揭露內容一示範實施例之一種網路相機的示意圖。
21...影像
22...聚集階段
23...二元遮罩
24...散佈階段
25...單指令多資料(SIMD)處理階段
26...影像
Claims (15)
- 一種視訊分析技術處理方法,包含:根據一預定二元遮罩聚集來自一影像的複數個關注像素於一電腦可讀取儲存媒體中,該預定二元遮罩係定義於該影像上之複數個關注像素的至少一個位置;配置該複數個關注像素於包括至少關注像素之一像素陣列,各個關注像素係相鄰於其他關注像素而儲存於該像素陣列中;運用於一資料處理器之單指令多資料(SIMD)指令來實行視訊分析技術處理於該像素陣列上;及在處理後,根據該預定二元遮罩散佈該關注像素成為該影像,其中該聚集步驟與散佈步驟係無關於該實行視訊分析技術處理步驟而實行。
- 如申請專利範圍第1項之視訊分析技術處理方法,其中針對各個關注像素之聚集步驟係包括:於一水平方向中擴張該預定二元遮罩為至少一個像素位置;根據所擴張二元遮罩聚集來自該關注像素上方的一像素列之至少一個相鄰像素;根據該所擴張二元遮罩聚集來自該關注像素的一像素列之至少一個相鄰像素與該關注像素;及根據該所擴張二元遮罩聚集來自該關注像素下方的一像素列之至少一個相鄰像素。
- 如申請專利範圍第1或2項之視訊分析技術處理方法,其中該聚集步驟與散佈步驟係更包括運用一DMA單元以分別聚集與散佈該複數個關注像素與相鄰像素而無關於該資料處理器。
- 如申請專利範圍第1或2項之視訊分析技術處理方法,其中實行視訊分析技術處理係包括:運用一SIMD指令集而藉著一N×N濾波器核心來濾波該關注像素,該SIMD指令集係包括一平均指令、有偏結果之一減半指令、及一編接指令。
- 如申請專利範圍第4項之視訊分析技術處理方法,其中代表各個像素之一預定位元數於整個濾波作業期間係保持固定。
- 一種非暫時性電腦可讀取媒體,其包含電腦可讀取的多個指令,該等指令係當由一處理器所執行時致使該處理器以實行視訊分析技術處理方法,該種方法係包含:根據一預定二元遮罩聚集來自一影像的複數個關注像素於一電腦可讀式儲存媒體中,該預定二元遮罩係定義於該影像上之複數個關注像素的至少一個位置;配置該複數個關注像素於包括至少關注像素之一像素陣列;運用一單指令多資料(SIMD)處理器來實行視訊分析技術處理於該像素陣列上;及在處理後,根據該預定二元遮罩散佈該關注像素成為該影像,其中該聚集步驟與散佈步驟係無關於該實行視訊分析技術處理步驟而實行。
- 如申請專利範圍第6項之非暫時性電腦可讀取媒體,其中,針對各個關注像素之該聚集步驟係包括:於一水平方向中擴張該預定二元遮罩為至少一個像素位置;根據所擴張二元遮罩聚集來自該關注像素上方的一像素列之至少一個相鄰像素;根據該所擴張二元遮罩聚集來自該關注像素的一像素列之至少一個相鄰像素與該關注像素;及根據該所擴張二元遮罩聚集來自該關注像素下方的一像素列之至少一個相鄰像素。
- 如申請專利範圍第6或7項之非暫時性電腦可讀取媒體,其中該聚集步驟與散佈步驟係更包括運用一DMA單元以分別聚集與散佈該複數個關注像素與相鄰像素而無關於該資料處理器。
- 如申請專利範圍第6或7項之非暫時性電腦可讀取媒體,其中實行視訊分析技術處理係包括:運用一SIMD指令集而藉著一N×N濾波器核心來濾波該關注像素,該SIMD指令集係包括一平均指令、有偏結果之一減半指令、及一編接指令。
- 如申請專利範圍第9項之非暫時性電腦可讀取媒體,其中代表各個像素之一預定位元數於整個濾波作業期間係保持固定。
- 一種網路相機,包含:至少一個透鏡,經構成以收集入射光; 一感測器,配置在該至少一個透鏡後方且經構成以轉換該入射光成為影像資料;一電子記憶體,經構成以儲存對應於該影像之電氣資料作為影像資料;一視訊編碼器,經構成以編碼該影像資料;一資料處理器,其包含:一聚集單元,經構成以根據一預定二元遮罩而聚集來自一影像的複數個關注像素於該電子記憶體中,該預定二元遮罩係定義該複數個關注像素的至少一個位置;一配置單元,經構成以配置該複數個關注像素於包括至少該關注像素之一像素陣列;視訊分析技術單元,經構成以無關於該聚集單元而實行視訊分析技術處理於該像素陣列上;一散佈單元,經構成以無關於該聚集單元與該視訊分析技術單元而散佈該等關注像素為影像;及一網路介面,經構成以連接至一資料網路。
- 如申請專利範圍第11項之網路相機,其中該聚集單元係進而構成以:於一水平方向中擴張該預定二元遮罩為至少一個像素位置;根據所擴張二元遮罩聚集來自該關注像素上方的一像素列之至少一個相鄰像素;根據該所擴張二元遮罩聚集來自該關注像素的一像素列之至少一個相鄰像素與該關注像素;及 根據該所擴張二元遮罩聚集來自該關注像素下方的一像素列之至少一個相鄰像素。
- 如申請專利範圍第11或12項之網路相機,更包含:一DMA單元,經構成以無關於該資料處理器來輸送像素,像素聚集單元與像素散佈單元係當分別聚集與散佈關注像素而運用該DMA單元。
- 如申請專利範圍第11或12項之網路相機,其中該資料處理器係進而構成以:運用多個SIMD指令而藉著一N×N濾波器核心來實行該關注像素之濾波作業,該等SIMD指令係包括一平均指令、有偏結果之一減半指令、及一編接指令。
- 如申請專利範圍第14項之網路相機,其中代表各個像素之一預定位元數於整個濾波作業期間係保持固定。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10057508P | 2008-09-26 | 2008-09-26 | |
US12/275,832 US8260002B2 (en) | 2008-09-26 | 2008-11-21 | Video analytics system, computer program product, and associated methodology for efficiently using SIMD operations |
EP09152275A EP2169614B1 (en) | 2008-09-26 | 2009-02-06 | Video analytics |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201013579A TW201013579A (en) | 2010-04-01 |
TWI393076B true TWI393076B (zh) | 2013-04-11 |
Family
ID=41647168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW098131314A TWI393076B (zh) | 2008-09-26 | 2009-09-17 | 視訊分析技術 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8260002B2 (zh) |
EP (1) | EP2169614B1 (zh) |
JP (1) | JP4987053B2 (zh) |
KR (1) | KR101375555B1 (zh) |
CN (1) | CN101685540B (zh) |
ES (1) | ES2391418T3 (zh) |
TW (1) | TWI393076B (zh) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201025190A (en) * | 2008-12-30 | 2010-07-01 | Altek Corp | Image capture device used for monitoring and a monitor method thereof |
US20130027549A1 (en) * | 2011-07-29 | 2013-01-31 | Technische Universitat Berlin | Method and device for video surveillance |
US20130027550A1 (en) * | 2011-07-29 | 2013-01-31 | Technische Universitat Berlin | Method and device for video surveillance |
US9557993B2 (en) | 2012-10-23 | 2017-01-31 | Analog Devices Global | Processor architecture and method for simplifying programming single instruction, multiple data within a register |
KR101291000B1 (ko) * | 2013-02-22 | 2013-07-30 | (주)파슨텍 | 고해상도 카메라 기반의 지역분산형 통합관제시스템 |
WO2014153690A1 (en) * | 2013-03-29 | 2014-10-02 | Intel Corporation | Simd algorithm for image dilation and erosion processing |
CN103714541B (zh) * | 2013-12-24 | 2015-07-08 | 华中科技大学 | 一种利用山体轮廓区域约束识别定位建筑物的方法 |
US9589201B1 (en) | 2014-06-27 | 2017-03-07 | Blinker, Inc. | Method and apparatus for recovering a vehicle value from an image |
US10572758B1 (en) | 2014-06-27 | 2020-02-25 | Blinker, Inc. | Method and apparatus for receiving a financing offer from an image |
US10733471B1 (en) | 2014-06-27 | 2020-08-04 | Blinker, Inc. | Method and apparatus for receiving recall information from an image |
US9600733B1 (en) | 2014-06-27 | 2017-03-21 | Blinker, Inc. | Method and apparatus for receiving car parts data from an image |
US9818154B1 (en) | 2014-06-27 | 2017-11-14 | Blinker, Inc. | System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate |
US10540564B2 (en) | 2014-06-27 | 2020-01-21 | Blinker, Inc. | Method and apparatus for identifying vehicle information from an image |
US9779318B1 (en) | 2014-06-27 | 2017-10-03 | Blinker, Inc. | Method and apparatus for verifying vehicle ownership from an image |
US9607236B1 (en) | 2014-06-27 | 2017-03-28 | Blinker, Inc. | Method and apparatus for providing loan verification from an image |
US9563814B1 (en) | 2014-06-27 | 2017-02-07 | Blinker, Inc. | Method and apparatus for recovering a vehicle identification number from an image |
US9760776B1 (en) | 2014-06-27 | 2017-09-12 | Blinker, Inc. | Method and apparatus for obtaining a vehicle history report from an image |
US9892337B1 (en) | 2014-06-27 | 2018-02-13 | Blinker, Inc. | Method and apparatus for receiving a refinancing offer from an image |
US10867327B1 (en) | 2014-06-27 | 2020-12-15 | Blinker, Inc. | System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate |
US9558419B1 (en) | 2014-06-27 | 2017-01-31 | Blinker, Inc. | Method and apparatus for receiving a location of a vehicle service center from an image |
US9589202B1 (en) | 2014-06-27 | 2017-03-07 | Blinker, Inc. | Method and apparatus for receiving an insurance quote from an image |
US9594971B1 (en) | 2014-06-27 | 2017-03-14 | Blinker, Inc. | Method and apparatus for receiving listings of similar vehicles from an image |
US10515285B2 (en) | 2014-06-27 | 2019-12-24 | Blinker, Inc. | Method and apparatus for blocking information from an image |
US9754171B1 (en) | 2014-06-27 | 2017-09-05 | Blinker, Inc. | Method and apparatus for receiving vehicle information from an image and posting the vehicle information to a website |
US10579892B1 (en) | 2014-06-27 | 2020-03-03 | Blinker, Inc. | Method and apparatus for recovering license plate information from an image |
US9773184B1 (en) | 2014-06-27 | 2017-09-26 | Blinker, Inc. | Method and apparatus for receiving a broadcast radio service offer from an image |
EP3021579B1 (en) * | 2014-11-14 | 2016-10-12 | Axis AB | Method and encoder system for encoding video |
ES2580304B1 (es) * | 2015-02-19 | 2017-07-12 | Endesa Generación, S.A. | Sistema de inspección y diagnóstico de infraestructuras yprocedimiento asociado |
US10310998B2 (en) | 2015-06-30 | 2019-06-04 | Microsoft Technology Licensing, Llc | Direct memory access with filtering |
TWI685247B (zh) * | 2017-06-14 | 2020-02-11 | 晶睿通訊股份有限公司 | 影像處理方法及其相關的攝影裝置與攝影系統 |
MY194748A (en) * | 2018-12-21 | 2022-12-15 | Mimos Berhad | A system and method for video surveillance and monitoring |
US11114060B2 (en) * | 2019-08-08 | 2021-09-07 | Adlink Technology Inc. | Cursor image detection comparison and feedback status determination method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050160406A1 (en) * | 1999-10-07 | 2005-07-21 | Duncan Kathleen A. | Programmable digital image processor |
TWI269168B (en) * | 2003-06-27 | 2006-12-21 | Intel Corp | Image signal processor, method of processing image signals, machine-readable medium having stored thereon instructions and image processor system |
TWI277909B (en) * | 2003-03-12 | 2007-04-01 | Toshiba Corp | Image processing apparatus |
US20070285432A1 (en) * | 2006-05-03 | 2007-12-13 | Stmicroelectronics (Research & Development) Limited | Processing of image data |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA1309198C (en) * | 1987-12-10 | 1992-10-20 | Carlo J. Evangelisti | Parallel rendering of smoothly shaded color triangles with anti-aliased edges for a three dimensional color display |
DE69329554T2 (de) | 1992-02-18 | 2001-05-31 | Neopath Inc | Verfahren zur identifizierung von objekten unter verwendung von datenverarbeitungstechniken |
JPH07104948A (ja) * | 1993-10-05 | 1995-04-21 | Nissin Electric Co Ltd | 情報記憶装置 |
KR100298327B1 (ko) * | 1999-06-30 | 2001-11-01 | 구자홍 | 고속 컨벌루션 처리 방법 및 그 장치 |
GB2371459B (en) * | 2001-01-19 | 2005-05-04 | Pixelfusion Ltd | Image scaling |
US7715591B2 (en) * | 2002-04-24 | 2010-05-11 | Hrl Laboratories, Llc | High-performance sensor fusion architecture |
US7529423B2 (en) * | 2004-03-26 | 2009-05-05 | Intel Corporation | SIMD four-pixel average instruction for imaging and video applications |
US7505946B2 (en) * | 2004-03-31 | 2009-03-17 | Microsoft Corporation | High performance content alteration architecture and techniques |
EP1745433A1 (en) | 2004-04-29 | 2007-01-24 | Koninklijke Philips Electronics N.V. | Image processing apparatus and method |
CN100502511C (zh) * | 2004-09-14 | 2009-06-17 | 华为技术有限公司 | 用于分数像素精度运动预测的插值图像内存组织方法 |
US7689038B2 (en) * | 2005-01-10 | 2010-03-30 | Cytyc Corporation | Method for improved image segmentation |
-
2008
- 2008-11-21 US US12/275,832 patent/US8260002B2/en active Active
-
2009
- 2009-02-06 EP EP09152275A patent/EP2169614B1/en active Active
- 2009-02-06 ES ES09152275T patent/ES2391418T3/es active Active
- 2009-09-17 TW TW098131314A patent/TWI393076B/zh active
- 2009-09-23 CN CN2009101758792A patent/CN101685540B/zh active Active
- 2009-09-25 KR KR1020090090815A patent/KR101375555B1/ko active IP Right Grant
- 2009-09-28 JP JP2009223560A patent/JP4987053B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050160406A1 (en) * | 1999-10-07 | 2005-07-21 | Duncan Kathleen A. | Programmable digital image processor |
TWI277909B (en) * | 2003-03-12 | 2007-04-01 | Toshiba Corp | Image processing apparatus |
TWI269168B (en) * | 2003-06-27 | 2006-12-21 | Intel Corp | Image signal processor, method of processing image signals, machine-readable medium having stored thereon instructions and image processor system |
US20070285432A1 (en) * | 2006-05-03 | 2007-12-13 | Stmicroelectronics (Research & Development) Limited | Processing of image data |
Also Published As
Publication number | Publication date |
---|---|
JP2010079909A (ja) | 2010-04-08 |
US20100080483A1 (en) | 2010-04-01 |
EP2169614A1 (en) | 2010-03-31 |
ES2391418T3 (es) | 2012-11-26 |
KR101375555B1 (ko) | 2014-03-27 |
EP2169614B1 (en) | 2012-08-01 |
TW201013579A (en) | 2010-04-01 |
KR20100035613A (ko) | 2010-04-05 |
US8260002B2 (en) | 2012-09-04 |
CN101685540B (zh) | 2013-10-30 |
CN101685540A (zh) | 2010-03-31 |
JP4987053B2 (ja) | 2012-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI393076B (zh) | 視訊分析技術 | |
KR102519085B1 (ko) | 로컬 및 글로벌 모션에 효율적인 멀티-프레임 초해상도 방법 및 장치 | |
CN105554450B (zh) | 分布式视频全景显示系统 | |
Gargees et al. | Incident-supporting visual cloud computing utilizing software-defined networking | |
CN110536078A (zh) | 处理动态视觉传感器的数据的方法和动态视觉传感器 | |
JP6683275B2 (ja) | 解析装置、解析方法及びプログラム | |
WO2014199505A1 (ja) | 映像監視システム、監視装置 | |
CN110324572B (zh) | 监视系统、监视方法和非暂时性计算机可读存储介质 | |
US10853961B1 (en) | Image driver that samples high-resolution image data | |
CN111629146B (zh) | 拍摄参数的调整方法、调整装置、调整设备及存储介质 | |
JP6105950B2 (ja) | 画像処理装置およびその方法 | |
JP7255841B2 (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム | |
JP7371076B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP2022002376A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN116168045A (zh) | 扫变镜头的分割方法和系统、存储介质及电子设备 | |
Jing et al. | Evaluation of focus measures in multi-focus image fusion | |
CN110647792B (zh) | 信息处理设备、控制方法和存储介质 | |
Liang et al. | Action recognition based on discrete cosine transform by optical pixel-wise encoding | |
WO2003063082A1 (fr) | Appareil de recherche concernant une image animee | |
Bui et al. | LiDAR-based virtual environment study for disaster response scenarios | |
Rao et al. | Performance Analysis of Different Spatial Domain Methods for Traffic Control Using Image Processing: A LabVIEW Approach | |
US11343424B1 (en) | Image capturing method and electronic device | |
JP2017098897A (ja) | 情報処理システム、情報処理装置及びその制御方法、コンピュータプログラム | |
CN115424172A (zh) | 一种交通事件检测方法、装置、设备及存储介质 | |
JP6159150B2 (ja) | 画像処理装置及びその制御方法、プログラム |