TWI551149B - 分析輔助編碼技術 - Google Patents

分析輔助編碼技術 Download PDF

Info

Publication number
TWI551149B
TWI551149B TW101132342A TW101132342A TWI551149B TW I551149 B TWI551149 B TW I551149B TW 101132342 A TW101132342 A TW 101132342A TW 101132342 A TW101132342 A TW 101132342A TW I551149 B TWI551149 B TW I551149B
Authority
TW
Taiwan
Prior art keywords
video
memory
frame
circuit
encoding
Prior art date
Application number
TW101132342A
Other languages
English (en)
Other versions
TW201316781A (zh
Inventor
約瑟 羅翠古茲
安奈梅斯 米許拉
納維恩 杜達帕內尼
Original Assignee
英特爾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾公司 filed Critical 英特爾公司
Publication of TW201316781A publication Critical patent/TW201316781A/zh
Application granted granted Critical
Publication of TWI551149B publication Critical patent/TWI551149B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

分析輔助編碼技術
本發明大體上係關於分析輔助編碼技術。
發明背景
本發明大體上係關於電腦，並且尤其是，關於視訊處理技術。
有一些應用，於其中視訊必須被處理及/或被儲存。一範例是視訊監視，為了安全或其他目的，其中一個或多個視訊饋送可被接收、被分析以及被處理。另一習見應用是用於視訊會議。
通常，一般用途處理器，例如，中央處理單元，被使用於視訊處理。於一些情況中，特殊處理器，被稱為圖形處理器者，可協助中央處理單元。
視訊分析涉及得到有關視訊資訊內容之資訊。例如，視訊處理可包含內容分析，其中該內容視訊被分析以便檢測某些事件或事變或找出相關資訊。
習見地，被使用於配合視訊處理之記憶體是線性記憶體。藉由線性記憶體，其是有意地關聯於習見記憶體之特性，其中該記憶體被分離成為列以及行。在列或行相交處之個別位址可以被稱為點定址之方式被定址。此外，沿著一列或可能甚至一行之線性地被定址部份，可藉由提供一啟始位址以及被定址記憶體位置範圍的一分隔符號被定址。因此，習見地，當定址一記憶體時，僅沿著一單一定 址線(其是一列或一行)之一個或多個位置可在任何給予的時間或於一個記憶體存取操作中被定址。
依據本發明之一實施例，係特地提出一種方法，其包含下列步驟：使用視訊分析技術分析一訊框以辨識該訊框具有移動在一臨限值之下的一部份；編碼該訊框之其餘者而不編碼該部份；以及對於該未被編碼部份，再使用用於來自一先前訊框之一對應部份的編碼。
圖式簡單說明
第1圖是依據本發明一實施例之系統結構圖；第2圖是依據一實施例對於第1圖展示之視訊分析引擎的電路展示圖；第3圖是依據本發明一實施例用於視訊捕捉之流程圖；第4圖是依據本發明一實施例用於一個二維矩陣記憶體之流程圖；以及第5圖是依據本發明一實施例用於分析輔助編碼之流程圖。
詳細說明
依據一些實施例，取代僅使用線性定址，二維矩陣定址也可被提供。於二維或矩陣定址中，於記憶體中之一點位置可被指定以及一矩陣尺度可被提供。該尺度可被指定如對於被定址之記憶體矩陣的一個維度或藉由提供被定址區域之列以及行方向中的一個範圍被指定。因而，二維區 塊或矩陣之記憶體可被存取，以供在一時間之讀取或寫入。
於一些實施例中，因為定址可以有效地自動化，因而在一時間存取二維位置矩陣之能力可迅速進行記憶體存取操作。於一些實施例中，僅第一位址可能是所需要的，並且其餘位址可自動地被產生。此外，於一些實施例中，一些傳送之頻寬可被減低。
於涉及視訊分析之實施例中，視訊分析輔助編碼可被使用。任何所給予的編碼訊框之部份可使用視訊分析技術根據一件接一件之個別處理方式被決定。尤其是，視訊分析技術可被使用以判斷一個或多個訊框之一個或多個區域中的移動數量。依照這資訊，對於整個訊框編碼可以或可能不被進行，或對於具有移動超出一所給予臨限值之一個或多個區域外面之一訊框區域可以或可能不被進行。再次，於一些實施例中，速率以及頻寬可被改進。
雖然視訊分析技術被使用於其中的一實施範例被給予，於一些實施例中，視訊分析僅是選擇性的並且可以或可能不被使用。
參看至第1圖，電腦系統10可以是任何種種的電腦系統，包含，例如，視訊監視以及視訊會議應用的那些使用視訊分析者，以及不使用視訊分析之實施例。對於提及之一些範例，系統10可以是桌上型電腦、伺服器、膝上型電腦電腦、移動式網際網路裝置或行動電話。
系統10可具有一個或多個主機中央處理單元12，被耦合至系統匯流排14。系統記憶體22可被耦合至系統匯流排 14。雖然一主機系統結構之範例被提供，本發明是決不被限定於任何特定的系統結構。
系統匯流排14可被耦合至匯流排界面16，接著，被耦合至習見的匯流排18。於一實施例中，週邊構件互連快送(PCIe)匯流排可被使用，但是本發明是決不受限定於任何特定匯流排。
一視訊分析引擎20可經由匯流排18被耦合至主機。於一實施例中，視訊分析引擎可以是提供編碼以及視訊分析兩者之單一積體電路。於一實施例中，該積體電路可使用嵌入式動態隨機存取記憶體(EDRAM)技術。但是，於一些實施例中，編碼或視訊分析之任一者可被省去。此外，於一些實施例中，引擎20可包含控制一板上整合二維矩陣記憶體之記憶體控制器，以及提供與一外部記憶體之通訊。
因此，於第1圖展示之實施例中，視訊分析引擎20與局域性動態隨機存取記憶體(DRAM)19通訊。明確地說，視訊分析引擎20可包含用以存取記憶體19之記憶體控制器。另外地，引擎20可使用系統記憶體22並且可包含至系統記憶體之直接連接。
一個或多個攝影機24也可耦合至視訊分析引擎20。於一些實施例中，多至四個同步視訊輸入可以標準解晰度格式被接收。於一些實施例中，一高解晰度輸入可被提供於三個輸入並且一標準解晰度可被提供於第四個輸入上。於其他實施例中，更高或較少解晰度輸入可被提供並且更高或較少標準解晰度輸入可被提供。如一範例，三個輸入之 各者可各於一分別的10位元輸入線上，接收10位元之高解晰度輸入資料，例如，R、G以及B輸入或Y、U以及V輸入。
第2圖中展示，視訊分析引擎20之一實施例，被展示在圖頁頂部之具有四個攝影機通道輸入的實施例中。該等四個輸入可藉由視訊捕捉界面26被接收。於一些範例中，視訊捕捉界面26可接收以攝影機輸入或包含電視、數位視訊記錄器或媒體播放機輸入之其他視訊資訊形式的複數個同步視訊輸入。
視訊捕捉界面自動地捕捉以及複製各輸入訊框。輸入訊框之一複製被提供至VAFF單元66並且其他複製可被提供至VEFF單元68。VEFF單元68是可用於儲存視訊於外部記憶體上，例如，第1圖展示之記憶體22。於一實施例中，外部記憶體可耦合至一晶片上系統記憶體控制器/仲裁器50。於一些實施例中，外部記憶體上之儲存部可以是供用於視訊編碼目的。明確地說，如果一複製被儲存於外部記憶體上，其可藉由視訊編碼器32被存取而以所需的格式編碼資訊。於一些實施例中，複數個格式是可用的並且系統可選擇最需要的一特定編碼格式。
如上所述，於一些情況中，視訊分析技術可被採用以改進藉由視訊編碼器32被實作之編碼處理的效能。一旦訊框被編碼，它們可經由PCI快速匯流排36被提供至主機系統。
同時，輸入視訊訊框的其他複製被儲存在二維矩陣或主記憶體28上。VAFF可處理並且同時傳輸所有的四個輸 入視訊頻道。VAFF可包含四個複製單元以處理以及傳輸視訊。對於記憶體28之視訊傳輸可使用多路傳輸。於一些實施例中，由於視訊折返時間的內在延遲，複數個頻道之傳送可同時被完成。
於主記憶體上之儲存可選擇非線性地或線性地被實作。習見地，線性定址於相交定址線上之一個或多個位置被指定以存取記憶體位置。於一些情況中，一定址線，例如，字組或位元線，可被指定並且沿著該字組或位元線之一範圍可被指示，因而定址記憶體線之一部份可以自動化形式依序地被儲存。
相對地，於二維或非線性定址中，列以及行線兩者皆可於一操作中被存取。該操作可指定在記憶體矩陣內之一啟始點，例如，在二定址線(例如，列或行線)相交處。接著，一記憶體尺度或其他分界符被提供以指示一個二維矩陣之範圍，例如，沿著列以及行線。一旦啟始點被指定，整個矩陣可藉由可定址位置之自動增量而自動地被儲存。換言之，其不必返回至主機或其他裝置以決定用以儲存在記憶體矩陣的啟始點之後的後續部份之位址。二維記憶體卸載產生位址之工作或大體上整個地消除它。因而，於一些實施例中，所需的頻寬以及存取時間兩者皆可被減低。
根本上，相同操作可相反於讀取一個二維記憶體矩陣而被完成。另外地，一個二維記憶體矩陣也可使用習見的線性定址被存取。
雖然其中記憶體矩陣尺度被指定的一範例被給予，但 其他分界符也可被提供，該等分界符包含二維各者之一範圍(亦即，沿著字組以及位元線)。二維記憶體是有利於靜態與移動圖像、圖表、以及具有二維資料之其他應用。
資訊可以二維或一維方式被儲存於記憶體28中。於一實施例中，在一維與二維之間的轉換可自動地於硬體中即時地發生。
因此，參看至第3圖，用於視訊捕捉20之系統可以硬體、軟體、及/或韌體被實作。於一些情況中，硬體實施例可能是有利的，因為它們可以有較大之速率。
如方塊72中之指示，視訊訊框可自一個或多個頻道被接收。接著視訊訊框被複製，如於方塊74中之指示。接著，視訊訊框之一複製被儲存於用以編碼之外部記憶體中，如方塊76中之指示。其他複製被儲存於供用於分析目的之內部或主記憶體28中，如於方塊78中之指示。
接著參看至二維矩陣序列80，其被展示於第4圖中，一序列可以軟體、韌體或硬體被實作。再次，於使用硬體實施例中，其可能是具有速度優勢。
啟始地，在菱形塊82之檢查決定一儲存命令是否已被接收。習見地，此等命令可自主機系統被接收，並且尤其是，自其之中央處理單元12。那些命令可藉由發送單元34被接收，其接著提供該等命令至被使用以實作該命令的引擎20之適當單元。當該命令已被實作時，於一些實施例中，發送單元回報告給主機系統。
如果一儲存命令被涉及，如於菱形塊82中之決定，一 啟始記憶體位置以及二維尺度資訊可被接收，如區塊84中之指示。接著資訊被儲存於一適當的二維矩陣中，如區塊86中之指示。該啟始位置，例如，可定義於矩陣之左上方角落。儲存操作可自動地於所需尺度的記憶體20中找到一矩陣以實作該操作。於一些實施例中，一旦記憶體中之啟始點被提供，則操作可自動地儲存矩陣之後繼部份，而不需要另外的位址計算。
相反地，如果一讀取存取被涉及，如菱形塊88中之決定，該啟始位置以及二維尺度資訊被接收，如區塊90中之指示。接著所指定矩陣被讀取，如區塊92中之指示。再次，該存取可以自動化形式被完成，其中該啟始點可被存取，如以習見線性定址方式被完成，並且接著其餘之位址自動地被決定而不需要返回並且以習見方式計算位址。
最後，如果一移動命令已自主機被接收，如於區塊94中之決定，啟始位置以及二維度尺度資訊被接收，如區塊96中之指示，並且移動命令自動地被實作，如區塊98中之指示。再次地，簡單地藉由指定一開始啟動位置以及提供尺度資訊，資訊之矩陣可自一位置自動地被移動至另一位置。
返回參看至第2圖，視訊分析單元42可經由像素管線單元44耦合至系統的其餘部分。單元44可包含執行來自發送單元34的命令之狀態機器。通常，這些命令在主機產生並且藉由發送單元被實作。多種不同分析單元可依照應用被包含。於一實施例中，一捲積單元46可被包含而供用於自 動化之捲積供應。
捲積命令可包含一命令以及指定一遮罩、參考或核心之參數，因而於被捕獲之影像中的一特點可被比較至記憶體28中之一參考二維影像。該命令可包含指定何處儲存捲積結果之目的地。
於一些情況中，視訊分析單元之各者可以是硬體加速裝置。藉由“硬體加速裝置”，其是有意指示一硬體裝置，該硬體裝置進行比在中央處理單元上執行之軟體更快的功能。
於一實施例中，視訊分析單元各者可以是一狀態機器，該狀態機器藉由專用於該單元之特定功能的專門硬體被執行。因而，該等單元可以一相對快速方式執行。此外，對於藉由視訊分析單元被實作之各操作，可能僅需要一時脈週期，因為所需的是告訴硬體加速裝置進行任務以及提供任務之參數，並且接著操作序列可被實作，而不必來自任何處理器(包含主機處理器)之進一步的控制。
於一些實施例中，其他視訊分析單元可包含以自動化形式計算形心之形心單元48、以自動化形式決定統計圖之統計圖單元50以及擴張/侵蝕單元52。
該擴張/侵蝕單元52可以負責以自動化形式增加或減少所給予的影像之解析度。當然，除非資訊先前已是可用的，否則是不可能增加解析度的，但於一些情況中，以較高解析度被接收的訊框可以較低解析度被處理。因而，訊框可以是有較高解析度的並且可藉由擴張/侵蝕單元52被 轉換至較高的解析度。
如先前所述，矩陣記憶體轉移(MTOM)單元54是負責於實作移動指令。於一些實施例中，算術單元56以及布爾(Boolean)單元58可被提供。即使雖然這些相同單元可能是可用於連接中央處理單元或先前已存在之輔助處理器，將它們裝載於引擎20上可能是有利的，因為它們存在於晶片上可能減低自引擎20至主機以及返回之很多資料轉移操作的需要。此外，藉由將它們裝載於引擎20上，二維或矩陣主記憶體可被使用於一些實施例中。
一抽取單元60可被提供以自一影像取得向量。查詢單元62可被使用以查詢特定型式的資訊而查看其是否先前已被儲存。例如，查詢單元可被使用以找出先前已被儲存之統計圖。最後，當影像對於一特定任務具有太高的解析度時，次取樣單元64被使用。該影像可被次取樣以減低其之解析度。
於一些實施例中，其他構件也可被提供而包含一I2C界面38界接於攝影機組態命令，以及一般用途之輸入/輸出裝置40連接到所有對應的模組以接收一般輸入與輸出並且於一些實施例中供使用於配合除錯。
最後，參看至第5圖，於一些實施例中，一分析輔助編碼機構100可被實作。該機構可以軟體、韌體及/或硬體被實作。但是，硬體實施例可能是更快。該分析輔助編碼可使用分析能力以決定所給予的視訊資訊之訊框的哪部份應被編碼，如果有的話。因而，於一些實施例中，一些部份 或訊框可能不需要被編碼，並且因此，速率以及頻寬可被增加。
於一些實施例中，不論是否被編碼可以是依案例特定並且可即時地被決定，例如，一些範例中，依照可用的電池電力、使用者選擇以及可用的頻寬。尤其是，影像或訊框分析可被完成於現存訊框相對接續訊框，以決定是否整個訊框需要被編碼或是否僅部份訊框需要被編碼。這分析輔助編碼是與僅決定是否包含移動向量之習見的移動評估基本編碼形成對比，但是仍然編碼各個以及每個訊框。
於本發明一些實施例中，連續訊框依據一選擇基礎決定是否被編碼以及在一訊框內之被選擇區域，依照那些區域內之移動範圍，可能或根本不可能被編碼。接著，解碼系統被告知有多少訊框將被編碼或不被編碼並且可簡單地如所需地複製訊框。
參看至第5圖，在開始時，一第一訊框或多個訊框可完全地被編碼，如區塊102中之指示，以便決定一基礎或參考。接著，在菱形塊104，一檢查決定分析輔助編碼是否應被提供。如果分析輔助編碼將不被使用，則編碼處理程序如習見般地繼續進行。
如果分析輔助編碼被提供，如菱形塊104中之決定，則一臨限值被決定，如區塊106中之指示。於一些範例中，該臨限值可以是固定的或可以是適應式的，取決於非移動因素，例如，可用的電池電力、可用的頻寬、或使用者選擇。接著，於區塊108中，現存訊框以及接續訊框被分析， 以決定超出臨限值之移動是否出現，並且，如果是，決定其可否被隔離至特定區域。因此，各種分析單元可被採用，包含，但是不受限定於，捲積單元、侵蝕/擴張單元、次取樣單元以及查詢單元。尤其是，對於移動在一臨限值以上之影像或訊框可被分析，相對於先前及/或依序的訊框被分析。
接著，如區塊110中之指示，超出一臨限值之移動區域可被確定。於一實施例中，僅那些區域可被編碼，如區塊112中之指示。於一些情況中，在一所給的訊框上根本沒有區域可被編碼並且這結果可簡單地被記錄，因而該訊框可在解碼期間簡單地被複製。大體上，編碼器於一標頭或其他位置中提供關於哪個訊框將被編碼以及訊框是否僅有部份被編碼之資訊。於一些實施例中，被編碼部份之位址可以一啟始點以及一矩陣尺度形式被提供。
第3、4、以及5圖是可以硬體被實作之流程圖。它們也可以軟體或韌體被實作，於其情況中它們可於非暫時性電腦可讀取媒體(例如，光學記憶體、磁式記憶體、或半導體記憶體)上被實施。該等非暫時性媒體儲存利用處理器執行之指令。此一處理器或控制器之範例可包含分析引擎20，並且作為二個範例，適當之非暫時性媒體可包含主記憶體28以及外部記憶體22。
此處說明之圖形處理技術可以各種硬體結構被實作。例如，圖形功能性可被整合在一晶片組之內。另外地，一離散圖形處理器也可被使用。再於另一實施例中，圖形 功能可藉由一般用途處理器被實作，如包含一多核心處理器。
這說明文中所提及之“一個實施例”或“一實施例”，表示配合實施例中被說明之一特定特點、結構或特性被包括在本發明內所包含之至少一實作例中。因此，“一實施例”或“於一實施例中”之詞組的出現不必定得涉及相同實施例。更進一步，特定特點、結構、或特性，除了所展示的特定實施例之外，亦可以其他適當形式被制定，並且所有此等形式可被包含在本申請案之申請專利範圍之內。
雖然本發明已關於有限量的實施例被說明，熟習本技術者應明白，本發明可有許多的修改以及變化。附加之申請專利範圍將涵蓋落在本發明真正精神與範疇內之所有此等修改與變化。
10‧‧‧電腦系統
12‧‧‧主機中央處理單元
14‧‧‧系統匯流排
16‧‧‧匯流排界面
18‧‧‧匯流排
19‧‧‧動態隨機存取記憶體
20‧‧‧視訊分析引擎
22‧‧‧系統記憶體
24‧‧‧攝影機
26‧‧‧視訊捕捉界面
28‧‧‧主記憶體
32‧‧‧編碼器
34‧‧‧發送單元
36‧‧‧PCI快速匯流排
38‧‧‧I2C界面
40‧‧‧輸入/輸出裝置
42‧‧‧視訊分析單元
44‧‧‧像素管線單元
46‧‧‧捲積單元
48‧‧‧形心單元
50‧‧‧系統記憶體控制器/仲裁器
50‧‧‧統計圖單元
52‧‧‧擴張/侵蝕單元
54‧‧‧矩陣記憶體轉移單元
56‧‧‧算術單元
58‧‧‧布爾單元
60‧‧‧抽取單元
62‧‧‧查詢單元
64‧‧‧次取樣單元
66‧‧‧VAFF單元
68‧‧‧VEFF單元
70-98‧‧‧視訊捕捉之流程步驟
80‧‧‧二維矩陣序列
100‧‧‧分析輔助編碼機構
102-112‧‧‧分析輔助編碼之流程步驟
第1圖是依據本發明一實施例之系統結構圖；第2圖是依據一實施例對於第1圖展示之視訊分析引擎的電路展示圖；第3圖是依據本發明一實施例用於視訊捕捉之流程圖；第4圖是依據本發明一實施例用於一個二維矩陣記憶體之流程圖；以及第5圖是依據本發明一實施例用於分析輔助編碼之流程圖。
102-112‧‧‧分析輔助編碼之流程步驟

Claims (30)

  1. 一種用於分析輔助編碼之方法，其包含下列步驟：使用視訊分析技術分析一訊框以辨識該訊框具有移動在一臨限值之下的一部份；編碼該訊框之其餘者而不編碼該部份；以及對於該未被編碼部份，再使用用於來自一先前訊框之一對應部份的編碼。
  2. 如申請專利範圍第1項之方法，其中使用視訊分析技術包含使用侵蝕、擴張、或捲積之至少一者。
  3. 如申請專利範圍第1項之方法，其包含接收複數個同時輸入視訊頻道。
  4. 如申請專利範圍第3項之方法，其包含複製各個該等頻道。
  5. 如申請專利範圍第4項之方法，其包含儲存一複製於一外部記憶體上。
  6. 如申請專利範圍第5項之方法，其包含儲存另一複製於一內部記憶體上。
  7. 如申請專利範圍第6項之方法，其包含使用二維定址方式以儲存於該內部記憶體上。
  8. 如申請專利範圍第7項之方法，其包含指定該內部記憶體中之一點以及一個二維之範圍。
  9. 如申請專利範圍第5項之方法，其包含存取該外部記憶體以供編碼。
  10. 如申請專利範圍第9項之方法，其包含使用一複製於編 碼以及其他複製於視訊分析技術。
  11. 一種非暫時性電腦可讀取媒體，其儲存指令以使一電腦處理器能夠進行下列步驟：使用視訊分析技術分析一訊框以辨識該訊框具有移動在一臨限值之下的一部份；編碼該訊框之其餘者而不編碼該部份；以及對於該未被編碼部份，再使用用於來自一先前訊框之一對應部份的編碼。
  12. 如申請專利範圍第11項之媒體，其進一步儲存指令以藉由使用侵蝕、擴張、或捲積之至少一者而使用視訊分析技術。
  13. 如申請專利範圍第11項之媒體，其進一步儲存指令以接收複數個同時輸入視訊頻道。
  14. 如申請專利範圍第13項之媒體，其進一步儲存指令以複製各個該等頻道。
  15. 如申請專利範圍第14項之媒體，其進一步儲存指令以儲存一複製於一外部記憶體上。
  16. 如申請專利範圍第15項之媒體，其進一步儲存指令以儲存另一複製於一內部記憶體上。
  17. 如申請專利範圍第16項之媒體，其進一步儲存指令以使用二維度定址方式以儲存於該內部記憶體上。
  18. 如申請專利範圍第17項之媒體，其進一步儲存指令以指定該內部記憶體中之一點以及一個二維之範圍。
  19. 如申請專利範圍第15項之媒體，其進一步儲存指令以存 取該外部記憶體以供編碼。
  20. 如申請專利範圍第19項之媒體，其進一步儲存指令以使用一複製於編碼以及其他複製於視訊分析技術。
  21. 一種積體電路，其包含：一視訊捕捉界面；一主要記憶體，其被耦合至該視訊捕捉界面；一像素管線單元，其被耦合至該主要記憶體；以及一視訊編碼器，其被耦合至該像素管線單元以及該視訊捕捉界面，該視訊編碼器使用視訊分析技術分析一訊框以分析該訊框具有移動在一臨限值之下的一部份，編碼該訊框之其餘者而不編碼該部份，以及對於該未被編碼部份，再使用用於來自一先前訊框之一對應部份的編碼。
  22. 如申請專利範圍第21項之電路，其中該電路是一嵌入式動態隨機存取記憶體。
  23. 如申請專利範圍第22項之電路，該編碼器使用該像素管線單元中之侵蝕、擴張或捲積單元。
  24. 如申請專利範圍第21項之電路，該視訊捕捉界面用以接收複數個同時輸入視訊頻道並且複製各個該等輸入視訊頻道。
  25. 如申請專利範圍第24項之電路，該電路用以儲存該等輸入視訊頻道之一複製於一外部記憶體上。
  26. 如申請專利範圍第25項之電路，該視訊捕捉界面用以儲存另一複製於該主要記憶體上。
  27. 如申請專利範圍第26項之電路，其中該視訊捕捉界面使用二維定址方式來儲存一複製於該主要記憶體上。
  28. 如申請專利範圍第27項之電路，該視訊捕捉界面用以指定該內部記憶體中之一點以及一個二維之範圍。
  29. 如申請專利範圍第25項之電路，該編碼器用以存取儲存有將被編碼之資訊的一外部記憶體。
  30. 如申請專利範圍第29項之電路，該編碼器用以使用該等複製之一者，並且該像素管線單元用以使用該等複製之其他者。
TW101132342A 2011-09-06 2012-09-05 分析輔助編碼技術 TWI551149B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/050513 WO2013036218A1 (en) 2011-09-06 2011-09-06 Analytics assisted encoding

Publications (2)

Publication Number Publication Date
TW201316781A TW201316781A (zh) 2013-04-16
TWI551149B true TWI551149B (zh) 2016-09-21

Family

ID=47832460

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101132342A TWI551149B (zh) 2011-09-06 2012-09-05 分析輔助編碼技術

Country Status (5)

Country Link
US (5) US9014493B2 (zh)
EP (2) EP3176729A1 (zh)
CN (3) CN103765888A (zh)
TW (1) TWI551149B (zh)
WO (1) WO2013036218A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9787991B2 (en) 2011-09-06 2017-10-10 Intel Corporation Analytics assisted encoding

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2514540B (en) * 2013-04-10 2020-01-08 Microsoft Technology Licensing Llc Resource for encoding a video signal
CN116083487A (zh) 2013-05-15 2023-05-09 桑格摩生物治疗股份有限公司 用于治疗遗传病状的方法和组合物
EP3830696A2 (en) * 2018-08-03 2021-06-09 Mobileye Vision Technologies Ltd. Error correction coding in a dynamic memory module
CN113573069A (zh) * 2020-04-29 2021-10-29 阿里巴巴集团控股有限公司 视频编解码方法、装置、系统及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120458A1 (en) * 2002-09-26 2006-06-08 Tomoya Kodama Video encoding apparatus and method and video encoding mode converting apparatus and method
US20070064800A1 (en) * 2005-09-22 2007-03-22 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US20070076796A1 (en) * 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0330455A3 (en) * 1988-02-22 1990-07-04 Kabushiki Kaisha Toshiba Image encoding apparatus
US5367334A (en) 1991-05-20 1994-11-22 Matsushita Electric Industrial Co., Ltd. Video signal encoding and decoding apparatus
AU657510B2 (en) * 1991-05-24 1995-03-16 Apple Inc. Improved image encoding/decoding method and apparatus
JP3200196B2 (ja) * 1992-10-15 2001-08-20 株式会社リコー 動きベクトル検出方法
JP3258840B2 (ja) * 1994-12-27 2002-02-18 シャープ株式会社 動画像符号化装置および領域抽出装置
US5896176A (en) * 1995-10-27 1999-04-20 Texas Instruments Incorporated Content-based video compression
DE19648612A1 (de) * 1996-11-14 1998-05-20 Teles Ag Verfahren zur Bewegtbilddatenkompression und Kodiervorrichtung zur Durchführung des Verfahrens
CN1188912A (zh) * 1997-01-20 1998-07-29 株式会社东芝 图像存储器存取方法、图像形成、保存装置及地址生成方法及装置
JP4261630B2 (ja) * 1998-02-04 2009-04-30 キヤノン株式会社 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体
JP3564395B2 (ja) * 1998-11-27 2004-09-08 松下電器産業株式会社 アドレス生成装置および動きベクトル検出装置
JP2002135721A (ja) * 2000-10-19 2002-05-10 Susumu Tsunoda ビデオ信号記録用監視装置
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US7016414B2 (en) * 2001-10-19 2006-03-21 Koninklijke Philips Electronics N.V. Method and system for skipping decoding of overlaid areas of video
US6862372B2 (en) * 2001-12-27 2005-03-01 Koninklijke Philips Electronics N.V. System for and method of sharpness enhancement using coding information and local spatial features
US7031388B2 (en) * 2002-05-06 2006-04-18 Koninklijke Philips Electronics N.V. System for and method of sharpness enhancement for coded digital video
DE60314223D1 (de) * 2002-07-05 2007-07-19 Agent Video Intelligence Ltd Verfahren und system zur effektiven ereigniserkennung in einer grossen anzahl simultaner bildfolgen
US7064980B2 (en) * 2003-09-17 2006-06-20 Sandisk Corporation Non-volatile memory and method with bit line coupled compensation
KR101160640B1 (ko) * 2003-12-30 2012-06-28 삼성전자주식회사 데이터 처리 시스템 및 데이터 처리 방법
KR100681242B1 (ko) * 2004-12-16 2007-02-09 삼성전자주식회사 동영상 복호화 방법, 동영상 복호화 장치 및 이를 가지는시스템 온 칩 시스템
JP2007034555A (ja) * 2005-07-26 2007-02-08 Fujifilm Corp 動的メモリ管理方法、メモリ管理装置、電子機器及び撮像装置
CN101313582A (zh) * 2005-09-27 2008-11-26 高通股份有限公司 使用各种运动模型的编码器辅助式帧速率提升转换
CN1801940A (zh) * 2005-12-15 2006-07-12 清华大学 整型变换电路和整型变换方法
CN101127912B (zh) * 2007-09-14 2010-11-17 浙江大学 利用动态背景帧的视频编码方法
CN101911706A (zh) * 2008-01-09 2010-12-08 三菱电机株式会社 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
CN101321287B (zh) * 2008-07-08 2012-03-28 浙江大学 基于运动目标检测的视频编码方法
CN101409831B (zh) * 2008-07-10 2010-10-27 浙江师范大学 一种多媒体视频对象处理方法
CN101336856B (zh) * 2008-08-08 2010-06-02 西安电子科技大学 辅助视觉系统的信息获取与传递方法
EP2345256B1 (en) * 2008-10-07 2018-03-14 Euclid Discoveries, LLC Feature-based video compression
JP5173873B2 (ja) * 2008-11-20 2013-04-03 キヤノン株式会社 画像符号化装置及びその制御方法
CN101800893B (zh) * 2009-02-06 2013-01-16 宏碁股份有限公司 执行运动估计的低功率高性能视频编码方法
CN101631237B (zh) * 2009-08-05 2011-02-02 青岛海信网络科技股份有限公司 一种视频监控数据存储管理系统
EP3176729A1 (en) * 2011-09-06 2017-06-07 Intel Corporation Analytics assisted encoding
WO2013062514A1 (en) * 2011-10-24 2013-05-02 Intel Corporation Multiple stream processing for video analytics and encoding
US9179156B2 (en) * 2011-11-10 2015-11-03 Intel Corporation Memory controller for video analytics and encoding
US20130322552A1 (en) * 2011-12-12 2013-12-05 Animesh Mishra Capturing Multiple Video Channels for Video Analytics and Encoding
EP2798460A4 (en) * 2011-12-28 2016-05-11 Intel Corp VIDEO CODING IN VIDEO ANALYSIS
US9973752B2 (en) * 2011-12-28 2018-05-15 Intel Corporation Intelligent MSI-X interrupts for video analytics and encoding
CN104011654A (zh) * 2011-12-29 2014-08-27 英特尔公司 用于视频分析的存储器前瞻引擎
CN104025026B (zh) * 2011-12-29 2019-07-26 英特尔公司 访问用于配置空间的配置和状态寄存器
CN104011655B (zh) * 2011-12-30 2017-12-12 英特尔公司 管芯上/管芯外存储器管理

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120458A1 (en) * 2002-09-26 2006-06-08 Tomoya Kodama Video encoding apparatus and method and video encoding mode converting apparatus and method
US20070064800A1 (en) * 2005-09-22 2007-03-22 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US20070076796A1 (en) * 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Tzu-Der Chuang,"A 59.5mW Scalable/Multi-View Video Decoder Chip for Quad/3D Full HDTV and Video Streaming Application", 2010 IEEE International Solid-state Circuit Conference，7-11 Feb. 2010， page 330-331 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9787991B2 (en) 2011-09-06 2017-10-10 Intel Corporation Analytics assisted encoding
US9826237B2 (en) 2011-09-06 2017-11-21 Intel Corporation Analytics assisted encoding
US10070134B2 (en) 2011-09-06 2018-09-04 Intel Corporation Analytics assisted encoding

Also Published As

Publication number Publication date
TW201316781A (zh) 2013-04-16
CN109089120A (zh) 2018-12-25
EP2754291A4 (en) 2015-04-29
US9438916B2 (en) 2016-09-06
EP3176729A1 (en) 2017-06-07
US10070134B2 (en) 2018-09-04
EP2754291A1 (en) 2014-07-16
CN109089120B (zh) 2024-05-17
CN103765888A (zh) 2014-04-30
US9826237B2 (en) 2017-11-21
US20160373757A1 (en) 2016-12-22
US20150189285A1 (en) 2015-07-02
US20180054615A1 (en) 2018-02-22
US9787991B2 (en) 2017-10-10
US20130272620A1 (en) 2013-10-17
CN106791842A (zh) 2017-05-31
US20170078670A1 (en) 2017-03-16
US9014493B2 (en) 2015-04-21
WO2013036218A1 (en) 2013-03-14

Similar Documents

Publication Publication Date Title
US10070134B2 (en) Analytics assisted encoding
TWI526050B (zh) 擷取多個視訊頻道以供視訊分析及編碼之技術
TWI586144B (zh) 用於視頻分析與編碼之多重串流處理技術
US10448020B2 (en) Intelligent MSI-X interrupts for video analytics and encoding
CN104025028B (zh) 在视频分析中的视频编码
US9179156B2 (en) Memory controller for video analytics and encoding
TW201347520A (zh) 晶片內／晶片外記憶體管理