TW200806038A - Scaler architecture for image and video processing - Google Patents

Description

200806038 九、發明說明： 【發明所屬之技術領域】 本申請案係關於影像及/或視訊處理，且更明確地說， 係關於一種用於影像及/或視訊處理之縮放器結構。 【先前技術】 用於視訊應用之影像感測器可使用一配置於感測器之一 表面上的彩色濾光片陣列（CFA)來取樣一場景。可使用多 種CFA圖案，且一數位信號處理器（Dsp)可獲得每一感光 單元之三個顏色值。可使用影像處理技術以獲得高品質、 彩色的視訊影像。此等影像處理技術可稱作為"前端"影像 處理，因為其通常優先於影像壓縮或由一視訊編碼單元之 其他視訊編碼。或者，此等影像處理技術可稱作為"後處 理’’，因為該處理在影像由影像感測器擷取之後發生。 自一影像感測器產生之一 視訊序列之影像圖框可由一或 多種影像處理技術來處理。影像處理技術之實例包括顏色 校正及去馬賽克（demosaicing)。影像處理可改良視覺影

1改良視覺影像 色相再現及清晰 許多視訊處理及編碼技術已用於傳達數位視訊序列

ITU H.263及 ITU H.264。

116741.doc 200806038 提供圖框間壓縮。圖框間I縮技術可藉由將影像圖框之基 於像素的表示轉換成運動表示來利用在圖框上的資料冗 餘。 某些視訊壓縮技術可使用影像圖框内之相似性（亦即， 空間或圖框内相關）以提供圖框内塵縮，其中在一影像圖 框㈣運動表示可經進-步塵縮。圖框内·縮可使用用於 壓鈿靜恶影像之處理，諸如離散餘弦變換（DCT換。 • 【發明内容】 、 影像處理可在即時視訊電話（ντ)應用中呈現即時視訊編 碼之問題。舉例而言’為了確保視訊序列之即時傳輸，所 有影像處理步驟可能需要非常快速的被執行。因而，即時 影像處理可能需要-高頻寬記憶體及大的記憶體容量以執 行大範圍影像處理，通常藉由若干不同的影像處理模組。 。己憶體頻寬及記憶體空間對於某些編碼設備而言可為有限 的’諸如手持式行動電話。 • 一態樣係關於一包含一影像處理單元、一記憶體及一編 碼Is之裝置。該記憶體經組態以儲存來自該影像處理單元 的、、’工處理之衫像資料。该編碼器經組態以自該記憶體擷取 經儲存、經處理之影像資料。該編碼器包含一縮放器，該 縮放器經組態以放大來自記憶體的經擷取之影像資料。該 編碼器經組態以編碼該放大之影像資料。 另一態樣係關於一種方法，其包含··處理影像資料；儲 存經處理之影像資料；擷取經儲存之影像資料；將經擷取 之影像資料縮放；及編碼經縮放之影像資料。 116741.doc 200806038 一或多個實施例之細節在隨附圖式及以下描述中闡明。 其他特被、目4示及優勢自描述及圖式以及自申請專利範圍 將為顯而易見的。 【實施方式】 數位視訊能力可併入廣範圍之設備中，諸如數位電視、 數位相機、數位直播系統、無線通信設備、攜帶型數位助 理（PDA)、膝上型電腦、桌上型電腦、直接雙向通信設備 (有時稱作為”無線電對講機"），及諸如基於蜂巢式、衛星 或陸地的無線電電話之無線電電話。此等設備可產生、修 改、傳輸、儲存及播放全動態視訊序列。 圖1說明一經組態以處理數位影像及/或數位視訊之設備 2。設備2可以數位電視、數位直播系統、無線通信設備、 個人數位助理（PDA)、膝上型電腦、桌上型電腦、數位相 機、數位記錄設備、網路致能數位電視、蜂巢式或衛星無 線電電話或具有視訊電話（ντ)能力之任何電信設備來表示 或實施於其中。 設備2可處理、編碼、解碼、傳輸及/或接收影像及/或視 訊資料。視訊資料可由諸如視訊擷取單元（或影像感測 器）12之視訊攝影機擷取、自一視訊檔案擷取，或以另一 方式獲得。在設備2中之視訊編碼單元19可使用一視訊編 碼標準，諸如 MPEG-4、ITU-T Η.263、ITU-T Η.264，或任 何其他視訊編碼標準。視訊編碼單元19可支援圖框間編碼 技術（諸如運動估計及運動補償）及圖框内編碼技術（諸如空 間估計及圖框内預測編碼技術）。 116741.doc 200806038 設備2可包括一影像/視訊類取設備12(諸如相機或視訊攝 影機）以擷取影像或視訊序列，且在一記憶體14中儲存經 顧取之衫像或視δίΐ序列。一影像/視訊處理單元4可處理影 像及/或視訊序列。記憶體14可在此處理之前與之後儲存 影像及/或視訊序列。 一收發器16可接收經編碼之視訊序列及/或將經編碼之 視訊序列傳輸至另一設備。收發器16可使用一無線通信標 • 準，諸如劃碼多向近接（CDMA)。CDMA標準之實例包括 CDMA lxEV_DO、WCDMA 等。 設備2之一或多個元件可經由一通信匯流排15而通信耦 接。除了圖1中所展示之元件以外或代替圖〗中所展示之元 件，其他元件可包括於設備1〇中。說明於圖1中之結構僅 僅為一實例。本文所描述之技術可以多種其他結構來實 施。 記憶體14可具有一相對大的記憶空間。記憶體14可包含 • 動態隨機存取記憶體（DRAM)或FLASH(快閃）記憶體。記 憶體14可包含"N〇R"或"NAND"閘記憶體技術或任何其他 貧料儲存技術。在其他實例中，記憶體14可包含一非揮發 性記憶體或任何其他類型之資料儲存單元。 衫像/視訊處理單元4可包含用於一行動無線電電話之一 晶片組，該晶片組可包括硬體、軟體、韌體及/或一或多 個微處理器、數也信號處理器（DSp)、特殊應用積體電路 (ASIC)、場可程式化閘陣列（FpGA)或其多種組合。處理單 兀4可包括一耦接至一前端影像/視訊處理單元18及一影像/ 116741.doc 200806038 視訊編碼單元19之局部記憶 於編石$ p 。編碼單元19可包含一用 、'-(或壓縮）及解碼（或解、 解碼器（編碼解竭器）。 以）數位視訊資料的編碼器/ 乃°卩°己彳思體8可包含一相盤κ 記憶體較小且較快速的 機存取記憶體(SDRAM)。局部；二：8可包含同步動態隨 甘 。己丨思體8可包含與處理單元4 八他組件整合之”晶片上 處 昆體以在一處理器密集編碼 处理期間k供對資料之伊读 . 、 、連存取。然而，記憶體14及8可 成一個記憶體’或可以若干其他組態實施。一記憶 _裔1〇可控制記憶體提取及至局部記憶體8的寫回。 刚端影像/視訊處料元18可對—視訊序狀圖框執行 :或多個影像處理技術以改良影像品質，且藉此改良一視 汛序列之品質。舉例而言，前端影像/視訊處理單元u可 執行諸如去馬賽克、透鏡消散校正、縮放、顏色校正、顏 色轉換及空間濾波之技術。前端影像/視訊處理單元丨8亦 可執行其他技術。一般而言，由單元18所執行之技術稱作 Π前端”影像處理技術，因.為該等技術優先於由影像/視訊編 碼單元19之編碼。 景夕像/視訊擷取單元12可包含影像感測器，該等影像感 測器包括配置於感測器之一表面上的彩色濾光片陣列 (CFAp由單元1 8所執行之前端影像處理可改良由擷取單 元12所擷取之視訊序列品質。舉例而言，前端處理單元18 及/或編碼單元19可包含一經程式化以處理由擷取單元12 所擷取之影像的DSP。記憶體8(或記憶體14)之相同區域可 116741.doc -10- 200806038 用於則端影像處理目的及用於其他儲存目的。

影像/視訊編碼單元19可執行影像及/或視訊編碼，其可 包括一或多個視訊壓縮技術，諸如圖框間壓縮及/或圖框 内壓縮。舉例而言，編碼單元19可實施運動估計及運動補 償技術以利用時間或圖框間資料相關，從而提供圖框間壓 縮。其他或另外，編碼單元19可執行空間估計及圖框内預 測技術以利用空㈤或圖框内資料相關，從而提供圖框内壓 縮。運動補償（或圖框内預測）之輸出稱作為n剩餘"，且可 包含一指示在待編碼之當前視訊區塊與由運動估計或空間 估計所識別之預測區塊之間的差異的資料區塊。 在、扁碼單元19執行運動補償（或圖框内預測）以產生剩餘 後可執4亍系、列額外步驟以進一步編碼乘4餘及進一步 星縮貝料。頟外步驟可視正使用的編碼標準而定，但其通 常稱作’’剩餘編碼，，。編碼單元19可執行此等視訊壓縮技術 中之-或多者以減少經由收發器16傳達一視訊序列至另一 設備所需的資料量。 圖2自兒明可實施於圖1之讯供 負till之叹備2中之組件。圖2說明一影 處理單元或引擎20、一印愔舻七ρ往 。己隐體或緩衝器24以及一編碼著 26(亦稱為編碼器/解碼器、編碼解碼器、塵縮引擎或後韓 處理器）視訊處理系統通常包括：—前端處理器（諸如 影像處理單元20)，其擷取即時影 . 丁〜1豕，及一後端處理器（諸 如編碼器26)，其執行視訊/影像編碼。 圖2中之影像處理單元2 了包括任何數目之影像處理模 組22(標記為22Α、22Β及22C且全體避你盔。 、 儿王嚴％作為”模組22”）。模 116741.doc 200806038 組咖包括—影像感測器介面、一去馬賽克模組、一透鏡 消散校正模組、一縮放模έ ^ 雒裒摈組、一顏色校正模組、一 換拉組及-空間滤波模組或其他前端影像處理模組。 由模組抑行之前端料處料為連續的。在下一處理 可相對於-給定影像而被執行之前，可整體上執行一第一 處理。某些處理可相對於一序列之若干不同影像而並行地 執打。某些模組22可執行相同功能，其允許對 行地執行該功能。 在一第一組態中，影像處理單元2G包括—縮放^以縮小 (亦即’降取樣或抽取）或放大（亦即，升取樣或内插）影 像。I®放可與其他影像處理技術關聯。升取樣（或放大）可 最後執行或靠近影像處理單元2〇中之管線末端執行，因為 ⑷升取樣未增加任何新的f訊至影像，且峨要減少在 其他影像處理模組22中所執行的資料處理量以節省行缓衝 器中之功率及面積。可完成升取樣以為了適當顯示或為了 數位變焦之目的來調整一影像大小。-簡單形式的2x升取 樣使用一箱式濾波器，其中每一像素經複製為4χ4區塊， 其用於重建輸出影像。許多演算法可用於升取樣。 前端影像處理單元2〇發送經處理資料至記憶體24(例 如，外部記憶體）用以儲存，直至資料可經進一步處理以 用於由編碼器26進行之聯合圖像專家組（11>£(})或]^]?£(3編 碼，其可在一影像巨集區塊基礎上操作。編碼器26可根據 MPEG或JPEG標準或其他標準來編碼及/或解碼資料。在此 第一組態中，編碼器26中不存在縮放器。 116741.doc •12· 200806038 在一第二組態中，如在圖2中所展示，編碼器26包括一 縮放器28，該縮放器28可為一可組態以放大及/或縮小之 鈿放器。編碼器26可為JPEG或MPEG編碼器之任何實施 例編碼器26巨集區塊接著巨集區塊地提取經處理之影像 資料且處理該等巨集區塊。藉由在編碼器26中嵌入一^放 °° 28 ’只要最終所要輸出大小大於來自影像處理單元2〇之 原本輪入大小（解析度），則需要記憶體24中的較少空間。

當一影像經擴大或放大時，待經處理或儲存之資料量可增 加，例如增加2 *轉，其中N係升取樣因數。若縮放㈣ 升取樣影像作為自記憶體24之編碼器讀取操作之一部分 (亦即，當編碼器26自記憶體24提取經處理之影像^料 時），則記憶體24之大小需求、外部頻寬、面積及功率可 減小而不損失品質。 回中之 '、且件可用於一降低功率之視訊處理設備中。 編碼斋26可具有一内部緩衝器以儲存自記憶體24讀取之 ，集，塊資料。編馬器26可使用一雙緩衝器，故編碼器 二提取了 £集區塊時處理-個巨集區塊。若縮放器2! 己隱體24之編碼器讀取搡作的一部分，則相 ，斤描述之第一組態將僅需要至記憶體24之提取的 白★拎；升取樣而5 )，因為僅原始的未經升取樣之影係 著的I::提、取^至記憶體24之提取數目的減少可導致顯 元2〇:尹即癌。相比於第 '组態(升取樣作為影像處理單 兀2〇之最後階段)，不存在品質損失。 有執订升取樣之編碼器26的另-優勢係儲存來自影係 116741.doc -13· 200806038 處理單元20之輪出 2x升取樣而言）。 ^24數*亦可減少4倍（對於 若升取樣在影像處理單元2〇中執行（如在第一组 且：像自一影像感測器經即輪，則模組22之管；必須 =取樣^速㈣作以便繼續運作。此意味硬體需為較 开入又夕並仃活動或以一較快的時鐘速度運 升取樣因數増加，故此可能很快變為不可實行的。

/編碼器26執行升取樣（在第二組態中），則影像處理單 一可X由來自影像感測器之資料速率所指定的最小時 鐘速率來運作。 右衫像在垂直方向中經升取樣，則在影像處理單元20中 之升取樣亦可需要行緩衝器。行緩衝器大小可由經處理之 &像的水平寬度來指定。為了支援較高的DSC解析度， 此行緩衝益可為相當大的。4MP影像感測器具有2272個:像 素之寬度’其可使用每一行緩衝器2772χ1〇個位元的 大小。所需行緩衝器數目可由用於一垂直濾波器中之若干 分接頭來判定。 若編碼器26執行升取樣，則仍可使用行緩衝器。但因為 編碼器26僅在16x16個像素之巨集區塊基礎上處理，故此 等行緩衝器之大小可相當較小，其提供面積及功率的減 將升取樣移動至編碼器26之另一潛在優勢係RAM緩衝器 (用於解決在影像處理單元20之輸出處的匯流排等待時間） 可在大小上減小，因為需要在單元20之輸出處支援的最大 116741.doc 14 200806038 資料速率可減小4倍。 可設計圖2中所提議之縮放器結構，使得某些硬體（諸如 加法态及倍增器等）可經共用或用於平滑的放大與縮小， 其導致一面積有效之可組態結構。 在影像前端處理器與視訊/影像編碼器整合之系統中， 前端處理器及視訊/影像編碼器可經分隔，使得實施視訊 處理所需之總體記憶體頻寬、面積及功率可降低。

若編碼器26使用一雙緩衝器以管線提取及處理巨集區 塊，則編碼器26應能夠自記憶體24讀取，外加在一用於處 2集區塊之時間量内升取樣巨集區塊，否則可能在編碼 器管線中存在失速。若升取樣花f相比—巨集區塊處理時 間更長的時間，則在總體視訊效能方面可能存在一輕微減 少。此可藉由增加較多内部緩衝器以覆蓋此等待時間來解 決0 圖3說明一使用圖2中之組件之方法。在區塊财，處理 影像資料。在區塊32中，儲存經處理之影像資^在區塊 34中，擷取經儲存之影像資料。在區塊㈣，將經彌取之 影像資料㈣。在區塊对’編碼及/或m缩放 可使用多種不同技術中之任何者爽 j ^求表不貧訊及信號。肩 例而言，可上文全部描述中經參考 / 1〈貝枓、指令、命令、 資訊、信號、位元、符號及晶片可由電壓、電流、電右 波、磁場或磁性粒子、光場或光學粒子或其任何組 示。 ^ 11674I.doc 200806038 關於本文中所揭示離族 〜、樣而搖述之各種說明性邏輯區塊、 模組、電路及運算步驟 了作為電子硬體、電腦軟體或兩者 之組合而實施。為了、、主枯 馬了 π楚地說明硬體與軟體的此互換性， 各種說明性組件、區塊、模組、電路及步驟已大體根據其 功處性而在上文中招祕 , 。此功能性作為硬體還是軟體來實 施視強加於總體系統之特定應用及設計約束而定。孰習此 項技術者對於每—特定應用可以變化的方式來實施所描述 之功能性’但不應將此等實施決定解释為限制。 關於在本文中所揭示態樣而描述之各種說明性邏輯區 塊拉組及電路可使用通用處理器、Dsp、線C、 或其他可程式邏輯設備、離散閘或電晶體邏輯、離散硬體 組件或經設計以執行本文中所描述功能的其任何組合來實 鉍或執行。一通用處理器可為微處理器，但在替代方案 中處理益可為任何習知處理器、控制器、微控制器或狀 態機。-處理H亦可經實施為計算設備之組合，例如，一 sp舁微處理器之一組合、複數個微處理器、與— 核心結合之-或多個微處理器或者任何其他此組態。 關於本文所揭示實施例而描述之方法或演算法的動作可 直接只知於硬體中、—由處理器執行之軟體模組中或在兩 者之組合中。—軟體模組可常駐於RAM記憶體、快閃記 隐體、ROMd憶體、ερκ〇Μ|£>憶體、EEpR〇M記憶體、暫 存器、硬碟、—抽取式碟片、—cd_r〇m或任何其他形式 的儲存媒體中。-儲存媒體耦接至處理器，使得處理器可 自該儲存媒體讀取資訊以及將資訊寫入該儲存媒體。：替 116741.doc 16 200806038 代方案中，儲存媒體對於處理器可為一 =可在常:於一 ASIChASIC”C=: 件常奸:代方案中，處理^及儲存媒體可作為離散組 件Φ駐於一使用者終端機中。 熟習此項技術者可顯而易見對於所描述態樣之各種修 改’且在本文中所界定之通用原則可在不脫離本揭示内容 之精神或料的情況下應用於其他實施例。因而，本揭示 内今並不忍奴限於本文中所展示的實施例，而是符合與在 本文中所揭示之原則及新賴特徵―致的最大範_。 【圖式簡單說明】 圖U兒明一經組態以處理數位影像及/或數位視訊之設 備 圖2說明可實施於圖丨之設備中的組件 圖3說明一使用圖1之設備的方法。 【主要元件符號說明】 2 設備 4 影像/視訊處理單元 8 局部記憶體 10 記憶體控制器 12 影像/視訊顧取單元 14 記憶體 15 通信匯流排 16 收發器 18 前端影像/視訊處理單 116741.doc -17- 200806038 19 影像/視訊編碼單元 20 影像處理單元或引擎 22A 影像處理模組 22B .影像處理模組 22C 影像處理模組 24 記憶體或缓衝器 26 編碼器 28 縮放器

116741.doc -18 -

Claims (1)

1. 200806038 十、申請專利範圍： 1· 一種裝置，其包含： 一影像處理單元； 己丨思體，其經組恶以儲存來自該影像處理單元之經 處理影像資料；及

   一編瑪器，其經組態以自該記憶體擷取該經儲存、經 處里之衫像資料’該編碼器包含一經組態以放大來自該 =憶體之該經擷取之影像資料的縮放器，該編碼器經組 態以編碼該經放大之影像資料。 如請求項1之裝置，其中該影像處理單元經組態以執行 去馬賽克、透鏡消散校正、縮放、顏色校正、顏色轉換 及空間濾波中之至少一者。 如研求項1之裝置，其中該記憶體係在該影像處理單元 及編媽器之外部。 4·如凊求項1之裝置，纟中該編碼器經組態以壓縮該經擷 取之影像資料。 ㈢求員4之震置，其中該編碼器經組態以根據MPEG、 Η·263及ITU HL264標準中之至少一者來壓縮 影像資料。 如:求項1之裝置，其中該編碼器包含一雙緩衝器，該 雙緩衝器使得大ϋ上能夠同時擷取及放大影像資料。 7_如明求項1之裝置，其中該裝置係一行動通信設備，該 裝置進一步白人 /匕1 一經組態以在一無線通信通道上傳輸該 經編碼之影像資料的傳輸器。 116741.doc 200806038 以放大與 8.如請求項丨之裝置，其中該縮放器係可經組態 縮小經擷取之影像資料。 9·如請求項1之裝置， 複數個不同尺寸。 10.如請求項1之裝置， 11· 一種方法，其包含： 其中该縮放器係可經組態以放大至 其中该編碼包含一視訊編碼器。 使用一第一處理單元處理影像資料；

   12. 在一記憶體中儲存該經處理之影像資料； 自该記憶體擷取該經儲存之影像資料； 使用一第二處理單元放大該經擷取之影像實料；及 使用該第二處理單元編碼該經縮放之影像資料。 如睛求項11之方法’其中編碼包含根據MPEG、JPEG、 ITU H.263及ITU Η·264標準中之至少一者來壓縮該經卷 取之影像資料。 13·如請求項11之方法，其中編碼包含視訊編碼。 14·如明求項η之方法’其中處理該影像資料包含去馬賽 克透鏡消政杈正、縮放、顏色校正、顏色轉換及空間 濾波中之至少一者。 1 5 ·如請求項11之方沐甘 击 其進一步包含缓衝該經擷取之影像 資料。 16·如請求項11之方法，甘 表 其進一步包含在一無線通信通道上 傳輸該經編碼之影像資料。 1 7 ·如睛求項11之方法盆 念其進_步包含組態一放大量。 18· —種裝置，其包含·· 116741,doc 200806038 用於處理一影像之構件； 一用於儲存該經處理之影像的構件；及 广—用於（a)擷取該經儲存、經處理之影像、0)放大該 經擷取之影像及（£；)編碼該經放大之影像的構件。 19. ^請求項18之裝置’其中該用於處理該影像之構件經組 恶以執打去馬賽克、透鏡消散校正、縮放、顏色校正、 顏色轉換及空間濾波中之至少一者。 I16741.doc