TW200803464A - Method and apparatus for scheduling the processing of multimedia data in parallel processing systems - Google Patents

Description

200803464 九、發明說明： 【發明所屬之技術領域】 本申請案請求美國專利申請案第60/758,065號之利 益’其係於2006年一月1〇曰所提出，其之揭示内容在此合 5併為參考文獻。 發明領域 本發明大致係關於平行處理。更具體地說，本發明係 關於用來將平行處理系統中之多媒體資料之處理排程之方 法與裝置。 發明背景 多媒體資料之越來越多的使用已導致越來越多對於更 快速的和更有效率的處理這些資料及即時傳送其之方式之 需求。具體地說，已有越來越多對於更快速和更有效率平 15行地處理多媒體資料之方式之需求，諸如影像和相關的音 訊。平行處理之需求通常例如在諸如多媒體資料之壓縮和/ 或解壓縮之計算密集之程序期間所產生的，其需要相對大 量的計算，其仍需要足夠快地完成，如此使得即時地傳送 音訊和視訊。 20 因此，持續改進多媒體資料之平行處理上的努力是令 人滿意的。特別令人滿意的是發展更快速和更有效率的方 法來平行處理這些資料。這些方法需處理區塊平行處理， 子區塊平行處理，和雙線性過濾平行處理。 【考^明内】 5 200803464 發明概要 本發明可以許多不同方式來實現，包括做為一方法及 電細可項取之媒體。本發明之許多不同的實施例在下面 討論。 5 —種用於-平行處理㈣之方法，該陣列具有組態來 雇 纽—影像之區塊之計算元件之列和行。該等區塊以具有 對角線之-矩陣配置於影像中。每個對角線包括處理一或 • $多隨㈣對角線所需之相關性資料。預處理影像之區塊 之-方法包括依序映射對角線至計算元件之個別列中，如 10此使得對每-列之相關性資料位於計算元件之先前列中。 在其他觀點中，一電腦可讀取之媒體在其上具有電腦 可執行之扣令，其係供在一平行處理陣列中做預處理之方 法用，該陣列具有組態來處理一影像之區塊之計算元件之 列和行’該等區塊以具有對角線之—矩陣配置在影像内， 15每個對角線包括處理一或多個隨後之對角線所需之相關性 ^ 貧料。該方法包括依序映射對角線至個別的計算元件之列 中’如此使付對每-列之相關資料位於先前之計算元件之 列中。 在其他觀點中，-於具有計算元件之陣列之平行處理 20陣列中處理-影像之區塊之方法，包括映射該等區塊至個 別之計算兀件中，亚根據每個計算元件之個別者上執行之 一單一命令集合來處理每個映射區塊。 本發明之其他目標與特徵將藉由觀看說明，申請專利 範圍及所附圖式而變得明顯。 6 200803464 5 圖式簡單說明 第1圖觀念地說明一 1080i高晝質（HD)框架之巨集區 塊。 第2 A - 2 B圖說明在一影像框架内之諸如巨集區塊之區 塊之配置。 第3A-3C圖說明將巨集區塊從其在一影像内之配置映 射至個別平行處理器。 • 第4A-4E圖說明對許多不同的影像格式，將影像映射至 個別之平行處理器。 10 第5A-5B圖說明用以將影像之子劃分映射至個別平行 處理器之16x8映射。 第6A-6B圖說明用以將影像之子劃分映射至個別平行 處理器之16x4映射。 第7A-7C圖說明根據本發明之一實施例將影像區塊映 15 • 射至平行處理器之其他方法。 第8A-8C圖說明一影像格式之資料結構之進一步之細 節，包括亮度和色度資訊。 第9 A - 9 C圖說明根據本發明之一實施例，用來映射多個 影像區塊至平行處理器之許多不同的其他方法。 20 第10A-10C圖說明根據本發明之一實施例之資料區塊 資料位置，子區塊位置，子區塊旗標資料位置，和區塊型 式資料。 第11A-11B圖說明演繹法處理步驟及用以識別哪些處 理步驟應用至哪些資料變數之選擇碼。 7 200803464 ‘平行處理器。 類似的參錢字指_式中之賴部份。 較佳實施例之詳細說明 5 10 15 20 在此所描述之發明處理平行處理増強之三個主要領 域：處理區塊平行處理，子 7 繹法平行處理。 ^丁^以及類似性演 區塊平行處1 在一意義上來說，本發明係關於用以平行處理多媒體 資料之更有效率之方法。已知在許多不同的影像格式中 影像被劃分為_，當-般__式來觀看影像時，盆 具有“較晚的，，區塊或-般落在影像中其他區塊之下面及^ 邊之那些區塊，視來自‘卿，區塊之資訊而定，即’那此 在ΓΓΓ面和左叙影像。較早的區塊必須在較晚: 二=理’因為較晚者需要來自較早區塊之通常稱為 關性=料之資訊。因此，輯(或其之部份)以其相關性資 傳达至許多不同的平行處理器。較早區塊先被 傳达=平行處理器，較魅塊較晚傳送。區_存於平行 處:之特疋位置中，且視需要加以位移，如此當被處 理¥母個輯具有以特定位置位於—特定組之較早區塊 中之其之相關性資料。以此方式，其相關性資料可以相同 #卩T α取^即’較早的區塊被位移如此使得可以 單--組命令來區塊較晚區塊，該等命令指示每個處理器 從特定位置㈣其相:轉。藉由鱗每辦行處理器 8 200803464 以相同的命令集合來處理其區塊，本發明之方法肖陝傳乂 分離命令給每個處理器之需要，代之允許一單—八*人迗 組被傳送。此得到較快速且較有效率之處理。 域> 7

第1圖觀念性地說明-般被觀看時和/切存於記憶體 5中時，一影像之示範性框架，為其之矩陣型式。在此二例 中，-應⑴HD影像矩陣10被劃分成68行之12〇個^ = 塊’每-個標彭2。-般來說，諸如此繼⑴框架之景^係 以個別的巨集區塊12來加以處理的。即，—或多個巨集區 塊12由-平行處理陣列之每個計算元件（或處理器）來處 W理。然而，在本發明通常於巨集區塊12之處理之環境中討 論之同時，應體會到本發明包括影像及其他資料至任何部 份之劃分’其通常稱為區塊，其可被平行地加以處理者。 如上述，諸如1第1圖之職i HD框架之影像之巨集區 塊包括相關性資料，如第2 A _ 2 B圖中進一步說明的。根據諸 15如但不受限於h.264先進視訊編碼標準及VC-1 MPEG-4標 準之標準，-影像之區歡之處理需要來自區塊咖和之 相關性資料(例如内插等所需之資料)。即，根據這些標準， —影像之每健塊之處理料來自恰在左邊之區塊之相關 性資料，以及來自對角線地恰左上之區塊，恰在上方之區 意以及對角線地恰在右上之區塊之相關性資料。因此區塊& 亦依賴來自區塊d和b之資訊而定，區塊b依賴來自區塊此 貝讯等，同時區塊d不依賴來自任何其他區塊之資訊 。因此 可看到k些區塊之平行處理需要對角線上之處理，區塊d先 處理’之後為區塊a和b，因為它們依賴來自區塊仅資訊， 200803464 然後區塊R和C，因為它們依賴來自區塊&，(|和1：)之資訊等。 然後參考第3A-3C圖，因此可看出對最佳化平行處理來 說，區塊可映射至處理器，且依序加以處理，較早的區塊 比較晚的區塊先處理。第3人圖說明當影像顯示給一觀看者 -5時，一示範性影像之巨集區塊結構。如JL述，第3A圖之區 • 塊以保持其相關性資料給較晚區塊之順序來加以處理。第 3B圖祝明必須處理之對角線，以它們必須被處理以保留其 φ ㈣性資料以供較晚區塊用之順序。每列說明-分離之對 角線，每個對角線僅需來自其上方之列之相關性資料。例 10如，區塊()〇先被處理，因其位於影像之最左上角，且如此 沒有相關性資料。區塊00接下來被處理，且如此出現在下 一列中’因其僅需要來自區塊〇〇之相關性資料。接下來處 理區塊11和10，且因此出現在隨後之列中，因為區塊^ 要來自區塊0〇和〇〇之相關性資料，且區塊1〇需要 15 00之相關性資料。因此可看出第3A圖中之區塊之每㈣角 • 、線’其由虛線強調者，可映射至-平行處理陣列之列中， - 如弟3B圖中所示的。 20 當如第3B圖中所示的，映射區塊至計算元件之列中保 留在每一列上之所有需要的相關性資料，困難仍缺存在。 更具體地說，對每—個區塊之相·資料仍通“於相關 於該區塊之不同位置中。例如，從第3A圖中，可看到區塊 41具有位於隨後之區塊中之相關性資料，以順時鐘之方 向.3,山，2。和V當如第_中所示般映射至處理 這些處㈣如箭號所錢定位，處理以山，⑽。配置於 10 200803464 區塊341上之-“L”形狀中。對照來說，對區塊^之相關性 資料位於區塊83，U2和62中，其如箭號所示般配置。這說 明，為使每個區塊在一處理陣列内所示之位置上處理，每 個計算元件將需要其自己的命令，指示其取回相關性資 5料。換句話說，因為對每個區塊之相關性資料不同地對每 個區塊配置(如區塊七和所示的）’所以必須將分離的資料 取回命令推人每個處理”，減緩可處理影像之速度。 在本發明之實施例中，藉由在處理該區塊之前位移對 每個區塊之相關性資料來克服此問題。熟悉技藝之人士將 10體g到可以任何方式來位移相關性資料。然而，在第冗圖 中說明位移相關性資料之-方便方法，其中包含相關性資 料之區塊被位移至上述之“L”形狀中。即，當處理區塊χ時， 其需要來自區塊A-D之相關性資料。在影㈣，這些區塊分 別直接位於X上’至恰左上方，恰在左邊，及恰右上。在平 15行處理_内’則可分躲移這些區塊至χ上之三個處理器 位置，三個上方之處理器位置，—上方之處理器位置，以 及恰在右上方之處理器位置。例如，在第3B圖中，為處理 區塊93 ’每一個可位移包含區塊8X和6X之列至右邊-個位 置’將區塊83,82,72和62至特性之‘‘L，，形狀中。 20 11由在處理區塊x之前位移所有這些相關性資料至此 “L”形狀中，可使射目_命令集合來處理每個區塊χ。此 J曰P 7集合僅於-單-載人操作中被載至平行處理器， 取代要求對每個處理器載入分離命令集合。當處理影像 時，适會造成明顯之時間節省，特別對大的處理陣列。 11 200803464 熟悉技藝之人士將體會到上述方法僅為本發明之一實 施例。更具體地說，將體會到在資料可位移至上述“L”形狀 中之同N*本發明並非受限於資料區塊至此組態之位移。 再者，本發明包含相關性資料至任何組態，或特性位置之 ，5位移，其可一般用來供每個要被處理之區塊χ用者。具體地 .°兄’許^不同的影像袼式可具有位於非第2A®巾所示的那 些之區塊中之相關性資料，軸除了“L，，形狀之外之其他特 φ 性位置或形狀，其更方便使用者。 熟悉技藝之人士亦將體會到在本發明至目前為止已於 !〇具有多個巨集區塊之-1〇8〇1框架之環境中說明之同時，本 發明包含可分成任何劃分之影像格式。即，本發明之方法 可以任何框架之任何劃分來使用。第4Α·4Ε說明此點，其顯 示許多型式之框架之對角線可如何被映射至不同數目之處 理益列。在第4Α圖中，如所示可將_hd框架之對角線映射 15至連續列之處理器，建立—梯形(或者為—長菱形，或可能 # 甚至為二者之組合)佈局，其中使用257列之處理器，在- - I列中使用最大61個處理器。較小的框架使用較少的 列，和較少的處理器。例如，在第4B圖中，一 CIF框架使 用59列處理器，在任何列中使用最多^列。類似地，在第 20 4C圖中，當映射至一平行處理陣列中時，625 sd框架會佔 117列’每列最大36個處理器。類似地，在第4D圖中，當映 射至相同的陣列中時，_畑框架會佔51列，且每列最大Μ 個處理器。在第4E圖巾，一525犯框架會佔1〇7列，且每列 最大30個處理器。如可從這些範例中看出的，本發明可用 12 200803464 來映射，何影像至一平行處理陣列中，其中可如上述在列 内位移貝料，允許以一單一命令或命令集合來處理區塊。 亦應體會到本發明並不受限於嚴袼的區塊和一平行處 理陣列之計算元件間之1對1對應。即，本發明包含其中區 鬼> I5伤映射至計算元件之一部份之實施例，藉此增加處 理這ΐ區塊之效率和速度。第5A-_說明一個這樣的實施 例其中一影像之區塊被劃分為二。然後如上來處理這些 里J刀之母個，除了每個劃分被映射至一處理器之一半及 由其處理之外。參考第5A圖，區塊被劃分成上半部和下半 10部，如戶斤示。即，左上方之區塊被劃分成二個子區塊，〇和 2。類似地，其之旁邊之區塊被劃分成子區塊1和3等。注音 每個子區塊對相關性目的來說動作與一完整區塊相同， 即，子區塊1僅需要來自區塊0之相關性資料，最左邊的子 區塊2需要來自區塊(^口丨之相關性資料等。參考第图麸 15後映射這些子區塊至處理器之一半中，如所示，子區矛 1映射至第一列中，子區塊2和子區塊3映射至第二列等。麸 後可以如上述之相同方式來使用本發明之程序，子區塊: 著處理器之列如需要般位移。 A/" 20 以此方式，可看出比在先前實施例中在一單_時門上 佔用更多處理器，其允許使用更多平行處理陣列，:二= 得到較快速之影像處理。具體地說，參考第3B圖，、、主土 使用之處理菇之數目對每隔一列增加一：前_ > 口 j 一列母〜列使 用一處理器，接下來二列每列使用二個處理 哥。對照來 說’第5B圖$兒明其實施例對每列增加所使用之處理哭 恭數目 13 200803464 為1 ·弟一列使用一個處理器，弟二列二個，以此類推。第 5A-5B圖之實施例如此一次使用較多的處理器，結果得到較 快的處理。 第6A-6B圖說明其他這樣的實施例，其中一影像之區塊 5被劃分成四個子劃分。例如，一影像之左上區塊被劃分成 子區塊0,2,4和6。這些子區塊然後被映射至一處理器之部份 中，以其相關性資料所要求之順予。即，每個處理器可被 劃分成四個”子列’’，每一個能夠處理一列子區塊。然後可 將許多不同的子區塊映射至處理器之子列中，如所示。例 10如，〇, 1，2和3個子區塊可全部被映射至第一列中之二個 處理器中（第一處理器處理子區塊〇, ！，一2子區塊和一3子 區塊，而第二處理器處理另外的2和3子區塊），且據此加以 處理。注意本實施例在第—列中使用二個處理器而非一 個’且處理之數目每列增加二，如此允許每列使用更多的 15 處理器。 本發明亦包含區塊和處理器劃分成16個子劃分。另 外，本發明包括“肩並肩，，處理多個區塊，，每列處理多 個區塊。第7A-7C圖說明二個這些觀念。第7A圖說明一區 塊劃分成16個子區塊〇㈣〇,如所示的。熟悉技藝之人士將 2〇體會到可刀離地處理分離區塊，只要它們配置為使得他們 的相關性資料可被正確地判斷。第7B圖說明不相關的區 塊，即不需要來自彼此之相關性資料之區塊可平行地加以 處理之事實。每一個區塊如第7A圖中般劃分，為簡化起見， 所不的子區塊沒有下標。在此，例如，第一區塊劃分為16 14 200803464 個子區塊，標記為0至9，如上述同時地處理類似的數字。 只要在每一列中之區塊不需要來自彼此之相關性資料，它 們可被一起處理，在一相同的列中。因此，一群處理器可 同時處理多個不相關之區塊。例如，第7Β圖中之四個區塊 5 之上方列（子區塊分別標記為0-9,10-19,20-29和30-39)可在 一單一集合之處理器中加以處理。 第7C圖，處理器之圖（沿著左手邊標號)及對應之載入 至其中之子區塊說明此點。在此，子區塊0-9可被載入至處 理器之劃分0-9中（其中處理器沿著左手邊標記）以形成鑽石 10 似的樣式，如所示。然後可將進一步之區塊載入至重疊之 處理器集合中，子區塊10-19載入至處理器4-13等。以此方 式，進一步之區塊之劃分，以及多個區塊至重疊之處理器 集合中之“鏈接”，允許更快速地伋畢更多處理器，得到更 快速之處理。 15 第7A-7C圖說明四乘四之處理。應了解到此相同之技術 亦可於一八乘八之處理中實現。 除了在不同的處理器中處理不同的區塊之外，亦應注 意到在相同區塊中之不同型式之資料可於不同的處理器中 處理。具體地說，本發明包含分離處理來自相同區塊之強 20 度資訊，亮度資訊和色訊資訊。即，來自一區塊之強度資 訊可與來自該區塊之亮度資訊分離地處理，其可與該自該 區塊之色訊資訊分離地處理。熟悉技藝之人士將觀察到亮 度和色訊資訊可映射至處理器中並如上處理（即如所需般 位移等）且亦可加以劃分，劃分映射至不同的處理器，以增 15 200803464 处里之政率。第8A_8C圖說明此。在第圖中，次 料之一區塊可映射至一處理 儿又貝 π ，對應之+區塊”之色訊資 >、'同之處理器或不同者巾。具體地說，注产， 儿度和色訊㈣可被映射至相鄰之處理器集合中，或^在 至少:”:重豐之列之集合中，類似於第7Β圖。亦可將亮度 和色心補分成子區塊，以供在個別計算元件之劃分^ 處理之用’如連結第5Α·5Β ’和6α侧連結描述的。 10 15 20 地說，第8Β·_分觀L之亮度和色崎料至I和 四個子區塊之劃分。㈣第_之二個子區塊可於不同半 部之處理器中處理，如連、物請圖描述的。類似地，可 在不同四分之—部份之處理器中處理狄圖之四個子區 塊’類似在第6Α-6Β圖中所描述的。 在上述實施例之-些包括以相同列或多個相同列之處 理器來肩並肩處理不同之區塊之同時，亦應注意到本發明 包括沿著相同行之處理器來處理抑的區塊，亦增加處理 之效率和速度。第9Α侧，錢念性地朗由許多不同區 塊所佔據之處理器者，描述後者觀念之實施例。在此，處 理器之列沿著垂直軸延伸，同時行沿著水平轴延伸。如此 可看到當映射至-處理陣列之列中時，—典型區塊會佔據 由區域10G-1G4所描述大致為梯形之形狀中之處理器。㈣ 地說’注意區域刚不佔據許多處理器，如此少處理陣狀 總使用。此可至少部份藉由處理恰在佔據區域丨⑻姻下之 資料之區塊來補救。此區塊可佔據區域1〇6_112，其允許使 用更多處理器，特別在隨後之區塊間之，，轉換，，區域刚·1〇6 16 200803464 中。以此方式，可更快速地完成處理，且陣列使用比使用 =2在Γ區域1〇_4中之區塊之處理後處理區域 106-112之區塊來得多。 ㈣圖說明此觀念之進—步延伸。具體地說，注意 此垂直，，鏈接，，可在二或更多區塊上持續，結果 付至^付夕的陣列使用。具體地說，區塊可—個接一個映 射至相鄰之行中，區域116_12G由—區塊佔據，區域ΐ22-ΐ26

由其他區塊佔據等。 應、注意到長菱形之形狀可取代或連結梯形形狀來加以 10 =用。㈣，任何不同行之映射之組合可由不同大小或組 一之長夂形和/或梯形實現以協助同時地處理多個串流。 、熟悉技藝之人士亦將觀察到上述之本發明之程序和方 法可由許多不同的平行處理器來加以執行。本發明考慮使 用任何平行處理器，其具有多個能、夠每-個處理影像資料 之區塊並將這些資料位移以保留相關性之計算元件。在 "午夕這樣的平行處理器被考慮之同時，一個適當的範例描 述於美國專利申請案第11/584,480號中，其標題為“積體處 理器陣列，指令定序器和I/O控制器，，，其係於2006年十月 19曰所^出’其之揭示内容在此合併為參考文獻。 20 第[o^ioc圖說明相關於子區塊平行處理之發明。根據 上述之視訊標準，每個巨集區塊12為16列乘以16行（16x16) 貧料位元（即像素)之矩陣，其分成4或更多子區塊20。具體 地說’每個矩陣分成至少四個相等之四分之一部份子區塊 17 200803464 20，其大小為8x8。每個四分之一部份子區塊20可進一步分 成具有8x4，4x8和4x4之大小之子區塊20。如此，任何已予 區塊12可分成子區塊20，其具有8x8，4x8，8x4和4x4之大 /J> 〇 5 第10A圖說明一區塊12,其具有一8x8子區塊20a，二個 4x8子區塊20b，二個8x4子區塊20c，以及四個4x4子區塊 20d。每個大小的子區塊20之數目若有的話可改變，以及其 在區塊12内之位置。再者，許多不同的大小之子區塊2〇之 數目和位置可每個區塊12每個區塊12不同。 10 如此，為以平行方式處理具有子區塊之區塊12，必須 先判斷子區塊之位置和大小。這是對每個區塊12做之耗時 判斷，其增加明顯處理成本至區塊12之平行處理。其需要 處理器分析區塊12兩次，一次判斷子區塊2〇之數目和位 置，且然後再次以正確之順序來處理子區塊(記住一些子區 15塊20可能需要來自其他子區塊之相關性資料以供處理用， 如上述，其就是為何必須先判斷許多不同的子區塊之位置 和大小）。 為減經此問題，本發明需要包括一特殊之型式資料之 區塊，其識別在區塊12中之所有子區塊2〇之型式（即位置和 20大小），如此避免需要處理器做此判斷。第10B圖圖說明區 塊12，並顯示十六個資料位置22，其可能形成對任何已予 子區塊20之第一貧料位置（第一意指子區塊2〇之最左上之 項目）。對每個區塊12來說，這十六個位置22將包含旗枳 此資料位置是否構成一新的子區塊2〇之第一項目所需之$ …貝 18 200803464 料。若旗標出該位置，則此位置被認為是一資料區塊20之 起始點，且在其恰左邊之位置(若有的話)被認為是恰在左邊 之子區塊20之最後一行，且恰在上方之位置（若有的話)被認 為疋恰在上方之子區塊20之最後一列。若其未被旗標的 • 5 話，則此項目意義為一相同子區塊20之持續。如此，可看 • 出這十六個旗標資料位置22包含判斷子區塊20之位置和大 小所必要之資料。 φ 第10 C圖說明根據本發明之型式資料區塊，其中一型式 資料之區堍24，其具有一 16x4之大小者，係與每個區塊12 1〇相關的。區塊24之四個列對應於在區塊12中之四個列，其 包含旗標資料位置22。如此，藉由僅分析在每個型式資料 區塊24之每一列中之第1，第5，第9和第13個資料位置，子 區塊20之位置和大小可加以判定。為此目的不再需要進一 步之區塊12之分析。再者，在區塊2〇中之剩餘之資料位置 可用來儲存其他資料，諸如子區塊型式^•本地預測，p_以 _ 冑作向量預測，以及雙向預測），區塊向量等。如此，如 在第10C圖中所看到的，僅那些構成一新子區塊之開始之資 料位置22被旗標出來，且在每個區塊24之列中之第卜第 第9和第13個資料位置匹配該旗標。 20 八平行處理最佳化之來源牽涉到同時處理具有特定 相似14之'秀繹法(例如類似的計算）。電腦處理牵涉二個基本 計算：數值計曾知次 #和貝料移動。這些計算係藉由處理不是計算 數值計算就是移動（或複製)所要的資料至-新位置之演繹 19

200803464 法來只現的。這樣的演繹法傳統上係使用一系列”正，，敘述 來處理’其中若符合一特定標準的話，則做一計算，同時 右=疋的話，則不是不做計算就是做一不同的計算。藉由 在夕個IF敘述中導航，在每個資料中執行所要的總計算。 _ 5然而’有對此度量方法之缺點。首先，其是耗時的且對平 - 韻理不可行。第二’其是浪費的，因為對每個IF敘述， 會做-計算，不是轉到下一個計算就是做其他的計算。因 • 此，對每一個演繹法透過IF敘述所做的路徑來說，多達一 2的處理|§功能(及可貴的晶圓空間）變成未使㈣。第三， /、而要發展一唯一的碼以對每個唯一之資料集合實現演繹 法之每個排列。 解決方案為一演繹法之實現，其包含對許多分離計算 或㈣移動之所有計算，其中所有資料可能受到演绎法中 之每個步驟作用，且平行地處理所有不同的資料。然後使 肖i^擇碼來判斷演H的哪些部份要應目至哪些資料。如 _ 此’相同的碼(演繹法)一般應用至所有資料，且只有只有選 擇碼需對每筆資料加以修改以判斷如何做每個計算。在此 的優點為若多筆資料正在處理，其中許多處理步驟是相同 的，則以共同的二計算及非共同之那些來應用-演繹法碼 20來簡化系統。為應用此技術至類似的演繹法，可藉由看指 令本身來發現相似性，或藉由以一較細單位之表示來表示 指令且然後尋找相似性。 第11A和11B圖說明上述觀念之一範例。此範例牽涉到 用來在像素間產生中間值之雙線性濾波器，其中做特定數 20 200803464 5 字計算(雖然此技術可對任何資料演繹法來使用）。演繹法需 計算許多不同的值，使用相同基本集合之數字加法和資料 位移步驟，但這些步驟之順序和標號視所做的計算為而定 而不同。如此，在第11A圖中，1/2和3/4雙立方等式之第一 計算為數字53，其需要做7個計算步驟。第二計算為數字 18，其需要6個計算步驟，其之四個當它們在先前計算中發 生時之相同四個步驟共同且小序相同。第一等式之最後二 個計算再次具有與頭兩個計算重疊之計算步驟。對1/2雙立 方等式，以及三個第11B圖之雙線性等式之額外計算全牽涉 10 到相同計算步驟之許多不同的組合，且全具有四個計算要 做。 對每個等式來說，全部四個計算可使用一平行處理器 30加以執行，其具有四個處理元件32，每一個具有其自己 的記憶體34，如第12圖中所示的，連結一與每個演繹法之 15 步驟相關之選擇碼。有一與每個步驟相關之選擇碼，其命 令四個變數中的哪些受該步驟作用。例如，有九個說明於 第11A和11B圖之計算中之演繹法步驟。對第11A圖之第一 等式來說，第一步驟僅應用至第三和第四變數，其由與該 步驟相關之“0011”之選擇碼命令（其中若對該步驟和變數之 20 碼為“1”的話，步驟應用至一特定變數，且若其為”0”的話 不應用）。如此，一“0011”之選擇碼命令該步驟將僅應用至 第三和第四變數，而非第一和第二變數。第二步驟僅應用 至第二變數，如由選擇碼“0100”所命令的。相同的度量方 法對所有的步驟和所有等式之變數應用，其係使用所示之 21 200803464 選擇碼。 用選擇碼優點為取代產生二十個演繹碼來做麵 ”心仙圖中之—十個不同的計算(或至少人個不同纪 = 不同的數值計算），以及將那些演绎法之肩 一個载入至四個處理it件之每__個中， 10 ::::r至多個處理元件以供散佈之： ::用或載入至一早一記憶體位置，其在所有處理靡 疋，、用的）。僅選擇碼需被產生並载人至不同的處理元射 ^現所要輯算，妓簡單❹的。因^轉碼僅細 ::度:::地且平行於所有變數地，増加了彻 第11A和11B圖說明對一資料計算應用之選擇碼之使 用’用以選擇性地命令哪些演繹法步驟應用至資料之選擇 碼相同地可供用來移動資料之演繹法之用。

15冑述插述，為說明之目的起見，使用特定的用語來提 供本發明之徹底了解。然而，對於熟悉技藝之人士來說， 為實施本發明不需要特定細節是明顯的。如此，本發明之 特定實施例之前述描述係呈現來供說明和描述之㈣。它 們並非預定為辦盡的或限制本發明至所揭示之精確型式。 20許多修改和變化在觀看上述指導下是可能的。例如，本發 明可用來處理任何影像格式之任何劃分。即，本發明可^ 行地處理任何格式之影像，無論它們是否為⑽⑴肋影 像，CIF影像，SIF影像或任何其他。這些影像亦可劃分^ 任何劃分，無淪它們為一影像之巨集區塊或任何其他。又， 22 200803464 任何影像資料可如此處理，無論其為強度資訊，亮度資訊， 色成貝訊或任何其他。實施例被選擇和描述為最佳地說明 本發明及其實際應用之原理，以藉此使得熟悉技藝之人士 隶t地利用本發明，且連同許多不同之修改之許多不角因 5實施例適於所考慮之特定用途。

10 15

20 本發月可Μ轭於方法和用以實施那些方法之裝置之型 式中。本發明亦可實施為程式碥之型式，其實施於有形媒 體中者，諸如軟碟，咖ΟΜ，硬碟機1體或任何盆他 機器可讀取讀存媒财，其中#程式碼被载人至諸如一 =機:中且由之執行時，機器變成—用以實施本發 月之裝置。本發日„可實施為程式碼之型式，例如益論儲 存於-儲存媒體中，載人至和/或由_機 · 輸媒體上傳送，諸如在電線或 丁 ’或於某傳 磁騎，其中當程式碼被載人至—心透過光纖或透過電 由之執行時，機器變成-用以實施本―之機器中且 一般用途之《上魏時，程式顧㈣當於一 類似地於特定邏輯電路操作之_ 处理态以提供 %一裝置。 【圖式簡單說^明】 弟1圖觀念地說明一 1 〇⑽i古 塊。 "畫質_樞架之巨集區 第2A-2B圖說明在一影像樞 塊之配置。 集區塊之區 第3A-3C圖說明將巨集區塊從其在一 射至個別平行處理器。 〜篆内之配置映 23 200803464 第4 A - 4 E圖說明對許多不同的影像格式，將影像映射至 個別之平行處理器。 第5A-5B圖說明用以將影像之子劃分映射至個別平行 處理器之16x8映射。 5 第6 A - 6 B圖說明用以將影像之子劃分映射至個別平行 處理器之16x4映射。 第7 A - 7 C圖說明根據本發明之一實施例將影像區塊映 射至平行處理器之其他方法。 第8A-8C圖說明一影像格式之資料結構之進一步之細 10 節，包括亮度和色度資訊。 第9A-9C圖說明根據本發明之一實施例，用來映射多個 影像區塊至平行處理器之許多不同的其他方法。 第10A-10C圖說明根據本發明之一實施例之資料區塊 資料位置，子區塊位置，子區塊旗標資料位置，和區塊型 15 式資料。 第11A-11B圖說明演繹法處理步驟及用以識別哪些處 理步驟應用至哪些資料變數之選擇碼。 第12圖說明一平行處理器。 【主要元件符號說明】 10影像矩陣 12巨集區塊 100-112 區域 24

Claims (1)

1. 200803464 十、申請專利範圍： L —種在具有組態來處理-影像之區塊之計算元件之列 t行之平行處理陣财，該等區塊以具有對角線之-矩 p 一配置於該影像中，該等對角線之每—個包括用以處理 :或多個隨後之該等對角線所需之相關性㈣，一種預 處理該影像之該等區塊之方法，其包含： :序地_該等對㈣线料3算元件之個別列 二此使得對該等列之每一個之相關性資料位於該等 叶异7L件之該等列之先前者中。 2·如申請專利範圍第1項之方法，其進-步包含： 位移在該等計算元件之該等 : 區塊，以將該等計算元件之該等列Γ先=者内之該等 資料置入獨特的位置中;以及“者之該相關性 等對=相關性資料之該等獨特位置為基礎來處理該 4對角線之該等區塊。 免^ 3.如申請專利範圍第2項之方法，其中該 :::::映_對角線增輪二:: I如申請專利範圍第2項之方法·· 、中轉區塊之互補_半以相 於該影像内；以及 ^之對角線配置 對之二含依序地映射_鄰 25 200803464 其中該等區塊之相關四分之一部份以相鄰四個一 組之對角線配置於該影像内；以及 其中該依序映射進一步包含依序映射該等對角線 之相鄰四個一組至該等計算元件之該等列之個別者中。 6.如申請專利範圍第2項之方法，其中： 該等區塊包括一第一區塊，一第二區塊，其配置為 恰在影像内該第一區塊之左邊，一第三區塊，其配置為 恰在影像内該第一區塊左邊和上方，——第四區塊，其配 置為恰在該影像内之該第一區塊上方，以及一第五區 塊，其配置為恰在該影像内該第一區塊右邊和上方； 該第二，第三，第四和第五區塊集合地包括對該第 一區塊之相關性資料； 該依序映射進一步包括將該第一區塊映射至一第 一計算元件中，且映射該第二，第三，第四和第五區塊 至位於來自該第一計算元件之該等列之先前者中之計 算元件中；以及 該位移進一步包括位移該第二，第三，第四和第五 區塊，如此使得該第二區塊之該相關性資料儲存於一第 二計算元件中，其配置於與第一計算元件相同之行中且 恰在該第一計算元件之前，該第四區塊之該相關性資料 儲存於一第三計算元件中，其配置在與該第一計算元件 相同之行中且恰在該第二計算元件之前，該第三區塊之 該相關性資料儲存於一第四計算元件中，其配置在與該 第一計算元件相同之行中，且恰在該第三計算元件之 26 200803464 前，以及該第五區塊之該相關性資料儲存於一第五計算 元件中，其配置在恰在與該第一計算元件之相同行後之 行中。 7.如申請專利範圍第2項之法，其中： 該等獨特位置為在該平行處理陣列内，第一區塊相 關於第二區塊，第三區塊，第四區塊，和第五區塊之位 置，該等獨特位置進一步包括： 該等第二區塊配置為恰在該等第一區塊之個別 者上方； 該等第四區塊配置為恰在該等第二區塊之個別 者之上方； 該等第三區塊配置為恰在該等第四區塊之個別 者之上方； 該等第五區塊配置為恰在該等第二區塊之個別 者之右方。 、 8·如申請專利範圍第1項之方法，其中該等區塊為巨集區 塊。 9.如申請專利範圍第1項之方法，其中該等區塊為根據一 h.264標準和一 VC-1標準至少之一所定義之該影像之區 塊。 10·如申請專利範圍第1項之方法，其中該影像為一 1080i HD框架。 11·如申請專利範圍第1項之方法，其中該影像為一352x288 CIF框架。 27 200803464 12. 如申請專利範圍第1項之方法，其中該影像為一352x240 SIF框架。 13. 如申請專利範圍第1項之方法，其中該影像為一 720x576 SD框架。 14. 如申請專利範圍第1項之方法，其中該影像為一720x480 SD框架。 15. 如申請專利範圍第1項之方法： 其中該等區塊之每一個包括強度資訊，亮度資訊， 以及色訊資訊；以及 其中該等對角線進一步包含一第一集合之對角 線，其包括該強度資訊，一第二集合之對角線，其包括 該亮度資訊，以及一第三集合之對角線，其包括該色訊 資訊。 16·如申請專利範圍第15項之方法，其中該依序映射進一步 包括： 依序映射該第一集合之對角線至該等計算元件之 指派列中； 依序映射該第二集合之對角線至該等指派列中且 相鄰於該等依序映射之第一集合之對角線；以及 依序映射該第三集合之對角線至該等指派列中且 相鄰於該依序映射之第二集合之對角線。 17·如申請專利範圍第1項之方法，其中該依序映射進一步 包括： 依序映射來自一第一影像之一第一集合之對角線 28 200803464 至該等計算元件之一第二集合之列中；以及 依序映射來自一第二影像之一第二集合之對角線 至該等計算元件之第二集合之列中； 其中該第二集合之列至少一部份與該第一集合之 列重疊。 18. 如申請專利範圍第17項之方法，其中： 該哀序映射一第一集合之對角線進一步包括在沿 著該第一集合之列之第一方向上依序映射該第一集合 之對角線至該第一集合之列中；以及 該依序映射一第二集合之對角線進一步包括在沿 著該第二集合之列之第一方向上依序映射該第二集合 之對角線至該第二集合之列中。 19. 如申請專利範圍第17項之方法，其中： 該依序映射一第一集合之對角線進一步包括在沿著該 第一集合之列之第一方向上依序映射該第一集合之對 角線至該第一集合之列中;以及 該依序映射該第二集合之對角線進一步包括在與該第 一方向相反之一第二方向上映射該第二集合之對角線 至該第二集合之列中。 20. —種電腦可讀取媒體，其具有電腦可執行指令在其上， 其係供一種方法之用，該方法為在具有組態來處理一影 像之區塊之計算元件之列和行之一平行處理陣列中做 預處理，該等區塊以具有對角線之一矩陣配置在該影像 内，該等對角線之每一個包括處理一或多個隨後之對角 29 200803464 線所需之相關性資料，該方法包含·· 依序地映射該等對角線至該等計算元件之個別列 中，如此使得對該等列之每一個之相關性資料位於該等 計算元件之該等列之先前者中。 21. 如申請專利範圍第20項之電腦可讀取媒體，其中該方法 進一步包含： 位移在該等計算元件之該等列之先前者内之該等 區塊，以將該等計算元件之該等列之先前者中之相關性 資料置入獨特之位置中；以及 以該相關性之該等獨特位置為基礎來處理該等對 角線之該等區塊。 22. 如申請專利範圍第21項之電腦可讀取媒體，其中該依序 映射進一步包含依序映射個別的該等對角線至該等計 算元件之該等列之個別者中。 23. 如申請專利範圍第21項之電腦可讀取媒體： 其中該等區塊之互補之半以相鄰對之對角線配置 於該影像内；以及 其中該依序映射進一步包含依序映射該等對角線 之該等相鄰對至該等計算元件之該等列之個別者中。 24. 如申請專利範圍第21項之電腦可讀取媒體： 其中該等區塊之相關四分之一部份以相鄰四個一 組之對角線配置於該影像内；以及 其中該依序映射進一步包含依序映射該等對角線 之相鄰四個一組至該等計算元件之該等列之個別者中。 30 200803464 25. 如申請專利範圍第21項之電腦可讀取媒體，其中： 該等區塊包括一第一區塊，一配置為在該影像内恰 在該第一區塊左邊之第二區塊，一配置為恰在該影像内 該第一區塊之左邊和上方之第三區塊，一配置為恰在該 影像内該第一區塊上方之第四區塊，以及一恰在該影像 内該第一區塊右邊和上方之第五區塊； 該第二，第三，第四和第五區塊總體包括對該第一 區塊之該相關性資料； 該依序映射進一步包括映射該第一區塊至一第一 計算元件中，且映射該第二，第三，第四和第五區塊至 位於來自該第一計算元件之該等列之先前者中之該等 計算元件中；以及 該位移進一步包括位移該第二，第三，第四和第五 區塊，如此使得該第二區塊之該相關性資料儲存於一第 二計算元件中，其配置在與該第一計算元件相同之行 中，且恰在該第一計算元件前，該第四區塊之相關性資 料儲存在一第三計算元件中，其配置在該第一計算元件 相同之行中且恰在該第二計算元件之前，該第三區塊之 該相關性資料儲存在一第四計算元件，其配置在與該第 一計算元件相同之行中且恰在該第三計算元件之前，且 該第五區塊之該相關性資料儲存在一第五計算元件 中，其配置在恰在與該第一計算元件相同之行之後之行 中〇 26. 如申請專利範圍第21項之電腦可讀取媒體，其中： 31 200803464 該等獨特位置為第一區塊相關於第二區塊，第三區 塊，第四區塊，和第五區塊在該平行處理陣列内之位 置，該等獨特位置進一步包括： 該等第二區塊配置為恰在該等第一區塊之個別 者上方； 該等第四區塊配置為恰在該等第四區塊之個別 者上方； 該等第三區塊配置為恰在該等第四區塊之個別 者上方；以及 該等第五區塊配置為恰在該等第二區塊之右邊。 27. 如申請專利範圍第20項之電腦可讀取媒體，其中該等區 塊為巨集區塊。 28. 如申請專利範圍第20項之電腦可讀取媒體，其中該等區 塊為根據一h.264標準和一VC-1標準至少之一所定義之 影像之區塊。 29·如申請專利範圍第20項之電腦可讀取媒體，其中該影像 為一 1080iHD框架。 30·如申請專利範圍第20項之電腦可讀取媒體，其中該影像 為一352x288 CIF框架。 31·如申請專利範圍第20項之電腦可讀取媒體，其中該影像 為一 352x240 SIF框架。 32. 如申請專利範圍第20項之電腦可讀取媒體，其中該影像 為一 720x576 SD框架。 33. 如申請專利範圍第20項之電腦可讀取媒體，其中該影像 32 200803464 為一 720x480 SD框架。 34. 如申請專利範圍第20項之電腦可讀取媒體： 黃中該等區塊之每一個包括強度資訊，亮度資訊， 以及色訊資訊；以及 其中該等對角線進一步包含一包括該強度資訊之 第一集合之對角線，一包括該亮度資訊之第二集合之對 角線，以及一包括該色訊資訊之第三集合之對角線。 35. 如申請專利範圍第34項之電腦可讀取媒體，其中該依序 映射進一步包括： 依序映射該第一集合之對角線至該等計算元件之 指派列中； 依序映射該第二集合之對角線至該等指派列中且 相鄰於該依序映射之第一集合之對角線中；以及 依謦映射該第三集合之對角線至該等指派列中且 相鄰於該依序映射之第二集合之對角線。 36. 如申請專利範圍第20項之電腦可讀取媒體，其中該依序 映射進一步包括： 依序映射來自一第一影像之第一集合之對角線至 該等計算元件之一第一集合之列中；以及 依序映射來自一第二影像之一第二集合之對角線 至該等計算元件之一第二集合之列中； 其中該第二集合之列至少一部份重疊於該第一集 合之列。 37. 如申請專利範圍第36項之電腦可讀取媒體，其中·· 33 200803464 著4依序映射-第一集合之對角線進-步包括在沿 之對角/合之列之第—方向上依序映射該第一集合 又封角線至該第一集合列中；以及 著/第=射一第:集合之對角線進-步包括在沿 切角之列之弟—方向上依序映射該第二集合 3s對角線至該第二集合之列中。 ”請專利範圍第36項之電腦可讀取媒體，其中： 依::射一第一集合之對角線進—步包括在沿著 弟〜合之列之第一方向上依序映射 對角線至第-集合之列中；以及 弟心之 :映射該第二集合對角線進—步包括在一與 39 對_ 11相反H向上依序映射該第二隼人之 對角線至該第二集合列中。 木。之 .二重在具有-計算元件之陣列之平行 1像之區塊之枝，财法包含：_中處理 映射該等區塊至該等計算林 根據在該等計算元件之個別者之每中乂及 —單一命令集合來處理节等 厂 個上執仃之 句.如申請專利範圍第39項:=，之每-個。 、法，其進一步包含· 在處理該等映射區機之每… 算元件之個別者中之ψ耸 / s ’位移在該等計 r之该專映射區 置於該平行處理陣_之獨特位置。謂該相射區機 扦如申請專利範圍第40項之方法，其卜 該等區境包括-f 鬼—配置為恰在該影像内 34 200803464 之該第一區塊左邊之第二區塊，一配置為拾在該影像内 該第一區塊左邊和上方之第三區塊，一配置恰在該影像 内之該第一區塊上之第四區塊，以及一配置為恰在該影 像内之該第一區塊右邊和上方之第五區塊； 該映射進一步包括映射該第一區塊至一第一計算 元件中，以及映射該第二，第三，第四和第五區塊至位 於來自該第一計算元件之該等列之先前者中之該等計 算元件中；以及 該位移進一步包括位移該第二，第三，第四和第五 區塊，如此使得該第二區塊儲存於一第二計算元件中， 其配置在與該第一計算元件相同之行中且恰在該第一 計算元件之前，第四區塊儲存於一第三計算元件中，其 配置在與該第一計算元件相同之行中，且恰在該第二計 算元件之前，該第三區塊配置在一第四計算元件中，其 配置在與該第一計算元件相同之行中，且恰在該第三計 算元件之前，且該第五區塊儲存於一第五計算元件中， 其配置在一恰在與該第一計算元件相同之行之後之行 中〇 42.如申請專利範圍第40項之方法，其中： 該等獨特位置為第一區塊相關於第二區塊，第三區 塊，第四區塊，和第五區塊在該平行處理陣列内之位 置，該等獨特位置進一步包括： 該第二區塊配置在恰在該等第一區塊之個別者 上方； 35 200803464 該第四區塊配置在恰在該等第二區塊之個別者 之上方； 該等第三區塊配置在恰在該等第四區塊之個別 者之上方；以及 該等第五區塊配在恰在該等第二區塊之右邊。

   36