TWI259713B - Pixel-data line buffer approach having variable sampling patterns - Google Patents

Pixel-data line buffer approach having variable sampling patterns Download PDF

Info

Publication number
TWI259713B
TWI259713B TW091132009A TW91132009A TWI259713B TW I259713 B TWI259713 B TW I259713B TW 091132009 A TW091132009 A TW 091132009A TW 91132009 A TW91132009 A TW 91132009A TW I259713 B TWI259713 B TW I259713B
Authority
TW
Taiwan
Prior art keywords
pixels
pixel
window size
line buffers
line
Prior art date
Application number
TW091132009A
Other languages
English (en)
Other versions
TW200407035A (en
Inventor
Chien-Hsin Lin
Jean-Huang Kevin Chen
Original Assignee
Koninkl Philips Electronics Nv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=21940594&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TWI259713(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninkl Philips Electronics Nv filed Critical Koninkl Philips Electronics Nv
Publication of TW200407035A publication Critical patent/TW200407035A/zh
Application granted granted Critical
Publication of TWI259713B publication Critical patent/TWI259713B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Input (AREA)

Description

I259713(i) 玫、發明說明 (發明說明應敘明:發明所屬之技術領域、先前技術、内容、實施方式及圖式簡單說明) 相關專利文件 本專利申請案係關於同時歸檔、共同待審的美國專利申 請案’其題目為「Motion Compensation With Subblock Scanning(使用子區塊掃描之運作補償)」(律師檔案編號vLSL 310PA/US018142) ’本文將其全文以提及方式併入。 技術領域
本發明係關於視訊信號處理,特定言之,係關於視訊信 號處理中的動作補償。 先前技術 電腦配置(包括微處理器及數位信號處理器)之設計適用 於廣泛應用,並且幾乎在各個行業中使用。由於各種原因’ 許多這些應用係關於處理視訊資料,並且要求最小的功率 消耗和緊密性。某些應用進一步要求一高速計算引擎,可 以在即時或接近即時某礎上右 ,名 一欠上$效運仃。許多這些視訊處理
應用需要一種能夠以更离诘泠抽一少‘ ^ . 门連度執仃多里功能的資料處埋电 但增加此種計算引擎的功率及多功能性會有損其它重要 目標。例如,更快的計算引擎消耗更多功率及電路不動產, 而理想引擎最小化功率消耗以及實施該計算引擎所需的電 路量。 此外,提供多功能性及高功 通’因為這需要各種類型的處 處理功能,並且為不同處理功 半通常會加劇電路不動產問 理電路,每種專門用於不同 能有選擇地啟動。藉著比較 1259713 (2) (例如)視訊應用中相對緩慢的一般目的處理與用於即時壓 縮和解壓縮視訊資料的專用視訊信號過濾處理,可明白該 現象。由於專用處理電路通常係最佳化以保持視訊資料的 即時速度,要提供單一、充分多功能的視訊資料處環電路 而不同時提供只對有限應用有用的似乎過量的電路經常是 相當困難的。 舉個更具體的範例,許多視訊信號處理應用採用各種專 用視訊信號處理結構,以獲得應用在視訊資料的高速處理 功能。這些高速處理功能包括一般低通量及高通量濾波、 動作補償掃描速率轉換、縮放和峰值濾波以及其它許多功 能。在視訊處理應用中,這些功能的執行經常係藉著處理 儲存資料以代表用來刷新表示顯示像素之顯示資料的水平 線和垂直線。 在上述每個視訊處理應用中,設計、製造及維持用來提 供該種功能性的積體電路需要相當高的成本。例如,在相 對寂靜環境中的高速實施作業可能允許不太經常的對應於 視訊訊框(如儲存在記憶體中或經由攝影機捕獲)的像素資 料取樣,而另一高速實施可能需要相對頻繁的像素資料取 樣。通常以不同方式來實施用於後處理(例如過濾)這些不 同取樣資料的高速結構。在每個這樣的應用中,該種結構 不兼客之結構的相關成本相當南。 因此,公認需要開發一相對緊密的視訊處理結構,以應 付這些多重功能而不會造成資料處理生產量的嚴重損失。 維持高生產量並提供在廣泛應用中足夠靈活的結構尤其困 1259713 (3) 難,因此實現該種目標的努力遠遠未構成競爭 明係關於一種資料處理結構,其使用一定範圍 樣窗口所定義的一取樣圖案以傳遞一固定數量 樣一種視訊處理平臺。 發明内容 本發明的不同方面係關於一種資料處理方法 用線緩衝器,其係解耦並且可使用多個可選擇 一所定義的一取樣圖案來傳遞(可能是一視訊 求的)一固定數量像素。本發明的優點包括最 器之使用、像素資料處理的遲延以及由此導致 率消耗。 與一示範性具體實施例相一致,本發明係關 於一視訊像素陣列的一輸入像素資料流,並且 窗口尺寸來取樣該陣列的子集以作為跨越該陣 一二維窗口。該方法藉著首先建立一窗口尺寸 口尺寸,以一固定數量像素的形式傳遞該輸入 至一視訊處理平臺。在一特定具體實施例中, 係該取樣窗口尺寸的一倍數,並且該取樣窗口 素的該固定數量。該處理包括同時進行以下任 從該輸入資料流儲存入一第一組線緩衝器,儲 組線緩衝器的像素對應於該建立之窗口尺寸; 線緩衝器預擷取所儲存的像素放入一第二組線 第二組線緩衝器係足夠長以儲存至少對應於該 口尺寸的像素;以及將該固定數量像素從該第 發弟說明續頁 壓力。本發 的可選擇取 的像素至這 ,該方法使 取樣窗口之 處理平臺要 小化線緩衝 的最小化功 於處理對應 使用一可變 列中像素的 及一取樣窗 像素資料流 該窗口尺寸 尺寸定義像 務:將像素 存在該第一 從該第一組 緩衝器,該 建立取樣窗 二組線緩衝 1259713 (4) 發辑疼明律:頁 器擷取至該視訊處理平臺。
在另一相關示範性具體實施例中,一視訊處理電路包括 用於建立一窗口尺寸及一取樣窗口尺寸的一可程式電路, 使得該窗口尺寸係該取樣窗口尺寸的一倍數,並且該取樣 窗口尺寸定義像素的該固定數量,該第一及第二組線緩衝 器係用來處理資料。一資料處理電路對視訊像素的處理係 藉著同時執行上述任務,即:將像素從該輸入資料流儲存 入該第一組線緩衝器,從該第一組線緩衝器預擷取所儲存 的像素放入該第二組線緩衝器,以及將該固定數量像素從 該第二組線緩衝器擷取出。
本發明的其它示範性具體實施例係分別關於各種其它相 關方面,包括該種處理的方法、電路及基於系統的實施。 例如,其中一種觀點係關於一應用,其中該第二組線緩衝 器包括依據相對於一目前像素定義的距離參數而定址的像 素,而該距離參數係依據具有X列和Y行的一窗口尺寸定 義,其中X係一固定整數,Y係選擇用來建立該取樣窗口 尺寸。另一種觀點係關於一應用,其中該第一組線緩衝器 係用來將該輸入像素資料流與該第二組線緩衝器解耦◊又 一種觀點係關於一應用,其中該各自線緩衝區具有一定義 之長度以最佳化生產量,並且其中進一步設定及配置該資 料處理電路,從而在各自的線緩衝器中平移像素資料以減 少週期時間。 上述本發明概要之本意並非要描述本發明的每個所說明 之具體實施例或每個實施方案。以下的圖式及詳細說明更 -10 - 1259713 ι_ ⑸ |發明說明績頁 具體地例示了這些具體實施例。 實施方式 本發明係認為高度適用於像素資料處理的方法和配置, 以及從不規則取樣窗口取樣像素資料的應用(包括使用線 緩衝器將輸入與處理取樣資料速率進行一般解耦)。一數 位視訊圖像係由陣列、矩陣或像素資料組成。像素資料傳 統上係配置在像素的列與行中。本發明對需要或從使用不 規則(即可變)尺寸滑動窗口之二維像素取樣的視訊像素處 理配置尤其有利,例如適用於處理可變尺寸(即可變像素 資料陣列尺寸)數位圖像的視訊像素處理配置、或滑動窗 口尺寸依據從先前窗口樣本回授的資訊而變化的視訊像素 處理配置。雖然本發明不必侷限於這些應用,藉著在這樣 環境下的範例討論可對本發明的各種方面獲得最清楚的理 解。 一數位視訊圖像係由一二維像素陣列組成,例如在一視 訊顯示器上通過一 720x5 12像素陣列顯示一圖像係典型範 例。該視訊圖像在時間上的運動或其它變化在該視訊圖像 共同觀看的「快照」中捕獲,並統稱為一「訊框」。該數 位視訊圖像的每個像素由一組資料(「像素資料」)表示。 響應不同訊框中發生的一特定像素之像素資料的變化,一 特定像素的品質(例如強度等)可隨著訊框的不同而變化。 每個720x5 12像素陣列的像素資料傳統上係儲存在一訊框儲 存記憶體中,並隨後進行處理以控制一視訊圖像。 作為整合數位圖像的一部分,一特定像素的品質經常以 1259713 (6) 發曰月說明績頁
某種方式與附近像素品質相關。其它另外的常態模式特徵 (例如雜訊)常常在處理一特定像素的像素資料時指示為要 考慮附近像素。考慮圍繞所關注像素的一二維像素子集(即 一窗口)係一眾所週知的方法,所關注像素的像素資料以 及該窗口内的附近像素以某種方式作為一個群組共同進行 處理。通常,在處理顯示器中每個連續像素的資料時,該 窗口沿著一顯示器滑動並相對於所關注的一像素位置維持 一特定方位。傳統上,像素處理係依據其在顯示器中的位 置,從顯示器的左上角的一像素開始,按照從左到右、從 上到下的順序進行。考慮處理(例如調整或修改)所關注像 素的資料時該滑動窗口内的像素特性,可決定某些資訊。
某些視訊資料處理係對一固定數量資料進行操作,例如 同時處理N個像素。處理視訊資料的一種方法係選擇圍繞 所關注像素的一均勻窗口 ,其只包括N個像素,N係可一 次處理的像素數量。該窗口的尺寸、以及由此的圍繞所關 注像素的範圍(例如距離)受到N大小的限制。在某些像素 資料處理方法中(例如雜訊過濾),最好考慮圍繞所關注像 素的的一大範圍像素,但與此同時不要增加N的數量以保 持處理效率及速度。 考慮圍繞所關注像素的的一更寬窗口的一種方法係從該 窗口内選擇代表性像素資料的一子集,並且只進一步處理 本質像素資料以決定某些資料。在一示範性具體實施例 中,如果從該窗口内像素資料得出的資訊中沒有偵測出什 麼變化,則擴展圍繞所關注像素的的一窗口尺寸。反之, -12- 1259713 ⑺ 驗:
如果從得出資訊中偵測出某變化的臨界值,則縮小該窗口 尺寸。中央處理單元(central processing unit ; CPU)或其它邏 輯電路動態決定並改變窗口尺寸,由此改變包括在該窗口 内的像素數量。但如果下游資料處理速率保持固定,則產 生複雜的資料同步化問題。依據本發明一種方法的一種解 決方案係從該窗口内選擇包括N個像素的一進一步代表性 子集(例如一取樣窗口),只將選擇的像素資料轉送給一 MMIO。
與一般具體實施例相一致,本發明係以一像素資料處理 電路的形式實施,該電路具有與一中間預擷取緩衝器耦合 的一解耦線緩衝器電路,該解耦線緩衝器電路、中間預擷 取緩衝器以及它們之間的通信由一邏輯電路控制^本發明 的像素資料處理電路處理一輸入資料流,例如從對應於一 可變尺寸二維窗口的一視訊像素陣列的ΜΙΜΟ中。處理了 的像素資料輸出到一進一步資料處理平臺,例如一適於同 時處理一固定數量像素的低通量濾波視訊處理平臺。該像 素資料處理電路的輸出速率由此固定為下游資料處理平臺 的輸入速率,其可能與輸入資料速率不同。本發明的像素 資料處理電路的設定及配置係為了最小化該輸入資料流與 由該下游資料處理平臺從該像素資料處理電路中擷取的像 素資料之間的像素遲延。 流向本發明電路的輸入像輸資料流包括依據一預定預定 方位從可變尺寸窗口選擇的像素資料,並且該像素資料預 先配置在具有一固定尺寸的取樣窗口陣列中。本發明電路 -13 - 1259713 (8) 明 進一步準備傳遞給該資料處理平臺的樣本窗口像素資料。 孩取樣窗口尺寸預定義為包括一固定數量的Ν個像素,Ν 係1Κ資料處哩平臺可同時處理的像素資料的數量。 在一不範性具體實施例中,該可變窗口尺寸最好具有一 固疋數I的像素列X,以及一可變數量的像素行Υ。在一 替代具體實施例中,像素列X的數量也為可變。該解耦線 ,緩衝&電路設定為具有Χ+ 1個線緩衝器,每個線緩衝器的 長度足夠儲存對應於ΥΜΑΧ個像素以上的資料,其中Υμαχ係 最大期望窗口尺寸的像素行的數量。該預擷取中間緩衝器 與孩解輕線緩衝器電路耦合。該邏輯電路的設定及配置, 係為了控制穿過該解耦線緩衝器電路和預擷取中間緩衝器 的像素資料的通信以及該兩者之間的像素資料的通信。 在本發明的一特別示範性具體實施例中,本發明的一視 訊處理電·路係作為一功能塊直接處於一視訊信號處理配置 中的「SWAN」單元之前,該配置在上述題目為r M〇ti〇n Compensation With Subblock Scanning(子區塊掃插的動作補 償)」的共同待審美國專利申請案中有所說明。該r s WAN」 單元係一資料處理平臺,其包括像素資料的低通量濾波。 本發明的視訊處理電路包括由一組線緩衝器組成的一解 耦線緩衝器電路以及一第二中間預揭取緩衝器。該視訊處 理電路接收一系列輸入像素資料流’該像素資料係從圍繞 一所關注像素的一窗口中選擇的取樣窗口像素資料。該關 注像素包括在該取樣窗口像素資料中。該輸入像素資料流 代表對應於一視訊像素陣列的像素’該視说像素陣列具有 1259713 (9) 一可變窗口尺寸,以取樣一視Λ像素顯示陣列作為跨越該 顯示陣列中像素的一二維㉟口。居视訊處理電路配置有一 固定數量的像素資料以使^出平行於—資料處理平臺,從 而減少進入該資料處理平臺的重新載入時間並節省頻寬。 該下游資料處理平臺同時擷取Ν個像素(即平行處理),Ν最 好係等於一完全平方的一數量。在本發明的一示範性具體 實施例中,該資料處理平臺同時擷取代表25個像素的像素 資料。 在一示範性具體實施例中’該可變窗口尺寸最好具有一 固定高度的χ(行或列)像素以及一可變寬度的γ(行)像素。 另外,γ最妤係X的一整數倍數η °在一替代性具體實施例 中,X不必是固定的β γ不必是χ的一整數倍數。取樣窗口 最妤為對稱,具有ΧχΧ的尺寸。從該可變窗口選擇的像素 在該取樣窗口中的配置係與這些像素在該可變窗口中位置 相同的彼此相對位置方位°對於Ν為一完全平方時的本發 明之具體實施例,該取樣窗口設定為具有等於X的統一尺 寸,X為Ν的平方根。一最小可變窗口尺寸係該取樣窗口 尺寸。例如,在尺寸等於XxX的陣列中配置Ν個像素。取 樣的一最大窗口尺寸也係為了 一特定像素資料處理電路應 用而預先定義。 在本發明的一項示範性具體實施例中,一最大期望窗口 尺寸為20x5,該最大窗口尺寸包括個像素。因此ΧχΧ的 取樣窗口尺寸係5 X 5 ’取樣窗口包括一固定數量的2 5個像 素。該下游資料處理平臺從本發明的該視訊處理電路中同 1259713 (10) 時擷取2 5個像素的像素資料(或像素的 進一步的資料處理。其中該取樣窗口』 的邊緣,從而不存在該目前像素的鄰i 的像素行/列並用在缺少像素行/列的位 實現該實施,例如使用線選擇多工技術 圖1 A說明一窗口具體實施例100的一 窗口尺寸等於一取樣窗口尺寸,都是: 以5個像素寬(即5行),並包含2 5個像3 樣窗口)像素陣列圍繞一目前中央像素 素位於一目前線122中。視訊圖像線傳 從上到下編號,從顯示器的左上角開说 所關注的一目前像素位於的一條線。為 取樣窗口)100的每條線關於該目前線取 下的一條線表示為「線+ 1」124,在該 線表示為「線-1」126,在該目前線之 「線+2」128,而在該目前線之上的兩 Π 0。線「線-1」與「線+ 1」相對於該 所示,線「線-2」與「線+2」也相對於 自在線「線-1」與「線+ 1」的外側。 圖1 B顯示另一窗口具體實施例140的 實施例,窗口尺寸為5個像素(即列)高 因此該窗口具體實施例包含5 0個像素 央像素1 20。像素1 10不必相對於目前中 圖1 B所示。像素線的表示如圖1 A所示 發明說明績灵| 一取樣窗口)以進行 :在該像素顯示區域 :像素,複製最靠近 置上,因此可輕易 〇 特定範例,其中一 5個像素(即列)高乘 t 1 10。該窗口(及取 1 2 0對稱。該中央像 統上係從左到右、 ;。一目前線定義為 參考起見,窗口(及 名,在該目前線之 目前線之上的一條 下的兩條線表示為 條線表示為「線-2」 目前線對稱。如圖 -該目前線對稱,各 一特定示範性具體 以及1 0個像素寬。 1 10,包括該目前中 央像素120對稱,如 。目前中央像素位 -16 - 1259713 (Η) 發明說、明瘓頁. 於目前線122中。窗口 140的取樣窗口尺寸為XxX,或5x5, 取樣窗口包括2 5個像素。窗口參數係可程式參數,最大窗 口尺寸係預定的。一窗口的像素資料由該資料處理電路以 一次處理N個像素的固定速率進行處理,換言之,一次處 理一個取樣窗口,因為每個取樣窗口包括N個像素。
圖2顯示本發明的一窗口 200的示範性具體實施例(在該 具體實施例中,也是一取樣窗口,因為窗口尺寸為對稱), 並且說明在5 X 5窗口内的一相對像素定址系統。每個像素 位置由關於目前中央像素120的一組變數進行說明。其它 像素與之相關的目前中央像素120有選擇地從該窗口的中 央偏離,例如當窗口行的數量為偶數時,要使得目前中央 像素120左右兩邊的像素數量相等是不可能的。表1列出依 據本發明的一示範性像素相對定址系統的相對定址變數。
-17- 1259713 (12) 表1 #1¾ ------- 名稱 說明 cn 一 dist[l,4] 目前線上的目前中央像素與附近像素之間的左 移 ce 一 dist[2,8] 目前線上的目前中央像素與末端像素之間的左^^ 移 nn_dist[l,4] 線「線-1」與「線+1」上的目前中央像素與附近U'' 之間的左/右偏移 。 ne一 diet[2,8] 線「線-1」與「線+1」上的目前中央像素與 之間的左/右偏移 μ en一dist[l,4] 線「線-2」與「線+2」上的目丽中央像素 之間的左/右偏移 ^ ee—dist[2,8] 線「線-2」與7線+2」上的 之間的左/右偏移 I n_rsh[0,3] —---~~— " --------— 對於線「線-1」與「線+ij的向右線敕 e_rsh[0,3] 間 並 &1孓京关 的左/右偏移(即一條線上的非末端像素)Α「 μ J 今 cn^distj ,- 允許其在本發明的相對定址系統中在整數γ ^ 祀国内從1到4 ( 和4包括在内)進行變動。變數「cn dist」桴4山 - 忐由以下組成. 「c」表示定址的該像素處在該目前線中,「 ’ 於 的「 , n」表示對立 末端像素的附近像素而 dist」表示距_ 艰變數「ce jist e」表示末端像素,該變數標誌的复亡 ' α邵分表示上述 的特徵。圖2中窗口 200的每個像素都用—4 ^ 翏考號碼來俨 -18- 1259713 發明:說明績頁 記,而表2對應於窗口 200的每個像素的參考號碼,使用表 1的相對定址變數的一表達式來說明圖2顯示的每個像素的 各自位置。
表2 參考號碼 像素相對定址說明 線 120 Px,目前中央像素 目前線 202 px+e_rsh-ee_dist 「線-2」 204 px 十 e_rsh—en_dist 「線-2」 206 px+ejrsh 「線-2」 208 px+e_rsh+en_dist 「線-2」 210 px+ejrsh+eejiist 「線-2」 212 px+n_rsh-ne_dist 「線-1」 214 px+n_rsh-nn_dist 「線-1」 216 px+n—rsh 「線-1」 218 px+n 一rsh+nn一dist 「線-1」 220 px+n_rsh+ne_dist 「線-1」 222 px-cejlist 目前線 224 px-cn 一 dist 目前線 228 px+cn 一 dist 目前線 230 px+ce_dist 目前線 232 px+n 一 rsh—ne_dist 「線-1」 234 px+n_rah-nn_dist 「線-1」 236 px+n—rsh 「線-1」 238 px+n_rsh+nn_dist 「線-1」 240 px+n_rsh+ne_dist 「線-1」 242 px+e_rsh-ee_dist 「線-2」 244 px+e 一 rsh-enjlist 「線-2」 246 px+e 一 rsh 「線-2」 248 px+ersh+en_dist 「線-2」 250 px+e_rsh+ee_dist 「線-2」 -19 - 1259713 (14) 發明_明續頁 相對於該目前線上的該目前中央像素的窗口内的任何像 素(即一樣本像素)的距離表示為表2中定義的相對定址表 達式。由於窗口參數(例如尺寸)為可程式參數,窗口與取 樣窗口的每個像素的位置都可相對於分別從該窗口與取^ 窗口中選擇的一目前中央像素來說明。
圖3說明包括一 20χ5像素陣列的一可變窗口 3〇〇的示範性 具體實施例.顯示為圓形的像素由cpu從窗口 3〇〇中選τ出, 選擇的像素係從上述相對定址表達式來決定。圖3的^擇 像素的參考號碼與圖2所示的參考號碼相似’加上以表 明圖3的某些像素係從對應於圖2說明的相似參考像素的表 Μ Μ定H形符號(並非任何「χ」符號)指定的 窗口則内的像素(由4 !與表2的相對定址表達式之應用選 擇)具有相對於窗口 300内的每個其它選擇像素的方位,其 與窗口 200的相似參考像素之間的方位相似。
圖4說明本發明的—像素資料處理電路4〇〇的示範性具體 實施例,該電路具有一解棋線緩衝器電路41〇、一中間預 擷取緩衝器420及一控制邏輯電路43卜從一顯示緩衝器(未 顯示)傳出的像素資料由電路400快速連績接收,旅配置在 解搞線緩衝器電路41〇中,肖電路的一設定可以是(例如)每 條線上有256個像素的二 .^ 2 Μ,、條線,總共為1 536個像素。在另一 具體貫施例中’該解耦線緩衝器電路設定為每條線上有128 個像素的五條線。纟任_例子中,該像素皆料由控制邏輯 電路430連續導入解辑線緩衝器電路4丨〇中。' 從該❹線緩衝器電路41〇六條線的每條線,該控制邏 -20- 1259713 (15) 麵變:續旯 輯電 間預 420f 應於 在 有五 之五 像素 每個 間預 在 複用 應中 實施 間預 例如 素資 中 係通 個像 列内 上的 個陰 路430開始將首先到達的3 2個像素複製入一相應的中 擷取緩衝器組(或像素單元陣列),顯示為項目420a至 。依據先前討論的取樣窗口設定,該複製包括傳遞對 該目前取樣窗口的像素資料。 本發明的一示範性具體實施例中,該取樣窗口陣列具 條像素資料線,而從解耦線緩衝器電路4 10的六條線 條線係用來保存輸入像素資料並將該視訊處理電路的 資料輸入速率與該視訊處理電路的處理(即輸出)速率 β如上所述,解耦線緩衝器電路4 10五個線緩衝器的 線緩衝器係用來依據該取樣窗口設定來將資料傳入中 掏取緩衝器組4 2 0 a至4 2 0 f之一。 一示範性實施方案中,控制邏輯430包括一基於多路 器的邏輯電路,其具有五個選擇輸入以選擇上述該對 間線緩衝器的2 5個單元的每個單元。在一替代性具體 例中,選擇邏輯係藉著在解耦線緩衝器電路41〇與中 擷取緩衝器420之間的像素資料的軟體處理來實施, ’藉著控制邏輯電路430來導向一互連匯流棑上的像 料通信。 間預擷取緩衝器420與資料處理平臺440通信耦合,其 過—平行通道450,其適於同時溝通取樣窗口的全部N 素。圖4顯示中間預擷取緩衝器420的每個像素單元陣 的陰影像素位置’其代表同時定時脈到平行通道 像素單元位置,用於與資料處理平臺440的通信。每 〜像素單元陣列位置與在一示範性具體貫施例中硬^^ -21 - 1259713 發興雜續頁 中實施的通道450耦合,例如通過專用資料通信路徑(即硬 體線路),或另外通過一多功信號分離器的配置。在本發 明的另一項具體實施例中,搞合係通過中間預擴取緩衝器 420與通道450之間的像素資料軟體處理來實施,例如,藉 著控制邏輯電路430來指導像素資料通信。 在圖4顯示的一示範性具體實施例中,線緩衝器412保存 一 5x5取樣窗口的目前線的5個像素的像素資料。線緩衝器 4 14保存一 5 X 5取樣窗口的「線+ 1」的5個像素的像素資料。 線緩衝器414中的每個像素之參考係依據上述表2中設定並 在圖2中說明的方法、線緩衝器414中的像素資料複製並儲 存在像素單元陣列423中,顯示為配置在5條線中,每條線 有線緩衝器414中5個像素的目前線像素資料。在替代性具 體實施例中,每個像素單元陣列内的像素資料方位可在圖 4的顯示·基礎上進行修&,例%,像素的順序可以相反順 序儲存在像素單元陣列中,使得像素232佔用一 「右上」 位置而像素娜用一「左下」纟置’由此將像素資料二 上到下沿著通道45〇配置,從而像素按照從左到右、從上 到下的移動中將會遇到位於一取樣窗口左上角的一像素 (例,參考圖2 ’從像素202開始,右移將接著遇到像素204 , 再是206、208、21〇’再是212、214等,直到最後遇到像素2別。 用來代表資料處理平臺44G的通道45()中像素資料的設定係 在電路設計者及/或目標應用的判斷下。 因此,尽發明的各種示範性實施表現了資料處理方法的 5色,其於解搞進入像素顯示資料以及通過一平行 •22-

Claims (1)

125^)|^2009 號專利♦請赛 Γ; ; : V; . 中文申請專利範圍替4^25年1J1……」 拾、申請專利範圍 1. 一種用於將輸入像素流傳遞至一視訊處理平臺(440)之 方法,該視訊處理平臺係在一具有一對應於一視訊像素 陣列的輸入像素流、一用於取樣該陣列的子集以作為跨 越該陣列中像素的一二維窗口的可變窗口(300)尺寸、該 使用固定數量像素輸入像素的視訊處理平臺(440)的一 視訊處理電路中,該方法包括: -建立一窗口尺寸及一取樣窗口尺寸,使得該窗口尺寸 係該取樣窗口尺寸的一倍數,並且該取樣窗口尺寸定義 像素的該固定數量;及 同時執行以下動作: -將像素從該輸入流中儲存入一第一組線緩衝器 (410),儲存在該第一組線緩衝器的像素包括該建立窗 口尺寸的像素, -將儲存像素從該第一組線緩衝器中預擷取入一第 二組線緩衝器(420),該第二組線緩衝器係足夠長以儲 存至少對應於該建立取樣窗口尺寸的像素,以及 -將該固定數量像素從該第二組線緩衝器中擷取至 視訊處理平臺(440)。 2. 如申請專利範圍第1項之方法,其中每個視訊像素陣列代 表一視訊訊框。 3. 如申請專利範圍第2項之方法,其中該窗口尺寸具有X列 和Y行,而該取樣窗口尺寸具有X列,其中X係一固定整 1259713 4. 如申請專利範圍第3項之方法,其中建立窗口尺寸包括從 一可能整數集中選擇Y。 5. 如申請專利範圍第4項之方法,其中像素的該固定數量等 於2 5,X等於5,而Y的可能整數集為1到4。 6. 如申請專利範圍第1項之方法,其中該第一組線緩衝器 (410)係用來將該輸入像素流與該第二組線緩衝器(420) 解耦。 7. 如申請專利範圍第1項之方法,其中該該第二組線緩衝器 (420)包括依據相對於一目前中央像素(120)定義的距離 參數而定址的像素。 8. 如申請專利範圍第7項之方法,其中距離參數係依據該窗 口尺寸定義。 9. 如申請專利範圍第1項之方法,其中該第二組線緩衝器包 括依據相對於一目前像素定義的距離參數而定址的像 素,其中距離參數係依據具有X列和Y行的一窗口尺寸定 義,其中X係一固定整數而Y係選擇用來建立該取樣窗口 尺寸。 10. 如申請專利範圍第1項之方法,其中該各自線緩衝器(410 與420)具有一定義長度以最佳化生產量,並且其中該預 擷取及該擷取包括將像素資料傳遞通過該各自線緩衝器 以減少週期時間。 11. 如申請專利範圍第1項之方法,其中該窗口尺寸具有X列 和Y行,其中X係一固定整數而Y係選擇用來建立該取樣 窗口尺寸,並且其中該第二組線緩衝器包括X個線緩衝 1259713
器用於分別儲存X列像素。 12·如申請專利範圍第1 1項之方法,其中該第二組線緩衝器 (420)的該X個線緩衝器包括一中央線缓衝器(412)以儲存 對應於該窗口的一目前線(1 22)的一列像素,以及至少一 線緩衝器(例如414)用於儲存另一列像素(例如124)。 13, 如申請專利範圍第1 1項之方法,其中像素的該固定數量 等於2 5,X等於5,而γ的可能整數集為1到4。 14. 一種用於將輸入像素流傳遞至一視訊處理平臺之方法, 該視訊處理平堂係在一具有一對應於一視訊像素陣列的 輸入像素流、一用於取樣該陣列的子集以作為跨越該陣 列中像素的一二維窗口的可變窗口尺寸、該使用一固定 數量像素輸入像素的視訊處理平臺的視訊處理電路中, 該方法包括: -建立一窗口尺寸及一取樣窗口尺寸,使得該窗口尺寸 係該取樣窗口尺寸的一倍數,並且該取樣窗口尺寸定義 像素的該固定數量;以及 同時執行以下動作: •使用一第一組線緩衝器將像素與該輸入流解_,以 從戒如入流中馈存像素,儲存在該第一組線緩衝器的 像素包括該建立窗口尺寸的像素, -將儲存像素從該第一組線緩衝器中預擷取入一第 二組線緩衝器,該第二組線緩衝器係足夠長以儲存至 少對應於該建立取樣窗口尺寸的像素,及 -藉著依據相對於儲存在該第二組線緩衝器中的像 1259713 素的一目前像素而定義的距離參數的定址,從該第二 組線緩衝器中取出該固定數量像素至該視訊處理平 臺,其中該距離參數係依據具有X列和Y行的一窗口尺 寸定義,其中X係一固定整數,而Y係選擇用來建立該 取樣窗口尺寸。
15。一種用於將一輸入像素流傳遞至一視訊處理平臺之像素 資料處理電路,該視訊處理平臺係在一具有一對應於一視 訊像素陣列的輸入像素流、一用於取樣該陣列的子集以 作為跨越該陣列中像素的一二維窗口的可變窗口(300) 尺寸、該使用一固定數量像素輸入像素的視訊處理平臺 (440)的視訊處理電路中,該像素資料處理電路(400)包括: -一建立裝置,其建立一窗口尺寸及一取樣窗口尺寸, 使得該窗口尺寸係該取樣窗口尺寸的一倍數,並且該取 樣窗口尺寸定義像素的該固定數量; -一第一組線緩衝器; -一第二組線緩衝器;以及
-一處理裝置,其用於同時執行以下動作: -將像素從該輸入流中儲存入該第一組線緩衝器,儲 存在該第一組線缓衝器的像素包括該建立窗口尺寸的 像素, -將儲存像素從該第一組線緩衝器中預擷取入一第 二組線緩衝器,該第二組線緩衝器係足夠長以儲存至 少對應於該建立取樣窗口尺寸的像素,及 -將該固定數量像素從該第二組線緩衝器中取出至
1259713 該視訊處理平臺。 16. —種用於將輸入像素流傳遞至一視訊處理平臺(440)之 電路配置,該視訊處理平臺係在一具有一對應於一視訊 像素陣列的輸入像素流、一用於取樣該陣列的子集以作 為跨越該陣列中像素的一二維窗口的可變窗口尺寸、該 使用一固定數量像素輸入像素的視訊處理平臺的視訊處 理電路中,該電路配置包括:
-一可程式電路,其用於建立一窗口尺寸及一取樣窗口 尺寸,使得該窗口尺寸係該取樣窗口尺寸的一倍數,並 且該取樣窗口尺寸定義像素的該固定數量; -一第一組線緩衝器(410); -一第二組線緩衝器(420);及 -一設定並配置用於處理視訊像素的控制邏輯電路 (430),其同時執行以下動作··
-將像素從該輸入流中儲存入該第一組線緩衝器,儲 存在該第一組線緩衝器的像素包括該建立窗口尺寸的 像素, -將儲存像素從該第一組線緩衝器中預擷取入一第 二組線緩衝器,該第二組線缓衝器係足夠長以儲存至 少對應於該建立取樣窗口尺寸的像素,以及 -將該固定數量像素從該第二組線緩衝器中取出至 該視訊處理平臺。
1259713 第091132009號專利申請案 中文圖式替換頁(95年1月)
125职说20〇9麟利申爭蜂輪a 中文說明書替換頁(95 #j 1 J),:…,一―^一——」 陸、('一〇、本案指定代表圖為· Μ ——圖 (二)、本代表圖之元件代表符號簡單說明· 232像素 422 像素單元陣列 234像素 423 像素單元陣列 236像素 424 像素單元陣列 238像素 430 控制邏輯電路 240像素 440 資料處理平臺 400像素資料處理電路 450 平行通道 4 1 0解耦線緩衝器電路 φ 412中央線緩衝器 414線緩衝器 420中間預擷取緩衝器 柒、本案若有化學式時,請揭示最能顯示發明特
TW091132009A 2001-10-26 2002-10-28 Pixel-data line buffer approach having variable sampling patterns TWI259713B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/045,929 US7750979B2 (en) 2001-10-26 2001-10-26 Pixel-data line buffer approach having variable sampling patterns

Publications (2)

Publication Number Publication Date
TW200407035A TW200407035A (en) 2004-05-01
TWI259713B true TWI259713B (en) 2006-08-01

Family

ID=21940594

Family Applications (1)

Application Number Title Priority Date Filing Date
TW091132009A TWI259713B (en) 2001-10-26 2002-10-28 Pixel-data line buffer approach having variable sampling patterns

Country Status (8)

Country Link
US (1) US7750979B2 (zh)
EP (1) EP1442611A2 (zh)
JP (1) JP2005506641A (zh)
KR (1) KR100917749B1 (zh)
CN (1) CN1575608A (zh)
AU (1) AU2002339637A1 (zh)
TW (1) TWI259713B (zh)
WO (1) WO2003036601A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011002824A1 (de) 2011-01-18 2012-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor, Bildaufnahmesystem und Verfahren zum Aufnehmen eines Bildes
USD742893S1 (en) 2013-06-09 2015-11-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD750130S1 (en) * 2013-06-10 2016-02-23 Apple Inc. Display screen or portion thereof with graphical user interface
USD737853S1 (en) 2013-10-21 2015-09-01 Apple Inc. Display screen or portion thereof with graphical user interface
USD880517S1 (en) * 2015-08-21 2020-04-07 Sony Corporation Display panel or screen with graphical user interface
KR102464253B1 (ko) 2016-07-07 2022-11-09 삼성전자주식회사 전자 장치 및 이의 영상 데이터 처리 방법
USD877188S1 (en) * 2018-03-16 2020-03-03 Magic Leap, Inc. Display panel or portion thereof with a transitional mixed reality graphical user interface
US20240169937A1 (en) * 2020-12-01 2024-05-23 Boe Technology Group Co., Ltd. Data processing method and apparatuses, and display apparatus

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4485402A (en) * 1980-10-17 1984-11-27 Micro Consultants Limited Video image processing system
US5075673A (en) * 1989-06-16 1991-12-24 International Business Machines Corp. Variable speed, image pan method and apparatus
US5359674A (en) * 1991-12-11 1994-10-25 David Sarnoff Research Center, Inc. Pyramid processor integrated circuit
US5422827A (en) 1993-02-12 1995-06-06 Cirrus Logic, Inc. Integrated video scaling and sharpening filter
US5731850A (en) * 1995-06-07 1998-03-24 Maturi; Gregory V. Hybrid hierarchial/full-search MPEG encoder motion estimation
JPH09102954A (ja) 1995-10-04 1997-04-15 Matsushita Electric Ind Co Ltd 1つまたは2つの予測ブロックからブロックの画素値を計算する方法
US6567564B1 (en) * 1996-04-17 2003-05-20 Sarnoff Corporation Pipelined pyramid processor for image processing systems
EP1139669A1 (en) * 2000-03-28 2001-10-04 STMicroelectronics S.r.l. Coprocessor for motion estimation in digitised video sequence encoders

Also Published As

Publication number Publication date
EP1442611A2 (en) 2004-08-04
US7750979B2 (en) 2010-07-06
KR20040045926A (ko) 2004-06-02
KR100917749B1 (ko) 2009-09-15
JP2005506641A (ja) 2005-03-03
TW200407035A (en) 2004-05-01
AU2002339637A1 (en) 2003-05-06
WO2003036601A3 (en) 2004-02-05
US20030081684A1 (en) 2003-05-01
WO2003036601A2 (en) 2003-05-01
CN1575608A (zh) 2005-02-02

Similar Documents

Publication Publication Date Title
US20040222941A1 (en) Multi-display architecture using single video controller
TWI259713B (en) Pixel-data line buffer approach having variable sampling patterns
US20060044251A1 (en) Flat display device and method of driving the same
CN101326816A (zh) 摄像设备和电子变焦方法
US7760966B2 (en) Method and apparatus for downscaling a digital colour matrix image
JP2001143059A (ja) 画像処理システムのためのパイプラインピラミッドプロセッサ
CN101179671B (zh) 图像缩放装置和图像缩放方法
JP4689440B2 (ja) 撮像装置、及び処理方法
WO2006006127A2 (en) Method and system for displaying a sequence of image frames
US20040017596A1 (en) Imaging device
CN1299528C (zh) 携带式终端
KR20090129711A (ko) 전자액자 및 그의 이미지 표시방법
CN100553305C (zh) 电视图像缩放装置
CN100420265C (zh) 图像后处理装置及方法
CN106488163A (zh) 调整数据阵列的方法和装置
JP2003236171A (ja) パチンコ機の画像表示装置とその制御方法
US11562460B1 (en) High performance hardware scaler
Burjoski Novel hardware architecture for real-time, continuous line scan processing
JPH09251545A (ja) 画像処理装置
JP3784599B2 (ja) 画像縮小/拡大装置
EP1784783A1 (en) Method of address-controlling memory with single buffer structure
JP2000020710A (ja) 画像フォーマット変換装置
JP2007213251A (ja) 画像補正処理装置及び画像補正処理方法
JP2003060886A (ja) 画像処理装置及び方法
JP2005277523A (ja) 走査線変換装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees