TW200407035A - Pixel-data line buffer approach having variable sampling patterns - Google Patents

Pixel-data line buffer approach having variable sampling patterns Download PDF

Info

Publication number
TW200407035A
TW200407035A TW091132009A TW91132009A TW200407035A TW 200407035 A TW200407035 A TW 200407035A TW 091132009 A TW091132009 A TW 091132009A TW 91132009 A TW91132009 A TW 91132009A TW 200407035 A TW200407035 A TW 200407035A
Authority
TW
Taiwan
Prior art keywords
pixels
line buffers
window
pixel
window size
Prior art date
Application number
TW091132009A
Other languages
English (en)
Other versions
TWI259713B (en
Inventor
Chien-Hsin Lin
Jean-Huang Kevin Chen
Original Assignee
Koninkl Philips Electronics Nv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=21940594&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TW200407035(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninkl Philips Electronics Nv filed Critical Koninkl Philips Electronics Nv
Publication of TW200407035A publication Critical patent/TW200407035A/zh
Application granted granted Critical
Publication of TWI259713B publication Critical patent/TWI259713B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Input (AREA)

Description

200407035 (Ο 玖、發明說明 (發明說明應㈣:發明所屬之技術賴、先前技術、内容、實施方式及圖式簡單說明) 相關專利文件 本專利申請案係關於同時歸檔、共同待審的美國專利申 請案’其題目為「Motion Compensation With Subblock Scanning(使用子區塊掃描之運作補償)」(律師檔案編號VlSL 310PA/US018142),本文將其全文以提及方式併入。 技術領域 本發明係關於視訊信號處理,特定言之,係關於視訊信 號處理中的動作補償。 先前技術 電腦配置(包括微處理器友數位信號處理器)之設計適用 於廣泛應用,並且幾乎在各個行業中使用◊由於各種原因, 許多這些應用係關於處理視訊資料’並且要求最小的功率 消耗和緊密性。某些應用進一步要求一高速計算引擎,可 以在即時或接近即時基礎上有效運行。許多這些視訊處理 應用需要一種能夠以更高速度執行多重功能的資料處理電 路。 但增加此種計算引擎的功率及多功能性會有損其它重要 目標。例如,更快的計算引擎消耗更多功率及電路不動產, 而理想引擎最小化功率消耗以及實施該計算引擎所需的電 路量° 此外,提供多功能性及高功率通常會加劇電路不動產問 題,因為這需要各種類型的處理電路’每種專門用於不同 處理功能,並且為不同處理功能有選擇地啟動。藉著比較 200407035 (2) 發明難: (例如)視訊應用中相對缓馒的一般目的處理與用於即時壓 縮和解壓縮视訊資料的專用視訊信號過濾處理,可明白該 現象。由於專用處理電路通常係最佳化以保持視訊資料的 即時速度,要提供單一、充分多功能的視訊資料處環電路 而不同時提供只對有限應用有用的似乎過量的電路經常是 相當困難的。 舉個更具體的範例,許多視訊信號處理應用採用各種專 用視訊信號處理結構,以獲得應用在視訊資料的高速處理 功能。這些高速處理功能包括一般低通量及高通量滤波、 動作補償掃描速率轉換、縮放和峰值濾波以及其它許多功 能。在視訊處理應用中,這些功能的執行經常係藉著處理 儲存資料以代表用來刷新表示顯示像素之顯示資料的水平 線和垂直線。
不兼容之結構的相關成本相當高。 同取樣資料的南速結構°在每個這樣的應 心休j %冽中,該種結
<埋結構,以應 量的嚴重損失。 &的結構尤其困 200407035 (3) 發辦:說朋續頁 難,因此貫現該種目標的努力遠遠未構成競爭壓力。本發 明係關於一種資料處理結構,其使用一定範圍的可選擇取 樣窗口所足義的一取樣圖案以傳遞一固定數量的像素至這 樣一種視訊處理平臺。 發明内容 本發明的不同方面係關於一種資料處理方法,該方法使 用線緩衝器’其係解镇並且可使用多個可選擇取樣窗口之 一所定義的一取樣圖案來傳遞(可能是一視訊處理平臺要 求的)一固定數量像素。本發明的優點包括最小化線緩衝 器之使用、像素資料處理的遲延以及由此導致的最小化功 率消耗° 與一系範性具體實施例相一致,本發明係關於處理對應 於一視訊像素陣列的一輸入像素資料流,並且使用一可變 窗口尺寸來取樣該陣列的子集以作為跨越該陣列中像素的 一二維窗口。該方法藉著首先建立一窗口尺寸及一取樣窗 口尺寸,以一固定數量像素的形式傳遞該輸入像素資料流 至一視訊處理平臺。在一特定具體實施例中,該窗口尺寸 係該取樣窗口尺寸的一倍數,並且該取樣窗口尺寸定義像 素的該固定數量。該處理包括同時進行以下任務:將像素 從該輸入資料流儲存入一第一組線緩衝器,儲存在該第一 組線缓衝器的像素對應於該建立之窗口尺寸;從該第一組 線缓衡器預擷取所儲存的像素放入一第二組線緩衝器’該 第二組線緩衝器係足夠長以儲存至少對應於該建立取樣窗 口疋寸的像素;以及將該固定數量像素從該第二組線緩衝 -9- 200407035 發職f卿'、 器擷 在 用於 使得 窗口 器係 藉著 入該 的像 該第 本 關方 例如 U 口 » 咨包 素, 義, 尺寸 係用 —種 之長 料處 少週 上 之具 (4) 取至該視訊處理乎臺° 另一相關示範性真體實施例+,-視訊處理電路包括 建立一窗口尺寸及一取樣窗口尺寸的一可程式電路, 該窗口尺寸係該取樣窗口尺寸的一倍數,並且該取樣 尺寸定義像素的該固定數量’該第一及第二組線緩衝 用來處理資料。一資料處理電路對視訊像素的處理係 同時執行上述任務,即··將像素從該輸入資料流儲存 第一組線緩衝器,從該第一組線緩衝器預擴取所餘存 素放入該第二組線緩衝器’以及將該固定數量像素從 二組線緩衝器擷取出° 發明的其它示範性具體實施例係分別關於各種其它相 面,包括該種處理的方法、電路及基於系統的實施。 ,其中一種觀點係關於一應用,其中該第二組線緩衝 括依據相對於一目前像素定義的距離參數而定址的像 而該距離參數係依據具有X列和γ行的一窗口尺寸定 其中X係一固定整數,γ係選擇用來建立該取樣窗〇 。另一種觀點係關於一應用,其中該第一組線緩衝器 來將該輸入像素資料流與該第二組線緩衝器解耦。又 觀點係關於一應用,其中該各自線緩衝區具有一定義 度以最佳化生產量,並且其中進一步設定及配置該資 理雷路,從而在各自的線緩衝器中平移像素資料以減 期時間。 迟本4月概要之本意並非要描述本發明的每個所說明 體實施例或每個實施方案。以下的圖式及詳細說明更
'10- 200407035 (5) 發明說明;續:頁 具體地例示了這些具體實施例。 實施方式 本發明係認為高度適用於像素資料處理的方法和配置, 以及從不規則取樣窗口取樣像素資料的應用(包括使用線 緩衝器將輸入與處理取樣資料速率進行一般解耦)。一數 位視訊圖像係由陣列、矩陣或像素資料組成。像素資料傳 統上係配置在像素的列與行中。本發明對需要或從使用不 規則(即可變)尺寸滑動窗口之二維像素取樣的視訊像素處 理配置尤其有利,例如適用於處理可變尺寸(即可變像素 ;貝料陣列尺寸)數位圖像的視訊像素處理配置、或滑動窗 口尺寸依據從先前窗口樣本回授的資訊而變化的視訊像素 處理配置。雖然本發明不必侷限於這些應用,藉著在這樣 環境下的範例討論可對本發明的各種方面獲得最清楚的理 解0 一數位視訊圖像係由一二維像素陣列組成,例如在一視 訊顯示器上通過一 720x5 12像素陣列顯示一圖像係典型範 例。該視訊圖像在時間上的運動或其它變化在該視訊圖像 共同觀看的「快照」中捕獲,並统溢& 「、 、、批 龙4 %為一「訊框」。該數 位視訊圖像的每個像素由一組資料(「 ^ (像素資料」)表不。 響應不同訊框中發生的一特定像去; 咏京 < 像素資料的變化,一 特定像素的品質(例如強度等)可隨:、, ;J 1道耆m框的不同而變化。 每個720x5 12像素陣列的像素資料值 种傳統上係儲存在一訊框儲 存記憶體中,並隨後進行處理以柝备丨、 饺制一視訊圖像。 作為整合數位圖像的一部分,—# ^ 神疋像素的品質經常以 -11- 200407035 (6) 發明說明績頁 某種方式與附近像素品質相關。其它另外的常態模式特徵 (例如雜訊)常常在處理一特定像素的像素資料時指示為要 考慮附近像素。考慮圍繞所關注像素的一二維像素子集(即 一窗口)係一眾所週知的方法,所關注像素的像素資料以 及該窗口内的附近像素以某種方式作為一個群組共同進行 處理。通常,在處理顯示器中每個連續像素的資料時,該 窗口沿著一顯示器滑動並相對於所關注的一像素位置維持 一特定方位。傳統上,像素處理係依據其在顯示器中的位 置,從顯示器的左上角的一像素開始,按照從左到右、從 上到下的順序進行。考慮處理(例如調整或修改)所關注像 素的資料時該滑動窗口内的像素特性,可決定某些資訊。 某些視訊資料處理係對一固定數量資料進行操作,例如 同時處理N個像素。處理視訊資料的一種方法係選擇圍繞 所關注像素的一均勻窗口 ,其只包括N個像素,N係可一 次處理的像素數量。該窗口的尺寸、以及由此的圍繞所關 注像素的範圍(例如距離)受到N大小的限制。在某些像素 資料處理方法中(例如雜訊過濾),最好考慮圍繞所關注像 素的的一大範圍像素,但與此同時不要增加N的數量以保 持處理效率及速度。 考慮圍繞所關注像素的的一更寬窗口的一種方法係從該 窗口内選擇代表性像素資料的一子集,並且只進一步處理 本質像素資料以決定某些資料。在一示範性具體實施例 中,如果從該窗口内像素資料得出的資訊中沒有偵測出什 麼變化,則擴展園繞所關注像素的的一窗口尺寸。反之, -12- 200407035 (7) €賴績胃
如果從得出資訊中偵測出某變化的臨界值,則縮小該窗口 尺寸。中央處理單元(central processing unit ; CPU)或其它邏 輯電路動態決定並改變窗口尺寸,由此改變包括在該窗口 内的像素數量β但如果下游資料處理速率保持固定,則產 生複雜的資料同步化問題。依據本發明一種方法的一種解 決方案係從該窗口内選擇包括Ν個像素的一進一步代表性 子集(例如一取樣窗口),只將選擇的像素資料轉送給一 ΜΜΙ0。
與一般具體實施例相一致,本發明係以一像素資料處理 電路的形式實施,該電路具有與一中間預擷取緩衝器耦合 的一解耦線緩衝器電路,該解耦線緩衝器電路、中間預擷 取緩衝器以及它們之間的通信由一邏輯電路控制。本發明 的像素資料處理電路處理一輸入資料流,例如從對應於一 可變尺寸二維窗口的一視訊像素陣列的ΜΙΜΟ中。處理了 的像素資料輸出到一進一步資料處理平臺,例如一適於同 時處理一固定數量像素的低通量濾波視訊處理平臺。該像 素資料處理電路的輸出速率由此固定為下游資料處理平臺 的輸入速率,其可能與輸入資料速率不同。本發明的像素 資料處理電路的設定及配置係為了最小化該輸入資料流與 由該下游資料處理平臺從該像素資料處理電路中擷取的像 素資料之間的像素遲延。 流向本發明電路的輸入像輸資料流包括依據一預定預定 方位從可變尺寸窗口選擇的像素資料,並且該像素資料預 先配置在具有一固定尺寸的取樣窗口陣列中。本發明電路 -13 - 200407035 (8) 發嗎說明續:頁 進一步準備傳遞給該資料處理平臺的樣本窗口像素資料。 該取樣窗口尺寸預定義為包括一固定數量的N個像素,N 係該資料處理平臺可同時處理的像素資料的數量。 在一示範性具體實施例中,該可變窗口尺寸最好具有一 固定數量的像素列X,以及一可變數量的像素行γ。在一 替代具體實施例中,像素列X的數量也為可變。該解耦線 緩衝器電路設定為具有X+1個線緩衝器,每個線緩衝器的 長度足夠儲存對應於YMAX個像素以上的資料,其中係 最大期望窗口尺寸的像素行的數量。該預掏取中間緩衝器 與該解耦線緩衝器電路耦合。該邏輯電路的設定及配置, 係為了控制穿過該解搞線緩衝器電路和預掏取中間緩衝器 的像素資料的通信以及該兩者之間的像素資料的通信。 在本發明的一特別示範性具體實施例中,本發明的一視 訊處理電路係作為一功能塊直接處於一視訊信號處理配置 中的「SWAN」單元之前,該配置在上述題目為r Motion Compensation With Subblock Scanning(子區塊掃描的動作補 償)」的共同待審美國專利申請案中有所說明^該r SWAN」 單元係一資料處理平臺,其包括像素資料的低通量濾波。 本發明的視訊處理電路包括由一組線緩衝器組成的一解 摘線緩衝器電路以及一第二中間預擷取緩衝器.該視訊處 理電路接收一系列輸入像素資料流,該像素資料係從圍繞 一所關注像素的一窗口中選擇的取樣窗口像素資料。該關 注像素包括在該取樣窗口像素資料中。該輸入像素資料流 代表對應於一視訊像素陣列的像素,該視訊像素陣列具有 -14- 200407035 (9) 發與說嚇:頁 一可變窗口尺寸,以取樣一視訊像素顯示陣列作為跨越該 顯示陣列中像素的一二維窗口。該視訊處理電路配置有一 固定數量的像素資料以使輸出平行於一資料處理平臺,從 而減少進入該資料處理平臺的重新載入時間並節省頻寬。 該下游資料處理平臺同時擷取N個像素(即平行處理),N最 好係等於一完全平方的一數量。在本發明的一示範性具體 實施例中,該資料處理平臺同時擴取代表2 5個像素的像素 資料。 在一示範性具體實施例中,該可變窗口尺寸最好具有一 固定高度的x(行或列)像素以及一可變寬度的γ(行)像素。 另外,Y最好係X的一整數倍數η。在一替代性具體實施例 中,X不必是固定的β Υ不必是X的一整數倍數。取樣窗口 最好為對稱,具有XxX的尺寸。從該可變窗口選擇的像素 在該取樣窗口中的配置係與這些像素在該可變窗口中位置 相同的彼此相對位置方位。對於N為一完全平方時的本發 明之具體實施例,該取樣窗口設定為具有等於X的統一尺 寸,X為N的乎方根。一最小可變窗口尺寸係該取樣窗口 尺寸。例如,在尺寸等於XxX的陣列中配置N個像素。取 樣的一最大窗口尺寸也係為了 一特定像素資料處理電路應 用而預先定義^ 在本發明的/項示範性具體實施例中,一最大期望窗口 尺寸為20x5,該最大窗口尺寸包括100個像素。因此ΧχΧ的 取樣窗口尺寸係5x5,取樣窗口包括一固定數量的25個像 素。該下游資料處理平臺從本發明的該視訊處理電路中同 -15 < 200407035 (ίο) 發明說明續頁 時擷取2 5個像素的像素資料(或像素的一取樣窗口)以進行 進一步的資料處理。其中該取樣窗口處在該像素顯示區域 的邊緣,從而不存在該目前像素的鄰近像素,複製最靠近 的像素行/列並用在缺少像素行/列的位置上,因此可輕易 實現該實施,例如使用線選擇多工技術。 圖1 A說明一窗口具體實施例100的一特定範例,其中一 窗口尺寸等於一取樣窗口尺寸,都是5個像素(即列)高乘 以5個像素寬(即5行),並包含2 5個像素11 〇。該窗口(及取 樣窗口)像素陣列圍繞一目前中央像素120對稱。該中央像 素位於一目前線122中。視訊圖像線傳統上係從左到右、 從上到下編號’從顯示器的左上角開始。一目前線定義為 所關注的一目蓟像素位於的一條線。為參考起見,窗口(及 取樣窗口)100的每條線關於該目前線取名,在該目前線之 下的一條線表示為「線+1」124,在該目前線之上的一條 線表示為「線-1」126,在該目前線之下的兩條線表示為 「線+2」丨28,而在該目前線之上的兩條線表示為「線七 130 .,泉線]」與「線+ i」相對於該目前線對稱^圖 所示,線「線-2」盎「绫+9 ,, /、 綠2」也相對於該目前線對稱,各 自在線「線· 1」與「線+丨」的外側。 圖1B顯示另一窗口具體膏你 貫他例140的一特定示範性具體 實施例’窗口尺寸為5個像辛 京(即列)高以及10個像素寬。 因此該窗口具體實施例包含 個像素110,包括該目前中 央像素12 0。像素11 q不必相科 圖1 B所示。像素線的表示如 相對於目前中央像素12〇對稱,如 圖1 A所示。目前中央像素位 • 16, 200407035 (11) 舞努第嗎續耳 於目前線122中。窗口 14〇的取樣窗口尺寸為XxX,或5x5, 取樣窗口包括2 5個像素。窗口參數係可程式參數,最大窗 口尺寸係預定的。一窗口的像素資料由該資料處理電路以 一次處理Ν個像素的固定速率進行處理,換言之,一次處 理一個取樣窗口,因為每個取樣窗口包括Ν個像素。 圖2顯不本發明的一窗口 2〇〇的示範性具體實施例(在該 具體實施例中’也是一取樣窗口,因為窗口尺寸為對稱), 並且說明在5x5窗口内的一相對像素定址系統。每個像素 位置由關於目前中央像素12〇的一組變數進行說明。其它 像素與之相關的目前中央像素12〇有選擇地從該窗口的中 央偏離’例如當窗口行的數量為偶數時,要使得目前中央 像素120左右兩邊的像素數量相等是不可能的。表i列出依 據本發明的一示範性像素相對定址系統的相對定址變數。
•17- 200407035 (12) 表1 名稱 說明 cn—dist[l,4] 目前線上的目前中央像素與附近像素之間的左/右偏 移 ce_dist[2,8] 目前線上的目前中央像素與末端像素之間的左/右偏 移 nn_dist[l,4] 線「線-1」與「線+1」上的目前中央像素與附近像素 之間的左/右偏移 ne 一 diet[2,8] 線「線-1」與「線+1」上的目前中央像素與末端像素 之間的左/右偏移 en—dist[l,4] 線「線-2」與「線+2」上的目前中央像素與附近像素 之間的左/右偏移 ee 一 dist[2,8] 線「線-2」與「線+2」上的目前中央像素與末端像素 之間的左/右偏移 n 一 rsh[0,3] 對於線「線-1」與「線+1」的向右線移動偏移 e_rsh[0,3] 對於線「線-2」與「線+2」的向右線移動偏移 例如,在目前線上的目前中央像素1 2 0與附近像素之間 的左/右偏移(即一條線上的非末端像素)為「cn_dist」,並 允許其在本發明的相對定址系統中在整數範圍内從1到4( 1 和4包括在内)進行變動。變數「cn_dist」標t急由以下組成: 「c」表示定址的該像素處在該目前線中,「η」表示對立 於一末端像素的附近像素而「dist」表示距離。變數「ce_dist」 的「e」表示末端像素,該變數標誌的其它部分表示上述 的特徵。圖2中窗口 200的每個像素都用一參考號碼來標 200407035 (13) 發明說明續頁 記,而表2對應於窗口 200的每個像素的參考號碼,使用表 1的相對定址變數的一表達式來說明圖2顯示的每個像素的 各自位置。 表2 參考號碼 像素相對定址說明 線 120 Px,目前中央像素 目前線 202 px+e_rsh-ee_dist 「線-2」 204 px+e_rsh—en_dist 「線-2」 206 px+e_rsh 「線-2」 208 px+e_rsh+en_dist 「線-2」 210 px+e_rsh+ee一dist 「線-2」 212 px+n_rsh-ne_dist 「線-1」 214 px+n_rsh- nn_dist 「線-1」 216 px+n_rsh 「線-1」 218 px+njrsh+nn一 dist 「線-1」 220 px+n_rsh+ne_dist 「線-1」 222 px—ce 一 dist 目前線 224 px-cn 一 dist 目前線 228 px+cn 一 dist 目前線 230 px+ce_dist 目前線 232 px+njrsh- ne_dist 「線-1」 234 px+n_rah-nn_dist 「線-1」 236 px+n—rsh 「線-1」 238 px+n 一rsh+nn_dist 「線-1」 240 px+n 一rsh+ne—dist 「線-1」 242 px+e—rsh-ee_dist 「線-2」 244 px+e_rsh-en_dist 「線-2」 246 px+e 一 rsh 「線-2」 248 px+ersh+en—dist 「線-2」 250 px+e—rsh+ee-dist 「線-2」
-19 - 200407035 (Η) 發明就明请頁 相對於讀目前線上的該目前中央像素的窗口内的任何像 素(即/樣本像素)的距離表示為表2中定義的相對定址表 達式。由於窗口參數(例如尺寸)為可程式參數,窗口與取 樣窗口的每個像素的位置都可相對於分別從該窗口與取樣 窗口中選擇的一目前中央像素來說明。 圖3說明包括一 2 0 X 5像素陣列的一可變窗口 3 0 0的示範性 具體實施例。顯示為圓形的像素由CPU從窗口 300中選出, 選擇的像素係從上述相對定址表達式來決定。圖3的選擇 像素的參考號碼與圖2所示的參考號碼相似,加上100以表 明圖3的某些像素係從對應於圖2說明的相似參考像素的表 達式來決定。由一圓形符號(並非任何r X」符號)指定的 窗口 3〇〇内的像素(由表1與表2的相對定址表達式之應用選 擇)具有相對於窗口 3〇〇内的每個其它選擇像素的方位,其 與窗口 200的相似參考像素之間的方位相似。 圖4說明本發明的一像素資料處理電路4〇〇的示範性具體 貝施例’该電路具有一解搞線緩衝器電路4丨〇、一中間預 掏取緩衝器420及一控制邏輯電路430。從一顯示缓衝器(未 顯π )傳出的像素資料由電路4〇〇快速連續接收,龙配置在 解镇線緩衝器電路410中,該電路的一設定可以是(例如)每 仏、’泉上$ 256個像素的六條線,總共為1536個像素\在另一 具體實施例中,該解耦線緩衝器電路設定為每條線上有128 '、的五條線。在任一例子中,該像素資料由控制邏輯 兒路4j〇連續導入解耦線緩衝器電路410申。 «邊解隸線緩衝器電路410六條線的每條線,該控制邏
-20· 200407035 (15) 發f祿明瘦頁 輯電 間預 420f 應於 在 有五 之五 像素 解耦 每個 間預 在 複用 應中 實施 間預 例如 素資 中 係通 個像 列内 上的 個陰 路430開始將首先到達的3 2個像素複製入一相應的中 擷取緩衝器組(或像素單元陣列),顯示為項目420a至 。依據先前討論的取樣窗口設定,該複製包括傳遞對 該目前取樣窗口的像素資料。 本發明的一示範性具體實施例中,該取樣窗口陣列具 條像素資料線,而從解耦線緩衝器電路410的六條線 條線係用來保存輸入像素資料並將該視訊處理電路的 資料輸入速率與該視訊處理電路的處理(即輸出)速率 。如上所述,解耦線緩衝器電路41 〇五個線緩衝器的 線緩衝器係用來依據該取樣窗口設定來將資料傳入中 拍頁取緩衝器組420a至420f之一。 一示範性實施方案中,控制邏輯430包括一基於多路 器的邏輯電路,其具有五個選擇輸入以選擇上述該對 間線緩衝器的2 5個單元的每個單元。在一替代性具體 例中,選擇邏輯係藉著在解耦線緩衝器電路410與中 擴取緩衝器420之間的像素資料的軟體處理來實施, ’藉著控制邏輯電路430來導向一互連匯流排上的像 料通信。 間預掏取緩衝器420與資料處理平臺440通信耦合,其 過一平行通道450,其適於同時溝通取樣窗口的全部N 素。圖4顯示中間預擷取緩衝器420的每個像素單元陣 的陰影像素位置,其代表同時定時脈到平行通道450 像素單元位置,用於與資料處理平臺440的通信。每 影像素單元陣列位置與在一示範性具體實施例中硬體 -21 - 200407035 (16) 繼雙頁 中實施的通遒450耦合,例如通過專用資料通信路徑(即硬 體線路),或另外通過一多功信號分離器的配置。在本發 明的另一項具體實施例中,耦合係通過中間預擷取緩衝器 420與通道450之間的像素資料軟體處理來實施,例如,藉 著控制邏輯電路430來指導像素資料通信。 在圖4顯不的一示範性具體貫施例中’線緩衝森412保存 一 5 x5取樣窗口的目前線的5個像素的像素資料。線緩衝器 414保存一 5 X 5取樣窗口的「線+ 1」的5個像素的像素資料。 線緩衝器414中的每個像素之參考係依據上述表2中設定並 在圖2中說明的方法。線緩衝器414中的像素資料複製並儲 存在像素單元陣列423中,顯示為配置在5條線中,每條線 有線緩衝器414中5個像素的目前線像素資料。在替代性具 體實施例中,每個像素單元陣列内的像素資料方位可在圖 4的顯示基礎上進行修改,例如,像素的順序可以相反順 序儲存在像素單元陣列中,使得像素232佔用一「右上」 位置而像素240佔用一「左下」位置,由此將像素資料從 上到下沿著通道450配置,從而像素按照從左到右、從上 到下的移動中將會遇到位於一取樣窗口左上角的—像素 (例如參考圖2,從像素202開始,右移將接著遇到像素2〇4 , 再是206、208、210,再是212、214等,直到最後遇到像素25〇) β 用來代表資料處理平臺440的通道450中像素資料的設定係 在電路設計者及/或目標應用的判斷下。 因此,本發明的各種示範性實施表現了資料處理方法的 特色,其包括用於解耦進入像素顯示資料以及通過一平行 200407035 (17) 發明說明績頁 通道傳遞一固定數量像素的線緩衝器,例如 臺(如用作平臺440的低通量濾波器)可能會要 這些示範性實施的各種方面可以實施用於減 節省硬體及設計成本以及減少需要_性能來 寸窗口衍生的像素資料的像素資料處理應用 在本發明的各種實施中,預擷取像素资料人 緩衝器提供了靈活性並且減少了對下游平臺 間。該種實施可與相對定址方法一同使用, 窗口内包含的可變像素資料數量與_固定資 間的解耦,這樣就允許窗口尺寸的變化,從 視訊圖像處理方案。 本發明不應視為限制在上述特定範例之範 明可適用各種修改、同等處理以及為多結構 所附申請專利範圍内清楚闡明的本發明之範 圖式簡單說明 圖1A係一圖式,其顯示依據本發明具有一 的一二維窗口的示範性具體實施例; 圖1 B係一圖式,其顯示依據本發明具有一 的一二維窗口的示範性具體實施例; 圖2係一圖式,其顯示依據本發明說明相 一二維取樣窗口的示範性具體實施例; 圖3顯示依據本發明說明相對定址系統的 素陣列的一二維窗口的示範性具體實施例; 圖4係一圖式,其顯示依據本發明具有'一 一视訊處理平 求這些操作。 少像素遲延、 處理從可變尺 中的複雜性。 一 2間預掏取 的重新載入時 提供可變尺寸 料處理平臺之 而有利於整個 圍内。對本發 ,只要其處於 圍内。 • 5 X 5像素陣列 10x5像素陣列 對定址系統的 真有一 2 0 X 5像 以及 視訊處理電路 -23· 200407035 (18) 發明、說嗎績頁 的一像素資料處理電路的的示範性具體實施例。 雖然對本發明可以有各種修改和不同形式,圖式中係藉 著範例顯示其細節,並且將詳細說明。但應明白,其意並 非將本發明限制於說明的特定具體實施例範圍内。反之, 其意為涵蓋由所附申請專利範圍定義的本發明之精神及範 圍内的全部修改、等效物及替代物。 圖式代表符號說明
100,140,200 窗口 100,124-250,302-360 像素 120 目前中央像素 122 目前線 300 可變窗口 400 視訊處理平臺 410 412 414 420 422,423,424 430 440
解耦線緩衝器電路 中央線緩衝器 線緩衝器 中間預擷取緩衝器 像素單元陣列 控制邏輯電路 資料處理平臺 平行通道 •24- 450

Claims (1)

  1. 200407035 拾、申請專利範爾 1. 一種用於將輸入像素流傳遞至一視訊處理平臺(440)之 方法,該視訊處理平臺係在一具有一對應於一視訊像素 陣列的輸入像素流、一用於取樣該陣列的子集以作為跨 越該陣列中像素的一二維窗口的可變窗口(300)尺寸、 該使用固定數量像素輸入像素的視訊處理平臺(440)的 一視訊處理電路中,該方法包括: -建立一窗口尺寸及一取樣窗口尺寸,使得該窗口尺 寸係該取樣窗口尺寸的一倍數,並且該取樣窗口尺寸定 義像素的該固定數量;及 同時執行以下動作: -將像素從該輸入流中儲存入一第一組線緩衝器 (410),儲存在該第一組線緩衝器的像素包括該建立窗 口尺寸的像素, -將儲存像素從該第一組線緩衝器中預擷取入一第 二組線緩衝器(420),該第二組線緩衝器係足夠長以儲 存至少對應於該建立取樣窗口尺寸的像素,以及 -將該固定數量像素從該第二組線緩衝器中取出至 視訊處理平臺(440)。 2. 如申請專利範圍第1項之方法,其中每個視訊像素陣列 代表一視訊訊框。 3. 如申請專利範圍第2項之方法,其中該窗口尺寸具有X 列和Y行,而該取樣窗口尺寸具有X列,其中X係一固定 整數。 200407035 _請專利範園續頁 /1 J. rirr ^ ^ 、+ ,JL中建立窗口尺寸包括 4·如申清專利範圍第3項之万法 … 從一可能整數集中選擇Y。 C L An ^ ^ 、七,Jt中像素的該固定數量 5. 如申凊專利範圍第4項之万法 - 等於2 5,X等於5 ,而γ的可能整數集為1到4。 6. 如申請專利範圍第丨項之方法,其中該第一组線緩衝器 (410)係用來將該輸入像素流與該第二組線緩衝器(42〇) 解耦。 7. 如申請專利範圍第丨項之方法,其中該該第二組線緩衝 器(420)包括依據相對於一目前像素(120)定義的距離參 數而定址的像素。 8·如申請專利範圍第7項之方法,其中距離參數係依據該 窗口尺寸定義。 9·如申請專利範圍第丨項之方法,其中該第二組線緩衝器 包括依據相對於一目前像素定義的距離參數而定址的像 素’其中距離參數係依據具有X列和Y行的一窗口尺寸 定義,其中X係一固定整數而γ係選擇用來建立該取樣 窗口尺寸。 10·如申請專利範圍第1項之方法,其中該各自線緩衝器(410 與420)具有一定義長度以最佳化生產量,I且其中該預 擷取及該擷取包括將像素資料傳遞通過該各自線緩衝器 以減少週期時間。 11·如申請專利範圓第1項之方法,其中該窗口尺寸具有X 列和Y行’其中X係一固定整數而Y係選擇用來建玉該取 樣窗口尺寸,並且其中該第二組線緩衝器包括X個線緩 200407035 f:請專利範圍續頁 衝器用於分別儲存X列像素。 12. 如申請專利範圍第1丨項之方法,其中該第二組線緩衝器 (4 2 0)的該X個線緩衝器包括一中央線緩衝器(412)以儲存 對應於該窗口的一目前線(1 2 2)的一列像素,以及至少 一線緩衝器(例如414)用於儲存另一列像素(例如1 2 4)。 13. 如申請專利範圍第1 1項之方法,其中像素的該固定數量 等於25,X等於5,而γ的可能整數集為1到4。 14. 一種用於將該輸入像素流傳遞至一視訊處理平臺之方 法,該視訊處理平臺係在一具有一對應於一視訊像素陣 列的輸入像素流、一用於取樣該陣列的子集以作為跨越 該陣列中像素的一二維窗口的可變窗口尺寸、該使用 固定數量像素輸入像素的視訊處理平臺的視訊處理'^路 中,該方法包括: -建立一窗口尺寸及一取樣窗口尺寸,使得該窗口又 寸係該取樣窗口尺寸的一倍數,並且該取樣窗口尺’ 義像素的該固定數量;以及 同時執行以下動作: -使用一第一組線緩衝器將像素與該輸入流解綱 以從該輸入流中儲存像素,儲存在該第一組線缓衡器 的像素包括該建立窗口尺寸的像素, 一第 -將儲存像素從該第一組線緩衝器中預擷取入一 二組線緩衝器,該第二組線緩衝器係足夠長以猪存呈 少對應於該建立取樣窗口尺寸的像素’及 -藉著依據相對於儲存在該第二組線緩衝器中的 200407035 __丰科範面•頁 素的一目前像素而定義的距離參數的定址,從該第二 組線緩衝器中取出該固定數量像素至該視訊處理平 臺,其中該距離參數係依據具有X列和γ行的一窗口 尺寸定義,其中X係一固定整數,而γ係選擇用來建 立該取樣窗口尺寸。
    15. —種用於將該輸入像素流傳遞至一視訊處理平臺之電路 配置,該視訊處理平臺係在一具有一對應於一視訊像素 陣列的輸入像素流、一用於取樣該陣列的子集以作為跨 越該陣列中像素的一二維窗口的可變窗口(300)尺寸、 該使用一固定數量像素輸入像素的視訊處理平臺(440) 的視訊處理電路中,該電路配置(400)包括: -一建立裝置,其建立一窗口尺寸及一取樣窗口尺寸, 使得該窗口尺寸係該取樣窗口尺寸的一倍數,並且該取 樣窗口尺寸定義像素的該固定數量; -一第一組線緩衝器;
    -一第二組線緩衝器;以及 -一處理裝置,其用於同時執行以下動作: -將像素從該輸入流中儲存入該第一組線緩衝器, 儲存在該第一組線緩衝器的像素包括該建立窗口尺寸 的像素, -將儲存像素從該第一組線緩衝器中預擷取入一第 二組線緩衝器,該第二組線緩衝器係足夠長以儲存至 少對應於該建立取樣窗口尺寸的像素,及 -將該固定數量像素從該第二組線緩衝器中取出至 -4- 200407035 ϋ#稱最_: 該視訊處理平臺。 16. —種用於將該輸入像素流傳遞至一視訊處理平臺(440) 之電路配置,該視訊處理平臺係在一具有一對應於一視 訊像素陣列的輸入像素流、一用於取樣該陣列的子集以 作為跨越該陣列中像素的一二維窗口的可變窗口尺寸、 該使用一固定數量像素輸入像素的視訊處理平臺的視訊 處理電路中,該電路配置包括: -一可程式電路,其用於建立一窗口尺寸及一取樣窗 口尺寸,使得該窗口尺寸係該取樣窗口尺寸的一倍數, 並且該取樣窗口尺寸定義像素的該固定數量; -一第一組線緩衝器(410); -一第二組線緩衝器(420);及 -一設定並配置用於處理視訊像素的資料處理電路 (430),其同時執行以下動作: -將像素從該輸入流中儲存入該第一組線緩衝器, 儲存在該第一組線緩衝器的像素包括該建立窗口尺寸 的像素, -將儲存像素從該第一組線緩衝器中預擷取入一第 二組線緩衝器,該第二組線緩衝器係足夠長以儲存至 少對應於該建立取樣窗口尺寸的像素,以及 -將該固定數量像素從該第二組線緩衝器中取出至 該視訊處理平臺。
TW091132009A 2001-10-26 2002-10-28 Pixel-data line buffer approach having variable sampling patterns TWI259713B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/045,929 US7750979B2 (en) 2001-10-26 2001-10-26 Pixel-data line buffer approach having variable sampling patterns

Publications (2)

Publication Number Publication Date
TW200407035A true TW200407035A (en) 2004-05-01
TWI259713B TWI259713B (en) 2006-08-01

Family

ID=21940594

Family Applications (1)

Application Number Title Priority Date Filing Date
TW091132009A TWI259713B (en) 2001-10-26 2002-10-28 Pixel-data line buffer approach having variable sampling patterns

Country Status (8)

Country Link
US (1) US7750979B2 (zh)
EP (1) EP1442611A2 (zh)
JP (1) JP2005506641A (zh)
KR (1) KR100917749B1 (zh)
CN (1) CN1575608A (zh)
AU (1) AU2002339637A1 (zh)
TW (1) TWI259713B (zh)
WO (1) WO2003036601A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011002824A1 (de) 2011-01-18 2012-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor, Bildaufnahmesystem und Verfahren zum Aufnehmen eines Bildes
USD742893S1 (en) 2013-06-09 2015-11-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD750130S1 (en) * 2013-06-10 2016-02-23 Apple Inc. Display screen or portion thereof with graphical user interface
USD737853S1 (en) 2013-10-21 2015-09-01 Apple Inc. Display screen or portion thereof with graphical user interface
USD880517S1 (en) * 2015-08-21 2020-04-07 Sony Corporation Display panel or screen with graphical user interface
KR102464253B1 (ko) 2016-07-07 2022-11-09 삼성전자주식회사 전자 장치 및 이의 영상 데이터 처리 방법
USD877188S1 (en) * 2018-03-16 2020-03-03 Magic Leap, Inc. Display panel or portion thereof with a transitional mixed reality graphical user interface
US20240169937A1 (en) * 2020-12-01 2024-05-23 Boe Technology Group Co., Ltd. Data processing method and apparatuses, and display apparatus

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2492617A1 (fr) * 1980-10-17 1982-04-23 Micro Consultants Ltd Systeme de traitement d'images video
US5075673A (en) * 1989-06-16 1991-12-24 International Business Machines Corp. Variable speed, image pan method and apparatus
US5359674A (en) * 1991-12-11 1994-10-25 David Sarnoff Research Center, Inc. Pyramid processor integrated circuit
US5422827A (en) 1993-02-12 1995-06-06 Cirrus Logic, Inc. Integrated video scaling and sharpening filter
US5731850A (en) * 1995-06-07 1998-03-24 Maturi; Gregory V. Hybrid hierarchial/full-search MPEG encoder motion estimation
JPH09102954A (ja) 1995-10-04 1997-04-15 Matsushita Electric Ind Co Ltd 1つまたは2つの予測ブロックからブロックの画素値を計算する方法
US6567564B1 (en) * 1996-04-17 2003-05-20 Sarnoff Corporation Pipelined pyramid processor for image processing systems
EP1139669A1 (en) * 2000-03-28 2001-10-04 STMicroelectronics S.r.l. Coprocessor for motion estimation in digitised video sequence encoders

Also Published As

Publication number Publication date
JP2005506641A (ja) 2005-03-03
CN1575608A (zh) 2005-02-02
AU2002339637A1 (en) 2003-05-06
KR100917749B1 (ko) 2009-09-15
EP1442611A2 (en) 2004-08-04
WO2003036601A2 (en) 2003-05-01
US7750979B2 (en) 2010-07-06
WO2003036601A3 (en) 2004-02-05
KR20040045926A (ko) 2004-06-02
US20030081684A1 (en) 2003-05-01
TWI259713B (en) 2006-08-01

Similar Documents

Publication Publication Date Title
US20060044251A1 (en) Flat display device and method of driving the same
US20040222941A1 (en) Multi-display architecture using single video controller
US8989509B2 (en) Streaming wavelet transform
JP2001143059A (ja) 画像処理システムのためのパイプラインピラミッドプロセッサ
EP1741089A2 (en) Gpu rendering to system memory
US10104332B2 (en) Semiconductor device and image processing method
US20120098864A1 (en) System and method for downsizing video data for memory bandwidth optimization
TW200407035A (en) Pixel-data line buffer approach having variable sampling patterns
US8798386B2 (en) Method and system for processing image data on a per tile basis in an image sensor pipeline
US7463237B2 (en) Controller circuit of image display device, display device, and program and recording medium thereof
KR20090115137A (ko) 데이터 채널 정보의 프로그램가능 패턴-기반 패킹해제 및 패킹
CN1296812C (zh) 通过主机提供对图形显示设备的灵活接入的图形控制器
US20110235936A1 (en) Routable image pipeline device
JP6058687B2 (ja) 密結合低電力画像処理のための方法および装置
CN100530339C (zh) 移动终端的显示系统和显示方法
CN101556789B (zh) 一种图像缩放控制系统及方法
CN106547632A (zh) 一种基于嵌入式多路高清录播设备的导播控制方法及系统
CN112634824A (zh) 一种Mini-LED显示屏拼接显示驱动系统及驱动显示方法
JP2005266593A (ja) ディスプレイユニット、および、それを備えるディスプレイシステム
US20050270300A1 (en) Method and system for low cost line buffer system design
JP2003198959A (ja) ディジタル式ディスプレイのディジタル画像データ伝送データ量を減らす構造
CN1487730A (zh) 图像显示系统以及显示装置
JP2003143474A (ja) 映像信号処理システム
US7034840B2 (en) Method for an image reducing processing circuit
CN118135919A (zh) 一种显示芯片模组、多核同构的显示方法及系统

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees