TWM591679U

TWM591679U - 具有線緩衝器的影像校正系統

Info

Publication number: TWM591679U
Application number: TW108213860U
Authority: TW
Inventors: 陳志高; 陳永緯
Original assignee: 大陸商南京深視光點科技有限公司
Priority date: 2019-10-21
Filing date: 2019-10-21
Publication date: 2020-03-01

Abstract

一種具有線緩衝器的影像校正系統，主要揭露一主記憶體可暫存一輸入影像， N個線緩衝器可儲存於一快取記憶體，且可被定義為包含多個N*M大小的快取區塊組，各快取區塊組可暫存主記憶體最近擷取之輸入影像的多個像素及一輸入影像位址，一影像校正器可產生一輸出影像之一輸出影像位址，並從例如LUT記憶體中查找輸出影像位址所對應的輸入影像位址，若快取命中，則影像校正器可從其中一快取區塊組讀取輸入影像的相關像素；藉此，可解決習知作法均將從DRAM所讀取的影像儲存於線緩衝器，而有DRAM讀取效率較差及像素重複讀取的情形，同時可達成降低線緩衝器的數量而減少記憶體之儲存成本的有利功效。

Description

具有線緩衝器的影像校正系統

本創作涉及記憶體存取技術，尤指一種藉由結合線緩衝器與快取區塊(Cache Block)的快取記憶體，作為可供影像校正器(或稱影像插補器)從中存取主記憶體最近所擷取之輸入影像的「具有線緩衝器的影像校正系統」。

為了校正儲存於DRAM中的一輸入影像，例如為了扭曲校正/消除彎曲(dewarp)輸入影像，輸入影像中的多個像素需要被讀取及暫存於SRAM的一線緩衝器(line buffer，亦可稱線緩衝區)，但為了增加DRAM的工作時脈(clock rate)，在輸入影像中的相同像素(same pixel)會有重複讀取(multi-read)的情形，進而造成影像之輸出頻率(frame rate)會降低的問題；再者，由於輸入影像可能因為影像擷取鏡頭為魚眼鏡頭而有形變(warping)情形，故輸出影像的一掃瞄線(scan line)，在輸入影像所對應的掃描線可能是彎曲的，意即輸出影像所對應的輸入影像像素資料在DRAM中並未儲存在連續位址，進而導致有DRAM讀取效率不高的情形(因相較SRAM，DRAM的存取速度較慢)。

為此，雖人有提出可將從DRAM所讀取的影像儲存於多個線緩衝器中，意即增加線緩衝器的數量以改善DRAM讀取效率較差及重複讀取像素的情況，即如「第1圖」所示，但如此一來，線緩衝器的成本將隨之增加，例如若要暫存第1圖所示的兩條資料線(L_1’、L_2’)，則至少需要7個線緩衝器方能達成，是以，如何在權衡線緩衝器的存取頻寬(access bandwidth)與線緩衝器之成本的前提下，提出一種可維持輸出頻率之較佳的影像校正系統，乃有待解決之問題。

為達上述目的，本創作提出一種具有線緩衝器的影像校正系統，主要包括一主記憶體、一影像校正器以及分別耦接於主記憶體與影像校正器的一快取記憶體；其中，主記憶體可暫存一輸入影像；影像校正器可產生一輸出影像的線資料，且輸出影像的至少一線資料可由輸入影像的複數個線資料演算而得(例如通過內插演算)；快取記憶體可包含N個線緩衝器，其中N個線緩衝器可被定義為包含多個N*M大小的快取區塊組，各快取區塊組可暫存主記憶體最近擷取之輸入影像的多個像素及多個像素的一輸入影像位址，且各快取區塊組儲存的輸入影像位址，可為輸入影像於相同或不同掃描線的列編號及位址標籤；影像校正器亦可產生輸出影像之線資料的一輸出影像位址，且輸出影像位址可為輸出影像之其中一線資料的列編號及位址標籤，並查找輸出影像位址所對應的輸入影像位址，以決定其中一線緩衝器所儲存(或其中一快取區塊組所暫存)的輸入影像位址是否快取命中，若快取命中，則影像校正器可從其中一線緩衝器的其中一快取區塊組讀取輸入影像的相關像素，以續行例如內插的變形校正演算法。

藉此，本創作據以實施後，至少可解決習知作法均將從DRAM所讀取的影像儲存於線緩衝器，而有DRAM讀取效率較差及像素重複讀取的情形，同時可達成降低線緩衝器的數量而減少記憶體之儲存成本的有利功效。

為使貴審查委員得以清楚了解本創作之目的、技術特徵及其實施後之功效，茲以下列說明搭配圖示進行說明，敬請參閱。

請參閱「第2圖」，其為本創作的系統架構圖，本創作提出一種具有線緩衝器的影像校正系統1，主要包括一主記憶體10、一影像校正器20以及分別耦接於主記憶體10與影像校正器20的一快取記憶體30，前述的耦接可例如為電性連接或資訊連接，但並不以此為限，其中： (1) 主記憶體10供以暫存一輸入影像(例如由具有魚眼鏡頭的影像擷取裝置擷取影像而輸入)，且主記憶體10可例如為一動態隨機存取記憶體(DRAM)； (2) 影像校正器20用以產生一輸出影像的線資料，且輸出影像的至少一線資料可由輸入影像的複數個線資料執行一變形校正演算法而得； (3) 快取記憶體30可為一靜態隨機存取記憶體(SRAM)，其可包含N個線緩衝器(LB_1~LB_N)，前述N個線緩衝器(LB_1~LB_N)可被定義為包含多個

大小的快取區塊組，各快取區塊組用於暫存主記憶體10最近擷取之輸入影像的多個像素(the most-used pixel)及前物多個像素所對應的的一輸入影像位址，且各快取區塊組儲存的輸入影像位址，可經組態為輸入影像於相同或不同掃描線的列編號及位址標籤； (4) 影像校正器20亦用於產生輸出影像之線資料的一輸出影像位址，且輸出影像位址可被定義為輸出影像之其中一線資料的列編號及位址標籤，並查找輸出影像位址所對應的輸入影像位址，以決定線緩衝器(LB_1~LB_N)所儲存的輸入影像位址(或可稱決定其中一快取區塊組所暫存的輸入影像位址)是否快取命中(Cache Hit)； (5) 承上，若快取命中，則影像校正器20可被組態為從線緩衝器(LB_1~LB_N)的其中一快取區塊組讀取輸入影像的相關像素，以續行變形校正演算法； (6) 承上，若並未快取命中，意即快取失誤(Cache Miss)，則影像校正器20可被組態為從主記憶體10對應的輸入影像位址讀取輸入影像的相關像素，並令主記憶體10最近擷取之輸入影像的輸入影像位址，同步更新至線緩衝器(LB_1~LB_N)，以利後續快取像素資料。 (7) 另，本創作在一較佳實施例中，前述的變形校正演算法可為一雙線性內插(bilinear interpolation)或一最臨近內插法(nearest neighbor interpolation)的內插演算法(interpolation)，但並不以此為限。

請參閱「第3圖」，其為本創作的系統流程圖，並請搭配參閱「第2圖」，本創作提出一種具有線緩衝器的影像校正系統的實施方法S，供包含一主記憶體10、一影像校正器20及一快取記憶體30的影像校正系統實施，包括： (1) 設定快取記憶體(步驟S10)：快取記憶體30經組態為分別耦接於主記憶體10與影像校正器20，快取記憶體30可包含N個線緩衝器(LB_1~LB_N)，其中N個線緩衝器(LB_1~LB_N)可被定義為包含多個

大小的快取區塊組，各快取區塊組可暫存主記憶體10最近擷取之一輸入影像的多個像素及前述多個像素的一輸入影像位址，且各快取區塊組儲存的輸入影像位址，可經組態為輸入影像於相同或不同掃描線的列編號及位址標籤，舉例而言，輸入影像位址可被表示為例如(line6, 位址200)，而各快取區塊組可儲存例如64x64像素(pixel)的影像資料，但並不以此為限； (2) 產生輸出影像位址(步驟S20)：影像校正器20產生一輸出影像之一線資料的一輸出影像位址，輸出影像的至少一線資料可由暫存於主記憶體10的輸入影像的複數個線資料執行一變形校正演算法而得，且輸出影像位址可被定義為輸出影像之其中一線資料的列編號及位址標籤，舉例而言，輸出影像位址可被表示為(line5, 位址100)； (3) 承上，有關步驟S10之更具體說明，還請參閱「第4圖」~「第6圖」之實施示意圖，首先，假設影像校正器20係以漸進式掃描方式(progressive-scan)，由左至右(x方向)且由上至下(y方向)的方向作輸出，則影像校正器20所輸出的第1條資料線，可能要在完成輸入影像中的第1條資料線L_1(由於輸入影像有變形情形，故資料線L_1可能呈彎曲狀)的讀取後，方能進行影像校正而產生，同理，影像校正器20所輸出的第2條資料線，可能要在完成輸入影像中的第2條資料線L_2(其亦可能呈彎曲狀)的讀取後，方能進行影像校正而產生； (4) 承上，依此可知，在步驟S10執行時，可令被定義出的多個快取區塊組，組態為由線緩衝器LB_4的第1個快取區塊CB_41開始暫存資料線L_1的部分像素資料及其輸入影像位址，接著，由線緩衝器LB_3的第1個快取區塊CB_31暫存，至此，即如「第4圖」所示，而圖中所示的快取區塊(CB_41、CB_31)相當於定義其為線緩衝器(LB_1~ LB_4)的第一快取區塊組CBG_1，但並不以此圖所示限制第一快取區塊組CBG_1的大小； (5) 其後，可接續由線緩衝器LB_3的第2個快取區塊CB_32暫存資料線L_1的部分像素資料及其輸入影像位址，接著，由線緩衝器LB_2的第2個快取區塊CB_22暫存，至此，即如「第5圖」所示，而圖中所示的快取區塊(CB_32、CB_22)相當於定義其為線緩衝器(LB_1~ LB_4)的第二快取區塊組CBG_2，但並不以此圖所示限制第二快取區塊組CBG_2的大小； (6) 其後，可接續由線緩衝器LB_2的第2個快取區塊CB_23暫存，以此類推，當快取記憶體30完成輸入影像中的資料線L_1及資料線L_2的暫存後，即如「第6圖」所示，相當於將線緩衝器(LB_1~ LB_5)定義出可沿著Y軸暫存輸入影像的多個快取區塊組，例如「第4圖」所示為驅動線緩衝器(LB_1~ LB_4)的第一快取區塊組CBG_1，「第5圖」所示為驅動線緩衝器(LB_1~ LB_4)的第二快取區塊組CBG_2，「第6圖」所示則為依序驅動線緩衝器(LB_1~ LB_5)至其最後一個快取區塊組，但圖中所示僅為舉例，並不以圖中所示限制各快取區塊組的大小； (7) 承上，至此本實施例僅驅動不多於5個線緩衝器(LB_1~ LB_5)暫存輸入影像，相比於習知技術需依據各列掃瞄線的方向，以至少7個線緩衝器逐一儲存資料線L_1及資料線L_2(甚至包含其它不在資料線上的像素)之像素資料及其輸入影像位址的作法，本創作至少可達成減少線緩衝器之使用及減輕像素重複讀取之情形的有利功效； (8) 快取命中檢查(步驟S30)：影像校正器20查找輸出影像位址所對應的一輸入影像位址，以決定其中一線緩衝器(LB_1~LB_N)所儲存的輸入影像位址（或可稱決定其中一快取區塊組所暫存的輸入影像位址）是否快取命中； (9) 承步驟S30，若快取命中，則接續執行快取像素及校正影像(步驟S40)：影像校正器20可被組態為從其中一線緩衝器(LB_1~LB_N)的其中一快取區塊組讀取輸入影像的相關像素，以續行變形校正演算法； (10) 承上，若步驟S30的結果為快取失誤，則接續執行讀取主記憶體及更新線緩衝器(步驟S50)：影像校正器20可被組態為從主記憶體10對應的輸入影像位址讀取輸入影像的相關像素，並令主記憶體10最近擷取之輸入影像的輸入影像位址，同步更新至線緩衝器(LB_1~LB_N)，以利後續快取像素資料。 (11) 另，本創作在一較佳實施例中，前述的變形校正演算法可為一雙線性內插或一最臨近內插法的內插演算法(interpolation)，但並不以此為限。

請參閱「第7圖」，其為本創作的另一較佳實施例，本實施例提出一種具有線緩衝器的影像校正系統1，其技術主要與「第2圖」~「第6圖」之技術類同，主要差異在於，本實施例的影像校正系統更包括分別耦接於主記憶體10與影像校正器20的一LUT(Look Up Table，查找表)記憶體40，其可儲存輸入影像與輸出影像的一位址轉換關係，以供影像校正器20可從中查找輸出影像位址所對應的輸入影像位址，較佳者，本實施例的LUT記憶體40本身亦可為一靜態隨機存取記憶體(SRAM)，但並不以此為限。

以上所述者，僅為本創作之較佳之實施例而已，並非用以限定本創作實施之範圍；任何熟習此技藝者，在不脫離本創作之精神與範圍下所作之均等變化與修飾，皆應涵蓋於本創作之專利範圍內。

綜上所述，本創作係具有「產業利用性」、「新穎性」與「進步性」等專利要件；申請人爰依專利法之規定，向　鈞局提起新型專利之申請。

1:具有線緩衝器的影像校正系統 10:主記憶體 20:影像校正器 30:快取記憶體 40:LUT記憶體 LB_1:線緩衝器 LB_2:線緩衝器 CB_22:快取區塊 CB_23:快取區塊 LB_3:線緩衝器 CB_31:快取區塊 CB_32:快取區塊 LB_4:線緩衝器 CB_41:快取區塊 CBG_1:第一快取區塊組 CBG_2:第二快取區塊組 LB_5:線緩衝器 LB_N:線緩衝器 L_1:輸入影像的第1資料線 L_2:輸入影像的第2資料線 S:具有線緩衝器的影像校正系統的實施方法 S10:設定快取記憶體 S20:產生輸出影像位址 S30:快取命中檢查 S40:快取像素及校正影像 S50:讀取主記憶體及更新線緩衝器 LB_1’:習知線緩衝器 LB_2’:線緩衝器 LB_3’:線緩衝器 L_1’:習知輸入影像的資料線 L_2’:習知輸入影像的資料線

第1圖，為習知的線緩衝器讀取輸入影像之示意圖。第2圖，為本創作的系統架構圖。第3圖，為本創作的系統流程圖。第4圖，為本創作的實施示意圖(一)。第5圖，為本創作的實施示意圖(二)。第6圖，為本創作的實施示意圖(三)。第7圖，為本創作的另一較佳實施例。

1:具有線緩衝器的影像校正系統

10:主記憶體

20:影像校正器

30:快取記憶體

LB_1:線緩衝器

LB_2:線緩衝器

LB_N:線緩衝器

Claims

一種具有線緩衝器的影像校正系統，包括：一主記憶體，供以暫存一輸入影像；一影像校正器，用以產生一輸出影像的線資料，且該輸出影像的至少一該線資料係由該輸入影像的複數個線資料演算而得；一快取記憶體，分別耦接於該主記憶體與該影像校正器，該快取記憶體包含N個線緩衝器，其中該N個線緩衝器被定義為包含多個
大小的快取區塊組，各該快取區塊組用於暫存該主記憶體最近擷取之該輸入影像的多個像素及該多個像素的一輸入影像位址，且各該快取區塊組儲存的該輸入影像位址，經組態為該輸入影像於相同或不同掃描線的列編號及位址標籤；該影像校正器亦用於產生該輸出影像之該線資料的一輸出影像位址，且該輸出影像位址被定義為該輸出影像之其中一該線資料的列編號及位址標籤，並查找該輸出影像位址所對應的該輸入影像位址，以決定其中一該線緩衝器所儲存的該輸入影像位址是否快取命中；以及若快取命中，該影像校正器被組態為從該線緩衝器的其中一該快取區塊組讀取該輸入影像的相關像素。
如申請專利範圍第1項的具有線緩衝器的影像校正系統，其中，若該線緩衝器儲存的該輸入影像位址並未快取命中，則該影像校正器被組態為從該主記憶體對應的該輸入影像位址讀取該輸入影像的相關像素，並令該主記憶體最近擷取之該輸入影像的該輸入影像位址，同步更新至該線緩衝器，以利後續快取像素資料。
如申請專利範圍第1項的具有線緩衝器的影像校正系統，更包括分別耦接於該主記憶體與該影像校正器的一LUT記憶體，該LUT記憶體用於儲存該輸入影像與該輸出影像的位址轉換關係，以供該影像校正器從中查找該輸出影像位址所對應的該輸入影像位址。
如申請專利範圍第1項的具有線緩衝器的影像校正系統，其中，該影像校正器經組態為應用一雙線性內插或一最臨近內插法的內插演算法，演算出該輸出影像的線資料。
如申請專利範圍第1項的具有線緩衝器的影像校正系統，其中，該主記憶體為一動態隨機存取記憶體(DRAM)，該快取記憶體為一靜態隨機存取記憶體(SRAM)。