TWI635747B - 扭曲畫面校正裝置及方法 - Google Patents

Abstract

本發明揭露扭曲畫面校正裝置及方法。扭曲畫面校正方法應用於一扭曲畫面校正裝置，用以校正一扭曲畫面以產生一校正後畫面。該校正裝置包含一緩衝記憶體，其包含一記憶體區塊，該記憶體區塊的容量小於該扭曲畫面之一區塊資料的大小，該區塊資料包含N筆線段資料。該方法包含：控制一記憶體控制器擷取該區塊資料中之M筆線段資料至該記憶體區塊，其中M小於N；以及根據該M筆線段資料產生該校正後畫面之一部分。

Description

扭曲畫面校正裝置及方法

本發明係關於影像處理，尤有關於扭曲畫面校正裝置及方法。

在經由成像鏡頭攝影成像時，由於光學失真，會使得其成像影像有所彎曲，例如呈現圓弧形或橢圓形；因此需對原始成像的扭曲畫面進行校正以得到校正後畫面。

請參閱圖1，其為習知技術於校正一扭曲畫面中之一扭曲線條所需緩衝記憶體容量的示意圖。在習知技術中，對一扭曲畫面104之一扭曲水平線108進行校正時，係先將包覆整條扭曲水平線108的畫面資料106由動態隨機存取記憶體載入緩衝記憶體（如靜態隨機存取記憶體)中，再進行後續的校正處理以得到校正後畫面102最上方的水平線110。

本發明之一目的在於提供一扭曲畫面校正裝置及方法，其可在不影響校正能力的情況下，降低緩衝記憶體的使用量，以提高緩衝記憶體的使用效率，亦可降低系統資源的使用量。

本發明揭露一種扭曲畫面校正裝置，用以校正一扭曲畫面以產生一校正後畫面，包含：一緩衝記憶體，包含一記憶體區塊，其中該記憶體區塊的容量小於該扭曲畫面之一區塊資料的大小，該區塊資料包含N筆線段資料；一記憶體控制器，用以自一記憶體擷取該區塊資料至該緩衝記憶體；一配置單元，根據一扭曲地圖（distortion map）控制該記憶體控制器，擷取該區塊資料中之M筆線段資料至該記憶體區塊，其中M小於N；以及一校正電路，根據該緩衝記憶體中之該M筆線段資料產生該校正後畫面之一部分。

本發明另揭露一種扭曲畫面校正方法，應用於一校正裝置，用以校正一扭曲畫面以產生一校正後畫面，該校正裝置包含一緩衝記憶體，其包含一記憶體區塊，該記憶體區塊的容量小於該扭曲畫面之一區塊資料的大小，該區塊資料包含N筆線段資料，該方法包含：控制一記憶體控制器擷取該區塊資料中之M筆線段資料至該記憶體區塊，其中M小於N；以及根據該M筆線段資料產生該校正後畫面之一部分。

有關本發明的特徵、實作與功效，茲配合圖式作實施例詳細說明如下。

本發明之揭露內容包含扭曲畫面校正裝置及方法。該些裝置與系統之部分元件單獨而言可能為已知元件，在不影響發明之充分揭露及可實施性的前提下，以下說明對於個別已知元件的細節將予以節略。另外，該方法之一部分或全部可以是軟體及/或韌體之形式，可藉由本發明之裝置或其等效裝置來執行。在實施為可能的前提下，本技術領域具有通常知識者能夠依本說明書之揭露內容來選擇等效之元件或步驟來實現本發明，亦即本發明之實施並不限於後敘之實施例。

請參閱圖2，圖2為本發明之扭曲畫面校正裝置之一範例的功能方塊圖。如圖2所示，本範例之扭曲畫面校正裝置200，用以校正一扭曲畫面以產生一校正後畫面。扭曲畫面校正裝置200包含：一記憶體控制器204、一緩衝記憶體206、一配置單元208以及一校正電路210，其彼此間的耦接關係可由圖2得知，不再贅述。在一範例中，記憶體控制器204、緩衝記憶體206、配置單元208以及校正電路210係位於同一積體電路之內，記憶體202則設置於該積體電路外；在另一範例中，記憶體202、記憶體控制器204、緩衝記憶體206、配置單元208以及校正電路210可均位於同一積體電路之內。其中，記憶體202例如可為一動態隨機存取記憶體，緩衝記憶體206例如可為一靜態隨機存取記憶體，但不以此為限。配置單元208可由一或多個處理器配合軟體來實作。

扭曲地圖（distortion map）記載了複數個像素在扭曲畫面中與校正後畫面中之位置對應關係，因此校正裝置200可透過扭曲地圖來校正扭曲畫面以產生校正後畫面，扭曲地圖例如可儲存於一快閃記憶體（flash memory）中。舉例來說，扭曲地圖記載了在校正後畫面中之像素P(128, 2)係對應於扭曲後畫面中之像素P’ (128, 80)，因此，校正裝置200藉由將扭曲後畫面中像素P’ (128, 80)之像素值，作為校正後畫面中之像素P(128, 2)之像素值來校正扭曲畫面。

實作上，每一條扭曲水平線係以線段（segment）為單位來校正，緩衝記憶體206包含複數個記憶體區塊，分別用以儲存其所對應之線段的區塊資料，供校正電路210校正線段使用。舉例來說，請參閱圖3，圖3為一扭曲畫面的一範例示意圖。扭曲畫面310包含一扭曲水平線312，扭曲水平線312被劃分為10個線段312-1~312-10來校正，而區塊資料306-1~306-10則分別用來校正線段312-1~312-10。在本實施例中，扭曲水平線312被劃分為10個線段來校正，然而，此並非為本發明之限制，扭曲水平線可視需求被劃分為K個扭曲資料，其中K為大於一之正整數。

相似地，當校正電路210校正下一條扭曲水平線時，緩衝記憶體206的記憶體區塊會分別儲存下一條扭曲水平線其所對應之線段的區塊資料。由此可知，緩衝記憶體206的一記憶體區塊會用來儲存不同的區塊資料。由於不同線段的扭曲程度不一樣，因此不同線段之區塊資料的大小亦不相同，扭曲程度愈大的線段，其區塊資料愈大。一般來說，為了減少記憶體頻寬使用量，緩衝記憶體206之記憶體區塊的容量可被設計為等於或大於，其所對應之所有區塊資料中，具有最大資料量之區塊資料中的資料量。以解析度為1280x720的扭曲畫面為例，由於一個畫面包含720條水平線，因此每個記憶體區塊均會對應於720個區塊資料，若720個區塊資料的大小介於5~8KB間，則對應於這720個區塊資料的記憶體區塊的容量會被設計為8KB或比8KB稍大。

為了降低記憶體成本，緩衝記憶體206之一或多個記憶體區塊的容量可被設計為小於其所對應之所有區塊資料中具有最大資料量之區塊資料的資料量。承上例，若720個記憶體區塊的大小介於5~8KB間，則對應於這720個區塊資料的記憶體區塊可被設計為6KB。

以下將配合圖4A~4D來說明，在緩衝記憶體206之記憶體區塊的容量小於區塊資料的資料量時，扭曲畫面校正裝置200如何執行扭曲畫面的校正方法。圖4A為區塊資料306-1。如圖4A所示，區塊資料306-1包含用來校正扭曲線段312-1的六筆線段資料S0~S5。圖4B與4C為緩衝記憶體206中用來儲存區塊資料306-1的記憶體區塊MB。如圖4B與4C所示，記憶體區塊MB包含四個子區塊SB0~SB3，分別用來儲存一筆線段資料，因此記憶體區塊MB至多只能儲存四筆線段資料。

在此實施例中，校正電路210沿著位置P0往位置P2的方向進行校正，換句話說，校正電路210會依序參考線段資料S5、S4、S3、S2、S1、S0來產生校正後線段，因此配置單元208會根據扭曲地圖控制記憶體控制器204，先從記憶體202中讀取線段資料S2~S5，並將線段資料S2~S5儲存至記憶體區塊MB中，如圖4B所示，供校正電路210校正扭曲線段312-1。

接著，校正電路210根據扭曲地圖，參考記憶體區塊MB中的區塊資料306-1來校正扭曲線段312-1，以產生校正後畫面中之一部分。舉例來說，當校正位置為位置P0時，校正電路210會參考記憶體區塊MB中之線段資料S5來產生校正後線段。依此類推，校正電路210會依序參考記憶體區塊MB中之線段資料S4、S3、S2來產生校正後線段。

在記憶體區塊MB所儲存的線段資料中，在校正過程中最先被使用的線段被定義為起始線段，校正過程中最後被使用到的線段被定義為結束線段，以及記憶體區塊MB中儲存該起始線段的子區塊被定義為起始子區塊。此外，配置單元208會紀錄記憶體區塊MB之一記憶體狀態。該記憶體狀態包含記憶體區塊MB中之一起始線段索引I _SI、一起始子區塊索引I _SBI以及一結束線段索引I _SE。該記憶體狀態例如可儲存於一靜態記憶體中，但不以此為限。以如圖4B所示之記憶體區塊MB為例，起始線段索引I _SI係對應於線段資料S5，起始子區塊索引I _SBI係對應於子區塊SB3，結束線段索引I _SE係對應於線段資料S2。

另一方面，校正電路210會將一校正位置通知配置單元208，配置單元208則根據校正位置、扭曲地圖與記憶體區塊MB之記憶體狀態決定是否更新記憶體區塊MB。更詳細地說，配置單元208根據校正位置與扭曲地圖判斷出一參考線段資料，接著根據記憶體狀態中之起始線段索引I _SI與結束線段索引I _SE，判斷該參考線段資料是否儲存於記憶體區塊MB，以決定是否更新記憶體區塊MB。

舉例來說，若校正位置為位置P0，則配置單元208可根據位置P0與扭曲地圖，判斷出參考線段資料為線段資料S5；接著，配置單元208根據起始線段索引I _SI（對應線段資料S5）與結束線段索引I _SE（對應線段資料S2），得知記憶體區塊MB中儲存有該參考線段資料（線段資料S5），因此配置單元208便不會控制記憶體控制器204來更新記憶體區塊MB。

另舉例來說，若該校正位置為位置P1，則配置單元208可根據位置P1與扭曲地圖，判斷出參考線段資料為線段資料S1；接著，配置單元208根據起始線段索引I _SI（對應線段資料S5）與結束線段索引I _SE（對應線段資料S2），得知記憶體區塊MB中未包含線段資料S1（亦即參考線段資料），因此配置單元208便會控制記憶體控制器204來更新記憶體區塊MB。更詳細地說，配置單元208可根據起始子區塊索引I _SBI（對應子區塊SB3），控制記憶體控制器204將線段資料S1（亦即參考線段資料）寫入記憶體區塊MB中之子區塊SB3（亦即起始子區塊），而覆蓋掉原本儲存在子區塊SB3內的線段資料S5，如圖4C所示。接著，校正電路210會根據扭曲地圖，參考記憶體區塊MB中之線段資料S1來繼續校正扭曲線段312-1。

此外，配置單元208會更新記憶體區塊MB之記憶體狀態，使起始線段索引I _SI係對應於線段資料S4，起始子區塊索引I _SBI係對應於子區塊SB2，結束線段索引I _SE係對應於線段資料S1。

相似地，當配置單元208根據來自校正電路210的校正位置與扭曲地圖，判斷出參考線段資料為線段資料S0時，配置單元208根據起始線段索引I _SI（對應線段資料S4）與結束線段索引I _SE（對應線段資料S1），得知記憶體區塊MB中未包含線段資料S0（亦即參考線段資料），因此配置單元208可根據起始子區塊索引I _SBI（對應子區塊SB2），控制記憶體控制器204將線段資料S0（亦即參考線段資料）寫入記憶體區塊MB中之子區塊SB2（亦即起始子區塊），而覆蓋掉原本儲存在子區塊SB2內的線段資料S4，如圖4D所示。接著，校正電路210會根據扭曲地圖，參考記憶體區塊MB中之線段資料S0來繼續往位置P2的方向校正扭曲線段312-1，以完成扭曲線段312-1的校正。

完成扭曲線段312-1的校正後，緩衝記憶體206的記憶體區塊MB接下來要儲存另一個區塊資料，例如扭曲線段313-1的區塊資料307-1。如圖5A所示，區塊資料307-1包含用來校正六筆線段資料S1~S6。

在此實施例中，校正電路210沿著位置P0往位置P2的方向進行校正，換句話說，校正電路210會依序參考線段資料S6、S5、S4、S3、S2、S1來產生校正後線段。因此配置單元208會根據扭曲地圖控制記憶體控制器204，先從記憶體202中讀取線段資料S3~S6，並將線段資料S3~S6儲存至記憶體區塊MB中，如圖5B所示，供校正電路210校正扭曲線段313-1。

雖然，完成扭曲線段312-1的校正後，緩衝記憶體206的記憶體區塊MB已存有線段資料S3，如圖4D所示，但當要校正下一個扭曲線段時，配置單元208仍會控制記憶體控制器204，從記憶體202中重新讀取線段資料S3，並將線段資料S3儲存至記憶體區塊MB中，如圖5B所示。換句話說，當要校正下一個扭曲線段時，配置單元208不會為了節省記憶體頻寬，考慮記憶體區塊MB中現存的線段資料是否與欲讀取的線段資料相同，而是直接重新讀取所需線段資料，即使可能讀取到記憶體區塊MB中現存的線段資料。換句話說，當欲擷取之線段資料與記憶體區塊MB中現存的線段資料相同時，配置單元208仍控制記憶體控制器204將該相同的線段資料再次寫入記憶體區塊MB。如此一來，可省去配置單元208的判斷時間，加快扭曲畫面校正裝置200的校正效率。由於接下來的校正步驟與之前類似，因此不再贅述。

圖6~圖7為本發明之扭曲畫面校正方法之範例流程圖。扭曲畫面校正方法應用於前述之扭曲畫面校正裝置，用以自一記憶體擷取一扭曲畫面之一區塊資料進行校正處理，以得到一校正後畫面。該校正方法包含圖6所示之步驟S610及S620，其中步驟S該區塊資料所包含N筆線段資料，M、N均為正整數，M小於N。在一實施例中，步驟S610由配置單元208執行，步驟S620由校正電路210所執行，其操作細節已揭露於前，於此不再贅述。

圖7之步驟S710~S750可為介於步驟S610及S620中間的步驟。在一實施例中，步驟S710~S750可由配置單元208執行，其操作細節已揭露於前，於此不再贅述。

由於本領域具有通常知識者能夠藉由前揭裝置範例之揭露來推知本方法範例的細節與變化，更明確地說，前揭裝置與方法範例之技術特徵均可合理應用於本方法範例中，因此，在不影響本方法範例之揭露要求與可實施性的前提下，重複及冗餘之說明在此予以節略。

綜上所述，本發明藉由將緩衝記憶體劃分為複數個記憶體區塊，並將複數個記憶體區塊中的至少一記憶體區塊的記憶體容量設計為小於該記憶體區塊所對應的複數個畫面區塊資料的最大者。因此能降低緩衝記憶體的所需容量以降低成本及避免與系統中的其他電路競爭硬體資源。

雖然本發明之範例如上所述，然而該些範例並非用來限定本發明，本技術領域具有通常知識者可依據本發明之明示或隱含之內容對本發明之技術特徵施以變化，凡此種種變化均可能屬於本發明所尋求之專利保護範疇，換言之，本發明之專利保護範圍須視本說明書之申請專利範圍所界定者為準。

102 校正後畫面 104 扭曲畫面 106 畫面資料 108、312 扭曲水平線 110、304 水平線 200 扭曲畫面校正裝置 202 記憶體 204 記憶體控制器 206 緩衝記憶體 208 配置單元 210 校正電路 302 校正後畫面 306-1、306-2、306-5、306-10 區塊資料 310 扭曲畫面 312-1~312-10 扭曲線段 S610~ S620、S710~ S740 步驟

［圖1］為習知技術於校正一扭曲畫面中之一扭曲線條所需緩衝記憶體容量的示意圖； ［圖2］為本發明之扭曲畫面校正裝置之一範例的功能方塊圖； ［圖3］為一扭曲畫面的一範例示意圖； ［圖4A］~［圖4D］為對應扭曲線段312-1的區塊資料及記憶體區塊之儲存內容的一範例； ［圖5A］~［圖5B］為對應扭曲線段313-1的區塊資料及記憶體區塊之儲存內容的一範例；以及 ［圖6］~［圖7］為本發明之扭曲畫面校正方法之範例的流程圖。

Claims (12)

1. 一種扭曲畫面校正裝置，用以校正一扭曲畫面以產生一校正後畫面，包含：一緩衝記憶體，包含一記憶體區塊，其中該記憶體區塊的容量小於該扭曲畫面之一區塊資料的大小，該區塊資料包含N筆線段資料；一記憶體控制器，用以自一記憶體擷取該區塊資料至該緩衝記憶體；一配置單元，根據一扭曲地圖(distortion map)控制該記憶體控制器，擷取該區塊資料中之M筆線段資料至該記憶體區塊，其中M小於N；以及一校正電路，根據該緩衝記憶體中之該M筆線段資料產生該校正後畫面之一部分；其中該配置單元更紀錄該記憶體區塊之一記憶體狀態，該記憶體狀態包含一起始線段索引、一起始子區塊索引以及一結束線段索引；其中該配置單元根據一校正位置、該扭曲地圖與該記憶體狀態決定是否更新該記憶體區塊。
2. 如申請專利範圍第1項所述之扭曲畫面校正裝置，其中該配置單元決定是否更新該記憶體區塊包含：根據該校正位置與該扭曲地圖判斷出一參考線段資料，並根據該起始線段索引與該結束線段索引判斷 該參考線段資料是否儲存於該記憶體區塊中，以決定是否更新該記憶體區塊。
3. 如申請專利範圍第2項所述之扭曲畫面校正裝置，其中當該配置單元根據該起始線段索引與該結束線段索引得知該記憶體區塊中未包含該參考線段資料時，該配置單元控制該記憶體控制器更新該記憶體區塊。
4. 如申請專利範圍第3項所述之扭曲畫面校正裝置，其中該配置單元控制該記憶體控制器更新該記憶體區塊包含：根據該起始子區塊索引，控制該記憶體控制器將該參考線段資料寫入該記憶體區塊中對應該起始子區塊索引之一子區塊，以覆蓋掉原本儲存在該子區塊內的線段資料。
5. 如申請專利範圍第1項所述之扭曲畫面校正裝置，其中該配置單元不考慮該記憶體區塊中現存的線段資料是否與另一區塊資料之一線段資料相同，來控制該記憶體控制器擷取另一區塊資料之該線段資料至該記憶體區塊。
6. 如申請專利範圍第5項所述之扭曲畫面校正裝置，其中該配置單元控制該記憶體控制器所擷取之另一區塊資料之該線段資料，與該記憶體區塊之一現存的線段資料相同。
7. 一種扭曲畫面校正方法，應用於一校正裝置，用以校正一扭曲畫面以產生一校正後畫面，該校正裝置包含一緩衝記憶體，其包含一記憶體區塊，該記憶體區塊的容量小於該扭曲畫面之一區塊資料的大小，該區塊資料包含N筆線段資料，該方法包含： 控制一記憶體控制器擷取該區塊資料中之M筆線段資料至該記憶體區塊，其中M小於N；根據該M筆線段資料產生該校正後畫面之一部分；紀錄該記憶體區塊之一記憶體狀態，該記憶體狀態包含一起始線段索引、一起始子區塊索引以及一結束線段索引；以及根據一校正位置、一扭曲地圖與該記憶體狀態決定是否更新該記憶體區塊。
8. 如申請專利範圍第7項所述之方法，其中決定是否更新該記憶體區塊之步驟更包含：根據該校正位置與該扭曲地圖判斷出一參考線段資料；以及根據該起始線段索引與該結束線段索引判斷該參考線段資料是否儲存於該記憶體區塊中，以決定是否更新該記憶體區塊。
9. 如申請專利範圍第8項所述之方法，其中決定是否更新該記憶體區塊之步驟更包含：當該記憶體區塊中未包含該參考線段資料時，更新該記憶體區塊。
10. 如申請專利範圍第9項所述之方法，其中更新該記憶體區塊之步驟更包含：根據該起始子區塊索引將該參考線段資料寫入該記憶體區塊中對應該起始子區塊索引之一子區塊，以覆蓋掉原本儲存在該子區塊內的線段資料。
11. 如申請專利範圍第7項所述之方法，更包含：不考慮該記憶體區塊中現存的線段資料是否與另一區塊資料之一線段 資料相同，來控制該記憶體控制器擷取另一區塊資料之該線段資料至該記憶體區塊。
12. 如申請專利範圍第11項所述之方法，其中該記憶體控制器所擷取之另一區塊資料之該線段資料，與該記憶體區塊之一現存的線段資料相同。