TWI523519B - 影像補償方法及系統 - Google Patents

Description

影像補償方法及系統

  本發明係有關一種成像裝置，特別是關於一種影像形變的補償方法及系統。

  光學鏡頭是相機的主要構件之一，其係由一或多個光學透鏡所組成，用以收集並偏折光線，使其聚焦於影像感測元件。光學透鏡本身即會對影像造成扭曲失真，又因為相機體積、重量或成本的各種考量，相機鏡頭會造成嚴重的影像形變。鏡頭所造成的影像形變一般有桶狀形變及枕狀形變兩者。受到桶狀形變影響的影像，距中心點愈遠的像素，其影像放大率愈小；而受到枕狀形變影響的影像，距中心點愈遠的像素，其影像放大率愈大。該中心點一般係對應至鏡頭的光軸。

  此外，即使同一型態之鏡頭，當其搭配不同的影像感測元件或其他硬體電路時，影像形變的態樣及大小也會跟著改變。因此，造成相機製造者在搭配運用上缺乏彈性。

  當影像形變量超過一定程度時，必須透過形變補償技術加以矯正。傳統形變補償方法係對影像的每一像素，分別沿四個方向執行移動計算，亦即正X方向、負X方向、正Y方向及負Y方向。此造成運算量過大，無法達到即時處理，且耗費處理資源及佔用大量記憶體空間。因此，並不適用於現今講求小體積、輕量及低成本的相機製造。

  因此，亟需提出一種新穎的影像補償機制，用以解決傳統相機製造時所遇到的問題。

  鑑於上述，本發明實施例的目的之一在於提出一種影像補償方法及系統，用以補償光學鏡頭所造成的影像形變，不但能簡化傳統之形變補償技術，且能增加與其他相機構件的搭配彈性。

  根據本發明實施例所揭露之影像補償方法，首先，提供具有複數第一像素之第一圖框。接著，對該等第一像素執行補償步驟，以產生具有複數第二像素之第二圖框，使兩相鄰之該等第二像素的間距相等。其中，於補償步驟之前、之後或前後兩者，分別對第一圖框或第二圖框執行圖框調整步驟。

  根據本發明另一實施例，影像補償系統包含影像擷取模組、運算單元及調變單元。影像擷取模組用以提供第一圖框，其具有複數第一像素及一基點。運算單元對該等第一像素執行補償步驟，以產生具有複數第二像素之第二圖框，使兩相鄰之該等第二像素的間距彼此等距，且該等第一像素係以該基點沿一補償方向進行位移運算。調變單元於補償步驟之前、之後或前後兩者，分別對第一圖框或第二圖框執行圖框調整步驟。

  第一A圖顯示本發明實施例之影像補償系統的方塊圖。該影像補償系統可適用於成像裝置，例如相機、攝影機、行動電話、個人數位助理、數位音樂播放器或網路攝影機，但不以此為限。在本實施例中，影像補償系統主要包含影像擷取模組10、調變單元12、運算單元14及儲存模組16。

  第一B圖例示具桶狀形變態樣之第一圖框110，且第一圖框110具有往外擴張的至少一邊框。參閱第一A圖及第一B圖，影像擷取模組10係用以提供第一圖框110，該第一圖框110具有複數第一像素112及一基點114。於本實施例中，基點114係以對應至影像擷取模組10的光軸為例，但熟知此技藝者亦可以第一圖框110的正中心作為基點，而不限定於此。當以光軸作為選定基點114的基準時，則以基點114為圓心，相同距離但不同方向的不同第一像素112即有相同的影像放大率，且距基點114愈遠的第一像素112，其影像放大率愈小。此外，另一種常見的影像形變態樣為枕狀形變，意即第一圖框110之至少一邊框係往內收斂，在此前提下，距基點114愈遠的第一像素點112具有愈大的影像放大率。

  再同時參閱第一A圖及第一B圖，調變單元12用以接收第一圖框110並對其執行圖框調整步驟。而運算單元14係對該等第一像素112執行補償步驟，以產生具有複數第二像素113之第二圖框111，使兩兩相鄰之該等第二像素113的間距等長，且運算單元14對該等第二像素113以基點114為中心，沿一補償方向進行位移運算。儲存模組16可用以儲存運算單元14的參數。在本實施例中，第一圖框110之該等第一像素112可以是原始資料，而第二圖框111之該等第二像素113則為一色彩空間的成分編碼，例如YUV色彩空間，且調變單元12及運算單元14可整合於一中央處理器或數位訊號處理器中，但不以此為限。

  第二A圖顯示本發明另一實施例之影像補償系統的方塊圖，第二B圖例示具桶狀形變態樣之第一圖框110。同時參閱第二A圖及第二B圖。和第一A圖所示實施例不同的是，本實施例的運算單元14自影像擷取模組10接收第一圖框110，並對該等第一像素112執行補償步驟，以產生具有複數第二像素113之第二圖框111。調變單元12接收第二圖框111並對其執行圖框調整步驟。在本實施例中，於運算單元14執行補償步驟後，可能會產生超出第一圖框110範圍或數目的部分該等第二像素113，而超出第一圖框110之範圍的該等第二像素113可儲存於儲存模組16，留待後續之用。

  第三圖顯示本發明又一實施例之影像補償系統的方塊圖。和第一A圖所示實施例不同的是，本實施例使用二調變單元12A及12B，於運算單元14執行補償步驟之前和之後，分別由調變單元12A及調變單元12B對該等第一像素112及第二像素113執行圖框調整步驟。具體而言，本實施例是分別以調變單元12A及調變單元12B對該等第一像素112及第二像素113進行圖框調整步驟，但實作上亦可以一個調變單元依序對該等第一像素112及第二像素113執行圖框調整步驟，而不以此為限。

  第四A圖顯示調變單元12的細部方塊圖，其中，調變單元12除了包含執行圖框調整步驟之圖框調整單元120外，更可於圖框調整步驟之前，利用一整合單元122以執行裁切步驟。於裁切步驟中，整合單元122沿第一圖框110或第二圖框111之水平方向、垂直方向或同時對水平暨垂直方向刪除部分該等第一像素112或部分該等第二像素113。此外，第四B圖顯示調變單元12的另一細部方塊圖。和第四A圖不同的是，整合單元122係於圖框調整單元120完成圖框調整步驟後，始進行裁切步驟。再者，第四C圖顯示調變單元12的又一細部方塊圖。有別於第四A圖及第四B圖，於圖框調整單元120進行圖框調整步驟之前與之後，分別以整合單元122A及122B在圖框調整步驟之前及之後進行裁切步驟，其中實作上亦可以一個整合單元122分別在圖框調整步驟之前及之後進行裁切步驟，而不以此為限。

  第五A圖顯示本發明實施例之影像補償方法的流程圖，請同時參閱第一A圖及第一B圖。首先，於步驟51，影像擷取模組10提供具有複數第一像素112之第一圖框110。接著，於步驟52，調變單元12對第一圖框110執行圖框調整步驟。在本實施例中，圖框調整步驟係對該等第一像素112沿水平方向、垂直方向或同時於水平與垂直方向進行平移運算。於步驟53，對該等第一像素112執行補償步驟，以產生具有複數第二像素113之第二圖框111，並使兩兩相鄰之該等第二像素113的間距相等。其中，補償步驟係依據基點114並沿一補償方向對該等第一像素112進行位移運算。更確切而言，補償方向係以基點114為中心，使第一圖框110向外擴張或向內收斂，使得兩相鄰之該等第二像素113的間距相等。此外，在本實施例中，若以基點114為中心，則補償方向為背離基點114的水平X方向和垂直Y方向，如第一B圖所示箭號116，相較於傳統補償方法係沿四個方向進行補償，本實施例因而可大量減少計算量以加速補償的執行。再者，本實施例之補償步驟的位移運算係依據兩相鄰之該等第一像素112執行內插法運算，以產生該等第二像素113。

  第五B圖顯示本發明另一實施例之影像補償方法的流程圖，請同時參閱第二A圖及第二B圖。和第五A圖所示實施例不同的是，本實施例先對第一圖框110執行補償步驟53後，才對第二圖框111執行圖框調整步驟52。如第二B圖所示，於運算單元14執行補償步驟後，部分該等第二像素113有可能超出第一圖框110，而超出第一圖框110之範圍的該等第二像素113可儲存於儲存模組16所提供的儲存空間，留待後續之用。

  第五C圖顯示本發明又一實施例之影像補償方法的流程圖，請同時參閱第三圖。和第五A圖及第五B圖所示實施例不同的是，本實施例於補償步驟53之前和之後，分別執行圖框調整步驟52A與圖框調整步驟52B，其中一個圖框調整步驟可對該等第一像素112沿水平方向進行平移運算，而另一個圖框調整步驟可對該等第一像素112沿垂直方向進行平移運算，亦即，該等第一像素112可先經圖框調整步驟52A沿水平方向進行平移運算，於補償步驟53後再由圖框調整步驟52B沿垂直方向進行平移運算；或可先經圖框調整步驟52A沿垂直方向進行平移運算，再由由圖框調整步驟52B沿水平方向進行平移運算。

  第六A圖顯示於圖框調整步驟52之前執行裁切步驟52C，係沿第一圖框110或第二圖框111之水平方向、垂直方向或水平暨垂直方向刪除部分該等第一像素112或部分該等第二像素113。第六B圖顯示於圖框調整步驟52之後執行裁切步驟52D。第六C圖顯示於圖框調整步驟52之前及之後，分別執行裁切步驟52C及52D。

  上述各實施例的補償步驟，可採用各種影像內插技術來實施。經執行補償步驟後，可能會增加像素的數目，也可能會減少像素的數目。確切來說，於執行內插運算時，可對相鄰至少二像素的參數進行內插運算，以獲得其內插值，並以此內插值作為相鄰像素之間的新增像素，因此會增加像素的數目；或者，可對相鄰至少二像素進行平均運算，以取得其內插值，並以此值取代部分相鄰像素，因此會減少像素的數目。

  第七圖顯示原始像素P1-P8及內插像素Q。在一例子中，可使用雙線性內插法對原始像素P1、P3、P6、P8進行內插運算，以得到內插像素Q。其中，內插像素Q不一定需要位於原始像素P1、P3、P6、P8的正中心。上述之雙線性內插法係屬於非可適性影像內插法的其中一種演算法，然而，也可使用可適性影像內插法，例如，邊緣感測內插法。以第七圖所示為例，當水平梯度，例如P4和P5之差值絕對值，小於一臨界值，而垂直梯度，例如P2和P7之差值絕對值，大於一臨界值時，表示水平方向存在有影像邊緣，因此可對原始像素P4和P5取平均值以得到內插像素Q，亦即，Q=(P4+P5)/2。

  參閱第一B圖及第二B圖，上述各實施例的的圖框調整步驟，可以基點114為中心，沿水平方向對每一像素施以相同的影像放大率，以調整圖框的水平方向大小。或者，以基點114為中心，沿垂直方向對每一像素施以相同的影像放大率，以調整圖框的垂直方向大小。或者，以基點114為中心，沿水平暨垂直方向對每一像素施以相同的影像放大率，以調整圖框的整體大小。

  以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

10．．．影像擷取模組

12．．．調變單元

12A．．．調變單元

12B．．．調變單元

14．．．運算單元

16．．．儲存模組

51-53．．．步驟

52A/52B．．．圖框調整步驟

52C/52D．．．裁切步驟

110．．．第一圖框

111．．．第二圖框

112．．．第一像素

113．．．第二像素

114．．．基點

115．．．圖框調整方向

116．．．補償方向

120．．．圖框調整單元

122．．．整合單元

122A．．．整合單元

122B．．．整合單元

P1-P8．．．原始像素

Q．．．內插像素

第一A圖顯示本發明實施例之影像補償系統的方塊圖。
第一B圖例示具桶狀形變態樣之第一圖框及第二圖框。
第二A圖顯示本發明另一實施例之影像補償系統的方塊圖。
第二B圖例示具桶狀形變態樣之第一圖框及第二圖框。
第三圖顯示本發明又一實施例之影像補償系統的方塊圖。
第四A圖顯示調變單元的細部方塊圖。
第四B圖顯示調變單元的另一種細部方塊圖。
第四C圖顯示調變單元的又一種細部方塊圖。
第五A圖顯示本發明實施例之影像補償方法的流程圖。
第五B圖顯示本發明另一實施例之影像補償方法的流程圖。
第五C圖顯示本發明又一實施例之影像補償方法的流程圖。
第六A圖顯示於圖框調整步驟之前執行裁切步驟。
第六B圖顯示於圖框調整步驟之後執行裁切步驟。
第六C圖顯示於圖框調整步驟之前及之後，分別執行裁切步驟。
第七圖顯示原始像素及內插像素。

10．．．影像擷取模組

12．．．調變單元

14．．．運算單元

16．．．儲存模組

Claims (12)

1. 一種影像補償方法，包含：提供具有複數第一像素之一第一圖框；及對該等第一像素執行一形變補償步驟，以產生具有複數第二像素之一第二圖框，使兩相鄰之該等第二像素的一間距相等；其中於該形變補償步驟之前，對該第一圖框執行一圖框調整步驟，或於該形變補償步驟之前及之後，分別對該第一圖框及該第二圖框執行該圖框調整步驟；其中該形變補償步驟係依據兩相鄰之該等第一像素執行內插法運算，以產生該等第二像素。
2. 如申請專利範圍第1項所述之影像補償方法，其中該第一圖框更包含一基點，該形變補償步驟係依據該基點，沿一補償方向對該等第一像素進行一位移運算。
3. 如申請專利範圍第2項所述之影像補償方法，其中該補償方向係以該基點為中心，使該第一圖框向外放射或向內收斂。
4. 如申請專利範圍第3項所述之影像補償方法，更包含：提供一儲存空間，用以儲存於該形變補償步驟後，超出該第一圖框之一範圍的該等第二像素。
5. 如申請專利範圍第2項所述之影像補償方法，其中該圖框調整步驟對該等第一像素沿水平或垂直方向進行一平移運算。
6. 如申請專利範圍第1項所述之影像補償方法，更包含於該圖框調整步驟之前、之後或前後兩者，執行一裁切步驟，以刪除部分該等第一像素或部分該等第二像素。
7. 如申請專利範圍第1項所述之影像補償方法，其中該等第一像素係一原始資料，且該等第二像素係一色彩空間的成分編碼。
8. 一種影像補償系統，包含：一影像擷取模組，用以提供一第一圖框，該第一圖框具有複數第一像素及一基點；一運算單元，對該等第一像素執行一形變補償步驟，以產生具有複數第二像素之一第二圖框，使兩相鄰之該等第二像素的一間距彼此等距，且該等第一像素係以該基點沿一補償方向進行一位移運算；及一調變單元，於該形變補償步驟之前，對該第一圖框執行一圖框調整步驟，或於該形變補償步驟之前及之後，分別對該第一圖框及該第二圖框執行該圖框調整步驟；其中該形變補償步驟係依據兩相鄰之該等第一像素執行內插法運算，以產生該等第二像素。
9. 如申請專利範圍第8項所述之影像補償系統，其中該補償方向係以該基點為中心，使該第一圖框向外放射或向內收斂。
10. 如申請專利範圍第8項所述之影像補償系統，其中該圖框調整步驟對該等第一像素或該等第二像素沿水平或垂直方向進行一平移運算。
11. 如申請專利範圍第8項所述之影像補償系統，更包含至少一整合單元，於該圖框調整步驟之前、之後或前後兩者，沿該第一圖 框或該第二圖框之水平方向、垂直方向或水平暨垂直方向執行一裁切步驟，以刪除部分該等第一像素或部分該等第二像素。
12. 一種影像補償系統，包含：一影像擷取模組，用以提供一第一圖框，該第一圖框具有複數第一像素及一基點；一運算單元，對該等第一像素執行一形變補償步驟，以產生具有複數第二像素之一第二圖框，使兩相鄰之該等第二像素的一間距彼此等距，且該等第一像素係以該基點沿一補償方向進行一位移運算；及一調變單元，於該形變補償步驟之前，對該第一圖框執行一圖框調整步驟，或於該形變補償步驟之前及之後，分別對該第一圖框及該第二圖框執行該圖框調整步驟；其中該等第一像素係一原始資料，且該等第二像素係一色彩空間的成分編碼。