TW202405548A

TW202405548A - 使用獨立運動校正之全景影像處理方法

Info

Publication number: TW202405548A
Application number: TW111126575A
Authority: TW
Inventors: 簡達益; 郭佳瑜
Original assignee: 達星影像股份有限公司
Priority date: 2022-07-15
Filing date: 2022-07-15
Publication date: 2024-02-01

Abstract

一種校正大角度視野攝像元件「影像偏移」的演算法，儲存於非暫態電腦可讀取媒體中，並得以從所述攝像元件取得第一影像，以及從運動向量檢測電路取得獨立動作。本演算法係包含以下步驟：一分布函數運算，從該第一影像的像素位置決定分布值；以及一位移轉換程序，根據該分布值以及該獨立動作計算對應的校正位移以轉換該第二影像，其中，該第一影像與該第二影像的中心區域皆比邊緣區域具有更大的影像放大率。

Description

使用獨立運動校正之全景影像處理方法

本創作係關於一種全景影像處理方法特別關於一種大角度影像偏移校正，特別在於它的執行速度。

攝像系統被大量應用於監視、檢查、安全和遙控感測，現今這些系統為了節省裝置空間與簡化影像處理與控制步驟，已開始使用具有大角度視野(FOV

120°)的攝像元件，例如：魚眼鏡頭(fish-eye lens)或反射式環狀鏡頭(panoramic annular lens)。僅需單顆鏡頭就能完成全景(omni-directional)攝影，不用移動部件，就能在半球形視場(hemispherical field-of-view)內提供平移、傾斜方向、旋轉和放大的影像。基於魚眼鏡頭收集光線的投影效果，在CCD或CMOS陣列上以圓形形分布的二維影像，可以使用高速電子電路進行數學校正，回歸至以投影角度表示的方形分布的二維影像。如「第1圖」所示，光線前進方向可以球座標(spherical coordinate)的餘緯角(colatitude)θ以及方位角(azimuth)Φ表示，這些光線經鏡片組101集光後，成像在距離f(有效焦距)處的成像平面，藉由二維影像感測器102光電轉換(photoelectrically conversion)為球形影像。

一般來說，魚眼鏡頭僅對光線入射角曲折，也就是入射光與魚眼鏡頭光軸100的夾角，以下以餘緯角θ表示。入射光從球座標(θ,Φ)入射後成像在二維影像感測器102，經由光電轉換的橫向讀取Hrd第i個以及縱向讀取Vrd第j個得到此像素(pixel)的光度，稱為像素值(pixel value)。在本說明書中以矩陣(i,j)或是成像平面位置向量(r．cosΦ,r．sinΦ)來表示像素位置，其中，π為180度的弳度(radian)，且魚眼鏡頭光軸100穿過成像平面的原點O，其至矩陣(i,j)的距離也就是半徑r。

因應不同的拍攝需求，魚眼鏡頭的鏡片組合也會有所不同，所述餘緯角θ與所述半徑r的關係大致可分為三種模型，其中，第I型為等距投影(equidistance projection)r=f．θ：第II型為平射投影(stereographic projection)r=f．2．tan(θ/2)；以及第III型為等立體角投影(equisolid angle projection)r=f．2．sin(θ/2)。在第I、II和III型投影關係的鏡頭前方放置一方格紙，則該二維影像感測器102上即分別呈現如「第2圖」由左至右的成像。與一般鏡頭視野(FOV)介於40°到60°不同，魚眼鏡頭視野可達120°或是更多，例如：上述方格紙寬約為視野140°皆可由魚眼鏡頭全部攝入。傳統的小角度視野鏡頭稱透視投影(perspective projection)，成像為方形影像且其對角線長度約43mm；而符合第I、II和III型投影的鏡頭，成像為球形影像，其對角線長度僅25-28mm左右。

一般手機附加的魚眼鏡頭多為第I型(最左圖)，轉換回方形透視影像最為簡單，中心與邊緣亮度也不會差異過大，但在視野超過84°後，影像失真(distortion)就十分明顯；視訊會議或全景影像常用的魚眼鏡頭則為第II型(中圖)，透過組合高差異性鏡片或環狀反射鏡，保有視野中各物件的原始形狀(conformal mapping)，雖有邊緣過亮與轉換函數複雜等問題，但能確保影像的正確樣態；第III型(最右圖)則是能任意切換至各角度光軸的魚眼鏡頭，特別適合第一人稱的立體攝影，但由於影像失真嚴重並不適合轉換回方形的透視影像。

上述模型與實際鏡片成像仍有些許差異，而且除了第I型之外，其他模型都有求數值解(numerical solution)的問題。在J.Kannala & S.S.Brandt揭示的多項式(polynomial)轉換法中，顯示至少需到九階才能將所述半徑r從小角度到大角度完整轉換r(θ)

k₁．θ+k₂．θ³+k₃．θ⁵+k₄．θ⁷+k₅．θ⁹。這五個轉換參數k₁,k₂,…,k₅，加上光軸偏移與球面偏差的兩個校正參數，一共有七個變數與實際結果作比對，才能找出(i,j)至所述餘緯角θ以及所述方位角Φ的轉換矩陣(matrix)。然而，七個變數構成的轉換矩陣，在實際應用時極難取得穩定數值解，最後多以三階近似法，也就是r(θ)

k₁．θ+k₂．θ³，在出廠前驗算完成並設定好轉換矩陣在IC中。

很明顯地，大角度視野攝像元件遇到手震或其他震動(shake)造成的「影像偏移」，在每個像素的偏移量甚至是偏移方向都不相同，例如：US9,800,780的第二圖到第四圖。不像透視投影的鏡頭，僅需幾個採樣點就可以知道整個「影像偏移」的方向與幅度；魚眼鏡頭的採樣範圍除了要廣要密外，還要應付被攝體非靜止狀態的「運動影像」，所導致的錯誤採樣。為此，US9,800,780負責影像擷取與處理的影像訊號處理器(Image Signal Processor，ISP)除有一塊專門計算被攝體運動向量的電路外，還有一塊用來統計這些運動向量的發散點與聚合點的電路。

魚眼鏡頭的振動(vibration)若不修正引起的後果並非只有晃動的影像畫質而已。例如：WO98/27718A1利用外圍影像壓縮程度比中央高的特性，在不降低解析度(resolution)的情況下進行電子變焦；然而，隨著變焦比高，魚眼鏡頭的振動將導致圖像失真，引起解析度劣化。又例如：US5,185,667對通過魚眼鏡頭獲得的半球視場中的圖像切割，進行平移、傾斜、旋轉和放大；鏡頭振動產生的「影像偏移」將會使切割後的畫面忽暗忽明，乍暖(偏黃)還寒(偏藍)，甚至是出現扭曲線條。

隨著電動車與車聯網的風潮興起，駕駛員輔助系統之一的環景監控(AVM)也獲得積極的研究，透過安裝在車聯網的多顆鏡頭直接向駕駛員提供車輛周圍環境，甚至可以分析出周圍的停車格、車道或行車異物並加以示警。以四顆鏡頭為例，如「第3圖」所示，車前鏡頭Lf會涵蓋部分左邊和部分右邊的影像，剛好補足車左鏡頭Lt和車右鏡頭Lr沒照到的路面；同理，車後鏡頭Lb也能補足車左鏡頭Lt和車右鏡頭Lr被車輪擋住的部分，只要對影像做些角度的修正，就能營造出在車輛正上方拍攝車輛與周圍環境的感覺。若是要進一步分析車道狀況甚至啟動人工智慧停車程序，這四顆鏡頭重疊的影像就需先行縫合拼貼程序。由於車體在引擎發動中或因路面凹凸會產生震動，且每顆鏡頭與車體的連動的關係不同，各自產生的「影像偏移」當然也就不同；在進行縫合拼貼程序時容易發生拼接不良，導致提供給駕駛員的鳥瞰圖(如第4圖)不時發生中斷，造成駕駛員的困擾。

鏡頭振動也會影響影像訊號處理器(ISP)內3A(自動白平衡/自動曝光/自動對焦)的處理，尤其是自動白平衡(Auto White Balance，AWB)演算法。雖說各大品牌皆有其獨特的AWB演算法，但大抵不離統計像素裡RBG的色溫分布以調整RGB增益(gain)的邏輯。若鏡頭視野中有不同色溫被攝體，例如：停車場照明燈與各式車燈鏡頭色溫不同，ISP可以選擇多數像素的色溫，也能選擇偏向正中央被攝體的色溫。然而，鏡頭振動造成的「影像偏移」，有可能加速色溫統計的不穩定性，導致AWB演算法不只被反覆驗算拖慢ISP的整體速度，最後還可能呈現忽黃忽藍的影像。為此，US9,105,105就提出了同時監測亮度直方圖(histogram)的方法，以選擇在亮度過低的情況下關閉AWB校正，避免色溫校正失真。

由上可知，鏡頭振動造成的影響不小，尤其對中心區域與邊緣區域放大比差異大的全景影像來說，很難用單一平移量來解決問題，例如：US7,511,756。用這種方式轉換回的方形影像，中心區域到邊緣區域變化太大，反而造成邊緣區域因校正而更加模糊。甚至還為了解決這種現象，US7,834,907揭示了一種平移且略小的球形影像範圍，企圖藉由縮小尺寸，來減低中央區域與邊緣區域巨大的落差。

本說明書中的「影像偏移」(image shift)係指被攝體在影像中的移動，乃受手持、風吹或機件連動等引起被攝體成像位置的變化；而「運動影像」(movement image)係指被攝體在影像中的移動，乃由被攝體相對於鏡頭的運動引起被攝體成像位置的變化。本說明書中的震動(shake)係指短時間內交替的作動(act)，例如：人體為維持平衡所作的來回移動、受強風吹撫的擺動以及人車行經路面所引發的抖動；而振動(vibration)係指週期性運動，其大致存在一平衡點，例如：因受突發外力導致鏡頭組件或與鏡頭連動的固定部件產生來回移動。

一種全景影像處理方法，儲存於一非暫態電腦可讀取媒體(non-transitory computer-readable medium)，利用一攝像設備提供之以光電轉換(photoelectrically conversion)的二維影像以及一運動向量檢測電路分析出沿一獨立方向之獨立動作，轉換一第二影像，其中，該二維影像以及該第二影像的中心區域皆比邊緣區域具有更大的影像放大率。先從所述攝像設備的記憶區中讀取一第一影像；再使用一分布函數運算，從該二維影像的像素位置在該獨立方向之分量位置計算或查找分布值；並執行一位移轉換程序，根據該等分布值以及該獨立動作計算校正位移以轉換該第二影像，並存回所述攝像設備的記憶區。

該獨立動作係與所述攝像設備因振動，造成沿該獨立方向的「影像偏移」有關，在其一實施例中，該獨立動作僅與所述光軸附近的「影像偏移」有關，其中，該獨立方向與所述攝像設備布置光電轉換元件的方式有關。該等分布值係依該像素位置在該獨立方向分量大致成高斯分布(Gauss Distribution)又與該像素位置在垂直該獨立方向分量平方成反比，其中，該像素位置分量係以所述攝像設備之光軸為原點。該等分布值可以利用數學公式也可以利用查找表(look-up table)求得，不需要進行球形影像至方形影像的投影轉換才能校正。

在其一實例中，所述全景影像處理方法，更包含：一切換步驟，供以依據該獨立方向轉置(transpose)該像素位置，例如：所述攝像設備依「第1圖」橫向讀取Hrd以及縱向讀取Vrd布置光電轉換元件，當需要執行橫向讀取方向的偏移時，該獨立方向即為橫向；反之，該獨立方向為縱向。不論該獨立方向為橫向還是縱向，只需轉置該像素位置以及其對應的原點作標即可。

一種全景攝像設備，用以擷取視野內魚眼影像，其係包含：一全景影像擷取元件，利用光電轉換(photoelectrically conversion)該魚眼影像，其中，該魚眼影像的中心區域比邊緣區域具有更大的影像放大率；一振動檢測區塊，獲得關於所述全景攝像設備的振動資訊，並分析其在一第一方向的分量以及在一第二方向的分量各自為一第一動作以及一第二動作；一獨立開關，根據該第一動作與該第二動作，決定一獨立動作、轉置(transpose)該等第一值或該等第二值為獨立分量以及轉置該第一方向或該第二方向為一獨立方向，可由比較器與開關組合而成，或是直接由中央處理器完成；一位移區塊，根據該魚眼影像的像素位置在該獨立方向的分量，計算或查找對應的校正位移；以及一轉換區塊，根據該獨立動作縮小或放大該等校正位移，並沿該獨立方向平移該魚眼影像有該等校正位移。

該第一動作以及該第二動作係與所述全景攝像設備因振動，造成在該第一方向以及在該第二方向的「影像偏移」有關，在其一實施例中，該第一動作以及該第二動作僅與所述光軸附近的「影像偏移」有關，其中，該第一方向以及與其垂直的該第二方向與該全景影像擷取元件布置光電轉換元件的方式有關。該像素位置係以該全景影像擷取元件之光軸為原點，並以第一值表示其在該第一方向的分量以及以第二值表示其在該第二方向的分量。

該校正位移與該第一值或該第二值大致成高斯分布(Gauss Distribution)又與該第二值或第一值的平方成反比，故可以利用數學公式也可以利用查找表(look-up table)求得，而不需要進行球形影像至方形影像的投影轉換才能校正。

Gb:車後地板影像

Gf:車前地板影像

Gr:車右地板影像

Gt:車左地板影像

Hrd:橫向讀取

f:鏡片組有效焦距

i:橫向讀取序號

j:縱向讀取序號

k₁:一階項次係數

k₂:三階項次係數

k₃:五階項次係數

k₄:七階項次係數

k₅:九階項次係數

Lb:車後鏡頭

Lf:車前鏡頭

Lr:車右鏡頭

Lt:車左鏡頭

O:原點

r:半徑

Vrd:縱向讀取

β:折射角

Φ:方位角

θ:餘緯角

100:光軸

101:鏡片組

102:二維影像感測器

103:全景攝像元件

104:振動檢測區塊

105:轉換區塊

106:位移區塊

107:記憶體控制介面

108:第一記憶區

109:第二記憶區

110:視訊輸出區塊

61:像素位置在獨立方向的分量

62:像素位置在垂直獨立方向的分量

63:分布值

69:高斯分布函數

81:往右偏1.6°「影像偏移」的第一影像

82:往右偏16°「影像偏移」的第一影像

91:往右偏1.6°「影像偏移」的第二影像

92:往右偏16°「影像偏移」的第二影像

第1圖係攝像設備成像平面與鏡片組之立體示意圖

第2圖係等距投影、平射投影與立體角投影之球形影像示意圖

第3圖係本創作應用於AVM系統配置圖

第4圖係本創作應用於車輛之鳥瞰圖

第5圖係習知採用等校正位移在橫向視野80°內之結果

第6圖係本創作往右偏「影像偏移」的應校正程度分布

第7圖係本創作查找表使用示範

第8圖係本創作往右偏1.6°「影像偏移」的第一影像與第二影像

第9圖係本創作往右偏16°「影像偏移」的第一影像與第二影像

第10圖係本創作往右偏「影像偏移」的第三影像

第11圖係本創作之全景攝像設備電路區塊示意圖

本創作為一種校正大角度視野(FOV

120°)攝像元件「影像偏移」的演算法，所述攝像元件係由鏡片組101與二維影像感測器102組合，再由一影像訊號處理器(ISP)轉換該二維影像感測器102上的光電轉換類比訊號為數位訊號，其中心區域比邊緣區域具有更大的影像放大率。本創作得以儲存於非暫態電腦可讀取媒體中，並從ISP取得二維影像，以及從一運動向量檢測電路取得，所述攝像元件因振動產生「影像偏移」在一獨立方向的分量為一獨立動作，以計算各個像素的校正位移。所述攝像元件的ISP以及所述運動向量檢測電路，例如：三軸加速度器或螺旋加速度器，經常整合成一塊電路板或單晶片，並與所述攝像元件組合成一攝像設備。本創作一樣可整合至所述電路板或單晶片上，或是建置在與所述攝像設備連接之電腦或手機的應用程式記憶體裡。

該獨立動作係與所述攝像設備因振動，造成沿一第一方向或沿一第二方向的「影像偏移」有關，特別跟所述攝像元件之光軸附近的「影像偏移」有關；而該第一方向與該第二方向與該二維影像感測器102布置光電轉換元件的方式有關，例如：「第1圖」中沿橫向讀取Hrd以及沿該縱向讀取Vrd布置光電轉換元件。

請參照「第5圖」，習知採用等校正位移在橫向視野80°內之校正前(左)與校正後(右)之結果(實線)。上方兩圖為約往右偏1.6°之「影像偏移」結果；下方兩圖為約往右側偏16°之「影像偏移」結果；以及圖中虛線係用以標示無振動之結果。很明顯地，習知等校正位移的電子防手震方式，在FOV60°處(點線框處)已達到校正的極限。就如先前技術所提，大角度攝像元件所擷取的影像在中心區域與邊緣區域放大率差異甚大，故「影像偏移」會在中心區域被放大，而在邊緣區域被縮小，整體而言中心區域的影像尺寸會變小。這也是為什麼US7,834,907去計算中心區域縮小後的尺寸，然後再放大回前一張的尺寸。

請參照「第6圖」，本創作往右偏「影像偏移」的應校正程度分布，所在像素愈往右側或愈往左側所需校正程度愈小，反之，愈往中間則所需校正程度愈須往左移(負值)。上方圖為約往右偏1.6°之「影像偏移」的應校正程度分布；下方圖為約往右偏16°之「影像偏移」的應校正程度分布，其應校正程度之尺度已分別用1.6°與16°歸一。本創作揭示實際應用時，「影像偏移」並非如US7,834,907所設想的線性關係，而是大致成高斯分布(Gauss Distribution)，而且以該主振動方向之數值歸一後，各自差異不大。

本創作演算法係包含：一影像獲得程序，從所述攝像設備的記憶區取得一第一影像；一分布函數運算，從該二維影像的像素位置，決定一分布值；以及一位移轉換程序，從該分布值以及該獨立動作計算該校正位移，轉換該第一影像為一第二影像，並將該第二影像存回所述攝像設備的記憶區。該像素位置係以所述攝像元件之光軸為原點，並以該二維影像感測器102布置光電轉換元件的方式表達，例如：「第1圖」中Hrd第i個以及Vrd第j個的像素位置可以表達為(r．cosΦ,r．sinΦ)。該分布值與該像素位置在該獨立方向的分量61大致成一高斯分布(Gauss Distribution)又與該像素位置在垂直該獨立方向的分量62的平方成反比，故可以利用數學公式也可以利用查找表(look-up table)求得，而不需要進行球形影像至方形影像的投影轉換才能校正，因為，該第一影像以及該第二影像的中心區域皆比邊緣區域具有更大的影像放大率。該獨立方向亦可以由該第一方向與該第二方向組合，該等分布值與該像素位置在該第一方向分量大致成一高斯分布，又與該像素位置在該第二方向分量大致成一高斯分布。

請參照「第7圖」，從該像素位置在該獨立方向的分量61(箭頭起點)出發，依其高斯分布的關係以及其與該像素位置在垂直該獨立方向的分量62成反比的關係，找出對應的該分布值63。實際應用的查找表(LUT)為電晶體邏輯電路，可視為一種記憶元件，事先燒錄對應的數值就能快速取用複雜計算後的數值。或是先將該像素位置在該獨立方向的分量61除以標準差後的平方，帶入指數函數表(Exponential Function table)，再乘上與該像素位置在垂直該獨立方向的分量平方成反比之比例即得出該分布值63。雖然比可燒錄的LUT多了兩次平方的步驟，但可以利用既有的區塊來完成，節省LUT空間。

該獨立動作係與所述攝像設備因振動造成的「影像偏移」有關，所述攝像設備多具有運動向量檢測電路，例如：三軸加速度器與其分析電路、螺旋加速度器與其分析電路以及複眼檢測器(請參閱US7,511,756之FIG.10)。前兩者因為直接量測所述攝像設備的加速度訊號，特別適合低光度時使用，但需要經過座標轉算；後者雖受光度影響成效，但卻是最直觀的結果，能直接分析出該獨立動作。前兩者的換算主要係包含：從量測訊號其中一軸得出往左移動一單位長度，再除以所述被攝體至所述攝像設備距離或其反正切函數解，得出原來光軸正前方的被攝體往右偏移的角度；再將該往右偏移的角度帶入所述攝像設備投影關係(第1、2圖)得出該半徑r，即第一動作。同理，從量測訊號的另外一軸，可以得出第二動作。該第一動作與該第二動作依畢氏定理即為該獨立動作。

因此，所述演算法可以更包含：一切換步驟，供以依據該運動向量檢測電路提供的該獨立方向，係為該第一方向抑或是該第二方向，轉置該第一影像以及其對應的原點座標。在其一實例中，該運動向量檢測電路判斷該第一動作大於某一門檻值時，則會送出該第一方向為該獨立方向以及該第一動作為該獨立動作，此時該切換步驟不轉置該第一影像，而該位移轉換程序結果就是沿該第一方向平移該第一影像；若該運動向量檢測電路判斷該第二動作也大於該門檻值時，則會送出該第二方向為該獨立方向以及該第二動作為該獨立動作，此時該切換步驟轉置該第一影像，而該位移轉換程序結果就是沿該第二方向平移該第一影像。該第二影像存回所述攝像設備的記憶區可以設定與讀取該第一影像的記憶區一樣位址，即可以分別轉換該第一方向與該第二方向的影像偏移。

請參照「第8圖」，本創作往右偏1.6°「影像偏移」的第一影像81與第二影像91。在該位移轉換程序中，會根據該第一影像每個像素對應的該校正位移，平移該第一影像在該第一方向的位置，成為該第二影像。在低「影像偏移」幅度裡，本創作不只可以校正FOV超過60°的鏡頭，甚至應用在FOV140°的鏡頭也沒甚麼問題。

請參照「第9圖」，本創作往右偏16°「影像偏移」的第一影像82與第二影像92。在該位移轉換程序中，會根據該第一影像每個像素對應的該校正位移，平移該第一影像在該第一方向的位置，成為該第二影像。由於16°「影像偏移」已經達到劇烈的振動幅度猶如在奔跑的過程中，影像失真的程度相當大，但本創作僅用獨立軸參數來擬合，仍可適用在縱向FOV60°及橫向FOV140°的鏡頭，也就是沿該第一方向的校正擬合程度相當高。

本創作演算法得受外部控制在兩張視訊影像的期間僅執行一次或執行兩次。ISP轉換的該二維影像以及該第二影像皆儲存在所述攝像設備的記憶區中，所述外部控制係切換該二維影像或是該第二影像所在的記憶區位址為本創作演算法讀取該第一影像的位址。當所述運動向量檢測電路分析出該橫向讀取Hrd的方向有校正的必要，則該二維影像所存位址為該第一影像的讀取位址，此時該橫向讀取Hrd的方向為該第一方向，執行本創作演算法後，變更該第二影像所存位址為該第一影像的讀取位置。當所述運動向量檢測電路分析出該縱向讀取Vrd的方向也有校正的必要，則該第一影像為前次執行的結果，此時該縱向讀取Vrd的方向為該第一方向，再次執行本創作演算法的結果，便會覆寫前次執行的結果。以目前的鏡頭品質，該二維影像感測器102沿該橫向讀取Hrd的方向以及沿該綜向讀取Vrd的方向的分布可視為完全對稱，因此，不論是沿該橫向讀取Hrd的方向或是沿該縱向讀取Vrd的方向執行該分布函數運算，其分布值都是一樣的。

本創作另一實施例，更包含：一投影轉換程序，依該二維影像轉換至透視投影影像(perspective projection image)之方式，將該第二影像轉換為該第三影像。請參照「第10圖」，該第三影像的中心區域與邊緣區域的影像放大率大致相同，左上圖為往右偏1.6°「影像偏移」的該第三影像，左下圖為往右偏16°「影像偏移」的該第三影像，虛線為無振動的影像(只取FOV約82°)。顯示本創作「影像偏移」校正即使是面對激烈的振動，也能保持主視野的畫面穩定度，即使是轉換回透視影像上。面對常見小振動，例如：手震、風吹抖動或是車體振動，這類擺幅在數度以內的狀況，本創作仍然可以維持大角度的畫面穩定度。如右圖所示，往右偏1.6°「影像偏移」的該第三影像(FOV140°)，與無振動的影像(虛線)幾乎重疊。

請參照「第11圖」，為本創作之全景攝像設備電路區塊示意圖。所述全景攝像設備透過一全景影像擷取元件103，將該鏡片組101收集的光線成像在該二維影像感測器102上，藉由影像訊號處理器將光電轉換(photoelectrically conversion)的類比訊號轉換為數位訊號(A/D)，以及執行自動增益校正(AGC)、自動白平衡(AWB)以及RGB色光切換等，處理後的數位訊號即前方視野內的魚眼影像，藉由一記憶體控制介面107儲存於第一記憶區108。該魚眼影像的中心區域比邊緣區域具有更大的影像放大率，無法以光學或非光學的傳統影像穩定電路(image stabilization)處理，但仍可以整合習知的運動檢測電路以及一影像偏移分析電路成一振動檢測區塊104，計算出一第一動作以及一第二動作供一位移區塊106決定該魚眼影像沿一第一方向或沿一第二方向的校正位移。其係利用切換電路依序使用該第一動作以及該第二動作，以乘法電路以及高斯查找表決定該校正位移。一轉換區塊105，利用匯流排(圖中橫向雙箭頭)的時脈與該位移區塊106配合，將該魚眼影像依序沿該第一方向以及沿該第二方向平移，完成後儲存一輸出影像於一第二記憶區109。最後由一視訊輸出區塊110，根據該第一記憶區108與該第二記憶區109產生穩定的視訊源。

該輸出影像，係該轉換區塊105根據該校正位移轉換該魚眼影像的像素位置而來，其中心區域比邊緣區域具有更大的影像放大率。本創作也可以再包含：一投影區塊，依該魚眼影像轉換至透視投影影像(perspective projection image)之方式，事先燒入無失真查找表，再據此轉換該魚眼影像，再儲存回該第一記憶區108或該第二記憶區109。

在其一實施例中，該第一動作以及該第二動作係以該二維影像感測器102座標的分量表示，且該影像偏移分析電路可以設定一閥值以在振動可忽略的情況下，輸出數值為0的該第一動作或該第二動作。該視訊輸出區塊110可使用多工器決定在該第一動作為0以及該第二動作為0時，輸出該第一記憶區108的該魚眼影像；反之，則輸出該第二記憶區109的該輸出影像。同理，該位移區塊106也可使用多工器決定在該第一動作或該第二動作為0時，不執行直接輸出數值為0的該校正位移。本創作更可以再包含：一中央處理器(CPU)，控制該振動檢測區塊104、該位移區塊106、該轉換區塊105以及匯流排，例如：接收使用者切換該位移區塊106與該投影區塊關於透視投影的作動、根據系統統計值設定該振動檢測區塊104的閥值以及設定該切換電路使用該第一動作以及該第二動作的時脈等。

除此之外，該全景影像擷取元件103也能根據該振動檢測區塊104是否檢測出「影像偏移」或「運動影像」來調整或開關自動曝光、自動白平衡或自動增益校正等參數；也能根據是否執行該位移區塊106以及該轉換區塊105來決定是否回復前張影像的參數。

請參照「第3圖」與「第4圖」，本創作應用於AVM系統配置圖與鳥瞰圖，由於車體結構的關係，大部分是用車前、車後、車右以及車左鏡頭(Lf、Lb、Lr、Lt)來完成。為了盡可能拍攝到全景畫面多使用大角度鏡頭，經該轉換區塊105轉換成透視投影的車前、車後、車右及車左地板影像(Gf、Gb、Gr、Gt)後，在AVM系統的處理器進行拼貼。因車身抖動的關係，不時會受到其他車燈或是鏡子反射對AWB的或大或小的干擾，若不處理「影像偏移」，畫面便會而偏黃時而偏藍。應用本創作之AVM系統，能自動校正車身抖動的「影像偏移」，並在確定該校正位移確實作用在該轉換區塊105時，關閉該魚眼影像的AWB或是使用固定的白平衡參數，提供清晰穩定的該輸出影像。

魚眼鏡頭的集光範圍太廣，無法使用傳統的光學防手震方式，其係根據振動量測的訊號來控制該鏡片組101其一鏡片的位置。魚眼鏡頭的光學防手震方式，不能僅調整其一鏡片的位置，必需整個該鏡片組101一起移動，如第11圖該全景攝像元件103內所示之虛線。然而，要移動整個該鏡片組101的馬達是十分佔空間的，而且能調整的範圍也有限。使用本創作之全景攝像設備或方法，可以節省所述馬達的空間使該全景攝像元件完全貼合薄型外殼；與光學防手震一起搭配時，更能補充光學防手震無法處理的大動作振動校正。

本創作提供一種快速且節省查找表空間之「影像偏移」校正，該高斯查找表輸入輸出端數目即球形影像的寬度(單位：像素)，也就是兩千至四千左右，不論該第一動作與該第二動作的大小為何皆可適用，而且獨立於Hrd與Vrd方向。雖然是處理二維空間的校正演算法，但我輩整理出完全獨立的計算方式與函數，再從其中一維切換至另一維時，所差者僅有該第一動作以及該第二動作的強度而已。大幅節省運算空間與變數的差異，讓本創作演算法非常容易由其他程序或處理IC來應用。

除此之外，複雜的失真曲線在本創作中，可以簡化為單一參數的函數，不若以往整個影像多大就得準備多大的轉換函數空間，程序所必需燒錄的LUT空間大幅度縮小，甚至可以使用內建的指數LUT；加上對應的運算電路又簡單，沒有複雜的參數，讓工程師可以使用現場可編成陣列(FPGA)，便能完成該位移區塊106，迅速處理並貼合各式應用產品上。即便是更換該全景攝像元件的投影方式，例如：從第I型換至第II型，也能簡單更換FPGA裡的可變動參數後繼續使用。本說明書雖以水平方向的振動舉例，但任何平行於成像平面上的振動或是光軸傾向造成的在成像平面的振動，亦不脫本創作之範疇。

綜上所述，本創作之全景影像處理方法，確已符合專利申請之要件，爰依法提出專利申請。惟以上所述者，僅為本創作之較佳實施例，當不能以此限定本創作實施之範圍；故，凡依本創作申請專利範圍及說明書內容所作之簡單的等效變化與修飾，皆應仍屬本創作專利涵蓋之範圍內。