TWM640758U - 全景攝像設備 - Google Patents

全景攝像設備 Download PDF

Info

Publication number
TWM640758U
TWM640758U TW111207615U TW111207615U TWM640758U TW M640758 U TWM640758 U TW M640758U TW 111207615 U TW111207615 U TW 111207615U TW 111207615 U TW111207615 U TW 111207615U TW M640758 U TWM640758 U TW M640758U
Authority
TW
Taiwan
Prior art keywords
image
displacement
conversion
panoramic
block
Prior art date
Application number
TW111207615U
Other languages
English (en)
Inventor
簡達益
郭佳瑜
Original Assignee
達星影像股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 達星影像股份有限公司 filed Critical 達星影像股份有限公司
Priority to TW111207615U priority Critical patent/TWM640758U/zh
Publication of TWM640758U publication Critical patent/TWM640758U/zh

Links

Images

Landscapes

  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)

Abstract

一種校正大角度視野「影像偏移」的全景攝像設備,其係包含:一全景影像擷取元件抓取該大角度視野內魚眼影像;一振動檢測區塊,獲得關於所述全景攝像設備的振動資訊,並分析出主振動向量;一位移運算區塊,根據該主振動向量之數值與其在像素上的投影值決定每個像素的校正位移;以及一轉換區塊,得參考該等校正位移,將該魚眼影像轉換為一輸出影像。特色在於,該投影值與該校正位移大致呈現一高斯分布(Gauss Distribution)。。

Description

全景攝像設備
本創作係關於一種全景攝像設備;特別關於一種影像偏移的校正,特別在於它的處理速度。
攝像系統被大量應用於監視、檢查、安全和遙控感測,現今這些系統為了節省裝置空間與簡化影像處理與控制步驟,已開始使用具有大角度視野(FOV
Figure 111207615-A0101-12-0001-12
120°)的攝像元件,例如:魚眼鏡頭(fish-eye lens)或反射式環狀鏡頭(panoramic annular lens)。僅需單顆鏡頭就能完成全景(omni-directional)攝影,不用移動部件,就能在半球形視場(hemispherical field-of-view)內提供平移、傾斜方向、旋轉和放大的影像。基於魚眼鏡頭收集光線的投影效果,在CCD或CMOS陣列上以圓形形分布的二維影像,可以使用高速電子電路進行數學校正,回歸至以投影角度表示的方形分布的二維影像。如「第1圖」所示,光線前進方向可以球座標(spherical coordinate)的餘緯角(colatitude)θ以及方位角(azimuth)Φ表示,這些光線經鏡片組101集光後,成像在距離f(有效焦距)處的成像平面,藉由二維影像感測器102光電轉換(photoelectrically conversion)為球形影像。
一般來說,魚眼鏡頭僅對光線入射角曲折,也就是入射光與魚眼鏡頭光軸100的夾角,以下以餘緯角θ表示。入射光從球座標(θ,Φ)入射後成像在二維影像感測器102,經由光電轉換的橫向讀取Hrd第i個以及縱向讀 取Vrd第j個得到此像素(pixel)的光度,可以矩陣(i,j)來表示這些像素的位置;而以成像平面位置向量表示即(rcosΦ,rsinΦ),其中,π為180度的弳度(radian),且魚眼鏡頭光軸100穿過成像平面的原點O,其與(i,j)的距離以下稱為半徑r。
因應不同的拍攝需求,魚眼鏡頭的鏡片組合也會有所不同,所述餘緯角θ與所述半徑r的關係大致可分為三種模型,其中,第I型為等距投影(equidistance projection)r=f.θ;第II型為平射投影(stereographic projection)r=f.2.tan(θ/2);以及第III型為等立體角投影(equisolid angle projection)r=f.2.sin(θ/2)。在第I、II和III型投影關係的鏡頭前方放置一方格紙,則該二維影像感測器102上即分別呈現如「第2圖」由左至右的成像。與一般鏡頭視野(FOV)介於40°到60°不同,魚眼鏡頭視野可達180°,上圖方格紙寬度約在視野140°之處。傳統的小角度視野鏡頭稱透視投影(perspective projection),成像為方形影像且其對角線長度約43mm;而符合第I、II和III型投影的鏡頭,成像為球形影像,其對角線長度僅25-28mm左右。
一般手機附加的魚眼鏡頭多為第I型(最左圖),轉換回方形透視影像最為簡單,中心與邊緣亮度也不會差異過大,但在視野超過84°後,影像失真(distortion)就十分明顯;視訊會議或全景影像常用的魚眼鏡頭則為第II型(中圖),透過組合高差異性鏡片或環狀反射鏡,保有視野中各物件的原始形狀(conformal mapping),雖有邊緣過亮與轉換函數複雜等問題,但能確保影像的正確樣態;第III型(最右圖)則是能任意切換至各角度光軸的魚眼鏡頭,特別適合第一人稱的立體攝影,但由於影像失真嚴重並不適合轉換回方形的透視影像。
上述模型與實際鏡片成像仍有些許差異,而且除了第I型之 外,其他模型都有求數值解(numerical solution)的問題。在J.Kannala & S.S.Brandt揭示的多項式(polynomial)轉換法中,顯示至少需到九階才能將所述半徑r從小角度到大角度完整轉換r(θ)
Figure 111207615-A0101-12-0003-13
k1.θ+k2.θ3+k3.θ5+k4.θ7+k5.θ9。這五個轉換參數k1,k2,…,k5,加上光軸偏移與球面偏差的兩個校正參數,一共有七個變數與實際結果作比對,才能找出(i,j)至所述餘緯角θ以及所述方位角Φ的轉換矩陣(matrix)。然而,七個變數構成的轉換矩陣,在實際應用時極難取得穩定數值解,最後多以三階近似法,也就是r(θ)
Figure 111207615-A0101-12-0003-14
k1.θ+k2.θ3,在出廠前驗算完成並設定好轉換矩陣在IC中。
由此可知,大角度視野攝像元件遇到手震或其他震動(shake)造成的「影像偏移」,在每個像素的偏移量與方向都不相同,例如:US9,800,780的第二圖到第四圖。透視投影的鏡頭,僅需幾個採樣點就可以知道整個「影像偏移」的方向與幅度;魚眼鏡頭的採樣範圍除了要廣要密外,還要應付被攝體非靜止狀態的「運動影像」,所導致的錯誤採樣。因此,US9,800,780負責影像擷取與處理的影像訊號處理器(Image Signal Processor,ISP)除有一塊專門計算被攝體運動向量的電路外,還有一塊用來統計這些運動向量的發散點與聚合點的電路。
魚眼鏡頭的振動(vibration)若不修正,引起的後果並非只有晃動的影像畫質而已。例如:WO98/27718A1利用外圍影像壓縮程度比中央高的特性,在不降低解析度(resolution)的情況下進行電子變焦;然而,隨著變焦比高,魚眼鏡頭的振動將導致圖像失真,引起解析度劣化。又例如:US5,185,667對通過魚眼鏡頭獲得的半球視場中的圖像切割,進行平移、傾斜、旋轉和放大;鏡頭振動產生的「影像偏移」將會使切割後的畫面忽暗 忽明,乍暖(偏黃)還寒(偏藍),甚至是出現扭曲線條。
隨著電動車與車聯網的風潮興起,駕駛員輔助系統之一的環景監控(AVM)也獲得積極的研究,透過安裝在車聯網的多顆鏡頭直接向駕駛員提供車輛周圍環境,甚至可以分析出周圍的停車格、車道或行車異物並加以示警。以四顆鏡頭為例,如「第3圖」所示,車前鏡頭Lf會涵蓋部分左邊和部分右邊的影像,剛好補足車左鏡頭Lt和車右鏡頭Lr沒照到的路面;同理,車後鏡頭Lb也能補足車左鏡頭Lt和車右鏡頭Lr被車輪擋住的部分,只要對影像做些角度的修正,就能營造出在車輛正上方拍攝車輛與周圍環境的感覺。若是要進一步分析車道狀況甚至啟動人工智慧停車程序,這四顆鏡頭重疊的影像就需先行縫合拼貼程序。由於車體在引擎發動中或因路面凹凸會產生震動,且每顆鏡頭與車體的連動的關係不同,各自產生的「影像偏移」當然也就不同;在進行縫合拼貼程序時容易發生拼接不良,導致提供給駕駛員的鳥瞰圖(如第4圖)不時發生中斷,造成駕駛員的困擾。
鏡頭振動也會影響影像訊號處理器(ISP)內3A(自動白平衡/自動曝光/自動對焦)的處理,尤其是自動白平衡(Auto White Balance,AWB)演算法。雖說各大品牌皆有其獨特的AWB演算法,但大抵不離統計像素裡RBG的色溫分布以調整RGB增益(gain)的邏輯。若鏡頭視野中有不同色溫被攝體,例如:停車場照明燈與各式車燈鏡頭色溫不同,ISP可以選擇多數像素的色溫,也能選擇偏向正中央被攝體的色溫。然而,鏡頭振動造成的「影像偏移」,有可能加速色溫統計的不穩定性,導致AWB演算法不只被反覆驗算拖慢ISP的整體速度,最後還可能呈現忽黃忽藍的影像。因此,像US9,105,105就提出了同時監測亮度直方圖(histogram)的方法,以選擇在亮度 過低的情況下關閉AWB校正,避免色溫校正失真。
由上可知,鏡頭振動造成的影響不小,尤其對中心區域與邊緣區域放大比差異大的全景影像來說,很難用單一平移量來解決問題,例如:US7,511,756。用這種方式轉換回的方形影像,中心區域到邊緣區域變化太大,反而造成邊緣區域因校正而更加模糊。也因此,US7,834,907揭示了一種平移且略小的球形影像範圍,企圖藉由縮小尺寸,來減低中央區域與邊緣區域巨大的落差。
本說明書中的「影像偏移」(image shift)係指被攝體在影像中的移動,乃受手持、風吹或機件連動等引起被攝體成像位置的變化;而「運動影像」(movement image)係指被攝體在影像中的移動,乃由被攝體相對於鏡頭的運動引起被攝體成像位置的變化。本說明書中的震動(shake)係指短時間內交替的作動(act),例如:人體為維持平衡所作的來回移動、受強風吹撫的擺動以及人車行經路面所引發的抖動;而振動(vibration)係指週期性運動,其大致存在一平衡點,例如:因受突發外力導致鏡頭組件或與鏡頭連動的固定部件產生來回移動。
一種全景影像處理方法,儲存於一非暫態電腦可讀取媒體(non-transitory computer-readable medium),利用一攝像設備提供之主振動向量以及一第一影像,轉換一第二影像,其中,該第一影像與該第二影像的中心區域皆比邊緣區域具有更大的影像放大率。該方法包含以下步驟:一分布函數運算,計算該第一影像每個像素對該主振動向量的投影值,以決定該投影值對應的分布值;以及一位移轉換程序,獲得該第一影像,並根據 該分布值以及該主振動向量之數值計算對應的校正位移以轉換該第二影像。該主振動向量可表示為一歐幾里得向量(euclidean vector),落在所述攝像設備以光電轉換該第一影像之成像平面上,與所述攝像設備因振動造成的「影像偏移」有關,且所述攝像設備之光軸係通過所述成像平面的原點。該投影值與該分布值大致成一高斯分布(Gauss Distribution),可以利用數學公式求得該分布值,也可以利用查找表(look-up table)輸入該投影值求得該分布值。
又,一種全景影像處理方法,儲存於一非暫態電腦可讀取媒體(non-transitory computer-readable medium),利用一攝像設備提供之主振動向量以及一第一影像,轉換一第三影像,其中,該第一影像的中心區域比邊緣區域具有更大的影像放大率,而該第三影像的中心區域與邊緣區域的影像放大率大致相同。該方法包含以下步驟:一分布函數運算,計算該第一影像每個像素對該主振動向量的投影值,以決定該投影值對應的分布值;一位移轉換程序,獲得該第一影像,並根據該分布值以及該主振動向量之數值計算對應的校正位移以轉換一第二影像,且該第二影像的中心區域比邊緣區域具有更大的影像放大率;以及一投影轉換程序,依該第一影像轉換至透視投影影像(perspective projection image)之方式,將該第二影像轉換為該第三影像。該主振動向量可表示為一歐幾里得向量(euclidean vector),落在所述攝像設備以光電轉換該第一影像之成像平面上,與所述攝像設備因振動造成的「影像偏移」有關,而所述攝像設備之光軸係通過所述成像平面之原點。該投影值與該分布值大致成一高斯分布(Gauss Distribution),可以利用數學公式求得該分布值,也可以利用查找表(look-up table)輸入該投影值求得該分布值。
一種全景攝像設備,用以抓取視野內魚眼影像,其係包含:一全景影像擷取元件,利用光電轉換(photoelectrically conversion)該魚眼影像,其中,該魚眼影像的中心區域比邊緣區域具有更大的影像放大率;一振動檢測區塊,獲得關於所述全景攝像設備的振動資訊,並分析出一主振動向量;一位移運算區塊,從該主振動向量之方向計算每個像素的投影值,並根據該主振動向量之數值與該投影值決定每個像素的校正位移;以及一轉換區塊,得參考該等校正位移,將該魚眼影像轉換為一輸出影像。該主振動向量與所述全景攝像設備因振動造成的「影像偏移」有關,而該投影值與該校正位移大致呈現一高斯分布(Gauss Distribution)。
Gb:車後地板影像
Gf:車前地板影像
Gr:車右地板影像
Gt:車左地板影像
Hrd:橫向讀取
f:鏡片組有效焦距
i:橫向讀取序號
j:縱向讀取序號
k1:一階項次係數
k2:三階項次係數
k3:五階項次係數
k4:七階項次係數
k5:九階項次係數
Lb:車後鏡頭
Lf:車前鏡頭
Lr:車右鏡頭
Lt:車左鏡頭
O:原點
r:半徑
Vrd:縱向讀取
β:折射角
Φ:方位角
θ:餘緯角
100:光軸
101:鏡片組
102:二維影像感測器
103:全景影像擷取元件
104:振動檢測區塊
105:轉換區塊
106:位移運算區塊
107:記憶體控制介面
108:第一記憶區
109:第二記憶區
110:視訊輸出區塊
62:投影值
63:分布值
69:高斯分布函數
71:往右偏1.6°「影像偏移」的應校正程度分布
72:往右偏16°「影像偏移」的應校正程度分布
73:二維影像感測器上FOV60°的邊界
81:往右偏1.6°「影像偏移」的第一影像
82:往右偏16°「影像偏移」的第一影像
91:往右偏1.6°「影像偏移」的第二影像
92:往右偏16°「影像偏移」的第二影像
991:往右偏1.6°「影像偏移」的第三影像
992:往右偏16°「影像偏移」的第三影像
第1圖係攝像設備成像平面與鏡片組之立體示意圖
第2圖係等距投影、平射投影與立體角投影之球形影像示意圖
第3圖係本創作應用於AVM系統配置圖
第4圖係本創作應用於車輛之鳥瞰圖
第5圖係習知採用等校正位移在橫向視野80°內之結果
第6圖係本創作往右偏「影像偏移」的應校正程度分布
第7圖係本創作查找表使用示範
第8圖係本創作往右偏1.6°「影像偏移」的第一影像與第二影像
第9圖係本創作往右偏16°「影像偏移」的第一影像與第二影像
第10圖係本創作往右偏「影像偏移」的第三影像
第11圖係本創作之全景攝像設備電路區塊示意圖
本創作為一種校正大角度視野(FOV
Figure 111207615-A0305-02-0010-14
120°)攝像元件「影像偏移」的演算法,所述攝像元件係由鏡片組101與二維影像感測器102組合,再由一影像訊號處理器(ISP)轉換該二維影像感測器102上的類比訊號為數位訊號。本創作得以儲存於非暫態電腦可讀取媒體中,並從ISP取得數位訊號,以及從運動向量檢測電路取得所述攝像元件的振動資訊,以計算「影像偏移」的校正位移。所述攝像元件的ISP以及所述運動向量檢測電路常整合成一塊電路板或單晶片,並與所述攝像元件組合成一攝像設備。本創作一樣可整合至所述電路板或單晶片上,或是建置在與所述攝像設備連接之電腦或手機的應用程式記憶體裡。
請參照「第5圖」,習知採用等校正位移在橫向視野80°內之校正前(左)與校正後(右)之結果(實線)。上方兩圖為約往右偏1.6°之「影像偏移」結果;下方兩圖為約往右側偏16°之「影像偏移」結果;以及圖中虛線係用以標示無振動之結果。很明顯地,習知等校正位移的電子防手震方式,在FOV60°處(點線框處73)已達到校正的極限。就如先前技術所提,大角度攝像元件所擷取的影像在中心區域與邊緣區域放大率差異甚大,故「影像偏移」會在中心區域被放大,而在邊緣區域被縮小,整體而言中心區域的影像尺寸會變小。這也是為什麼US7,834,907去計算中心區域縮小後的尺寸,然後再放大回前一張的尺寸。
請參照「第6圖」,本創作往右偏「影像偏移」的應校正程度分布,所在像素愈往右側或愈往左側所需校正程度愈小,反之,愈往中 間則所需校正程度愈須往左移(負值)。上方圖為約往右偏1.6°之「影像偏移的應校正程度分布71;下方圖為約往右偏16°之「影像偏移」的應校正程度分布72,其應校正程度之尺度已分別用1.6°與16°歸一。本創作揭示實際應用時,「影像偏移」並非如US7,834,907所設想的線性關係,而是大致成高斯分布(Gauss Distribution),而且以該主振動方向之數值歸一後,各自差異不大。
實施時,本創作儲存於非暫態電腦可讀取媒體中,並從所述攝像元件獲得第一影像與主振動向量,其係包含以下步驟:一分布函數運算,計算該第一影像每個像素對該主振動向量的投影值,以決定該投影值對應的分布值;以及一位移轉換程序,根據該分布值以及該主振動向量之數值計算對應的校正位移以轉換該第二影像。該主振動向量之方向可表示成在該第一影像上的兩個分量,與該第一影像位置向量(rcosΦ,rsinΦ)做內積便能求出該投影值62;接著使用已設定好的查找表(look-up table),請參照「第7圖」,找出該投影值62對應的該分布值63。實際應用的查找表(LUT)為電晶體邏輯電路,可視為一種記憶元件,只要事先燒錄對應的數值就能快速取用複雜計算後的數值。或是直接將該投影值62帶入高斯分布函數69,例如:先計算該投影值62除以一設定參數後的平方再將其帶入指數函數表(Exponential Function table),求得該分布值63。「第6圖」亦顯示該校正位移與該主振動向量之數值大致成正比。
該主振動向量之數值係與所述攝像設備因振動造成的「影像偏移」有關,所述攝像設備多具有運動向量檢測電路,例如:三軸加速度器與其分析電路、螺旋加速度器與其分析電路以及複眼檢測器(請參閱US7,511,756之FIG.10)。前兩者因為直接量測所述攝像設備的加速度訊號, 特別適合低光度時使用,但需要經過座標轉算;後者雖受光度影響成效,但卻是最直觀的結果,能直接分析出該主振動向量。前兩者的換算主要係包含:從量測訊號得出往左移動一單位長度,再除以所述被攝體至所述攝像設備距離或其反正切函數解,得出原來光軸正前方的被攝體往右偏移的角度;再將該往右偏移的角度帶入所述攝像設備投影關係(第1、2圖)得出該半徑r,即該主振動向量的數值;而該主振動向量的方向可以直接由三軸加速度器等量測訊號得出。該主振動向量只與光軸正前方「影像偏移」程度有關,不需要再計算其他角度求平均結果。
請參照「第8圖」,本創作往右偏1.6°「影像偏移」的第一影像81與第二影像91。在該位移轉換程序中,會根據該第一影像每個像素對應的該校正位移,轉換該第二影像。在低「影像偏移」幅度裡,本創作不只可以校正FOV超過60°的鏡頭,甚至應用在FOV140的鏡頭也沒甚麼問題。
請參照「第9圖」,本創作往右偏16°「影像偏移」的第一影像82與第二影像92。在該位移轉換程序中,會根據該第一影像每個像素對應的該校正位移,轉換該第二影像。由於16°「影像偏移」已經達到劇烈的振動幅度猶如在奔跑的過程中,影像失真的程度相當大,但本創作僅用單軸參數來擬合,仍可適用在縱向FOV60°及橫向FOV140°的鏡頭,也就是沿該主振動向量的校正擬合程度相當高。
本創作另一實施例,更包含:一投影轉換程序,依該第一影像轉換至透視投影影像(perspective projection image)之方式,將該第二影像轉換為該第三影像。請參照「第10圖」,該第三影像的中心區域與邊緣區域的影像放大率大致相同,左上圖為往右偏1.6°「影像偏移」的該第三影像991, 左下圖為往右偏16°「影像偏移「的該第三影像992,虛線為無振動的影像(只取FOV約82°)。顯示本創作「影像偏移」校正即使是面對激烈的振動,也能保持主視野的畫面穩定度,即使是轉換回透視影像上。面對常見小振動,例如:手震、風吹抖動或是車體振動,這類擺幅在數度以內的狀況,本創作仍然可以維持大角度的畫面穩定度。如右圖所示,往右偏1.6°「影像偏移」的該第三影像(FOV140°),與無振動的影像(虛線)幾乎重疊。
請參照「第11圖」,為本創作之全景攝像設備電路區塊示意圖。所述全景攝像設備透過一全景影像擷取元件103,將該鏡片組01收集的光線成像在該二維影像感測器102上,藉由影像訊號處理器光電轉換(photoelectrically conversion)的類比訊號為數位訊號(A/D)、自動增益校正(AGC)、自動白平衡(AWB)以及RGB色光切換等,處理後的數位訊號即前方視野內的魚眼影像,藉由一記憶體控制介面107儲存於第一記憶區108。該魚眼影像的中心區域比邊緣區域具有更大的影像放大率,無法以光學或非光學的傳統影像穩定電路(image stabilization)處理,但仍可以組合習知的運動檢測電路以及一影像偏移分析電路成一振動檢測區塊104,計算出一主振動向量供一位移運算區塊106決定該魚眼影像的校正位移。其係利用一內積電路計算每個像素對該主振動向量的投影值,透過一高斯查找表找出該校正位移。一轉換區塊105,得參考該校正位移,將該魚眼影像轉換為一輸出影像儲存於一第二記憶區109。最後由一視訊輸出區塊110,根據該第一記憶區108與該第二記憶區109產生穩定的視訊源。
該輸出影像,係該轉換區塊105根據該校正位移轉換該魚眼影像的像素位置而來,其中心區域比邊緣區域具有更大的影像放大率,僅 針對「影像偏移」作校正;也可以依該魚眼影像轉換至透視投影影像(perspective projection image)之方式,在該轉換區塊105內事先燒入無失真查找表,再據此轉換該魚眼影像的像素位置;更可以將該無失真查找表再加上該校正位移的疊加電路,以此轉換該魚眼影像的像素位置。
在其一實施例中,該主振動向量係以該二維影像感測器102座標的分量表示,且該影像偏移分析電路可以設定一閥值以輸出數值為0之該主振動向量。該視訊輸出區塊110可使用多工器決定在該主振動向量為0時,輸出該第一記憶區108的該魚眼影像或足該第二記憶區109的該輸出影像。同理,該位移運算區塊106也可使用多工器決定在該主振動向量為0時,不執行該內積電路以及查找的動作。本創作更可以再包含:一中央處理器(CPU),控制該振動檢測區塊104、該位移運算區塊106以及該轉換區塊105的作動以及匯流排控制,例如:接收使用者切換該位移運算區塊106與該轉換區塊105透視投影的作動,以及根據系統統計值設定該振動檢測區塊104的閥值等。
除此之外,該全景影像擷取元件103也能根據該振動檢測區塊104是否檢測出「影像偏移」或「運動影像」來調整或開關自動曝光、自動白平衡或自動增益校正等參數;也能根據是否執行該位移運算區塊106以及該轉換區塊105來決定是否回復前張影像的參數。
請參照「第3圖」與「第4圖」,本創作應用於AVM系統配置圖與鳥瞰圖,由於車體結構的關係,大部分是用車前、車後、車右以及車左鏡頭(Lf、Lb、Lr、Lt)來完成。為了盡可能拍攝到全景畫面多使用大角度鏡頭,經該轉換區塊105轉換成透視投影的車前、車後、車右及車左地板 影像(Gf、Gb、Gr、Gt)後,在AVM系統的處理器進行拼貼。因車身抖動的關係,不時會受到其他車燈或是鏡子反射對AWB的或大或小的干擾,若不處理「影像偏移」,畫面便會而偏黃時而偏藍。應用本創作之AVM系統,能自動校正車身抖動的「影像偏移」,並在確定該校正位移確實作用在該轉換區塊105時,關閉該魚眼影像的AWB或是使用固定的白平衡參數,提供清晰穩定的該輸出影像。
魚眼鏡頭的集光範圍太廣,無法使用傳統的光學防手震方式,其係根據振動量測的訊號來控制該鏡片組101其一鏡片的位置。魚眼鏡頭的光學防手震方式,不能僅調整其一鏡片的位置,必需整個該鏡片組101一起移動,如第11圖該全景影像擷取元件103內所示之虛線。然而,要移動整個該鏡片組101的馬達是十分佔空間的,而且能調整的範圍也有限。使用本創作之全景攝像設備或方法,可以節省所述馬達的空間使該全景影像擷取元件完全貼合薄型外殼;與光學防手震一起搭配時,更能補充光學防手震無法處理的大動作振動校正。
本創作提供一種快速且節省查找表空間之「影像偏移」校正,該高斯查找表輸入輸出端數目即球形影像的寬度(單位:像素),也就是兩千至四千左右,不論該主振動向量的大小為何皆可適用。由於使用的LUT空間夠小,該內積電路又簡單,使用現場可編成陣列(FPGA)即可完成該位移運算區塊106;即便是更換該全景影像擷取元件的投影方式,例如:從第I型換至第II型,也能簡單更換FPGA裡的可變動參數後繼續使用。本說明書雖以水平方向的振動舉例,但任何平行於成像平面上的振動或是光軸傾向造成的在成像平面的振動,亦不脫本創作之範疇。
綜上所述,本創作之全景影像處理方法,確已符合專利申請之要件,爰依法提出專利申請。惟以上所述者,僅為本創作之較佳實施例,當不能以此限定本創作實施之範圍;故,凡依本創作申請專利範圍及說明書內容所作之簡單的等效變化與修飾,皆應仍屬本創作專利涵蓋之範圍內。
101:鏡片組
102:二維影像感測器
103:全景影像擷取元件
104:振動檢測區塊
105:轉換區塊
106:位移運算區塊
107:記憶體控制介面
108:第一記憶區
109:第二記憶區
110:視訊輸出區塊

Claims (6)

  1. 一種全景攝像設備,用以抓取視野內魚眼影像,其係包含:一全景影像擷取元件,利用光電轉換(photoelectrically conversion)該魚眼影像,其中,該魚眼影像的中心區域比邊緣區域具有更大的影像放大率;一振動檢測區塊,獲得關於所述全景攝像設備的振動資訊,並分析出一主振動向量;一位移運算區塊,電氣耦合該振動檢測區塊,以從該主振動向量之方向計算每個像素的投影值,並根據該主振動向量之數值與該投影值決定每個像素的校正位移;以及一轉換區塊,電氣耦合該位移運算區塊以及該全景影像擷取元件,以根據該等校正位移將該魚眼影像轉換為一輸出影像,其中,該主振動向量可表示為一歐幾里得向量(euclidean vector),落在所述全景影像擷取元件以光電轉換該魚眼影像之成像平面上,與所述全景攝像設備因振動造成的「影像偏移」有關,且該全景影像擷取元件之光軸係通過所述成像平面之原點。
  2. 如申請專利範圍第1項所述之全景攝像設備,其中,該轉換區塊,更包含:根據該魚眼影像轉換至透視投影影像(perspective projection image)之轉換方式,配合該等校正位移轉換該輸出影像。
  3. 如申請專利範圍第1項所述之全景攝像設備,其中,該位移運算區塊,更包含:一高斯查找表,具有該投影值輸入端以及該主振動向量數值輸入端,供以輸出該校正位移。
  4. 如申請專利範圍第2所述之全景攝像設備,其中,該位移運算區塊,更包含:一無失真查找表,具有該校正位移輸入端以及像素輸入端,供以輸出無失真轉換位移,並據此轉換該輸出影像。
  5. 如申請專利範圍第1項所述之全景攝像設備,更包含:一中央控制器,控制該振動檢測區塊以及該位移運算區塊,供以在該振動資訊不足以構成影像偏移時,令該主振動向量之數值為0,以及令該位移運算區塊不作動以輸出該校正位移為0。
  6. 如申請專利範圍第2項所述之全景攝像設備,更包含:一中央控制器,控制該轉換區塊,供以接受外部訊號切換該輸出影像為球形影像或方形影像,其中,當外部訊號係指定輸出球形影像,該中央控制器即令該轉換區塊僅根據該等校正位移將該魚眼影像轉換為該輸出影像;以及當外部訊號係指定輸出方形影像,該中央控制器即令該轉換區塊根據該等校正位移以及該透視投影轉換方式將該魚眼影像轉換為一輸出影像。
TW111207615U 2022-07-15 2022-07-15 全景攝像設備 TWM640758U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW111207615U TWM640758U (zh) 2022-07-15 2022-07-15 全景攝像設備

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111207615U TWM640758U (zh) 2022-07-15 2022-07-15 全景攝像設備

Publications (1)

Publication Number Publication Date
TWM640758U true TWM640758U (zh) 2023-05-11

Family

ID=87382700

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111207615U TWM640758U (zh) 2022-07-15 2022-07-15 全景攝像設備

Country Status (1)

Country Link
TW (1) TWM640758U (zh)

Similar Documents

Publication Publication Date Title
TWI692967B (zh) 影像裝置
US20210105403A1 (en) Method for processing image, image processing apparatus, multi-camera photographing apparatus, and aerial vehicle
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US8335393B2 (en) Image processing apparatus and image processing method
JP2017112602A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
WO2017020150A1 (zh) 一种图像处理方法、装置及摄像机
JP5843454B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR20120068655A (ko) 무선통신장치를 이용하여 양질의 홍채 및 피사체 영상을 편리하게 촬영하기 위한 방법 및 한 개의 밴드패스필터로 가시광선과 근적외선 일부영역을 투과시키는 카메라 장치
US7224392B2 (en) Electronic imaging system having a sensor for correcting perspective projection distortion
CN109951638B (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
US9560278B2 (en) Imaging device, imaging device drive method, and imaging device control program
TW201403553A (zh) 自動校正鳥瞰影像方法
TWI599809B (zh) 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
CN113875220B (zh) 拍摄防抖方法、装置、终端及存储介质
KR101478980B1 (ko) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템
KR101038815B1 (ko) 고속 오토 포커스가 가능한 촬상 시스템
JP6222205B2 (ja) 画像処理装置
JP7383911B2 (ja) 撮像システム、画像処理装置、撮像装置およびプログラム
TWM640758U (zh) 全景攝像設備
US20190052815A1 (en) Dual-camera image pick-up apparatus and image capturing method thereof
JP2020057967A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
TW202406327A (zh) 全景影像處理方法
JPWO2019065820A1 (ja) 撮影装置とその制御方法および制御プログラム
US9667869B2 (en) Camera apparatus for automatically maintaining horizontality and method for the same
JP6584259B2 (ja) 像ブレ補正装置、撮像装置および制御方法