TW201342304A - 用於超廣角透鏡圖像的自我調整透視修正的方法和系統 - Google Patents

Abstract

公開了一種用於修正通過超廣角(UWA)透鏡獲取到的圖像的方法，其中整個圖像經由實質上改善透視卻保持所有圖像資訊的變換來映射。額外的局部自我調整變換可被施加到圖像中的關注區域以完全恢復透視。這個去扭曲方案允許圖像的靈活操作而同時沒有內容損失。

Description

用於超廣角透鏡圖像的自我調整透視修正的方法和系統 發明領域

本文中描述的實施例總體涉及電子圖像和視頻處理，並且更特別地，涉及修正由廣角透鏡嚴重扭曲的圖像。

發明背景

廣角透鏡被通常用在相機和其它其中需要或優選大視角的圖像和視頻捕捉設備中。也存在所謂的超廣角(UMA)透鏡，其具有高達或甚至超過180°的視場(FOV)。魚眼透鏡是示例性的UWA，其可覆蓋高達180°(2π球面度)的角視場。因此，具有背靠背地放置的並且面向相反方向的兩個魚眼透鏡原則上覆蓋360°的周圍環境視野。

配備有UWA透鏡的圖像捕捉系統具有許多有用的應用。示例是監督和安保監視相機、視訊會議系統、專業照相機、和車輛相機系統。在消極方面，這些透鏡呈現了顯著量的扭曲，這引起了多個挑戰。例如，典型的魚眼透鏡的輸出正常地為：其中物體位於真實世界的3D視覺熟知的歐幾裡得(Euclidian)空間的二維(2D)圓形(對於一般廣 角透鏡為橢圓形)映射。不可避免地，水平線和豎直線會看起來歪斜並且出現曲線，這對於遠離透鏡中心的物體而言更加地明顯。更靠近透鏡的物體的相對尺寸看起來誇張地更大，使得物體的不同部分看起來不成比例。這些效果一般被稱為魚眼扭曲，其使得難於判斷距離和物體關係。這與通過捕捉平面視圖來保持場景透視和線性的標準相機透鏡形成對比。此外，為了實現更大角度的FOV，製造商可能使用多個透鏡的結合。這還可能帶來光學和幾何扭曲。

本領域中已知多個技術來解決魚眼扭曲。由魚眼透鏡產生的曲線圖像可被重映射到傳統直線顯示器上。在來自OmniView和IPIX公司的一系列現有技術專利中，全視野球體的一部分被選擇並且用於修正魚眼扭曲。儘管這個方法提供了有力的工具來使視野多達360°，但是每次只有被選部分是可用的。圖像的剩餘部分被保存，可在另外的選擇時可用。

美國專利7,961,980B2利用與圓形魚眼映射關聯的圓柱投影。如眾所周知的，圓柱投影伸展東-西距離。特別地，伸展在極處發散到無窮大。這個解決方案在當極區域可被砍掉時對於創建全景圖像是有用的，但又意味著資訊的損失。儘管可以採取不同的定向圓柱體來建立多個圖像，但是這始終沒有提供單一的零內容損失(ZCL)圖像，即包含來自原始UWA捕捉到的場景的所有內容的、沒有資訊損失的圖像。事實上，物理上不可能通過實施任何變換來在同一時刻對圖像的所有部分實現全透視修正。

因此，現有技術的主要弊端是與物體和其相對定位有關的資訊和圖像內容的損失。在特定應用(例如安保和監視相機)中，需要能夠選擇關注區域並且修正扭曲，並且還能夠總是保留圖像的全部內容。本範明公開了中間方法，借此，整個UWA透鏡捕捉到的圖像的所有圖元的圖像資料被保持，以防止在將扭曲修正到差不多理論上允許的特定水準的映射之後資訊的任何損失。此外，局部自我調整變換可被施加到關注區域，其意圖在於部分恢復由UWA透鏡造成的扭曲。部分圖像恢復具有將物體和其關係的合理指示給到周圍環境的目的，而非嚴格的全圖像透視修正。這個解決方案將對於視頻監視應用特別有用，其中監督的全景必須可用於每個圖像幀，但還可以變換關注的目標。

發明概要

本文中描述的實施例在一個方面提供了一種用於變換通過至少一個超廣角(UWA)透鏡捕捉到的輸入圖像的方法，所述UWA透鏡以將3D物體空間映射到顯示輸入圖像的平面上的對應變換為特徵，所述方法包括：(a)獲得通過至少一個UWA透鏡捕捉到的輸入圖像資料；(b)構造完全包圍至少一個UWA透鏡的視場的2D表面包絡(envelope)；(c)構造將輸出圖像平面映射到表面包絡的包絡變換； (d)連結UWA透鏡映射(map)和包絡變換以獲得零內容損失變換；並且(e)將零內容損失變換施加到輸入圖像資料以獲得輸出圖像；以便圖像透視在輸出圖像中得到基本上改善。

本文中描述的實施例在另一個方面提供了一種用於變換通過至少一個超廣角(UWA)透鏡捕捉到的圖像的電子處理器，所述UWA透鏡以將3D物體空間映射到顯示輸入圖像的平面上的對應變換為特徵，所述處理器包括：(a)用於獲得通過至少一個UWA透鏡捕捉到的輸入圖像資料的裝置；(b)用於選擇包含至少一個UWA透鏡的視場的2D表面包絡的裝置；(c)用於構造將輸出圖像平面映射到表面包絡上的包絡變換的裝置；(d)用於連結UWA透鏡映射和包絡變換以獲得零內容損失變換的裝置；以及(e)用於將零內容損失變換施加到輸入圖像資料以獲得輸出圖像的裝置；以便圖像透視在輸出圖像中得到基本上改善。

100‧‧‧有UWA透鏡的捕捉設備捕捉

110‧‧‧輸入圖像資料

120‧‧‧透鏡映射

130‧‧‧可重新選擇包絡、FOV包絡

140‧‧‧變換、包絡映射(或變換)

150‧‧‧FOV包絡變換、ZCL變換、零內容損失(ZCL)變換

160‧‧‧輸入圖像

170‧‧‧輸出圖像

180‧‧‧局部透視調整、局部調整

200‧‧‧UWA透鏡

620、640、600‧‧‧房間

660‧‧‧天花板

680‧‧‧地板

720、740‧‧‧側房間

1100‧‧‧包絡、橢圓體包絡

1150‧‧‧橢圓形

1250‧‧‧邊界

1260‧‧‧圓形點

1270‧‧‧正方形

1350‧‧‧點

1400‧‧‧橢圓體

1420‧‧‧平面

1440‧‧‧橢圓

2100‧‧‧ZCL橢圓體

2150‧‧‧透視平面

2210、2220、2310、2320、2510、2520‧‧‧關注區域

2230、2240‧‧‧區域

2430‧‧‧過渡區域

2430‧‧‧圓形

2810、2820‧‧‧臉部

為了更好地理解本文中描述的實施例和/或相關實施方式並且更清楚地示出它們如何被實現，現在只經由示例方式來對示出至少一個示例性實施例和/或相關實施 方式的附圖進行參考，在附圖中：圖1說明用於將零內容損失的變換施加到UWA透鏡獲取到的圖像的實施方法；圖2說明公開中使用的傳統笛卡爾(Cartesian)和球坐標系和規定(convention)；圖3a和圖3b分別說明對於180°UWA透鏡的示例性球體FOV包絡和橢圓體FOV包絡；圖4a和圖4b分別說明對於270°UWA透鏡的示例性球體FOV包絡和橢圓體FOV包絡；圖5a說明對於多個網格點使用半球體FOV包絡的圓柱映射，並且圖5b示出會出現在輸入圖像上的對應網格；圖6說明通過作為監視設備的一部分的180°UWA透鏡獲取到的示例性輸入圖像；圖7說明通過作為監視設備的一部分的270°UWA透鏡獲取到的示例性輸入圖像；圖8說明使用Lambert圓柱投影來向圖6的輸入圖像施加的零內容損失變換的結果；圖9說明使用Zenith線性圓柱映射來向圖6的輸入圖像施加的零內容損失變換的結果；圖10說明使用Mercator圓柱映射來向圖6的輸入圖像施加的零內容損失變換的結果；圖11說明覆蓋FOV>180°的橢圓體包絡；圖12說明映射FOV包絡的邊界； 圖13說明從輸出圖像平面到FOV包絡的中心圖元列的映射；圖14說明通過來自一行輸出圖像的兩個邊界點和一個內部點的映射而唯一限定的平面；圖15說明用於在輸出圖像上的一組點的270°UWA透鏡的示例性包絡變換；圖16說明用於在輸出圖像上的一組點的180°UWA透鏡的示例性包絡變換；圖17說明使用示例性ZCL映射來向圖6的輸入圖像施加的零內容損失變換的結果；圖18說明使用示例性ZCL映射來向圖7的輸入圖像施加的零內容損失轉換的結果；圖19說明具有270°UWA透鏡的覆蓋包絡映射的球體包絡；圖20說明來自UWA透鏡的類比圖像，其中捕捉到的圖像是橢圓形的；圖21a說明180°UWA透鏡的ZCL包絡映射，以及特定關注區域的透視包絡映射；圖21b說明結合了圖21a的ZCL和透視包絡映射的拼接(stitched)包絡映射；圖22是與圖6中本質相同的輸入圖像，圖像中具有兩個被選關注區域；圖23說明本質如圖17的零內容損失變換的結果，示出了兩個被選關注區域； 圖24說明在ZCL變換內的局部透視變換的結果，用於修正下關注區域；圖25說明在ZCL變換內的局部透視變換的結果，用於除了右下關注區域之外還修正左上關注區域；圖26a說明為透視而修正的、被選擇為圖像中的中間房間的、示例性大關注區域(90°的FOV)；圖26b說明用於修正透視並縮放大的被選區域的局部透視變換的結果；圖26c說明用於修正兩側房間的透視的局部透視變換的結果；圖26d說明兩個之前的經透視修正的區域的結合的結果；圖27說明四個經局部透視修正的房間(每個對應於90°FOV)的結果，如從360°視野提取的那樣；圖28說明其中有響應於活動而選擇關注區域的示例性輸入圖像；圖29說明除了縮放和旋轉變換之外、用於(在ZCL映射內)修正透視的局部透視變換的結果，以為進一步視頻分析而準備圖像。

可以理解的是，為了說明的簡潔和清楚，圖示中示出的元件未必以比例繪製。例如，為了清楚起見，一些元件的尺寸可以相對於其它元件而被擴大。此外，在認為是適當之處，參考標號可以在圖示中重複以指示對應的或類似的元件。

具體實施方式

可以理解的是，大量特定細節被陳述以提供本文中描述的示例性實施例的徹底理解。

然而，本領域技術人員將理解到，本文中描述的實施例和/或實施方式可以在沒有這些特定細節的情況下被實行。在其它實例中，沒有詳細描述已知方法、過程和元件，以免使本文中描述的實施例和/或實施方式模糊不清。此外，這種描述不應被認為是限制本文中描述的實施例的範圍，而是看作描述了本文中描述的不同實施例和/或實施方式的結構和操作。

很好理解的是，通過UWA透鏡獲取到的圖像無法在其被完美修正透視扭曲的同時而以其全部展開(unfold)在正常(通常矩形)顯示器上。如所提及的，現有技術解決方案必須犧牲圖像內容的(也許被認為是較不重要的)部分以為了修正其餘部分。根據本發明的實施例，在整個UWA透鏡獲取到的圖像經由提供高度修正卻仍保持全部圖像資訊的變換而被展開的情況下提供中間解決方案。如果需要的話，局部化的和內容自我調整修正還可被施加到關鍵的關注區域，其旨在部分恢復由UWA透鏡嚴重扭曲或損失的一些透視。這種具有可能局部自我調整透視修正的全視野變換被稱為零內容損失(Zero-Content-Loss，ZCL)修正。部分恢復旨在給出物體和其關係的合理指示，而不是在內容損失是不可避免的情況下的嚴格透視修正。恢復過程還可被 視為將原始扭曲重新分配給較不重要的區域。

為了描述實施例，主要地示例性180°透鏡將用作UWA透鏡來描述該方法。儘管應理解到，這個方法總體適於任何UWA透鏡或覆蓋高達360°的視場的透鏡的結合。特別地，實施方法適於定制未必以圓形成像、而可以以橢圓形或卵形成像的UWA透鏡，例如來自ImmerVision的Panomorph透鏡。

圖1說明根據其實現零內容損失變換的方法。圖像由配備有UWA透鏡的捕捉設備捕捉100，該捕捉到的圖像被稱為輸入圖像。數位捕捉設備通常還配備有圖像感測器例如CCD或CMOS，通過其可以得到包括每個和每一圖像圖元的空間和顏色座標的輸入圖像資料110。在沒有任何透視修正的情況中，輸入圖像通常被視作在橢圓形(特定情況的圓形)圖像邊界內。這還被稱為透鏡映射，借此來自真實世界三維(3D)物體空間的視圖被映射到平坦的二維(2D)平面視圖上。如由透鏡製造商提供的或數學建模的那樣，透鏡映射變換需要被識別120。可替選地，更準確的和普遍的映射可以基於經驗地得到。接下來，2D表面被選擇130以完全包圍3D中的透鏡的FOV。這個覆蓋表面還被稱為FOV包絡(將在後面更詳細地描述)。變換140隨後被構造為：將輸出圖像平面映射到其中考慮每個圖元的FOV包絡表面上，並且是以針對透視而基本上改善了輸出圖像170的方式。因此，在視圖表面上顯示的輸出圖像以改善透視扭曲而同時保留所有圖像內容的方式被變換(由此的ZCL變換)。這通過 連結透鏡映射和FOV包絡變換150、並將結果施加到輸入圖像160來實現。

選擇FOV包絡並且將輸出影像對應到FOV包絡的表面確定了透視變換的區域和量。因此，如果需要對於變換的局部透視調整180，則可重新選擇包絡130並且重新開始以相應地修改顯示輸出170。可替選地，不同的包絡變換140可適用於相同的包絡(不需要去改變130)來微調輸出圖像。局部調整可經由操作員通過選擇需要被修正的一個或多個關注區域而手動執行，或者可以回應於捕捉到的圖像的變化而使其自動化。例如，安保相機可能配備有運動監視器。一旦檢測到移動，則移動物體(例如人臉)周圍的區域可被選擇為關注區域以用於局部調整180。額外的處理(例如縮小/放大、轉動和反射操作)也可被施加給被選區域。這助於用於後處理的圖像分析技術(例如臉部識別)。

具有標準非UWA透鏡(例如35mm透鏡)的標準相機(SLR型)的成像可使用理想針孔相機模型來描述。雖然真實相機更加複雜，但這個簡單模型足夠下面描述之用。具有座標(x,y,z)的3D真實世界空間中的點被映射到由以下給出的圖像(u,v)中的點：

其中f是透鏡焦距，並且假設光軸沿著z軸。方程(1)被稱為標準透鏡的透鏡映射方程；其將真實世界的點映射到捕捉到的圖像中的點。圖像可被視作位於從透鏡中心沿光 軸的距離f處。標準透鏡變換保留處於同一z平面(即在某個z座標處垂直於z軸的平面)中的物體的相對距離和角度，因此透視被保持。結果圖像是矩形。此外，矩形座標是用於描述非UWA透鏡成像的自然坐標系。與此形成對比，UWA透鏡最好使用球/極坐標系來描述。如圖2所示，令(r,θ,)為3D真實世界空間中的點的球座標，(其矩形座標為(x,y,z))。位於原點並且以+z方向向上看的UWA透鏡200將3D點映射到由以下給出的圖像平面(未示出)中的點(r',)：

其中上標L指的是“透鏡”並且(r',)是圖像中的極座標，與矩形座標關係為x'=r' cos 和y'=r' sin 。根據矩形座標(2)可被寫為：

理解到，反三角運算需要考慮象限操縱(handle)x=0。函數大體上與徑向座標r無關；特別地它們還適用於形成橢圓形或卵形圖像的透鏡。與徑向無關的UWA透鏡將被稱為錐形UWA透鏡。為了理想魚眼的特定情況，這些方程簡化為：

方程(2)至(4)分別被稱為錐形UWA透鏡和魚眼透鏡映 射方程。映射遵從方程(2)或(4)不在固定平面上保持相對距離和角度，而導致了更加扭曲的圖像。例如，對於方程(4)，以固定的θ而在錐體上的所有點映射到圖像平面中的圓周上。結果得到的魚眼圖像是與矩形形成對比的圓形。

彌補嚴重扭曲的UWA透鏡的益處是其大得多的 FOV。魚眼視場被定義為可被捕獲的最大角θ的兩倍，這給出了來自透鏡中心的錐體：魚眼FOV=2θ _max (5)

對於180度的魚眼，θ _max=90，其中透鏡可捕捉全部的半球視場。即使具有廣角變化的標準透鏡也通常在水準上被限制為<=120°並且豎直上小得多。我們通過以下來定義錐形UWA透鏡FOV：

這個定義暗示θ _max可以取決於，並且取最小值。對於最實際情況，θ _max與無關，並且方程(5)還可被認作錐形UWA透鏡FOV。

理解FOV對於實現零內容損失修正是重要的。為了達到這個程度，如關聯於圖2的坐標系提及的那樣，我們將透鏡的FOV包絡定義為(嵌入真實世界3D空間中的)完全包圍透鏡視場的2D表面覆蓋。在透鏡視場內的、從真實世界(物體空間)中的物點至透鏡中心而繪的每條射線(ray)，以唯一點交叉於FOV包絡。相反地，在包絡上的每個點對應於由透鏡捕捉到的唯一射線。FOV包絡不是唯一的。通常，對於給定的透鏡，存在無窮數量的這樣的表面，然而存在 為最小的並且具有簡單數學描述的基礎包絡。所有其它包絡將是基礎包絡的連續變換。如果兩個包絡可連續地變換為彼此，則它們被認為是等同的；等同於基礎包絡的包絡也被稱為是等同體。包絡的標準球座標和笛卡爾座標分別由(r,θ,)和(x,y,z)表示，這與用於如圖2中的3D真實世界空間的標號相同。對於標準透鏡(方程(1))，基礎FOV包絡將是包含FOV的與光軸垂直的平坦矩形區域。這與在焦距f處的圖像平面相同。對於錐形UWA透鏡，並且特別是魚眼透鏡，基礎FOV包絡可被採取為單位半徑的球體的表面，其中θ θ _max：

對應於真實世界射線的在FOV包絡上的每個點在由透鏡映射方程確定的捕獲圖像中具有其位置。給定包絡，包絡映射(或變換)140可被定義，其結合透鏡映射120而導致ZCL變換150。這在下面參照1來描述。

令UWA透鏡捕捉到的2D輸入圖像資料110的座標為(u,v)。由於(用在數位相機等中的)圖像感測器是矩形的，因此這將是具有圖元解析度(寬x長)W ₀×H ₀的矩形幀，其內包含橢圓形或圓形UWA圖像。令扭曲修正後2D圖像的座標為(x _f ,y _f )，其中輸出圖像170假設為圖元解析度W ₁×H ₁的矩形圖像。在大多數情況中，輸入和輸出解析度是相同的：W ₁×H ₁=W ₀×H ₀，然而，大體上保持標號從而同樣允許解析度的改變。包絡映射140被定義為輸出座標(x _f ,y _f )到透鏡的基礎(或任何等同)FOV包絡上的映射() ((x,y,z)表示在包絡上的座標)：

球座標方程的等同集合還可被寫為：

兩個集合以通常方式關聯：

映射(8)和(9)也被稱為包絡覆蓋；因此在本文中使用上標“C”。在FOV包絡上的每個3D點在輸出2D圖像中都具有映射到其上的一個點。此外，在包絡上的每個點將在(x _f ,y _f )中具有唯一映射點。通過FOV包絡的定義，這確保了在捕捉到的圖像中看到的每個點還在輸出圖像中看到，從而提供了無損內容。零內容損失(ZCL)變換150通過將包絡映射140與透鏡映射120連結來得到。這提供了在包含所有原始內容的輸入和輸出圖像之間的映射，以用於確定在(x _f ,y _f )處的圖元值。用於ZCL變換的方程採用以下形式：

類似方式可被寫在球體/極座標中。

零內容損失變換被設計為恢復在關注區域中的透視的特定水準。因此，也可以被稱為零內容損失修正。如上面提到的，這不是嚴格的透視修正(其理論上對於全視野是不可能的)而是提供物體的空間位置的改善意識和更佳視野體驗的近似。上面幀設置有修改修正的兩個方式：

a)經由開始包絡的連續變換來選擇不同的基礎等同FOV包絡130。

b)修改包絡變換140。注意到透鏡映射120由透鏡來確定並且不是可調整的變換。

還應當注意到：a)還包括在包絡變換中的改變，然而b)可以在沒有a)的情況下實現。通過合適地修改包絡和其變換，可以得到不同類型的修正。

根據一個實施例，本方法中的ZCL修正具有適應圖像內容以用於特定區域中的局部透視的進一步修正和其它變換的能力。在下文中，將描述用於構造局部透視調整的系統方法。具有這種屬性的修正將被稱為局部透視自我調整(LPA)。優選地，FOV包絡和包絡變換以參數化的方式建立，使得它們可通過改變特定參數來快速修改。這可經常通過以其數學屬性易於操控的變換和包絡開始來實現。一旦ZCL修正以方程的形式或者以網格點集合而得到，其 就可以即時速率被施加給圖像或視訊訊號。例如，如美國專利7,324,706中描述的那樣的高效圖像扭曲硬體可被採用以實現此。

為了說明實施方法，180°錐形UWA透鏡被描述為示例性UWA透鏡，其中透鏡映射通過將錐形UWA透鏡限制為魚眼透鏡而簡化。對於180°錐形UWA透鏡，具有θ _max=90的基礎FOV包絡是半球體，如圖3a中示出的那樣。圖3a與圖2中引入的座標規定是一致的，即透鏡位於原點(0,0,0)並且沿著+z軸(光軸)向外看。角度θ從+z軸測量並且角度從+x軸順時針測量。等同的FOV包絡可以為圖3b示出的具有更長y半軸的半橢圓體。具有任意半軸長度的任何半橢圓體都形成等同的FOV包絡。事實上歸納為球體的橢圓體與球體相比將提供不同的ZCL修正。在另一示例中，圖4a和圖4b示出用於具有>180°(如描述的具體為270°)FOV的UWA透鏡的兩個等同FOV包絡(球體和橢圓體)。

已經識別出FOV包絡，下一步是構造包絡變換140，其是輸出圖像到包絡上的映射。在ZCL幀內的示例性說明中，良好的開始點要考慮：到製圖師使用的球狀物上的標準投影，以建立扁平2D映射。特別地，最相關的是圓柱投影，其數學是可容易理解的。如上描述的那樣，圓柱形變換的極發散問題使得圓柱投影不較少用於於構建ZCL變換。不考慮限制，可以翔實的瞭解用於經由圓柱投影而建立的ZCL變換的方程。

存在各種類型的圓柱投影。Lambert投影是一個 示例，在此處使用而沒有生成損失。參照圖3a，圓柱體具有其沿y軸的軸線，並且通過卷起在圖3a中的基礎包絡周圍的輸出圖像(解析度為W ₁×H ₁的矩形)來形成。極處於(r=1,θ=π/2,=π/2)和(r=1,θ=π/2,=-π/2)。從圖像座標(x _f ,y _f )到FOV包絡的圓柱映射由以下給出：

其中(x _f ,y _f )的範圍是[0,W ₁]×[0,H ₁]，即輸出圖像，θ _y 是相對於+y軸的極(頂點)角度，並且是具有朝+z軸順時針方向的、從+x軸測量的xz平面中的方位角度。使用(θ _y ,)的選擇由圓柱體相對於包絡的定向來規定。這可通過使用以下來被轉換為標準座標(即使在基礎包絡上的r=1，其經由r=R的相關也是明顯示出的，這在當修改包絡時有用)：

轉換為標準球座標：

應理解到，反正切需要考慮象限並且操縱x=0。方程(12)、(13)、(14)都基於圓柱投影而給出相同包絡變換。在圖5a中針對在輸出圖像上的給出的點集合說明這個變換。為了計算最後零內容損失修正，接下來我們使用映射方程(3)和(4)來將包絡座標映射到輸入圖像上。對於180°魚眼透鏡，結合(13)和(14)給出：

其中R _I 是由透鏡捕捉到的圓形魚眼輸入圖像的半徑；比例因數α的方程是圓形魚眼的方程。

參照圖5b，輸入圖像空間上的坐標系被當作是標準笛卡爾座標，其中原點位於中心，右邊為+u並且上部為+v。這可被轉換為傳統電腦座標。從方程(15)中可看到，分別對應於θ _y =0和θ _y =π的線y _f =0和y _f =H ₁，被映射到輸入圖像的單個點：(u=0,v=+R _I )和(u=0,v=-R _I )。這個映射完全破壞朝著輸出圖像頂部和底部方向的透視；因此這不是非常有用的ZCL修正。通過使用圓柱投影，圖5a說明包絡變換並且圖5b說明對於在輸出圖像上的網格點集合的最終ZCL變換。

通過在圓柱投影的幀內修改包絡變換(12)，可以得到ZCL變換的變型。然而，對於所有這樣的情況都遇到 相同的“無限伸展”限制。總計為修改在(12)中的第二關係的兩個示例性變型，在以下給出：

由於方程(15)基於透鏡映射方程並且不改變，所以其繼續保持。通過將(15)與新的代替(16)結合，零內容損失變換可被計算。以頂點線性標記的第一變型相比於Lambert投影而改變了y方向上的比例；相同無限伸展在極處仍被看到。第二變型實際上是Mercator圓柱投影，其中s _f 是控制豎直伸展的比例因數。這只在限制s _f →∞中變成零內容損失變換，在此情況中存在無限豎直伸展。然而，即使對於小的(s _f 4)(其可以是為了最實用目的的“零內容損失”)，引入的扭曲也非常嚴重。

參照圖6，根據本發明的實施例，模擬180°錐形UWA(圓形)透鏡圖像被用作輸入圖像來說明示例性零內容損失變換如何執行。在圖6中描繪的場景包括三個尺寸相似且鄰近的房間，其中房間620和房間640與房間600成直角。換句話說，房間前面形成立方體的3個內部面。位於立方體中心的UWA透鏡正直接(並且沿著垂直平分線)看著中間房間600。清楚地看到在從中心在徑向方向上增加的由透鏡引入的扭曲。朝著圖像邊緣，物體變得更加“彎曲”。然而作為UWA透鏡，其確實捕捉了包括天花板660和地板680的各部分的180°半球視野中的一切。通過增加面向相反方向的 第二類似透鏡，圖6的設置可容易地被延伸至360°視野。因此，關於一個魚眼透鏡而所指出的可被延伸至兩個魚眼。在圖7中示出的另一類比圖像說明了從270°透鏡獲取的輸入圖像，其中整個側房間720和側房間740(圖像中示出)處於FOV內，儘管如預期那樣嚴重地扭曲。圖6和圖7都由遵從透鏡映射方程(4)的透鏡形成。

基於施加給圖6的輸入圖像的圓柱投影(15)，圖8至圖10示出ZCL變換的結果。採用了美國專利7,324,706的教導，通過在其去扭曲方案中實現給定變換以得到圖8至圖10的輸出。圖8基於Lambert投影，圖9基於頂點線性投影，並且圖10基於方程(16)的Mercator投影(s _f =2)。在極處的無限伸展是明顯的；這特別在其中在中心處的地毯朝著相反方向出現撕裂的地板上可見。換句話說，靠近極的所有透視丟失。使得水準輪廓線還比朝視場的左和右方向扭曲透視的原始UWA透鏡圖像更加彎曲。例如，這個映射給出了三個房間都沿一條直線坐落的錯覺。此外，左右房間的斜的天花板/地板邊界在邊緣處變得完全水準，而較少扭曲的透視會使這些直線維持斜的。然而，如對於透視所需的那樣，豎直輪廓線是伸直的。這些屬性使得圓柱投影不那麼適合於旨在改善透視的ZCL變換。然而，解決在邊緣處的豎直線和斜線確實使這些變換有用於全景，此處頂點角通常被修剪到更小範圍。

根據優選實施例，不同包絡變換可被構造為避免由圓柱投影導致的上述偽像。通過使用可被修改以調整剩 餘扭曲的區域和量的參數化包絡變換，這個方法針對與具有透視修正的ZCL變換而被特別定制。此外，其包括修正機制以恢復真實局部透視。這個技術支援任何UWA透鏡，包括非圓形錐形UWA透鏡。在ZCL修正的背景下支援任意透鏡是實施方法(如參照圖1描述的那樣)的直接結果，借此，包絡映射與透鏡映射分開地定義。

因此，考慮具有可覆蓋大於180°FOV的並且不限於捕捉圓形圖像的基礎包絡的錐形UWA透鏡。等同包絡由圖11中示出的橢圓體的部分表面給出：

包絡1100是位於θ _max之上的橢圓體的部分。這裡r _x,y,z 表示半軸長度。橢圓體生成球體並且提供三個參數，半軸長度，以修改包絡變換。透鏡再次假設被設置在原點處朝+z軸看。r _x 和r _y 分別在x和y方向上提供縮放比例(scaling)控制，而r _z 給出對應於放大的z方向上的縮放比例控制。圖11的橢圓體包絡1100針對半軸的一般值而繪製。因此，邊界θ=θ _max是橢圓形1150。注意到，大體上邊界不位於橢圓體的平面上。邊界1150將被稱為包絡邊界或e-邊界。

參照圖11，包絡變換將輸出矩形圖像W ₁×H ₁(未示出)映射到橢圓體表面1100上。在構造的第一步中，圖像矩形邊界被映射到包絡的邊界1150。沿z軸看去，邊界1150看起來似乎是橢圓的(對於球體它變為圓)，如圖12中的1250 所說明的那樣。我們定義叫作邊界分割角的角0<ψ ₀<π/2，其將邊界劃分成4個區部(注意對於區部θ=θ _max)：

類似地，存在輸出圖像(未示出)的4個明顯邊界，被稱為圖像邊界或i-邊界：

通過找到將x或y帶到的函數：邊界映射，i-邊界被映射到對應的e-邊界(頂到頂等等)。對於頂和底邊界，可使用x的任何單調函數並且對於左和右邊界，可使用y的任何單調函數。為了保持關於水準和豎直中心軸的對稱(通用於大多數透鏡)，優選關於邊界中心對稱的映射，特別地i-邊界中心被映射到e-邊界中心。示例性邊界映射可由以下線性函數給出：

對稱暗示在映射之間的以下有用關聯：

從上面的映射中，使用以下可計算x-y-z座標：

其中r _xyz 是從中心到e-邊界上的點的距離，其不像球體，隨極角變化。它可通過將(22)插入到(17)中來計算，成為：

方程(22)給出邊界1250的包絡變換。圖12示出圓形點1260和正方形1270的集合在輸出圖像邊界上的邊界映射。圓周1260對應於左/右邊界上的點，並且正方形1270對應於頂/底邊界上的點。

代替(20)的更複雜的邊界映射可被使用以得到 不同變換。另一示例是去選擇以取決於x或y，使得x或y中的相等改變對應於沿邊界曲線的等距離移動。這需要計算弧長，並且將在以下提供示例以用於內部(非邊界)點的映射。無關乎映射，方程(22)保持有效。

下一階段包括將邊界映射延伸到所有內部點，從而得到完全包絡變換。這個想法是通過使圖像掃描線(圖元行)在橢圓體周圍卷起來將它們映射到包絡，其中它們的終點位於左和右e-邊界上。考慮在輸出圖像中的圖元行：

這個行的終點，(0,y _f0)和(W ₁,y _f0)，具有映射到由已由邊界映射1260確定的包絡。我們如下標記在包絡邊界上的這些終點：

注意到(21)暗示：x _L =-x _R y _L =y _R z _L =z _R (26)

從關於y軸的左右對稱中，圖元行(並且對於所有行)的中心被映射到橢圓體上的x=0的部分橢圓(partial ellipse)，這將給出函數θ(y _f )。這個映射是圖元列的映射： x _f =W ₁/2，並且將被稱為極映射。將行中心映射到x=0的曲線是符合邊界映射的，這分別將頂行和底行的中心映射到x=0的曲線上的點(θ=θ _max,=π/2)和(θ=θ _max,=-π/2)。至於邊界映射，可使用任意單調映射。示例線性極映射由以下給出：

這個映射與上面描述的邊界映射相連，並且將圖像的中心映射到+z軸上的橢圓體極上。在y-z平面上，便於以朝+z軸的正向來限定取自+y軸的方位角γ。這個角度通過以下來與θ關聯：

角γ的範圍是[π/2-θ _max,π/2+θ _max]。從(22)和(28)中，包絡上的對於中心豎直線(即圖元行中心)的座標由以下給出：x=0 y=r _yz cos γ z=r _yz sin γ (29)

注意到這是在橢圓體上的x=0的曲線，因此x=0。就球體而言，離中心的y-z平面距離r _yz 又不為常量。而是，其是從(17)計算，將是γ的函數：

在包絡上的、對應於行中心的點將被表示為(x _C ,y _C ,z _C )。圖13示出點1350集合的極映射，以對應於輸出圖像上的中心點。

因而計算為每個圖元行在包絡上提供了三個點，以對應於左/右終點和中心：

現在剩餘行點可由位於內插這三個點的橢圓體包絡上的任何規範的曲線來映射。我們將這些曲線稱作行映射曲線或行映射。規範意味著保持圖元行的幾何形狀的任何曲線，特別地曲線應該為數學平滑並且所有曲線(對於所有圖元行)的總計應該形成覆蓋橢圓體的平滑表面。這是提供改變包絡變換的廣泛靈活性的綜述。

參照圖14，作為特定示例，我們採用由(31)中的三個點唯一確定的平面1420與橢圓體1400相交而定義的曲線。如在圖14中所看到的，在此場景下，行映射曲線將為在橢圓體周圍卷起的橢圓1440。通過從將平面與橢圓體相交而產生的橢圓的平滑來自動獲得平滑狀況。每行的三個點的唯一性也確保了每個這樣平面是唯一的。針對這個示例接下來論述曲線的明確確定。

點(31)位於橢圓體以及相交平面上。這導致對構造進行簡化的各種約束。平面的法線=(n _x ,n _y ,n _z )可從點(31)計算出，為：

通過在(32)中使用(26)，可被示出n _x =0。從到曲線上的任意點(x,y,z)的向量必須垂直於法線，因為其位於相交平面上：(x-x _C ,y-y _C ,z-z _C )．(0,n _y ,n _z )=0 (33)

這導致在曲線上的y與z之間的關係：

的特別情況需要單獨處理；然而在這個情況中，橢圓完全地位於x-z平面，並且可從2D橢圓方程和點(31)容易地確定。明確地，對於(34)找到：

橢圓體的方程(17)可被繼而用於根據x確定y。替換(35)，方程(37)變為：

解(36)給出：

現在相交橢圓根據x由(35)和(37)完整確定。x的範圍是在橢圓形的終點之間：

回想到橢圓上的終點被映射到圖元行的終點。

其保持將0 x _f W ₁(沿著輸出中的給定行的圖元)映射到(38)。可使用任何單調平滑函數，例如簡單線性映射：

不同函數導致沿x方向的不同局部縮放比例。在一個示例性實施例中，另一方法基於在包絡上的橫向相等距離來描繪輪廓，這類似於用於圓柱投影的關係(12)，儘管非球體包絡複雜化了數學運算。在相交平面1420上，曲線1440是標準橢圓。因此，曲線可通過去往在此平面1420上定義的矩形二維坐標系而被分析。此外，因為在移至坐標系中沒有涉及縮放比例，所以所有距離被保持。定義軸能夠通過點，並且垂直通過線段，具有由符號y _C 確定的正向。這是坐落在橢圓體y-z平面中的一條直線。注意到線段還位於相交平面中。軸可被選擇為使得：(a)橢圓 的原點處於中心，或者(b)沿著線段。對於這兩個情況的橢圓方程採用形式：

二者僅相差偏移b _e 。額外的點可在橢圓上的通過使用在x-y-z系中這些點必須滿足橢圓體方程的事實而被計算。特別地，對於情況(b)我們可計算與軸的截距。截距之一與點關聯，其被表示為y ₁，並且另一相反截距表示為y ₂。同樣在情況(b)中，沿軸的截距被發現為-x _R (負)和x _R (正)。根據截距，(40)中的未知量可被寫為：

這些量可被用來確定(橢圓體上的部分的)橢圓的弧長。弧長s _arc 在坐標系(a)中更容易被計算，並且採用形式：

此處是在平面中的標準極角。方程(42)給出與特定圖元行對應的橢圓體上的曲線的長度。我們選擇從x _f 到x的映射，使得x _f 的相等改變對應於橢圓上的相等橫向弧長。這通過為每個x _y 發現滿足以下的角來實現：

負號和下限的偏移為x _f 的次序所要求，即當x _f 增大時，減小。這根據x _f 提供，類似於用於圓柱投影的(12)，繼而經由以下給出所需的x _f 到x的映射：

注意到，積分(42)和(43)可使用已知技術(例如求積法)來數位地計算。方程(35)、(37)和(44)，連同映射(20)、(27)一起，給出最後包絡變換，以將輸出影像對應到大體橢圓體包絡。

由θ _max定義的包絡邊界已被看作是與不相關。然而，公開的方法同樣適用於具有如(6)中的取決於的θ _max。主要不同在於常量θ _max需要被θ _max 替代，其中首先由邊界映射來確定。橢圓體包絡的另一敏感問題是包絡邊界不位於一個平面上，而行映射曲線(橢圓)是平面的。當橢圓接近頂/底e-邊界時，它們需要平滑地接到邊界曲線。這可通過分別從在頂和底圖元行之下和之上的幾個行生成橢圓來處理，隨後橢圓與跨剩餘行的邊界曲線進行內插。這對於球體包絡不是問題，在其中球體邊界是平面的。

上面方法包括用於定制的多個參數或方式：

橢圓體半軸長：r _x ,r _y ,r _z

邊界分割角：ψ ₀

邊界映射：(x _f ),(x _f ),(y _f ),(y _f )

極映射：θ _T (y _f ),θ _B (y _f )

行映射曲線：對於圖元行(x _f ,y _f ,z _f )→(x,y,z)

這提供廣範靈活性以用於修改變換，從而開發不同類型的ZCL修正。對於270°和180°UWA透鏡的包絡變換被針對輸出圖像上的點集合示出在圖15和圖16中。對於這兩種情況，使用了在上面((20)，(27)，(35)，(37)和(44))開發的特定映射，其中參數設置為：

兩種情況都使用了橢圓體包絡，其中第二種情況更靠近球體包絡。

零內容損失修正變換通過將包絡映射與透鏡映射結合而再次建立。如前面提及的，計算包絡變換不需要透鏡映射的知識。從透鏡上需要的資訊僅是其視場特性或θ _max，以及其就是錐形UWA透鏡。這暗示著相同包絡變換可被用於圓形和非圓形UWA透鏡，假設它們具有相同的θ _max值的話。換句話說，方法與透鏡的成像行為無關。這還意味著可解釋在製造UWA透鏡期間或從其它源引入的、導致該透鏡不理想行為的扭曲，假設它們以在透鏡映射方程中被特徵化的話。對於透鏡映射方程(4)，零內容損失修正變為：

只有主要方程列出在(45)中。以180°包絡變換(見圖16)設置將(45)應用到圖6的輸入圖像，給出了圖17中示出的輸出圖像。在這個修正中，圖6的原始UWA圖像中的所有內容都是可視的，這進一步使方法有效為生成ZCL圖像。通過給出標準(SLR)相機圖片的印象，基本上改善了總體透視。在圖8至圖10中的圓柱投影結果上的改善被清楚地看到。在極處，透視在沒有無限伸展的情況下被很好地恢復。這在沒看見撕裂的地毯中是非常顯而易見的。在UWA圖像中的彎曲的豎直輪廓線在沒有過度彎曲斜的輪廓線的情況下幾乎被完全伸直(根據透視需要)。這在更高的程度上保持朝著左房間和右房間的透視。天花板斜線被保持斜的。當房間處於圓柱投影中時，它們不顯現為沿著直線擺放，而是在更高的程度上保持它們的左右視點。與UWA圖像相比，在修正圖像的中心三分之一中的物體(例如中心房間、架子、油畫、通風孔、椅子)具有更佳的透視。圖像的最重要部分的、在中心中的這些改善，不以損失任何內容為代價。這 對於其中需要監視全視野中移動的安保應用非常重要，即使主焦點可能處於視野的中間。圖18示出圖7的270°UWA透鏡輸入圖像的ZCL圖像。此處球體包絡與在圖19中示出的包絡映射一起使用，其中鑒於具有來自相機後面的物體的圖像的大部分的這種廣FOV，再次看到更加改善的透視。ZCL圖像保留所有內容(在沒有對極放大的情況下使靠近圓周的輪廓線變直)，從而提供更加靠近標準相機的圖像。

通過改變包絡參數可進行修正的改變，包括得到允許全景拼接(stitching)的ZCL圖像，而沒有對極“放大”。使用圓柱投影得到的變換還可使用適當的參數選擇來恢復。因而，圖8和圖9的零內容損失圖像可被視作上面一般圓柱體構造的特定情況。特別地，為了恢復圖9，採用ψ ₀=0。此外，不關乎捕捉到的圖像形狀(圓形、橢圓形等等)，還可處理具有相同θ _max的任何UWA透鏡。圖20示出來自其圖像顯現為橢圓的UWA透鏡的類比圖像。這種UWA透鏡具有覆蓋更多(相比於正方形更加常見為矩形的)感測器的的益處。這提供了包含圖像資料的更多輸入圖元並且可導致改善的品質。在這個情況中，透鏡映射方程(2)採用形式：

在(45)中使用(46)(而非(4))的透鏡映射導致了如圖17 中的相同圖像。公開的ZCL幀支持所有這樣的更加複雜的透鏡。如預期地，存在具有非精確透視修正的某些(殘留的)扭曲剩餘，這是當將UWA視圖映射到2D圖像時所預期的。然而，殘留扭曲可在ZCL幀內的關注區域中選擇性地消除，如以下概述的那樣。

根據本發明實施例，全視野zCL修正可與局部精確透視修正結合。如關於標準非廣角透鏡相機所提及的那樣，標準透視相機的基礎包絡是包圍FOV並且垂直於光軸的平面。關聯的包絡變換是2D輸出圖像座標到包絡平面上的2D座標的線性映射。這表明為了沿由(θ _p1,)規定的特定方向得到對UWA透鏡的局部透視修正，包絡局部地需要成為垂直於通過(θ _p1,)的軸的平面。為了保持遠離(θ _p1,)附近的ZCL修正，包絡應該保持具有光滑過渡的橢圓體。因此，用於局部透視修正的方法包括在關注區域中將兩個包絡(橢圓體和平面)與其變換平滑地拼接在一起，並且保留在關注區域之外的ZCL變換。設和為在(x _f ,y _f )上定義的兩個包絡變換，以將(x _f ,y _f )映射到(x,y,z)。(為了局部透視修正公式化，我們採用(x _f ,y _f )中的原點為圖像的中心，右和上為正。)全(x _f ,y _f )域將被表示為A _D 。域被分成三個分開區間：關注區域A _I ，圍繞A _I 的過渡區域A _T ，以及包含所有未在A _I 或A _T 中的點的基本區域A _B 。拼接建立新的包絡轉換，其等於A _B 上的，等於A _I 上的，並且在A _T 上的和之間內插。這由以下方程來描述：

其中f ₁,f ₂是適當的內插函數，我們採用其為標量函數。注意到，由於包絡變換的定義包括定義包絡，所以方程(47)暗示著定義新的拼接包絡。還有用的是經由從(x _y ,y _f )到(x,y,z)的全域變換來定義(x,y,z)空間中的區域。如果(x _f ,y _f )是這樣的全域定義的映射，則區域和拼接採用以下形式：

此處的條(bar)區分兩個方法。這個拼接可被視作移動關注區域中的圖元以恢復透視，其繼而扭轉和扭曲過渡區域中的圖元，並且保留基本區域中的原始ZCL修正。因而我們將殘留扭曲從關注區域推出到過渡區域。函數變為ZCL包絡變換(45)，其被重寫為：

函數被採用為透視包絡變換，其在下面被構造。

為了構造透視包絡變換，我們首先採用+z軸為光軸(θ _p1=0,=0)以用於對構造進行簡化。在這個情況中，包絡為在z=z _m1處的、與z軸正交的平面。通過改變z _m1，放大的量可被改變，因此z的位置保持可變。對應於方向(θ _p1,)，我們可在輸出圖像座標空間(x _f ,y _f )中關聯唯一點(表示為(x _fp1，y _fp1))，在ZCL包絡變換(45)下該方向被映射到該點。通過定義包絡變換，這個點存在並且可從(45)計算出。點(x _fp1,y _fp1)是關注區域A _I 的中心，關於這個點需要局部透視修正。已知(θ _p1,)而可計算(x _fp1,y _fp1)，並且反之亦然。針對這些定義，關於(θ _p1=0,=0)的透視包絡變換可被寫為：

比例因數(s _x ,s _y )由在(x _f ,y _f )中的透視修正區域的透視視場2θ _pFOV 和尺寸l _p 確定而示出。關於任意方向(θ _p1,)≠(0,0)的透視包絡變換可通過旋轉(50)來計算。為了 將(0,0)方向帶入任意(θ _p1,)方向，使用了繞負y軸旋轉±θ _p1度(即，當從負y軸看去時在xz平面中逆時針θ _p1度)緊接著繞正z軸旋轉的旋轉。此處在當從正或負x軸測量使得-π/2 π/2時，與對等。如果-π/2 π/2，則對θ _p1使用負號，否則使用正號。我們還包括繞正z軸初始旋轉，以允許旋轉透視修正，從而在周圍的零內容損失修正內得到更佳的校正(數學平滑)。最終的透視包絡變換採用以下形式：

可調整角以控制在過渡區域中的“扭轉”量，一般地的值給出良好的結果。圖21a示出關於(θ _p1=65°,=-35°)方向的兩個包絡變換，ZCL橢圓體2100和透視平面2150。其留待定義區域並計算拼接。

對於具有由(6)定義的錐形FOV的UWA透鏡，自然地在(x,y,z)空間中關於給定方向使用圓形關注區域。理由是(x,y,z)空間給出了透鏡正於其中捕捉且沿其尋找透視視圖的真實世界方向。這些圓形區域基本上是某個角度 的錐體與透視包絡平面的相交。使用(48)和(50)，圓形關注區域和過渡區域以及基本區域可被寫為：

(51)中的旋轉確保了在所需方向上這些區域被轉換到正確的圓形區域。現在可在r中實行內插。作為示例，與可調節指數κ _e 結合的線性函數用於內插。具有關於(θ _p1,)或等同地(x _fp1,y _fp1)的局部透視修正的最終零內容損失包絡變換為：

兩個分量變換為如圖(45)中的和如圖(51)中的。圖21b示出結果得到的拼接包絡映射。最終，具有局部透視修正的ZCL修正通過將透鏡映射方程(4)應用到(52)來得到，類似於在(45)的前四個方程中所做的。關於任何方向，可使用上面方法來實行局部透視調整。還可以定義其中需要局部透視修正的多個關注區域。這通過延伸(47)的拼接以 包括所有不相交的關注區域的聯合而實現，該關注區域的每個具有其自身的透視平面包絡，並且通過開始零內容損失包絡變換而獨立地內插。這個示例在下面示出。因此，該方法提供了為局部地透視自我調整(LPA)的零內容損失修正。

接下來論述圖22至圖25以說明零內容損失LPA修正。圖22是UWA參考圖像(如圖6中所示的那樣)，其具有在虛線輪廓內的兩個關注區域2210和2220。兩個區域都對應於30°錐形視場(θ _pFOV =15°)，其中在此示例性說明中2210處於方向(θ _p1,)=(65°,-35°)而2220處於方向(θ _p1,)=(55°,140°)。在關注區域的近鄰處的區域2230和2240是過渡區域。在向這些方向看去的透視圖像中，輪廓將是完美的圓形。如預期地，UWA將圓形很大地扭曲為橢圓狀輪廓。圖23示出在施加ZCL修正之後的參考圖像，其與圖17相同，但是現在具有高亮顯示的關注區域2310和2320。如之前論述的那樣，全圖像透視被大大改善；然而如在筆直輪廓線的彎曲中看到的那樣，扭曲依然保留。針對繪製的輪廓，殘留扭曲變得清晰。在局部透視修正視圖中，輪廓為圓形而非所看到的蛋狀曲線。接下來零內容損失LPA修正被施加到用於關注區域2310的局部修正透視。圖24示出使用z _m1的值為1的結果，比r _z =0.75值稍微大的這個值將提供稍微局部縮放。現在透視被完全局部修正，其中輪廓為圓形並且在圓形內所有輪廓線筆直。注意到過渡區域2430現在如何變得扭曲，如同殘留扭曲被推出到過渡區域 中。遠離過渡區域2430，沒有接觸ZCL修正。在圓形2430內的圖像被稍微旋轉以平滑連接周圍的ZCL修正。這通過使用=25°來實現；通過改變這個角，旋轉可被改變並且繼而在過渡區域中的扭轉可被改變。旋轉不扭曲透視修正。在2410中的透視修正的圖像，現在可被分析用於特徵和其它視頻分析處理，正如標準相機圖像那樣(這在下面進一步論述)。同時作為ZCL修正，整個場景依然可用於觀察和分析。圖25示出施加到關注區域2510和2520的類似修正。現在透視修正被在兩個圓形中局部實現。遵循相同進程，多個區域可被修正。此外，通過改變過渡區域的大小，扭曲的伸展可被控制。

上面示例已與小圓形關注區域一起工作。還可以局部透視修正大區域並且使用非圓形關注區域。有用的非圓形幾何形狀在輸出圖像上定義矩形區域，在該區域中需要如下的透視修正：

此處，{l _Ix ,l _Iy ,l _Tx .l _Ty }定義矩形區域的尺寸。圖26a示出基於矩形區域的零內容損失LPA修正，以用於關於z軸方向(直接地在透鏡前面)的寬視場(θ _pFOV =45°)。在零內容損失修正內的前視野的全透視修正被看到。圖26b示出具有施加的縮 放的前視野修正。圖26c示出結合的右視野(方向(θ _p1,)=(45°,0°))和左視野(方向(θ _p1,)=(45°,180°))的類似修正；此處扭曲被推入到中間房間中並且推到地板和天花板。最後，圖26d結合用於左、中、右視野的修正，以給出三個透視修正的區域。

應當理解到，為零內容損失的上面修正包括來自原始場景的所有內容(圖22)。根據一個實施例，可以只提取來自ZCL LPA修正的關注區域，以在過渡區域和基本區域中消除所有其它圖元，從而呈現透視修正視野的集合。圖27說明這種提取的示例，其中包圍360°區域(由例如兩個魚眼來捕捉)的四個房間被單獨地修正透視並且獨立地顯示。此外，還能夠在每個視野中選擇更小的關注區域以用於進一步處理，如之前公開的那樣。清楚地，在這個應用類型中，被丟棄的圖元資訊不是主要關注的。示例是視頻-會議設置，其中參與者的臉部是最重要的特徵。

根據另一實施例，公開的方法用來便於可選的後續視頻內容分析(VCA)，還被稱為視頻分析。為了執行圖像中的物體和模式識別，或者總體地自動分析視頻，需要好的輸入圖像。這意味著各種扭曲種類必須被最小化。例如，視頻監視相機可配備有一個或多個運動感測器，光/聲感測器等等，其可在一個時間段內觸發記錄事件。在這個情況中，需要記錄的視頻的內容來識別移動物體例如如圖28中說明的人臉。實施方法可被用來選擇在移動物體周圍的關注區域2810和2820，並且修正透視而同時視頻的其它內容 和其與關注物體的關聯被保留。圖29示出在臉部2810和2820附近的關注區域如何被修正。在這個示例中，臉部被進一步放大(並且還可能被進一步旋轉)以說明圖像識別裝置。同時，作為零內容損失映射，所有場景資訊被保持以用於額外檢測或並行分析。這個自我調整修正不僅適用於FOV內的多個區域，而且還可被施加到具有不同時間戳記的多個視頻幀。因此，圖29還可被解釋為在不同時間監督在不同位置處的一個人。

在一個優選實施例中，公開的方法在電子處理器中實現。處理器可被集成到圖像捕捉設備、圖像顯示裝置或影像處理設備。公開的方法還可被實現為軟體以用在電腦可讀介質中。

儘管上面描述提供了實施例的示例，但是應理解到，所描述的實施例的一些特徵和/或功能在不偏離所描述的實施例的操作的精神和原則的情況下是易於修改的。因此，上面所描述的種種旨在為本發明說明性的而非限制性的，並且本領域技術人員將理解的是，在不偏離如本發明所附申請專利範圍中定義的本發明範圍的情況下可以進行各種變型和修改。

100‧‧‧有UWA透鏡的捕捉設備捕捉

110‧‧‧輸入圖像資料

120‧‧‧透鏡映射

130‧‧‧可重新選擇包絡、FOV包絡

140‧‧‧包絡映射(或變換)

150‧‧‧FOV包絡變換、ZCL變換、零內容損失(ZCL)變換

160‧‧‧輸入圖像

170‧‧‧輸出圖像

180‧‧‧局部透視調整、局部調整

Claims (27)

1. 一種用於變換通過至少一個超廣角(UWA)透鏡捕捉到的輸入圖像的方法，所述UWA透鏡以將3D物體空間映射到顯示輸入圖像的平面上的對應變換為特徵，所述方法包括：(a)獲得通過至少一個UWA透鏡捕捉到的輸入圖像資料；(b)構造完全包圍至少一個UWA透鏡的視場的2D表面包絡；(c)構造將輸出圖像平面映射到表面包絡的包絡變換；(d)連結UWA透鏡映射和包絡變換以獲得零內容損失變換；並且(e)將零內容損失變換施加到輸入圖像資料以獲得輸出圖像。以便圖像透視在輸出圖像中得到基本上改善。
2. 根據申請專利範圍第1項所述的方法，其中表面包絡和包絡變換中的至少一個被修改以針對至少一個關注區域中的透視修正進行局部調整。
3. 根據申請專利範圍第2項所述的方法，其中所述至少一個關注區域被手動選擇。
4. 根據申請專利範圍第2項所述的方法，其中所述至少一個關注區域被自動選擇以響應於捕捉到的圖像的改變。
5. 根據申請專利範圍第2項所述的方法，其中縮放比例變換、縮放變換、旋轉變換和反射變換中的至少一個被施加到至少一個透視修正的關注區域。
6. 根據申請專利範圍第5項所述的方法，其中所述至少一個修正的關注區域被提供以用於視頻內容分析。
7. 根據申請專利範圍第2項所述的方法，其中在從透鏡的一個方向上的關注區域處的局部透視修正由以下得到：(i)構造與將透鏡連接到關注區域中心的軸垂直的平面包絡；(ii)在關注區域中平滑拼接平面包絡和表面包絡以及其變換。
8. 根據申請專利範圍第7項所述的方法，其中局部放大通過沿著將透鏡連接到關注區域的軸來移動平面包絡而實現。
9. 根據申請專利範圍第1項所述的方法，其中所述至少一個UWA透鏡覆蓋高達360°視場。
10. 根據申請專利範圍第1項所述的方法，其中透鏡映射由透鏡製造商提供。
11. 根據申請專利範圍第1項所述的方法，其中透鏡映射是數學建模的。
12. 根據申請專利範圍第1項所述的方法，其中透鏡映射是經驗特徵化的。
13. 根據申請專利範圍第1項所述的方法，其中表面包絡和包絡變換以參數化形式來構造。
14. 根據申請專利範圍第1項所述的方法，其中圓柱投影用於將輸出圖像平面映射到表面包絡。
15. 根據申請專利範圍第1項所述的方法，其中將輸出圖像平面映射到表面包絡被表示為函數。
16. 根據申請專利範圍第1項所述的方法，其中輸入圖像是圓形的，並且包絡被選擇為球體的部分表面，其邊界位於透鏡的視場處。
17. 根據申請專利範圍第1項所述的方法，其中輸入圖像是非圓形的，並且包絡被選擇為橢圓體的部分表面，其邊界位於透鏡的最大視場處。
18. 根據申請專利範圍第16項所述的方法，其中包絡變換映射包括邊界和多個圖元行的輸出矩形圖像，所述變換通過以下來構造：(i)將在輸出圖像邊界上的圖元映射到橢圓體包絡的邊界；(ii)將多個圖元行的中心映射到橢圓體上的橢圓；並且(iii)將多個圖元行中的每行的非邊界圖元映射到橢圓體上的曲線，所述曲線通過內插包含中心圖元的映射和對應的兩個邊界圖元的映射的平面來構造。
19. 根據申請專利範圍第1項所述的方法，其中零內容損失輸出圖像以其全部來顯示。
20. 根據申請專利範圍第1項所述的方法，其中全景從零內 容損失輸出圖像中提取以用於顯示。
21. 根據申請專利範圍第1項所述的方法，其中多個透視修正區域從輸出圖像提取以獨立地顯示。
22. 根據申請專利範圍第21項所述的方法，其中縮放比例變換、縮放變換、旋轉變換和反射變換中的至少一個被施加到透視修正的區域。
23. 一種用於變換通過至少一個超廣角(UWA)透鏡捕捉到的圖像的電子處理器，所述UWA透鏡以將3D物體空間映射到顯示輸入圖像的平面上的對應變換為特徵，所述處理器包括：(a)用於獲得通過至少一個UWA透鏡捕捉到的輸入圖像資料的裝置；(b)用於選擇包含至少一個UWA透鏡的視場的2D表面包絡的裝置；(c)用於構造將輸出圖像平面映射到表面包絡上的包絡變換的裝置；(d)用於連結UWA透鏡映射和包絡變換以獲得零內容損失變換的裝置；以及(e)用於將零內容損失變換施加到輸入圖像資料以獲得輸出圖像的裝置；以便圖像透視在輸出圖像中得到基本上改善。
24. 根據申請專利範圍第23項所述的處理器，其中所述處理器還包括：用於修改表面包絡和包絡變換中的至少一個以針對在至少一個關注區域中的透視修正進行局部調 整的裝置。
25. 根據申請專利範圍第24項所述的處理器，其中所述處理器還包括：用於使能至少一個關注區域的手動選擇的裝置。
26. 根據申請專利範圍第24項所述的處理器，其中所述處理器還包括：用於使能至少一個關注區域的自動選擇以響應於捕捉到的圖像的改變的裝置。
27. 根據申請專利範圍第24項所述的處理器，其中所述處理器還包括：用於將縮放比例變換、縮放變換、旋轉變換和反射變換中的至少一個施加到至少一個透視修正的關注區域的裝置。