TW201439665A - 全景影像及／或視訊擷取裝置的全景鏡片校準 - Google Patents

Abstract

一種用於校準全景透鏡的方法，該方法包括：提供一個全景透鏡；安裝所述全景透鏡到定位平臺；提供具有非等寬高的成像感測器的印刷電路板；大致將全景透鏡的縱向軸線與成像感測器的採集面的法線方向對齊；並且，按照搜索演算法反復運動定位平臺以獲得校準圖像。搜索演算法採用調製傳遞函數(MTF)得出的結果值來否定或肯定所述全景透鏡相對於所述成像感測器的校準過程。

Description

全景影像及/或視訊擷取裝置的全景鏡片校準

本發明涉及一種全景影像拍攝設備，尤其涉及在裝配一個全景成像的數碼相機的過程中，校準全景魚眼透鏡的系統與方法。

在數碼成像領域，對於全景影像拍攝的需求日益增長。

本案所述的“全景影像拍攝”是指包括靜態和動態影像拍攝，該影像具有大於2 π弧度(半球)的視野範圍，通常光軸從天頂延伸超過200°或100°。這樣的魚眼透鏡的成像裝置能夠拍攝被稱為圍繞光軸的“360度照片”。當影像投射到成像感測器時，輸出的圖像是長圓形的。例如，一個360度照相機可以提供典型的全景照片，且產生身臨其境的體驗，例如但不僅限於：虛擬旅遊，房地產銷售的虛擬展示，監控影像，融入式會議等。對於本案的下述內容，“全景影像拍攝，照相機及/或透鏡”是指代相應技術的最新設備。

當前成像感測器不具有非等寬高比，其可 被用於其他目的，例如全景影像拍攝，視訊捕獲，三維圖像/視訊捕獲等。使用常規的魚眼透鏡，將浪費具有非等寬高比的成像感測器的大量的圖元。

一個Panomorph魚眼透鏡設計為通過控制畸變和優化成像感測器表面，以最大限度地提高物件空間解析度。如透鏡的入射視野被設計為覆蓋矩形成像感測器上的最大投射面積，其中輸出圖像區域是長圓形的。第1圖示出了這種現有技術的ImmerVision生產的全景透鏡，其聚焦時，投射圓型的虛像為非均勻成像感測器上的橢圓。這樣，視野被投影為所述成像感測器陣列上的一個橢圓。

全景透鏡能夠被調諧到具有非常大的景深，在聚焦時，對距離照相機非常近直至無窮遠處的物體進行成像，在此情況下，後焦距是很淺的。因為後焦距很淺(幾微米)，並且因為投影視野完全包含在成像感測器區域內，實現透鏡焦平面與成像感測器的表面的對準是一個非常困難的任務，尤其是涉及到以具有競爭力的價格大規模生產全景透鏡的問題。額外的製造缺陷，例如但不限於，相對於光軸的對稱性不良問題，必須得到解決，以獲得良好的圖像解析度。

在生產透鏡時進行逐個透鏡的校準，將對採用全景透鏡的全景相機的圖像品質產生很大的提高。

在解決方案的一些實施例中提供了，一種 校準全景透鏡的方法，該方法包括：提供一個全景透鏡；安裝所述全景透鏡到定位平臺；提供具有非等寬高比的成像感測器的印刷電路板；大致將全景透鏡的縱向軸線與成像感測器的採集面的法線方向對齊；並且，按照搜索演算法反復運動定位平臺。

在解決方案的其他實施例中提供了，一種校準方法，其特徵在於，所述定位平臺調整全景透鏡和成像感測器之間的距離，所述搜索演算法包括一個Z軸旋轉掃描。

在解決方案的其他實施例中提供了，一種校準方法，其特徵在於，所述定位平臺調整全景透鏡和成像感測器之間的六自由度，所述搜索演算法包括所有自由度的搜索。

根據解決方案的一個方面，提供了一種用於校準廣角環繞透鏡的方法，所述方法包括：提供一廣角環繞透鏡；安裝所述環繞透鏡到定位平臺；提供具有成像感測器的印刷電路板；提供至少一個目標；大致將環繞透鏡的縱向軸線與成像感測器的採集面的法線方向對齊；並且，根據目標評估值反復運動所述定位平臺的至少一個位置或取向方向。

在解決方案的其他實施例中提供了，一種方法，其中，所述定位平臺調整環繞透鏡和成像感測器之間的距離，所述反復運動包括Z軸旋轉掃描。

根據解決方案的另一個方面，提供了一種 方法，其中，所述定位平臺調整環繞透鏡和所述成像感測器之間的六自由度，所述反復運動包括多個自由度的旋轉掃描。

根據解決方案的另一個方面，提供了一種方法，其中所述目標包含遠離所述環繞透鏡的光軸的至少三個目標。

根據解決方案的另一個方面，提供了一種方法，其中所述目標包括一個頻率掃描圖案，優選為正弦頻率的圖案，在形狀上優選為圓形。

根據解決方案的另一個方面，提供了一種方法，其中所述目標包含：投影為所述成像感測器上的正方形圖像物件的畸變的目標圖像。

根據解決方案的另一個方面，提供了一種方法，其中所述成像傳感器具有非等寬高比。

根據解決方案的另一個方面，提供了一種方法，其中所述環繞透鏡投射橢圓圖像到所述成像感測器。

根據解決方案的另一個方面，提供了一種方法，其中所述環繞透鏡是Panomorph透鏡。

根據解決方案的另一個方面，提供了一種製造全景相機的方法，包括：將成像感測器安裝到電路板上；校準廣角環繞透鏡；將環繞透鏡固定到成像感測器上。

根據解決方案的另一個方面，提供了一種方法，其中所述成像感測器上設置有套筒，所述固定包括固化黏合劑來連接所述環繞透鏡到所述套筒。

可以通過參照本發明的附圖和下面實施例的詳細描述，更好地理解本發明，其中：第1圖是一個現有技術的全景透鏡的示意圖；第2圖是一個示意圖，示出了本發明的實施方案的全景相機的全景成像裝置的分解側視圖；第3圖是另一示意圖，示出了本發明的實施方案的全景成像裝置的分解透視圖；第4圖是本發明的解決方案的6個自由度的定義的示意圖；第5圖是一個示意圖，示出了本發明的實施方案的全景透鏡在安裝入一個全景照相機的過程中，被固定而校準；第6A圖是一個示意圖，示出了本發明的實施方案的的校準外殼和校準目標示例的位置；第6B圖是一個示意圖，示出了由成像感測器成像的視野的畸變；第7圖是一個示意圖，示出了一個通用的聚焦評估過程，用於評估透鏡的解析度；第8圖是一個示意圖，示出了本發明的實施方案的全景透鏡的一個迭代的聚焦評估過程中的資料處理流程；第9圖示出了視覺品質評估通常採用的USAF-1951圖案；第10A和10B圖示出了白雜訊和白雜訊的傅立葉變換； 第11A和11B圖示出了模糊的白雜訊和模糊的白雜訊的傅立葉變換；第12A和12B圖示出了一個圖案的傅立葉變換、16個平均方向與回歸疊加結果的1D採樣；第13A圖是一個示意圖，示出了2D莫爾(Moiré)圖案的數位化的校準圖案；第13B圖是一個示意圖，示出了2D莫爾(Moiré)圖案在校準後的全景透鏡的視野中的數位化場校準圖案；第14A、14B和14C圖是本發明的實施方案的示意圖，示出了校準目標分別在X，Y和Z軸的例子；第14D和14E圖是本發明的另一個實施方案的示意圖，示出了在X軸校準目標的左側和右側採用輔助校準目標的例子；第15A圖是一個示意圖，示出了本發明的實施方案的卵形的成像校準；第15B圖是一個示意圖，示出了本發明的實施方案，在好的聚焦的情況下，具有多個MTF值的卵形的成像校準；第16圖是一個本案的解決方案的示意圖，示出了用於校準外殼的卵形的成像校準，該校準外殼採用了圓形正弦頻率掃描圖案、邊緣檢測和USAF-1951圖案；第17圖是一個本案的解決方案的示意圖，示出了用於校準外殼的卵形的成像校準，該校準外殼採用了圓形正弦頻率掃描圖案和相應的測量值； 第18A和18B圖是示意圖，圖解示出了本發明的實施方案的校準圖案的檢測；第19圖是一個示意圖，示出了本發明的實施方案的一個斑點內的校準圖案的檢測；第20圖是一個示意圖，示出了第19圖中本發明的實施方案檢測到的校準圖案的傅裏葉變換；第21A圖是一個示意圖，示出了本發明的實施方案的頻率衰減檢查的方向；第21B圖是一個示意圖，示出了本發明的實施方案的頻率衰減檢查的方向；第22圖示出了本發明的實施方案的全景透鏡校準過程的流程；第23A圖示出了本發明的實施方案的全景透鏡校準的橢圓型檢測過程的流程；第23B圖是本發明的實施方案的圖元合併的曲線示意圖；第24圖示出了本發明的實施方案的全景透鏡校準調整過程的流程；第25圖示出了本發明的另一個實施方案的全景透鏡校準調整過程的流程；第26圖示出了本發明的另一個實施方案的全景透鏡校準過程的流程；以及第27圖示出了本發明的另一個實施方案的全景透鏡校準迭代過程的流程。

根據本案的解決方案的實施例，第2圖和第3圖分別示出了全景成像元件的分解側視圖和透視圖。如第2圖中的從左至右和如第3圖中的從前面到後面，全景成像元件的部件包括一個全景透鏡模組，一個套筒，一個具有成像感測器的印刷電路板(PCB)，一個散熱/減振墊，一個支撐架和用於將印刷電路板機械性的偏置在支撐架上的張力/振動吸收元件。在一些實施例中，支撐架是金屬的，並且可以進一步被配置為還為成像感測器的電路板散熱。取決於全景照相機的預期用途，可以使用紅外(IR)濾波器以衰減入射的紅外線。

本領域的普通技術人員應當理解，元件的製造和裝配分別會導致製造和裝配誤差。一些製造/裝配誤差具有較寬鬆的誤差容限，可以降低了製造成本；而另一些誤差具有很嚴格的誤差容限，以生產出一個可用的全景透鏡。

如前所述，全景透鏡具有非常大的景深，可以從無窮遠到透鏡前的幾英寸。對準成像感測器平面具有嚴格的誤差容限，作為成像傳感元件，其誤差是奈米級的。因為照相機的後焦深很淺，並且視野投射到感測器的矩形區域內，因此在製造過程中有必要對感測器/透鏡的相對位置進行微調(校準)。

如果全景透鏡的光學聚焦平面和具有光敏元件的成像感測器的物理平面一致，則遠離全景透鏡的被 拍攝物體永遠能被聚焦。然而，成像感測器表面是平面的，而全景透鏡的聚焦面是非平面的(彎曲的)。因此，全景透鏡相對於所述成像感測器的位置和方向需要被優化，包括視野相對於所述成像感測器居中對齊。同時，成像感測器的非等寬高比打破了軸對稱的特性，這帶來了額外的挑戰。可以通過全景透鏡和成像感測器之間的幾微米的可調節性的來滿足透鏡的解析度。一旦組裝完成後，全景透鏡和成像感測器之間的相對運動應該是可以忽略不計的(防震的)，否則，要實現自動對焦會相應地增加製造成本。

由於在製造全景透鏡的鏡筒時，很難實現嚴格的機械公差，因此，選擇的裝配方法是使用膠結劑/黏結劑/黏合劑來固定全景透鏡模組與所述成像感測器的相對位置和取向。將所述成像感測器安裝到PCB可能在所有六個自由度上產生誤差，包括X-Y-Z平移(位置)的誤差和圍繞X-Y-Z旋轉軸轉動誤差，也分別被稱為限定取向的U-V-W角位移。在第4圖中顯示了六個自由度的定義。光軸為Z軸，而w是繞Z軸的旋轉。X和Y軸是全景相機在橫向、向前(或向後)延伸。

全景透鏡模組單元的製造公差不需要針對安裝在特定PCB上的一個特定的成像感測器的互補公差來製造。例如，全景透鏡被設計通過黏合劑固定到套筒上。套筒是之前通過定位孔固定到PCB上的，其誤差為較弱的XY對準(約0.05毫米)。裝配後，PCB和套筒彼此不移動，並且可以被認為是一個單一的機械實體。裝配前，套筒和 全景透鏡之間沒有物理連接，因此需要固定6個自由度(DoF)，如第4圖。

按照本案的技術方案，將全景透鏡安裝到一個全景相機內，包括使用定位平臺將全景透鏡與所述成像感測器的平面對準，當全景透鏡處於所確定的位置和方向時施加少量黏合劑，等待少量黏合劑固化，然後從定位平臺上取下組裝好的全景透鏡和成像感測器的組合。取下後，可以再添加充分的黏合劑用於必要的固定。例如，黏合劑可以由機器人臂施加。對準過程包括具有品質控制步驟的校準操作，品質控制步驟可以接受或拒絕全景透鏡模組。

第5圖示出了一個商用的六自由度定位平臺，具有0.1微米內的精度/重複性。如圖所示，全景透鏡位於200cm邊長的立方體校準外殼的中心，所述定位平臺的頂面朝向垂直向上。圖中還有用於傳輸成像感測器形成的圖像的資料電纜。第5圖還示出了投射在校準外殼上的3個校準目標的示例。校準外殼和校準目標提供了一個類比的，眾所周知的，通過成像感測器的輸出資料對全景透鏡對焦的周緣容許的評估。校準過程是含有成像感測器的PCB和全景透鏡之間的機械調整過程。

按照本案的技術方案，第6A圖示出了使用校準外殼來顯示其上的校準目標的例子。示出的校準外殼大致是立方體，因為它容易通過對角線的測量來建立。然而，本發明並不限定於立方體外殼，為了實現相應的需求， 校準外殼可以是球形、橢球形、藥丸形、圓柱形等。

回到這裏討論的圖示的立方體校準外殼，全景透鏡將立體入射角映射到非均勻寬高比的成像感測器上的橢圓形，不同的XYZ軸方向具有不同的解析度：在X和Y方向上映射到該成像感測器的縱軸和橫軸，而在Z方向上映射到所述成像感測器的中間。如第6B圖所示的示例表明了映射造成的畸變。對準包括全景透鏡相對於由設置於全景透鏡下的校準工作臺的夾具固定的成像感測器電路板的六自由度的相對位置設置。

按照本案的技術方案，第7圖示出了通過評估透鏡所獲取的圖像的解析度進行一個通用的聚焦評估過程。可以通過最大化每個校準目標獲得的最低性能值來調整相對位置(位置和方向)，從而實現該透鏡的解析度最大化。如下所述，對於一個全景透鏡，針對所獲取的圖像的投影視野內的一組區域的透鏡解析度進行評估。第8圖示出了本發明的實施方案的全景透鏡的一個迭代的聚焦評估過程中的資料處理流程。如果校準位置和方向不能使圖像的品質高於閾值時，全景透鏡將被拒絕。

透鏡解析度是針對各種入射角使用調製傳遞函數(MTF)的標準來表示。一般的，MTF標準通過透鏡能夠成像的最好的特徵來評估，而不一定是通過可分辨的最小的特徵來評估。通常，MTF是使用ISO標準12233中的5°傾斜的邊緣測量技術來測定，在此將該標準引入作為參考。

第7圖中簡單的呈現了視覺化的一維MTF。一個圖案具有在一定範圍內的連續的頻率，下稱為1D頻率掃描。本發明不限於此，在圖示的例子中，頻率掃描是印刷的正弦掃頻。值得注意的是，在印刷的圖案中顯示高頻內容。當該圖案被一個透鏡觀察到時，該透鏡的輸出是低頻率時的高對比度和高頻率時的低對比度。透鏡的輸出可以由成像感測器捕獲，形成一定解析度和數位化的圖像。

評估包括輸入和輸出圖像的繪製圖元值。第一種具有恆定幅度，由於有限的採樣(比圖案印刷解析度低的採樣解析度)，呈現為低頻率的正弦採樣和高頻率的莫爾圖案。輸出的幅度是由MTF調製。輸出幅度的包絡線由表示MTF的第一曲線(在這種情況下是1)的包絡線分割。本發明並不限定於一個恆定幅度的輸入圖案。

隨著頻率的增加，透鏡的MTF下降。MTF是透鏡解析度的一個指標，並且隨著與透鏡的光軸之間的徑向距離變化。當MTF是其最大值的50%(MTF50)時的頻率表示為成像感測器區域上每1mm間隔內的對線數。而線的毫米值是代表在一定距離處可見的最小線間距，例如10英寸。MTF50的近似值被選為透鏡解析度的指標。使用一個解析度比透鏡高很多的成像感測器是沒用的，並且對應於透鏡解析度的成像感測器的最小解析度被稱為照相機的有效解析度。例如，一個採用14Mpx成像感測器的全景透鏡，有一個放大係數，使得對應於成像感測器上的一個圖 元，1米外的最小區域為2mm×2mm。因此，一個更大的校準外殼不會改善透鏡的定位。

回到討論本案解決方案的全景透鏡，在成像感測器上的被成像的視野是二維的。人們發現，全景透鏡往往具有方向性的局部缺陷。因此，在多個方向上測量MTF是很重要的。透鏡的解析度在多個方向上進行檢查，解析度閾值(用於多個方向)的樣板用來接受或拒絕一個透鏡塊(校準過程和品質保證測試提供一個MTF50圖形，用於接受或拒絕一個透鏡塊)。例如，如第9圖所示的現有技術USAF-1951校準目標圖案僅可以用於水準和垂直解析度的測量，且它的使用依賴於個人的主觀評價。結果發現針對USAF-1951校準目標圖案的解釋，每個評估人的差異很大。

根據本案的解決方案，採用具有傅立葉變換測量的測量方法和圖案來代替直接的空間測量。

第10A和10B圖示出了白雜訊和白雜訊的傅立葉變換，而第11A和11B圖示出了模糊的白雜訊和模糊的白雜訊的傅立葉變換。模糊是修改了傅立葉變換的高頻部分，並且第11B圖的傅立葉變換的效果比空間圖像上更明顯。

在模擬漸進的模糊時，發現了一種自動分析傅裏葉變換的形狀的方法，其通過對沿不同角度的頻率回歸，具有以下函數：f(r)=max(a0-nu * a0/(2*nu_c),noise_floor) 其中：．a0是在nu=0時的幅度，並且．nu_c是幅度為a0/2時的頻率。

如第12A和12B圖所示，這個簡單的回歸是通過觀察二維傅裏葉變換的1D採樣的方向而得到的曲線的形狀來產生的。

取得圖像的傅立葉變換，檢查其幅度的形狀與頻率的關係，以獲得頻率截止值nu_c。通過對MTF使用1D線性頻率掃描的直接觀察與從2D圖案的傅立葉變換截止頻率的觀察的比較發現，一個簡單的線性關係，就足以評估MTF50與nu_c的關係：MTF50=alpha*nu_c alpha接近1，且依賴於圖案。

具有圓形正弦頻率掃描圖案的校準目標具有如下優點：．無論聚焦成功與否，可以提供了一個性能指標值，．提供了良好的聚焦的視覺線索，如第13A圖的校準目標的莫爾圖案和如第13B圖的良好的聚焦的全景透鏡，以及．提供全方位的解析度測量，這對本案使用的全景透鏡，也即高視野的魚眼透鏡是非常重要的。

作為莫爾圖案的形式提供的良好的聚焦的視覺線索，非常類似於第7圖的數位化的1D圖案。對應的圖元的公式為： u(r)=0.5+0.5sin(2π．c/2．r．(f _min +r．(f _max -f _min ))其中c是正方形的邊長，r是從圖像中心到圖元位置的歸一化半徑， 類比表明，最大頻率只需要高於最大測量頻率，僅用較小的安全因素使得正方形的尺寸得到適應(被改變)。

第14A、14B和14C圖示出了本案的解決方案採用立方體校準外殼和校準目標分別位於X、Y和Z軸的例子。校準目標被繪製為在成像感測器平面上看起來像正方形，其中採用反射投影的方法。採用捕獲正方形的形狀，極大地簡化了所獲得的圖案的圖元的二維快速傅立葉變換(FFT)的計算。第14D和14E圖是本發明的另一個實施方案的示意圖，示出了在X軸校準目標的左側和右側採用輔助校準目標的例子。第15A圖示出了通過全景透鏡所獲取的校準圖像。校準目標通過斑點檢測在大搜索區域中被發現，並且在每個搜索區域中選擇一個寬闊的方形區域。第15B圖顯示了良好聚焦的全景透鏡。同時也顯示了每個斑點中對於每個校準圖案的聚焦的方法。本發明並不限於採用圓形正弦掃頻圖案。方形高對比度圖案可以用於邊緣檢測。也示出了採用放射狀圖案。第16圖示出了本案中用於校準外殼上的橢圓形成像校準，該校準外殼採用了圓形正弦頻率掃描圖案、邊緣檢測和USAF-1951圖案。第17圖示出了另一個用於校準外殼上的卵形的成像校準，該校準外殼採用了大量的同心圓分佈的圓形正弦頻率掃描圖案 和相應的測量值。需要明確，本發明不需要使用一個佈滿校準目標的整個校準框與的全長互補，基於對稱性的考慮，採用校準框的四分之一就夠了。

對於每個校準目標，更大的方塊大小(觀察的圖元數)，則能產生更精確的測量值，但也就需要更長的計算時間。一個約256圖元的方塊大小被認為是足夠好的。根據橢圓圖像上所需要的形狀，生成校準圖案並列印出來。在成像視野中的(X，Y)位置被轉換成成像感測器框上的x,y位置，然後被轉化為使用由製造商提供的透鏡映射函數計算得到的進入全景透鏡的入射角。該入射角對應於在校準外殼上的一個位置，其對應於校準目標上的圖元。

可以通過對校準圖案和一個線性頻率掃描圖案採用同一水準的模糊，然後通過直接空間測量方法或其替換方法來測量MTF50，就可以很好地獲得校準圖案。理想情況下，測量結果應該一致。現實條件下的適用性是很重要的，即測量的演算法需要即適用於類比資料，也適用於實驗資料。

參見第8圖，定位平臺，例如第5圖所示的六足支撐的平臺，其基於測量的改進演算法，迭代地從最後一個位置上移動。例如，所述移動方式可以優先考慮以下順序：u，v，w，x，y，z。

用透鏡校準夾具固定的所述成像感測器被配置為以原始解析度發送原始圖像資料。接收到的資料依賴於所述感測器的幾何形狀；作為預處理步驟，資料可以 被轉換為亮度值，例如，當校準圖案是灰度圖時。在校準外殼的已知位置上的一張白紙提供所需的白平衡校準值，其用於在不失真的情況下，從原始圖像資料獲得亮度值的線性修正。在實踐中，成像感測器採用具有R/Gr/Gb/B 2×2圖元矩陣元素的幾何形狀的拜爾濾光鏡。通過將4個分量的每一個變換為相應的亮度值而獲得亮度值。

通過獲取和將原始資料轉換成亮度值的預處理，採用校準電腦執行斑點檢測的可執行邏輯指令，斑點檢測可以測得圓型正弦掃頻圖案。第18A和18B圖圖示說明了校準圖案的檢測。然後如第19圖所示，在斑點內發現了方形校準圖案的圖像，並且計算了發現的方形圖案的傅裏葉變換。對應於第19圖所示的方形校準圖案的傅裏葉變換如第20圖所示。根據本案的一個實施方式，方形的圖像採用歸一化的強度(在傅裏葉變換計算之前)。

然後在各個方向上檢查傅立葉變換的頻率衰減。第21A圖示出了特定方向的檢查示例。如第21B圖所示，通過一個包含線性部分加雜訊閾值的函數，執行了一個最小的方形回歸。解析度得分(MTF50值)取自最合適的線性函數的斜率。最差的解析度得分(MTF50值)被選擇為測量值。根據本案的技術方案，為了減少Bayer圖案值引起的雜訊，從而提高回歸，並且減少不良圖元的影響，施加一個非常小的高斯模糊到方形圖像。高斯雜訊的引入可以被控制，採用高截止頻率以不影響解析度(MTF50)的計算。

根據本案的技術方案，可以使用一個全景透鏡定位搜索演算法，以找出全景透鏡相對於成像感測器在所有6個軸上的最佳位置。

根據本案的技術方案的一個實施例，並參照第22圖，視野投影(輸出橢圓)與所述成像感測器對準，更具體的，視野投影(輸出橢圓)投影到成像感測器上的軸線與所述成像感測器的軸對齊。投影輸出橢圓的輪廓是估計的，且可以執行橢圓的回歸。從橢圓的回歸分析可以獲得橢圓的參數，包括：中心、方向角、長、短軸尺寸。可以從橢圓回歸的參數中提取出W-X-Y參數。根據定位平臺的已知的起始位置，能夠確定是否基於所述橢圓的大小來增加或減小Z。

根據本案的技術方案的一個實施例，並參照第23A圖，一個橢圓檢測演算法包括：

1. 估計圖像模糊；2. 如果圖像是模糊的，對一個模糊閾值進行判斷，獲得圖像的直方圖；3. 直方圖符合採用最大期望(EM)演算法的兩條鐘形狀曲線；4. 基於直方圖的分離方法，其中所述直方圖在兩條鐘形狀曲線之間分開(參見第23B圖)，將圖元合併；5. 對合併的圖元進行封閉輪廓檢測；和6. 淘汰壞的輪廓。實踐發現，位於橢圓外的輪廓是由閃光造成的。這樣的輪廓有位於一個對應於所述成像感測器的 預定尺寸的橢圓外部的質心。

7. 例如，可以使用具有橢圓的直接最小二乘擬合的Fitzgibbon-Pilu-Fisher方法，但本發明不限制於此，對所確定的輪廓象素擬合。

根據本案的技術方案的另一個實施例，另一個橢圓檢測演算法包括：

1. 對圖像進行濾波，以消除高頻雜訊。

2. 對圖像進行二值化處理，以獲取視野輪廓的3個圖像主導色調：黑平衡，白平衡和目標灰度等級。二值化可以通過分離直方圖中的黑色和灰色波峰之間的波谷來執行。直方圖分離可以使用EM演算法，例如k平均的聚類演算法，或簡單地使用一個固定的閾值來進行。

3. 對二值化圖像進行封閉輪廓檢測。淘汰壞的輪廓。實踐發現，位於橢圓外的輪廓是由閃光造成的。這樣的輪廓有位於一個預定尺寸的橢圓外部的質心。

4. 對輪廓進行橢圓擬合，並提取出橢圓的方向(w)，中心(x，y)和尺寸。例如，可以使用具有橢圓的直接最小二乘擬合的Fitzgibbon-Pilu-Fisher方法，但本發明不限制於此，對所確定的輪廓象素擬合。

根據本案的技術方案的一個實施例，並參照第24圖，一個全景透鏡校準調整演算法包括：

1. 檢測橢圓(但本發明不限制於此，如上面詳述的)

2. 從獲得的橢圓參數估計W-X-Y參數。X和Y分別是橢圓中心的座標，W是橢圓角。

3. 從橢圓的大小估算Z位移。所製造的全景透鏡的規格列出了一個具有一定尺寸的校準後的透鏡的投影橢球。由未校準的橢圓大小和獲得的W-X-Y參數，可以確定所述全景透鏡在某個方向的光軸上移動，可以使橢圓校準到到一定的大小。

4. 控制定位平臺沿W-X-Y-Z方向移動；和5. 從第1步起再開始校準，直到無法進一步的改進。

根據本案的技術方案的另一個實施例，另一個全景透鏡校準調整演算法包括：

1. 從成像感測器採集圖像；2. 對感測器獲得的圖像進行橢圓檢測；3. 計算在感測器的幾何框內的相對運動：．通過橢圓面積與預期值的比較，沿z軸移動，產生不精確的Z位置；．通過橢圓中心和感測器中心的比較，沿x方向移動(相應的y方向)；．根據橢圓的旋轉位置，沿w轉動。

4. 如果運動向量值小於預設的閾值，則終止演算法。

5. 將wxyz座標轉換到WXYZ座標中，從而計算六足支撐平臺的相對運動。

6. 移動六足支撐平臺。

根據本案的技術方案的另一個實施例，並參照第25圖，採用沿X-Y-Z軸的搜索，用於實現全景透鏡相對於所述成像感測器的對準： 1. 使用二分法類演算法找到對應於中心目標的最佳MTF50值；2. 執行隨機的二分法類的搜索演算法，調整U(相應的V)以最大化長軸(相應的短軸)上2個目標的最低MTF50值。

根據本案的技術方案的另一個實施例，並參照第26圖，另一種全景透鏡校準和調整演算法包括：通過沿Z軸的恆定步進掃描，以定位所述成像感測器的聚焦平面。

從一個足夠好的Z位置開始，例如在中心目標上實現預期MTF50值的70%，演算法執行沿Z軸的掃描，針對校準目標收集MTF50值。對所收集的值進行回歸分析(regression)，直到收集到足夠的資料以確定Z軸相移的結果。通過調整定位平臺的Z軸，以最大化所有目標的MTF50測量值，從而估計出成像感測器的聚焦平面的Z軸的位置。然後全景透鏡對應於聚焦平面移動到所述Z軸的位置上。

根據一個實施例，一個ZUV路徑控制演算法包括：

1. 從成像感測器採集圖像；2. 目標檢測和提取解析度值；3. 存儲當前的Z值和解析度值。

4. 如果有足夠的資料可用時，使用曲線對每個Z值曲線進行回歸分析。當前的曲線是一個具有背景雜訊位準的三角形。其參數是最大值，斜率和雜訊值。

5. 決定是否停止資料獲取，還是繼續搜索迴圈。停止資料獲取的條件是以下一者：我們的結果與該最大值差距非常大；該最大值在一定範圍內；該斜率高於某個閾值。如果條件滿足，則已經找到了Z，U，V軸的最佳位置，然後進行第7步。

6. 移動到另一個Z位置，擴大搜索區域，然後回到第1步。

7. 移動到最佳位置。

根據一個實施例，在一個Z軸掃描的MTF50測量值搜集過程中，該演算法包括執行一個回歸分析，以提供全景透鏡對準參數的估計曲線。例如，這樣的曲線類似一個具有背景雜訊的三角形。其參數是最大值，斜率和雜訊值。而停止迭代過程的條件是如下之一：定位平臺的調整與該最大值差距非常大；該最大值在一定範圍內；該斜率高於某個閾值。值得注意的是，成像感測器的傾斜不影響成像感測器的位置，因為所述定位平臺被移動時，僅需要獲得X-Y-Z值。更具體的步驟，並參照第27圖：1. 執行自動XY校準實現橢圓定心；2. 確定Z位置(粗略的)；a. 通過U或V方向的移動；b. 確定新的橢圓位置；c. 調整在Z方向上與理想值的距離差，以儘量減少橢圓的位置偏差(徑向的)；3. 確定在X/Y軸上與理想值的距離差(理想值是零)a. 檢查橢圓位置； b. 執行W轉動(W+=1°)；c. 檢查橢圓位置；d. 返回到W=0；以及e. 根據橢圓的運動調整X/Y 4. 從第1步重新開始，直到XYZ徑向距離差足夠小。

根據另一實施例，另一種演算法包括：

1. 執行自動XY校準實現橢圓定心；2. 從初始的估計位置，確定Z軸上的距離差

1. 確定初始的橢圓位置

2. 執行顯著的U或V移動

3. 確定新的橢圓位置

4. 調整Z，以儘量減少橢圓的位置偏差(徑向的)

3. 確定在X/Y軸上的距離差(理想值是零，但一般不能實現零)

1. 確定為W=0時的初始橢圓位置

2. 執行W轉動(W+=1°)

3. 確定新的橢圓位置

4. 返回到W=0

5. 根據橢圓的運動調整X/Y：

1. 根據Y的運動調整X

2. 根據X的運動調整Y

4. 從第1步重新開始，直到XYZ徑向距離差足夠小。

上述演算法具有以下的優勢：1. 由於W的旋轉角度較小，感測器幀與六足支撐框架的 X(相應的Y)方向的偏心率與橢圓形視野的中心的Y(相應的X)方向上的位移是線性關係；2. 在校準透鏡過程中，W方向的旋轉不會影響感測器幀與六足支撐框架的Z分量偏心率(六足支撐平臺的Z軸與光軸是交叉的，聚焦平面的法線與感測器平面是交叉的)；3. X/Y軸偏心率應該較小，因此在U方向移動時，Y方向的偏心率影響相對於Z方向的偏心率影響較小。

本發明的校準目標不限於貼在校準外殼的內壁上的帶有印刷校準目標的板。例如可以採用在相同的外殼上的數碼投影機，其具有優於每4平方毫米一個圖元的投影解析度。使用投影儀，例如但不限於具有一定尺寸和功耗的微型投影儀，可允許使用多個圖案以改進MTF的測定。

雖然本發明參照優選的實施例進行了描述和說明，但本領域技術人員可以在形式和細節上做出各種變化，而不脫離本發明如所附的申請專利範圍的精神和範圍的定義。

Claims (11)

1. 一種用於校準廣角全景透鏡的方法，該方法包括：提供一個廣角全景透鏡；提供一個具有成像感測器的電子板；在一個定位平臺上安裝所述全景透鏡和所述電子板中的一個；提供至少一個攝像頭的測試圖，其包括至少一個解析度測量圖；將所述全景透鏡的光軸與所述成像感測器的採集面的法線方向進行大致對準；以及根據目標評估值，反復移動所述定位平臺中的至少一個位置或取向方向，以將視野的投射對齊到所述成像感測器區域的中心，將聚焦平面對齊到所述成像感測器的成像平面。
2. 一種如申請專利範圍第1項所述的方法，其特徵在於，所述定位平臺調整所述全景透鏡和所述成像感測器之間的距離，以確定一個平面使至少三個解析度測量圖的解析度值最大化。
3. 一種如申請專利範圍第1或2項所述的方法，其特徵在於，所述定位平臺調整所述全景透鏡和所述成像感測器之間的6個自由度，所述反復的移動包括多自由度的掃描。
4. 一種如申請專利範圍第1、2或3項所述的方法，其特徵在於，所述的解析度測量圖包括彎曲的目標圖像， 其被投影為所述成像感測器上的方形圖像物件。
5. 一種如申請專利範圍第1-4項中任一項所述的方法，其特徵在於，投射在聚焦平面上的所述的解析度測量圖包括一個寬頻內容的圖案，該圖案包括一個圓形的正弦頻率掃描圖案和一個白雜訊圖案中的一個，優選地是圓形的正弦頻率圖案。
6. 一種如申請專利範圍第1至5項中任一項所述的方法，還包括：獲得解析度的閾值。
7. 一種如申請專利範圍第1至6項中任一項所述的方法，其特徵在於，所述成像傳感器具有非均勻的寬高比。
8. 一種如申請專利範圍第1至7項中任一項所述的方法，其特徵在於，所述全景透鏡投射一個長圓形圖像到所述成像感測器。
9. 一種如申請專利範圍第1至8項中任一項所述的方法，其特徵在於，所述透鏡是Panomorphic透鏡。
10. 一種製造一個全景攝像頭的方法，包括：將一個成像感測器安裝到一個電路板上；使用申請專利範圍第1-9項中的任一項所述的方法校準廣角全景透鏡；將所述全景透鏡固定到所述成像感測器。
11. 如申請專利範圍第10項所述的方法，其特徵在於，所述成像感測器上設置有套筒，所述固定步驟包括固化黏接劑將所述全景透鏡連接到所述套筒。