TWI820246B - 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品 - Google Patents

具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品 Download PDF

Info

Publication number
TWI820246B
TWI820246B TW108140023A TW108140023A TWI820246B TW I820246 B TWI820246 B TW I820246B TW 108140023 A TW108140023 A TW 108140023A TW 108140023 A TW108140023 A TW 108140023A TW I820246 B TWI820246 B TW I820246B
Authority
TW
Taiwan
Prior art keywords
image
mapping
wide
projection
modified
Prior art date
Application number
TW108140023A
Other languages
English (en)
Other versions
TW202029056A (zh
Inventor
克莉斯汀 維爾甘
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW202029056A publication Critical patent/TW202029056A/zh
Application granted granted Critical
Publication of TWI820246B publication Critical patent/TWI820246B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一種設備包含一接收器(201)，該接收器接收具有一第一投影之一廣角影像，其中一場景位置之一垂直影像位置取決於從該場景位置至該影像之一光學軸的一水平距離。因此，場景點之該垂直影像位置可取決於該水平影像位置。一映射器(203)藉由應用一映射至該第一廣角影像而產生具有一經修改投影的一經修改影像，該映射對應於從該第一投影至一透視投影之一映射、接著從該透視投影至該經修改投影之一經修改垂直投影的一非線性垂直映射、及從該透視投影至該經修改投影之一經修改水平投影的一非線性水平映射。一像差估計器(205)產生該經修改影像相對於一第二影像的像差，該第二影像表示與該第一廣角影像不同的一視點。

Description

具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
本發明係關於基於一個且一般複數個廣角影像的像差估計，且具體而言，但非排他地，係關於從使用魚眼睛攝影機透鏡所擷取之影像的像差估計。
近年來，影像及視訊應用之種類及範圍實質上增加，且持續發展及推出利用及消耗視訊的新服務及方式。
例如，一項越來越流行的服務係依使觀看者能夠主動地且動態地與系統互動以改變演現參數的方式來提供影像序列。在許多應用中，一項非常吸引人的特徵係改變觀看者的有效觀看位置及觀看方向(觀看姿勢)的能力，諸如，例如允許觀看者在所呈現的場景中移動及「環視」。
此類特徵可具體地能夠提供虛擬實境體驗給使用者。這可允許使用者在虛擬環境中(相對)自由四處移動且動態地改變其位置及其注視之處。一般而言，此類虛擬實境應用係基於場景的三維模型，其中動態評估該模型以提供特定請求的視圖。此方法是眾所周知，例如用於電腦及主控台的遊戲應用，例如在第一人稱射擊遊戲類別中。
亦希望，特別是對於虛擬實境應用，所呈現的影像係三維影 像。實際上，為最佳化觀看者的融入，使用者將所呈現場景體驗為三維場景一般而言係較佳的。實際上，虛擬實境體驗應較佳地允許使用者選擇他/她本身相對於虛擬世界的位置、攝影機視點及時間瞬間。
支援基於場景的表示(特別係三維表示)之各種服務上的一個主要問題係需要大量的資料。此導致高資源需求，諸如需要大的儲存資源。然而，在許多情景中，最大的局限非係儲存或處理需求而係通訊需求。若表示場景的資料必須透過頻寬受限的通訊頻道(無論是內部或外部)傳達係必要的，嘗試減少需要傳達的資料量係高度所欲的。
許多新內容服務的特定問題是，其等對於擷取是內容提供(content provision)基礎的場景要求實質上增加。例如，對於虛擬實境服務(諸如具體而言，自由視點視訊服務)，需要從不同位置及定向擷取場景，以產生允許針對不同觀看姿勢產生視圖影像的資料，該等視圖影像一般在擷取時未知。
在許多系統中，此係使用在不同位置且指向不同方向的相對大數目個攝影機以更完整擷取場景而達成。為了減少所需的分開之攝影機/擷取及影像的數目，往往希望使用廣角攝影機擷取場景，且通常是極廣角攝影機，諸如採用魚眼透鏡的攝影機。然而，此類廣角透鏡傾向引入實質失真，並且往往導致實境三維場景成影像的失真投影。此實質上使許多操作複雜化或劣化。具體而言，基於比較來自不同視點的兩個影像，實質上阻礙或複雜化像差及深度估計。
因此，用於判定像差資訊的改善方法將係有利的。具體而言， 允許改善操作、促進操作、改善場景表示、增加靈活性、促進實施、促進操作、改善及促進像差估計(尤其係對於廣角擷取)、及/或改善性能之方法將係有利的。
因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。
根據本發明之一態樣，提供一種設備，其包含：一接收器，其用於接收一第一廣角影像，該第一廣角影像具有至少90°之一視角及一第一投影，其中一場景位置之一垂直影像位置取決於從該場景位置至該廣角影像之一光學軸的一水平距離；一映射器，其用於應用一映射至該第一廣角影像以產生具有一經修改投影的一經修改影像，該映射提供一垂直映射函數及一水平映射函數，該垂直映射函數使來自該第一投影之一映射匹配至一透視投影，接著從該透視投影至該經修改投影之一經修改垂直投影的一非線性垂直映射，該水平映射函數使來自該第一投影之一映射匹配至該透視投影，接著從該透視投影至該經修改投影之一經修改水平投影的一非線性水平映射；一像差估計器，其用於產生該經修改影像相對於一第二影像的一組像差，該第二影像表示與該第一廣角影像不同的一視點；及一像差映射器，其用於藉由應用經應用至該第一廣角影像的該映射之一逆映射而映射一組進一步像差至該第一投影，來產生用於該第一廣角影像的該組進一步像差。
在許多實施例及情景中，本發明可提供一種用於且基於一廣角影像的改善及/或促進像差估計。一般而言，可從廣角影像提供改善的像差估 計，而不需要將這些影像轉換成具有非常高解析度的大影像(即，過大的大像素計數)，且可提供直接與該等廣角影像相關的像差值。該方法可允許改善的像差估計，同時維持大視角的相對低解析度。該方法一般可提供改善的像差估計，而不需要在搜尋程序中明確考慮魚眼影像投影的像差搜尋演算法。後者會需要重新設計現今使用且使用以水平線為基礎之掃描以進行匹配的眾多像差估計演算法。
在許多情況中，該方法可允許使用水平像差估計且可移除或減少二維像差搜尋的需求，儘管對於給定場景位置/點，第一廣角影像具有例如介於水平及垂直影像位置之間的共相依性。
在許多實施例中，該方法可允許重複使用針對窄角影像而開發的現有像差估計演算法及常式。
在許多情況中，對於像差估計，該方法可允許較低複雜度及資源使用。例如，在許多實施例中，可允許使用以線為基礎之像差估計。
該方法可允許在垂直及水平方向獨立且不同的映射。非線性映射可針對水平及垂直方向的特定需求予以最佳化。例如，水平映射可考慮水平像差估計予以最佳化，而垂直映射可在不考慮像差估計的情況中予以最佳化。可在水平方向及垂直方向使用不同的映射函數，其中個別映射函數可能針對兩個方向的個別性質及需求予以最佳化。垂直及水平映射函數可不同並且可予以個別最佳化。
場景位置可係由第一廣角影像所表示之三維場景中的位置。亦可稱為世界空間位置，如所屬技術領域中所使用。
在垂直影像位置可取決於水平影像位置的意義上，場景位置之垂直影像位置取決於水平距離(且可能反之亦然)。
在一些實施例中，非線性垂直映射包含對於在該第一廣角影像中具有相同垂直值及不同水平值的至少一些位置的相反方向之映射。
影像之投影可表示場景點至影像上或等效地在擷取影像之影像感測器或對應於影像的觀看區上的投影/映射。一般而言，實際投影取決於擷取影像所涉及的透鏡之特性，但應理解，投影可表示場景點至影像上的任何投影/映射，無論實際上是否可藉由透鏡實施此一投影(或實際上，無論是否可完全實務上實施)。投影可視為對應於來自場景點至影像的任何可能映射，且通常可描述為數學式(雖然其並非對以此方式描述、或甚至可以此方式描述的必要條件)。垂直投影可係在影像之垂直方向的投影(針對恆定水平位置)，而水平投影可係在水平方向的投影(針對恆定垂直位置)。
映射可係從一個影像至另一影像，且具體而言，該映射可係來自一組平面影像座標至另一組平面影像座標。該第一廣角影像及該經修改影像可係平面影像。該映射可係自該第一廣角影像之一影像平面至該經修改影像之一影像平面。
表示場景之任何影像固有地表示場景至影像上的投影。影像(例如，從輸入位置至不同輸出位置的映射影像位置)的空間失真導致經修改投影。
該映射器可經配置以藉由將該第一廣角影像中之影像位置映射至該經修改影像中之影像位置來產生該經修改影像。此類映射導致從該第一廣 角影像至該經修改影像的該投影之一改變。
該非線性垂直映射及該非線性水平映射可一起形成一映射，該映射的該輸出垂直位置僅取決於該輸入垂直位置，且該輸出水平位置僅取決於該輸入水平位置。該非線性垂直映射可將垂直影像位置座標映射至垂直影像位置座標。該非線性水平映射可將水平影像位置座標映射至水平影像位置座標。
根據本發明之一選用特徵，該非線性垂直映射的一映射函數不同於該非線性水平映射的一映射函數。
在許多實施例中，該方法可允許改善及/或更有效率的操作。該等非線性映射之該等映射函數的差導致水平映射函數與垂直映射函數不同。
根據本發明之一選用特徵，該非線性垂直映射的該映射函數比該非線性水平映射的該映射函數更壓縮。
在許多實施例中，此可提供改善的效能，且在許多情景中，可特別允許產生較小的經修改影像(例如，就解析度或像素計數而論)，然而仍允許精確的像差估計。
在一些實施例中，在與水平方向相比、垂直方向相同像素及/或視角範圍映射至較小像素及/或視角範圍的意義上，該非線性垂直映射比該非線性水平映射更壓縮。
在一些實施例中，在對於從該廣角影像之一影像中心的相同(分別係垂直及水平)位移、該非線性水平映射之梯度小於該非線性垂直映射的意義上，該非線性垂直映射比該非線性水平映射更壓縮。
根據本發明之一選用特徵，該第二影像表示該經修改投影。
在許多實施例中，此可允許改善及/或更有效率的操作。像差估計可基於具有場景至感測器/影像/觀看區之相同投影的兩個影像。
根據本發明之一選用特徵，該設備進一步包含一深度估計器，該深度估計器經配置以回應於該組像差及該非線性水平映射來判定該經修改影像之一組深度。
該方法可允許針對一影像之深度的一有效率且/或高效能估計。
根據本發明之一選用特徵，該映射器經配置以藉由應用一第一映射至該第一廣角影像以產生具有該透視投影的一中間影像、及應用一第二映射至該中間影像以產生該經修改影像，來應用該映射。
根據本發明之一選用特徵，該映射器經配置以執行該第一廣角影像的矯正作為該第一映射之部分。該矯正可包括一失真補償，該失真補償可係對該第一投影相對於該第一投影之一通用模型的失真之一補償。該失真補償可係對已擷取該第一廣角影像的一攝影機的失真之一補償。
在一些實施例中，該設備進一步包含一演現器，該演現器用於合成來自該第一廣角影像的一經合成影像、及從該經修改影像之該組像差所判定的像差。
在許多實施例中，該方法可允許改善影像的合成。該合成可基於原始廣角影像，即，無可被該映射引入的劣化及假影的影像。該經合成影像可係針對與該第一廣角影像之視點及該第二影像之視點不同的視點。
在一些實施例中，該演現器經配置以合成來自該第一廣角影像之一經合成影像、及該第一廣角影像的之該組像差。
根據本發明之一選用特徵，該映射器經配置以將該第一廣角影像劃分成複數個影像區段，且藉由應用一子映射至各影像區段來執行該映射，用於該複數個影像區段中之至少兩者的該子映射係不同的。
在許多實施例中，此可特別有利。例如，可促進平行處理，從而實質上縮減處理延遲。判定用於一廣角影像之像差估計的方法可特別適用於平行處理。
根據本發明之一選用特徵，該映射器經配置以執行立體矯正作為該映射之部分，該立體矯正係相對於一第二廣角影像。
此可提供改善的及/或促進的效能。
根據本發明之一選用特徵，該接收器經配置以接收一第二廣角影像，該第二廣角影像係針對與該第一廣角影像不同的視點且具有至少90°之一視角及該第一投影；且該映射器經配置以藉由應用該映射至該第二廣角影像來產生該第二影像。
根據本發明之一選用特徵，具有相對於該第一廣角影像及該第二廣角影像之光學軸的不同水平位移量值的一場景位置被投影至該第一廣角影像及該第二廣角影像中之不同垂直位置。
根據本發明之一選用特徵，該映射將該第一廣角影像及該第二廣角影像中之該等不同垂直位置映射至該經修改影像及該第二影像中的一相同垂直位置。
根據本發明之一選用特徵，該非線性水平映射具有隨著對該第一廣角影像之一中心的一水平距離增加而減小的一梯度。
此可提供改善的及/或促進的效能。
該映射可針對在該第一廣角影像中之一給定位置來判定該經修改影像中之一位置。該非線性水平映射可減小對該第一廣角影像之該中心的該水平距離愈遠而使在該經修改影像中之水平影像位置的改變。
該梯度可判定為在該經修改影像中之水平影像位置中的差(差量)除以對應於映射至該透視投影之該第一廣角影像的一影像中之水平影像位置中的差(差量)。
在一些實施例中，該非線性垂直映射具有隨著對該第一廣角影像之一中心的垂直距離增加而減小的一梯度。
該映射可針對在該第一廣角影像中之一給定位置來判定該經修改影像中之一位置。該非線性垂直映射可減小對該第一廣角影像之該中心的該垂直距離愈遠而使在該經修改影像中之垂直影像位置的改變。
該梯度可判定為在該經修改影像中之垂直影像位置中的差(差量)除以對應於映射至該透視投影之該第一廣角影像的一影像中之垂直影像位置中的差(差量)。
位置離該第一廣角影像之該中心愈遠並且愈接近該第一廣角影像之邊緣，對於對應於經映射至一透視視圖的該第一廣角影像對應之一影像的一給定影像位置改變，在該經修改影像中之影像位置改變愈小。
根據本發明之一態樣，提供一種估計像差之方法，該方法包含：接收一第一廣角影像，該第一廣角影像具有至少90°之一視角及一第一投影，其中一場景位置之一垂直影像位置取決於從該場景位置至該廣角影像之一 光學軸的一水平距離；應用一映射至該第一廣角影像以產生具有一經修改投影的一經修改影像，該映射提供一垂直映射函數及一水平映射函數，該垂直映射函數使來自該第一投影之一映射匹配至一透視投影，接著從該透視投影至該經修改投影之一經修改垂直投影的一非線性垂直映射，該水平映射函數使來自該第一投影之一映射匹配至該透視投影，接著從該透視投影至該經修改投影之一經修改水平投影的一非線性水平映射；產生該經修改影像相對於一第二影像的一組像差，且表示與該第一廣角影像不同的一視點；及藉由應用經應用至該第一廣角影像的該映射之一逆映射而映射一組進一步像差至該第一投影，來產生用於該第一廣角影像的該組進一步像差。
本發明的此等及其他態樣、特徵、及優點將參考下文描述的(一或多個)實施例闡明且將係顯而易見的。
201:接收器
203:映射器
205:像差估計器
207:演現器
501:像差映射器
601:深度估計器
將僅以舉例之方式參考圖式描述本發明的實施例，其中〔圖1〕繪示不同影像投影的實例；〔圖2〕繪示根據本發明之一些實施例用於產生像差估計的設備之元件的實例；〔圖3〕繪示不同影像投影的實例；〔圖4〕繪示不同影像投影的實例；〔圖5〕繪示根據本發明之一些實施例用於產生像差估計的設備之元件的實例；〔圖6〕繪示根據本發明之一些實施例用於產生像差估計的設備之元件的實 例；〔圖7〕繪示廣角影像之不同表示的實例；且〔圖8〕繪示由圖2之設備處理的廣角影像之舖磚的實例。
下文描述聚焦於可應用於用於例如虛擬實境或3D視訊應用的影像處理及像差/深度估計的本發明的實施例。然而，將理解本發明不限於此應用，而是可應用於例如許多不同的影像處理及演現應用。
在許多此類實施例中，可自複數個不同擷取姿勢來擷取一場景。在該領域中，用語擺置或姿勢使用為位置及/或方向/定向的共同用語，且例如物體、攝影機、或視圖的位置及方向/定向的組合實際上一般稱為姿勢或擺置。
在許多實施例中，可使用複數個攝影機或例如使用同時擷取兩個位移影像的立體攝影機，同時從複數個不同擷取姿勢擷取場景。在一些靜態場景中，可藉由使單一攝影機在不同擷取姿勢之間移動來藉由該攝影機來循序地擷取影像。
為了特徵化三維場景，除了視覺資訊外，深度資訊亦係所欲的，且在許多實施例中，藉由在(例如，對於動態場景在相同時間)從不同視點觀看場景的對應影像之間的像差估計來導出深度資訊。此類像差估計一般係基於識別介於從擷取姿勢到相同場景物體的觀看方向之間的像差。此一般藉由尋找來自從不同擷取姿勢之影像中的對應匹配影像區域/區段/物體、及判定在該等不同影像中之此等對應影像部分之間的影像位置偏移的程序來達成。
在許多實際應用(例如，諸如虛擬實境應用)中，希望擷取場景之大區段。為了做到這一點，在許多應用中使用廣角攝影機且具體而言使用魚眼透鏡攝影機特別實際。此類攝影機通常具有至少90°(在許多情況中，包括至多180°或甚至更多)的視角。
然而，此類攝影機在擷取影像時傾向引入實質失真。實際上，雖然所有攝影機可能傾向引入由場景至影像平面上之投影而導致的一些失真，但是對於較窄角攝影機，此失真經常相對小或不顯著。相比之下，這對於廣角攝影機經常相當顯著。
習知較窄角攝影機可能引入導因於場景至影像平面上之投影的一些(透鏡)失真，但是此失真一般係微小的，且可藉由將轉換或映射應用至影像以將此影像轉換成例如無失真透視投影而予以校正。
然而，廣角影像及攝影機的失真經常極端。此可由圖1之實例例示，圖中展示由小相同方形之規則等距柵格的廣角攝影機所產生的影像。圖1繪示藉由透視攝影機擷取的相同方形之規則圖案以及由廣角攝影機擷取之影像。如所繪示，藉由廣角透鏡來投影圖案至影像/感測器平面導致實質失真，影響柵格及矩形之大小及形狀兩者。
如可見，存在非常實質的失真。失真係廣角透鏡之結果，且係由想要在單一影像中擷取場景之大部分而導致的權衡。進一步，失真導致水平位置與垂直位置之間的相依性。給定場景點之垂直影像位置不僅取決於場景點之垂直位置，而且亦取決於水平位置，即，取決於介於攝影機之光學軸與場景點之間的水平距離。因此，在所擷取之廣角影像中，垂直位置及水平位置並非 獨立。
發明人已認識到，此實質上增加的失真對於藉由像差估計來判定深度資訊係有問題的，且一般導致包括不準確或不可靠估計的實質降低效能。例如，目前最佳技術的像差估計器執行水平匹配，其將導致所估計像差朝向影像邊緣的不準確。亦意謂從這些錯誤像差導出的深度估計不可靠。
另一關鍵問題係，該廣角投影導致場景中之水平線被投影至在影像中不是水平的影像中之線中(如圖1中可見，一水平列的方形被轉換成一拱形(在垂直方向)列的失真方形。大多數像差估計演算法係基於判定影像水平像差，此係因為這些習知地對應於場景水平像差，從而反映水平定向的人類眼睛之間的像差。然而，因為這對於廣角影像不再是有效的假設，所以無法使用現有的像差估計技術。此不僅就阻礙回溯相容性及重複使用現有演算法、從而需要開發新的演算法方面不切實際，而且亦導致像差估計必須是完全二維像差估計演算法的必要條件，其實質上增加複雜度及資源使用。一般亦會導致劣化的效能，此係因為約束假設僅有水平像差不再有效。具體而言，該特徵防礙使用現有以線為基礎之像差估計演算法。
發明人亦已認識到，簡單地將影像轉換成具有透視投影的中間影像(對應於適合窄角影像的方法)一般不切實際，此係因為需要過大的影像大小(非常高的解析度/像素計數)。
將廣角影像映射至透視投影、同時維持影像中心中的解析度，導致需要非常高解析度的非常大影像。例如，一般感測器可具有水平4000個像素乘垂直3000個像素之大小，並且由來自此一感測器的廣角影像所得的無失真 透視投影影像可一般需要至少12000乘9000個像素的解析度。此類大影像傾向不切實際。相比之下，一典型的目前像差估計器(軟體/硬體)可經設計用於水平1920個像素與垂直1080個像素的輸入影像解析度。此類大影像傾向不切實際且具有過度資源需求。例如，此類大影像不適合用於大多數現有的像差估計演算法，此係因為其等將具有過高的資源需求。例如，對於160度的水平視野，相較於原始廣角影像，無失真透視影像之大小可係三倍(在兩維)。此意謂像素計數增加超過九倍。因此，像差估計的成本亦實質上增加。
圖2繪示用於從廣角攝影機進行的像差估計之設備的實例。該設備遵循發明人已認識到可解決上述一些問題的方法，且具體而言，利用映射。具體而言，在許多應用中，可允許重複使用現有像差估計演算法，並且避免對過大影像的需求。
該設備包含一接收器201，該接收器經配置以接收至少一廣角影像，待對該至少一廣角影像執行像差估計。一般而言，接收器201可經配置以接收對應於不同擷取位置的複數個廣角影像，其中該像差估計係基於尋找不同影像之間的像差。然而，應理解，在一些實施例中，可接收單一廣角影像，且該像差估計可基於該單一廣角影像與從另一擷取位置所擷取的較窄角影像的比較。
具體而言，該廣角影像對應於在至少一方向(且一般在水平方向)至少90°的視角。該廣角擷取導致表示場景至影像平面上之投影的影像，其具有相對高失真量，如前文所解釋。進一步，投影係使得世界空間位置之垂直影像位置取決於從世界空間位置至影像之光學軸的水平距離。透鏡之光學軸可 例如界定為在方向上光沿其改變最少的線。
與光學軸重合的場景點一般將投影至或接近影像之中心。攝影機具有相對於感測器的固有定向，且據此具有對應於所擷取場景中之水平方向的定向。一般而言，攝影機經實體配置以具有意欲藉由定位使得方向對齊而與場景中的水平方向對準的定向。
應理解，用語水平及垂直係在所屬技術領域中係常見的用語，且一般用於表示影像及影像感測器的正交方向。對於矩形影像及影像感測器，一個方向(兩個平行邊緣之方向)已知為水平方向，且另一方向(另兩個平行邊緣之方向)已知為垂直方向。在標稱使用中，影像感測器經配置使得水平方向對應於正被擷取之場景/世界中的水平方向，且垂直方向對應於正被擷取之場景/世界的垂直方向。
相對於所擷取影像，此據此具有水平及垂直方向。影像一般係經配置成規則柵格或矩陣的像素陣列，其中水平影像方向對應於網格/矩陣之列，且垂直方向對應於柵格/矩陣之行。此廣角影像係由一感測器擷取而產生，且因此該感測器具有水平方向及垂直方向。一般而言，攝影機經配置使得當執行擷取時，感測器之水平方向與場景空間中之水平方向對準，且感測器之垂直方向係與場景空間中之垂直方向對準。
對於習知窄角影像而言，在給定場景點(即，場景空間中的點)的影像中之位置(及等效地，感測器之投影點)獨立於場景中之對應方向的意義上，場景空間至感測器上之投影係使得兩個方向實質上獨立。因此，水平影像/感測器位置係藉由場景點之水平位置(相對於光學軸)予以判定且獨立 於場景點之垂直位置(相對於光學軸)。類似地，垂直影像/感測器位置係藉由場景點之垂直位置(相對於該光學軸)予以判定且獨立於場景點之水平位置(相對於該光學軸)。因此，針對窄角影像，針對在場景中之給定點的水平影像位置取決於沿平行於影像感測器之水平方向的軸的該點之位置。同樣地，針對在場景中之給定點的垂直影像位置取決於沿平行於影像感測器之垂直方向的軸的該點之位置。
然而，對於由接收器201所接收之廣角影像不再成立。具體而言，影像中的場景點之垂直位置不僅取決於場景點之垂直位置，且亦取決於場景點之水平位置。因此，對於給定場景點，垂直位置將取決於是否朝向中心(在水平方向)或朝向影像邊緣來擷取場景點而不同。
換言之，場景被投影至該影像感測器上使得在場景中的給定點之垂直投影位置不僅取決於場景點之垂直位置(即，在平行於影像感測器之垂直方向的方向上之場景中之位置)。而是，垂直位置亦取決於水平位置。因此，在感測器之垂直軸周圍的攝影機之旋轉(即，不改變垂直方向感測器位置)將導致一給定場景點不僅改變水平影像位置，而且亦改變垂直影像位置。
因此，對於諸如魚眼透鏡攝影機之廣角攝影機而言，垂直影像位置及水平影像位置並非獨立，而是具體而言，垂直影像位置取決於水平影像位置。
應注意，圖2之實例中可清楚看到此效果，圖中清楚展示當您朝向影像的邊緣移動時，隨著垂直位置愈來愈離中心，一排水平方形將如何投影至失真方形之弧線。
在許多情景中，對水平位置的相依性可係實質的。例如，相依性/投影可使得對於相同垂直場景位置，在垂直位置中的廣角影像之從中心到邊緣的差可超過垂直影像大小的1%。由於1%的垂直偏移已成為問題，此係因為此將對應於1080的影像高度之1%，例如，合計達約略10個像素。僅當立體對之左與右影像之間的垂直偏移僅僅超過一個像素時，使用水平匹配的像差估計器會遭受效能問題。
在實例中，場景圖案投影至幾乎圓形圖案上，其中對由影像中心所表示之攝影機/影像之光學軸的距離愈遠，方形之間的距離以及方形之大小實質上減小。
接收器201耦合至映射器203，該映射器經配置以映射/轉換廣角影像成經修改影像，該經修改影像對應於場景/世界至影像上的不同投影。具體而言，經修改影像可經產生以對應/表示與廣角影像相同的觀看區，但是表示場景至影像/觀看區/影像感測器上的不同投影。
映射器203耦接至像差估計器205，該像差估計器接收經修改影像以及表示從不同視點擷取之場景的至少一個其他影像。像差估計器205經配置以執行像差估計，以產生經修改影像相對於第二影像的一組像差。據此，像差估計器205可產生指示不同影像物體之深度的像差資訊。
像差估計器205可例如藉由以下方式執行像差估計：尋找兩個影像中的對應影像物體/點；及依據在該兩個影像中的這些影像物體/點之位置之間的(可能僅水平)距離判定像差。
在實例中，該設備進一步包含演現器207，該演現器經配置以合 成不同視點的影像。例如，演現器207可基於經修改影像及該組經判定像差來合成來自不同於所擷取視點/姿勢的觀看姿勢之影像。此類處理可例如應用視圖偏移演算法，如所屬技術領域中具有通常知識者所習知。
在圖2之設備中，映射器203經配置以將表示場景至影像上(及等效地，至感測器/觀看區/影像平面上)之第一投影的廣角影像轉換成經修改影像，該經修改影像表示場景至影像上(及等效地，至感測器/觀看區/影像平面上)之基礎第二且不同投影。映射器203的映射係藉由將廣角影像中的位置映射至經修改影像中的位置來執行。據此，在廣角影像中之給定位置處的影像值可被映射以提供在經修改影像中之經映射位置的影像值(影像值可係在廣角影像或經修改影像中之直接像素值，或對於與像素位置不對準的位置，可例如係在廣角影像或經修改影像之任一者中的內插值)。據此，該映射可將廣角影像中之影像位置映射至經修改影像中之影像位置。該映射可係依據廣角影像中之位置來提供經修改影像中之位置的空間映射，或反之亦然。可使用介於廣角影像中之位置與經修改影像中之位置之間的一對一映射函數來產生經修改影像。映射函數可係從在經修改影像中之位置來提供廣角影像中之位置的函數、及/或從在廣角影像中之位置來提供經修改影像中之位置的函數，其中一函數係另一函數的反函數(inverse)。
該映射係使用水平映射函數及垂直映射函數來實施。這些函數中之各者可係一對一函數且可在任一方向映射(即，從廣角影像至經修改影像，或反之亦然)，其中一般而言，相反方向之映射係以反函數予以表示。
據此，介於廣角影像與經修改影像之間的映射係在具有從場景 至影像/觀看區/感測器之不同投影的(針對相同觀看區之)兩個影像之間的映射。
映射器203經配置以產生經修改影像使得該經修改影像具有一經修改投影，該經修改投影對應於從第一投影至透視投影之映射，接著從透視投影至經修改投影之經修改垂直投影的非線性垂直映射、及從透視投影至經修改投影之經修改水平投影的非線性水平映射。該映射可提供兩個映射函數，即，垂直映射函數及水平映射函數。這些函數可不同，且一般可針對兩個方向的偏好及需求予以最佳化。
垂直映射函數匹配由從第一投影至透視投影之映射，接著從透視投影至經修改投影之經修改垂直投影的非線性垂直映射而得的函數。水平映射函數匹配由從第一投影至透視投影之映射，接著從透視投影至經修改投影之經修改水平投影的非線性水平映射而得的函數。
映射器203可執行一操作，其中該操作首先將經修改影像映射至中間影像，該中間影像具有透視投影。透視投影係藉由簡單投影方程式來表徵，其中水平影像座標與水平場景座標除以場景深度成比例，且垂直影像座標與垂直場景座標除以場景深度成比例。一般而言，左及右魚眼影像在相同時間被轉換成兩個新的透視虛擬觀看點，其中執行攝影機頭之無失真及旋轉，使得所得立體對垂直對準且可逐線來進行立體匹配。此第一映射可係在單一操作中執行的二維映射，以實施水平及垂直映射函數的第一部分。
然後，映射器203可應用非線性映射至中間影像，其中水平方向及垂直方向之非線性映射可相同或可不同。這導致對於兩個方向個別且一般不 同的總體映射，即，達成垂直映射函數及水平映射函數。該方法可允許個別最佳化水平方向及垂直方向之映射。
非線性映射可係使得透視投影中之等距點之間的距離隨著相距於影像中心(具體而言，對應於光學軸)的距離而減小。因此，非線性映射係使得中間影像中之距離的壓縮會相距於影像中心愈遠而愈來愈壓縮，即，壓縮朝向影像邊緣增加。因此，非線性映射可使得廣角影像中之位置至經修改影像中之位置的映射梯度在位置愈接近影像邊緣及愈遠離影像中心而減小(其中距離分別係針對非線性水平映射及非線性垂直映射的水平或垂直距離)。
因此，映射器203可應用將廣角影像轉換成經修改影像的空間影像轉換，該經修改影像藉由應用對應於下列序列之一映射而具有不同的基礎投影：1.第一映射/轉移至透視投影；且2.第二非線性映射，具體而言，其在水平方向及垂直方向可不同，且在水平方向及垂直方向分開，使得垂直輸出位置僅取決於垂直輸入方向，且水平輸出位置僅取決於水平輸入位置(因此提供第二映射不引入介於經矯正立體影像對之間垂直像差的性質)。
此可導致經修改影像，該經修改影像係原始廣角影像之經轉換版本，但是具有可移除垂直位置對水平位置之相依性的性質，並且具有可表示可變有效解析度的投影。此可變解析度可進一步經控制以提供解析度與影像大小之間的最佳權衡，且可另外在水平方向及垂直方向予以個別最佳化。
所描述之方法的一特定優點是其可允許非常有效率的像差估 計。具體而言，該方法可產生經修改影像，其中像差估計僅需要考慮水平像差，且因此對匹配影像區段的搜尋可限於水平搜尋。實際上，該方法甚至可允許以線為基礎之像差估計。進一步，經修改影像可經產生使得其保持可管理的大小，但仍提供合理的解析度。例如，可維持影像中心的解析度相同於廣角影像的解析度，同時朝向影像邊緣降低解析度，以提供介於影像大小與影像邊緣處所需的像差估計精確度之間的所欲權衡。
該方法之一優點在於，非線性映射可在垂直方向及水平方向予以個別最佳化。這可允許水平映射針對像差估計予以最佳化，以允許有效率的水平匹配及估計。由於像差估計可僅基於考量水平像差，所以垂直非線性映射可經最佳化，而無需考慮像差估計的這些態樣。
因此，在許多實施例中，可在水平方向及垂直方向使用不同的映射函數，即，垂直映射函數及水平映射函數可不同。具體而言，在水平方向及垂直方向，介於對經修改影像中之中心點的距離與對廣角影像中之中心點的距離之間的關係可不同。
該方法之一特定優點是其可在許多實施例中允許使用現有像差估計演算法。例如，已針對窄角影像開發許多像差估計演算法(例如，搭配透視投影)，並且在許多情況中，藉由所描述之映射所產生的經修改影像可搭配此類現有的像差估計技術使用。
在前文實例中，從廣角影像映射/轉換至經修改影像係藉由一種二階段程序，該二階段程序首先產生一中間影像，並接著產生經修改影像。此可例如藉由產生對應於透視投影的大中間影像(並且例如無需降低影像中心解 析度)、然後將此中間影像映射至較小的經修改影像來完成。然而，在許多實施例中，可使用介於廣角影像之位置與經修改影像中之位置之間的單一組合映射，在單一操作中直接映射廣角影像至經修改影像的來完成該映射/轉換。例如，對於經修改影像中之各像素位置，表示投影轉換的預定位置映射可提供廣角影像中之位置。然後，此位置處的影像值(例如，藉由合適的鄰近像素值之內插予以產生)之影像值可應用至經修改影像中的此像素。
因此，可藉由一直接單步驟函數來實施一映射函數(其匹配由首先映射廣角投影至透視投影，接著一第二非線性映射而得的映射)，而非將垂直映射函數及水平映射函數實施為兩個步驟函數(其包含首先至透視投影的映射，接著一非線性映射)。
如所提及者，該像差估計係在經修改影像與表示來自不同視點之場景的第二影像之間予以執行。透過另一程序來產生第二影像係可行的，例如，該第二影像可係場景的窄角影像(或由複數個窄角影像形成的組合影像)。在此情況中，窄角影像將一般映射至與經修改影像相同的投影，以促進像差估計。因此，一般而言(但非必然總是)，用於像差估計的經修改影像及第二影像將採用從場景至影像的相同投影。
在大多數實施例中，第二影像將以與經修改影像相同的方式予以產生，即，像差估計將基於至少第一經修改影像及第二經修改影像，第一經修改影像及第二經修改影像兩者皆採用由廣角影像之映射而得的第二/經修改影像，其係藉由對應於影像至透視投影之循序映射的映射，接著個別水平映射及垂直映射。
因此，在一些實施例中，接收器201可進一步接收第二廣角影像，該第二廣角影像亦具有至少90°之視角且與第一影像相同的投影。映射器203可對此影像執行相同的操作，從而產生可對其執行像差估計的第一經修改影像及第二經修改影像。
應注意，在此類實例中，一般係由相對於光學軸及影像中心在不同位移處的攝影機來擷取相同場景點/位置。由於廣角效應，場景點/位置將因此在兩個廣角影像中的不同水平位置處。結果，兩個廣角影像中的相同場景點之垂直位置一般將不同。然而，對經修改影像之映射將針對場景點而不同，使得對應於相同場景點的兩個經修改影像中之垂直位置相同，即，該兩個經修改影像映射至相同垂直位置，但在該兩個經修改影像中的水平位置不同。介於水平位置之間的差可藉由像差估計器205予以判定，以提供對應於場景點的第一經修改影像中之位置的像差值。
舉實務實例，可使用來自所熟知OpenCV庫的校準工具來判定第一映射，該第一映射將轉換兩個輸入魚眼影像成各依循透視投影的無失真立體經矯正影像對。立體矯正藉由應用適合的旋轉至輸入魚眼座標系統之各者來對準光學軸。然後，本方法可引入在此輸出上轉換非線性映射的第二映射。可組合該兩個映射的方程式以建構單一組合映射。此映射可儲存於一重新映射表中。可選地，亦可儲存此映射的逆映射以供稍後將像差/深度的往回映射至魚眼座標系統。
在下文中，將描述一具體實例來闡明該方法。在實例中，將考慮透視投影，該透視投影使用下列關係將對場景點的水平角度映射至感測器上 之位置：r=f tan(θ) (1) 其中θ係水平(或原則上，垂直)離光學軸角[弧度]，f係透鏡焦距[m]，且r係距感測器之光學中心至投影點的距離[m]。
相比而言，廣角透鏡(諸如魚眼透鏡)可例如導致恆定的角解析度。例如，f-θ魚眼透鏡可導致以下投影：r=fθ (2) 其中所有角度的解析度相等。因此，此類魚眼透鏡對於虛擬實境應用而言非常具吸引力，在虛擬實境應用中，想要在所有方向環視，且在所有方向具有恆定的影像解析度。圖1繪示當使用具有此一透鏡的攝影機擷取一方形網格時所得之影像的實例。
影像可提供至接收器201且饋送至映射器203，該映射器映射該影像至經修改影像中。圖3繪示經修改影像的實例，圖中展示第一廣角影像以及經轉換之經修改影像兩者。如可見，映射係使得經修改影像維持原始水平位置，即，在經修改影像中，各列的方形係表示為一排水平矩形。此外，非線性映射導致垂直方向及水平方向的失真，使得距離朝向影像的邊緣愈來愈壓縮。然而，壓縮/失真可針對具體意欲用途予以最佳化，並且未藉由透鏡或廣角影像的性質來給定。轉換可涵蓋與原始魚眼影像相同的感測器區。如可見，轉換亦 導致方形之按比例調整/失真。
為了描述由映射器203執行之映射/轉換的具體實例，(u,v)可表示所擷取魚眼影像中(即，在所接收的廣角影像中)的影像座標。從方程式(2)開始，離軸角度可導出為：
Figure 108140023-A0305-02-0027-1
 將其插入於方程式(1)而給出無失真半徑：
Figure 108140023-A0305-02-0027-2
 現在，用於單一廣角影像的第一映射(至透視投影)如下：
Figure 108140023-A0305-02-0027-3
Figure 108140023-A0305-02-0027-4
 其中φ=atan2(v,u)。
然後，藉由首先針對θ求解(1)，然後，插入θ於(2)中，該轉換可(但是針對u與v分開地，(即，可個別地在水平方向及垂直方向))應用第二映射。亦插入(5)及(6)後，獲得：
Figure 108140023-A0305-02-0027-5
Figure 108140023-A0305-02-0028-6
此允許針對廣角影像中之給定位置判定經修改影像中之影像位置。
在許多實施例中，映射器203亦可配置以執行立體矯正作為映射之部分。立體矯正係相對於一般由不同攝影機產生的另一廣角影像而提供。具體而言，映射器203可包括用於立體攝影機設定的立體矯正，該立體攝影機設定用來產生像差估計中所使用的兩個影像。立體矯正係用以執行一經對準立體對之操作，且因此在輸入影像之3D座標系統之各者上執行軸旋轉。立體矯正亦可針對輸入攝影機影像應用感測器偏移。應理解，用於立體矯正的不同演算法及方法係已知的，且映射器203可使用任何合適的方法。
此方法之結果可係至透視投影/視圖的第一映射，用於補償失真及立體矯正兩者。
讓 M ≡(M u (u,v),M v (u,v))係建立透視座標的所得映射，如下列函數：u perspective =M u (u,v) (9)
v perspective =M v (u,v) (10)對於一對經校準之廣角影像攝影機，現在可執行所提出之轉換：
Figure 108140023-A0305-02-0028-7
Figure 108140023-A0305-02-0029-8
現在可將總轉換儲存在新的映射M' 中。因此，對應於經組合之第一映射及第二映射的單一映射(至透視投影、然後至經修改非線性投影的映射)可用於從輸入廣角影像直接映射至經修改影像。然後，此經修改影像可尤其適合像差估計，且具體而言，可在許多實施例中允許使用標準、以線為基礎之像差估計。
該方法之一特定優點是其可允許在水平方向及垂直方向的不同映射。在許多實施例中，據此，非線性垂直映射不同於非線性水平映射，即，不同的映射函數可用在水平方向及垂直方向。
具體而言，在許多實施例中，非線性垂直映射可比非線性水平映射更壓縮。例如，在水平方向的映射器203之映射函數梯度可低於在垂直方向的映射器203之映射函數梯度。進一步，梯度可隨著相距於廣角影像之中心距離增加而減小。
圖4繪示此類方法的實例。在此實例中，方形廣角影像被映射至經修改影像，該經修改影像在水平方向具有較大延伸，即，該方形廣角影像被映射至比其高度更寬的經修改影像(將理解，所繪示之方形影像可對應於影像的方形區段)。因此，在此實例中，對於相對於廣角影像之中心的給定位移(垂直或水平)，水平映射的映射梯度低於垂直映射的映射梯度。
此類方法可例如促進或改善水平像差估計，同時減小整體影像大小。在許多實施例中，亦藉由降低複雜度及資源需求來促進硬體實施方案。
作為具體實例，在上述具體實例中，可針對垂直方向及水平方 向選擇不同焦距：
Figure 108140023-A0305-02-0030-9
Figure 108140023-A0305-02-0030-10
例如，設定f u =1及f v =0.8將導致如圖4之實例。
在前文的說明中，判定經修改影像之像差值，並且隨後使用經修改影像及經判定之像差值來合成不同視點的影像。
在一些實施例中，該設備可包括用於將像差值映射至廣角影像之像差值(即，與輸入廣角投影相關的像差，而非經修改影像之經修改投影)的功能。
例如，如在圖5中所繪示，該設備可包含像差映射器501，該像差映射器經配置以藉由將從經修改影像判定的一組像差映射至廣角影像之投影來產生廣角影像的該組像差。此係藉由應用經應用至廣角影像以產生經修改影像的映射的逆映射來達成。因此，繼像差估計後，像差值可被保持在經修改影像的座標(u trans ,v trans )中，或可將像差值轉換回輸入影像的座標(u,v)。
舉實例而言，方程式(7)及(8)可經反演，使得座標(u,v)可被寫為經轉換影像座標(u trans ,v trans )的函數。另一種方法是僅重新使用重新映射表新映射M' 並且將其數值上反演以產生M" 。
在其中針對廣角影像產生像差的實例中，在一些實施例中，可將這些像差連同廣角影像一起提供給演現器207，且演現器207可經配置以基於廣角影像及相關聯之像差來合成不同視點的影像。在此情況中，藉由在 OpenGL.中的網格產生期間使用已知攝影機內部參數(intrinsic parameter)(焦距、失真參數)及外部參數(extrinsic parameter)(旋轉)來執行矯正，演現演算法可考量廣角影像的失真。此意謂在所謂頂點著色器中，在影像座標與經取樣深度圖值組合以計算3D(x,y,z)場景座標之前，首先將影像座標轉換成經矯正透視座標。因此，無失真/矯正操作變成如由OpenGL之頂點及片段著色器所實施的紋理映射操作之部分。
在許多情景中，此一類方法可係較佳的，此係因為此類方法允許原始(未經過濾)影像形成影像合成/演現的基礎。
在上述實例中，當合成一或多個影像時，演現器207直接使用像差估計提供的像差值。在一些實施例中，例如，諸如圖6的實例中，該設備可包含深度估計器601，該深度估計器經配置以從該組像差判定經修改影像之一組深度。具體而言，深度估計器601可判定像差值之各者的深度值。
然而，為了做到這一點，深度估計器601必須考量執行的映射，且具體而言，非線性水平映射。非線性水平映射影響介於影像像差/距離與真實世界像差/距離之間的關係，且因此影響介於所判定像差與所判定世界深度之間的關係。
用於判定深度的方法可基於考慮至世界空間中之座標的透視投影方程式。此方法可：在廣角影像的情況中，考慮值(u,v)及D(u,v)；或在經修改影像的情況中，考慮(u trans ,v trans )及D(u trans ,v trans )，其中前者指示在各別影像中的位置，且後者表示該影像中的經估計影像像差。由此，計算在透視投影中的對應值(u perspective ,v perspective )及 D perspective(u perspective ,v perspective)。此投影中的像差值可判定為偏移，但是現在其與該兩個影像相關，但各者係根據透視投影。並且對於此一無失真且經矯正的影像對，有介於所觀察到的像差與深度之間的簡單關係。從透視投影中的所判定像差，可使用感測器偏移、焦距及基線來計算3D(x,y,z)座標。例如，OpenCV電腦視覺庫提供像差至深度矩陣，其執行從影像座標及像差至齊次座標中的x,y,z的映射。因此，所判定之深度值可分別經儲存作為廣角影像或經修改影像中之座標(u,v)或(u trans ,v trans )的函數。只要理解到，深度與透視投影相關，且在演現期間補償此。
在一些實施例中，映射器203可經配置以將廣角影像劃分成複數個影像區段，且然後藉由應用子映射至各影像區段來執行映射。在此情況中，不同影像區段中之特定子映射將不同。具體而言，例如，如前文所述，可針對整個影像來判定映射，且然後待在各影像區段中執行的對應映射可經判定並且應用至該影像區段作為子映射。此類方法可在許多實施例中係有利的。具體而言，可促進或實現平行處理被用於實施映射器203之功能。在許多實施例中，此可允許更快的操作，且可例如允許視訊串流(即，廣角圖框)之廣角影像的即時處理。
舉具體實例，在許多實施例或情景中，可係有利的是，將廣角影像分割為圖塊。然後，各圖塊可經分開映射，且實際上，可針對各圖塊分別執行像差估計。
圖7繪示一實例，其繪示輸入廣角影像之大小[以像素為單位]相對於等效的無失真透視影像之大小[以像素為單位]。圖8繪示圖7的無失真影像 至三個圖塊的可行分割及非線性按比例調整。各圖塊現在測量2000×1000個像素，其係用於像差估計的合適大小。應注意，各圖塊之非線性按比例調整不同。
上文已描述關於廣角(魚眼)擷取系統的例示性實施例。在許多此類影像擷取系統中，有許多座標系統及映射。
首先，藉由一般與擷取姿勢無關的真實世界座標系統來表示所擷取之真實世界。其中在攝影機之位置及定向之基礎上來表示真實世界的真實世界座標稱為攝影機座標系統，即，攝影機座標系統基於攝影機姿勢而反映真實世界3D座標。因此，攝影機座標系統可視為與擷取攝影機之姿勢空間上同步化的3D真實世界座標系統。
影像之擷取將攝影機座標系統投影至影像座標系統，即，有從3D攝影機座標X,Y,Z(或由球座標所表示)至2D影像座標(例如，(u,v)；(x*,y*))的變換。
從3D攝影機座標至2D影像座標的不同投影係已知的。流行的投影包括等距投影r=fθ及透視投影r=f tan(θ)。這些投影表示從三維真實世界至二維平面的投影。
所述方法係關於與從真實世界至2D影像平面之此一投影不同的映射，即，引入從一組2D影像座標至另一組2D影像座標的映射，即，該方法係關於兩個影像之間的2D至2D映射。具體而言，映射係從第一廣角影像至經修改影像，即，影像至影像映射，並且不是真實世界至影像平面映射(即，不是從3D真實世界至所擷取影像的投影)。
用語投影一般可指3D(例如，球)座標至2D平面座標的投影，及/或係從場景/攝影機座標系統至影像平面座標系統的投影。用語映射一般可指影像座標系統之間的映射，且具體而言，映射器203經配置以在兩個(平面)影像之間映射。映射器203執行2D映射。
進一步，此2D映射可包含兩個子映射。
第一子映射係從第一廣角影像(一般係由廣角攝影機擷取之影像)中之2D影像座標(u,v)至中間影像之2D影像座標(Uperspective,Vperspective)的子映射。
第二子映射係從中間影像之2D影像座標(Uperspective,Vperspective)至經修改影像之2D影像座標(Utrans,Vtrans)的子映射。
這些(子)映射皆係2D影像座標之間的2D映射。這些(子)映射在不同2D影像座標系統之間映射。這些(子)映射不是從3D真實世界或攝影機座標至2D影像座標的映射。
當然，固有地存在於從3D場景至擷取3D場景之任何2D影像的投影。該投影表示3D場景(例如，由視圖球體(viewsphere)所表示)之座標如何投影至影像平面中的座標。因此，第一廣角影像、(潛在虛擬的)中間影像、及經修改影像之各者固有地具有從攝影機座標至影像座標的投影(其中不同影像的投影不同)。
從由第一廣角影像所表示之3D攝影機座標的投影將取決於擷取影像之攝影機的詳細規格(specifics)。在本案例中，影像係具有投影的廣角影像，其中場景位置之垂直影像位置取決於從該場景位置至該廣角影像之光學軸 的水平距離。這不是對極(epipolar)投影。
當然，特定投影將取決於攝影機之特性，包括潛在失真等。本方法不依賴由攝影機實施的任何特定投影或具有任何特定投影的所擷取影像。
可藉由合適的攝影機模型來模型化廣角擷取。一種用於魚眼透鏡之常見模型係f-θ投影(參見方程式2)：r=fθ。
然而，其他模型係可行的。實際上，在實務上，投影詳細地取決於透鏡的特定性質。通常，投影係藉由低複雜度「理想化」模型予以模型化，諸如上述之等距投影連同反映透鏡之失真及不準確的額外組件等。在一些情況中，可忽略這些失真。
第一子映射將第一廣角影像中的2D影像座標(u,v)轉換為中間影像之2D影像座標(Uperspective,Vperspective)。同時，第一子映射將改變第一廣角影像的投影成中間影像之不同投影。因此，存在於第一廣角影像之攝影機座標與2D影像座標(u,v)之間的投影將改變成存在於中間影像之攝影機座標與2D影像座標(Uperspective,Vperspective)之間的不同投影。
實際上，在所描述的方法中，該映射係使得中間影像將具有從攝影機座標至中間影像之2D影像座標(Uperspective,Vperspective)的透視投影。因此，中間影像表示3D真實世界攝影機座標至影像平面上的透視投影。
映射第一廣角影像之2D影像座標(u,v)至中間影像之2D影像座標(Uperspective,Vperspective)的具體第一子映射將取決於從3D攝影機座標至2D影 像座標(u,v)的投影。該映射將係使得該映射的結果是具有透視投影的中間影像。因此，該映射經選擇以使得其導致對應於透視投影的中間影像之2D影像座標(Uperspective,Vperspective)。
對於所擷取之影像，第一廣角影像的投影(第一投影)將取決於擷取攝影機之特性。若已知或假設由攝影機執行的投影，則可預定映射。例如，若假設攝影機使用導致f-θ投影r=fθ的魚眼透鏡，則使用2D至2D影像映射來達成所得(中間)影像直接依循的透視投影。
然而，該方法之一特定優點是其提供適應於特定攝影機及擷取投影的有效率方式。具體而言，已知可搜尋及調適從所擷取影像座標至對應於透視投影之影像座標的映射參數的複雜演算法。許多此類方法利用對應於基礎理想投影(諸如用於魚眼透鏡之f-θ投影)的攝影機模型連同適應性非線性映射，該適應性非線性映射經動態調適以補償透鏡的個別失真及不準確。此程序稱為矯正，並且在許多實施例中，本方法可受益於能夠使用此類矯正演算法。
然而，因為發明人已認識到透視投影有對於諸如魚眼影像之廣角影像特別關鍵的缺點。該方法藉由應用第二子映射而解決此缺點，該第二子映射係來自透視投影的非線性水平映射。此可導致適用於像差估計的影像，且不具有過度的儲存需求或需要非常資源密集的像差估計。進一步地，該映射可個別地在水平方向及垂直方向。
本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適 方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實施、以複數個單元實施、或實施為其他功能單元的部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。
雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。
另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。特徵包括在一類別之請求項中並未暗示對此類別的限制，反而指示該特徵可視需要同等地適用於其他請求項。另外，在申請專利範圍中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一(first)」、「第二(second)」等的參照不排除複數。在申請專利範圍中的元件符號僅提供作為一闡明實例，且不應解讀為依任何方式限制申請專利範圍之範疇。
201:接收器
203:映射器
205:像差估計器
207:演現器

Claims (15)

  1. 一種具有像差估計之設備，該設備包含：一接收器(201)，其用於接收一第一廣角影像，該第一廣角影像具有至少90°之一視角及一第一投影，其中一場景位置之一垂直影像位置取決於從該場景位置至該廣角影像之一光學軸的一水平距離；一映射器(203)，其用於應用一映射至該第一廣角影像以產生具有一經修改投影的一經修改影像，該映射提供一垂直映射函數及一水平映射函數，該垂直映射函數使來自該第一投影之一映射匹配至一透視投影，接著從該透視投影至該經修改投影之一經修改垂直投影的一非線性垂直映射，該水平映射函數使來自該第一投影之一映射匹配至該透視投影，接著從該透視投影至該經修改投影之一經修改水平投影的一非線性水平映射；一像差估計器(205)，其用於產生該經修改影像相對於一第二影像的一組像差，該第二影像表示與該第一廣角影像不同的一視點；及一像差映射器(501)，其用於藉由應用經應用至該第一廣角影像的該映射之一逆映射而映射一組進一步像差至該第一投影，來產生用於該第一廣角影像的該組進一步像差。
  2. 如請求項1之設備，其中該非線性垂直映射的一映射函數不同於該非線性水平映射的一映射函數。
  3. 如請求項2之設備，其中該非線性垂直映射的該映射函數比該非線性 水平映射的該映射函數更壓縮。
  4. 如請求項1之設備，其中該第二影像表示該經修改投影。
  5. 如請求項1之設備，其進一步包含一深度估計器(601)，其經配置以回應於該組像差及該非線性水平映射來判定該經修改影像之一組深度。
  6. 如請求項1之設備，其中該映射器(203)經配置以藉由應用一第一映射至該第一廣角影像以產生具有該透視投影的一中間影像、及應用一第二映射至該中間影像以產生該經修改影像，來應用該映射。
  7. 如請求項6之設備，其中該映射器經配置以執行該第一廣角影像的矯正作為該第一映射之部分。
  8. 如請求項1之設備，其中該映射器(203)經配置以將該第一廣角影像劃分成複數個影像區段，且藉由應用一子映射至各影像區段來執行該映射，用於該複數個影像區段中之至少兩者的該子映射係不同的。
  9. 如請求項1至8中任一項之設備，其中該映射器(203)經配置以執行立體矯正作為該映射之部分，該立體矯正係相對於一第二廣角影像。
  10. 如請求項1至8中任一項之設備，其中該接收器(201)經配置以接收一第二廣角影像，該第二廣角影像係針對與該第一廣角影像不同的一視點且 具有至少90°之一視角及該第一投影；且該映射器(203)經配置以藉由應用該映射至該第二廣角影像來產生該第二影像。
  11. 如請求項10之設備，其中具有相對於該第一廣角影像及該第二廣角影像之光學軸的不同水平偏移量值的一場景位置被投影至該第一廣角影像及該第二廣角影像中之不同垂直位置。
  12. 如請求項11之設備，其中該映射將該第一廣角影像及該第二廣角影像中之該等不同垂直位置映射至該經修改影像及該第二影像中的一相同垂直位置。
  13. 如請求項1至8中任一項之設備，其中該非線性水平映射具有隨著對該第一廣角影像之一中心的一水平距離增加而減小的一梯度。
  14. 一種估計像差之方法，該方法包含：接收一第一廣角影像，該第一廣角影像具有至少90°之一視角及一第一投影，其中一場景位置之一垂直影像位置取決於從該場景位置至該廣角影像之一光學軸的一水平距離；應用一映射至該第一廣角影像以產生具有一經修改投影的一經修改影像，該映射提供一垂直映射函數及一水平映射函數，該垂直映射函數使來自該第一投影之一映射匹配至一透視投影，接著從該透視投影至該經修改投影之一經修改垂直投影的一非線性垂直映射， 該水平映射函數使來自該第一投影之一映射匹配至該透視投影，接著從該透視投影至該經修改投影之一經修改水平投影的一非線性水平映射；產生該經修改影像相對於一第二影像的一組像差，且表示與該第一廣角影像不同的一視點；且藉由應用經應用至該第一廣角影像的該映射之一逆映射而映射一組進一步像差至該第一投影，來產生用於該第一廣角影像的該組進一步像差。
  15. 一種電腦程式產品，其包含經調適以當該程式在一電腦上運行時執行請求項14之所有步驟的電腦程式碼構件。
TW108140023A 2018-11-06 2019-11-05 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品 TWI820246B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18204567.4A EP3651119A1 (en) 2018-11-06 2018-11-06 Disparity estimation from a wide angle image
EP18204567.4 2018-11-06

Publications (2)

Publication Number Publication Date
TW202029056A TW202029056A (zh) 2020-08-01
TWI820246B true TWI820246B (zh) 2023-11-01

Family

ID=64270618

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108140023A TWI820246B (zh) 2018-11-06 2019-11-05 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品

Country Status (8)

Country Link
US (1) US12067691B2 (zh)
EP (2) EP3651119A1 (zh)
JP (1) JP7326442B2 (zh)
KR (1) KR20210087511A (zh)
CN (1) CN112970044B (zh)
BR (1) BR112021008558A2 (zh)
TW (1) TWI820246B (zh)
WO (1) WO2020094575A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019200632B4 (de) * 2019-01-18 2021-11-25 Audi Ag Bediensystem mit portabler Schnittstelleneinheit sowie Kraftfahrzeug mit dem Bediensystem
US11797854B2 (en) * 2019-07-08 2023-10-24 Sony Semiconductor Solutions Corporation Image processing device, image processing method and object recognition system
EP4075789A4 (en) * 2020-01-23 2023-05-03 Sony Group Corporation IMAGING DEVICE, IMAGING PROCEDURE AND PROGRAM

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201342304A (zh) * 2012-03-01 2013-10-16 Zorawar Singh Bassi 用於超廣角透鏡圖像的自我調整透視修正的方法和系統
CN102792334B (zh) * 2010-04-12 2015-09-23 住友重机械工业株式会社 图像生成装置及操作支持系统
CN105872354A (zh) * 2015-02-06 2016-08-17 株式会社理光 图像处理系统和方法、摄像系统、图像生成装置和方法
TW201742444A (zh) * 2016-05-20 2017-12-01 高通公司 虛擬實境中之圓形魚眼視訊
TW201742435A (zh) * 2016-05-24 2017-12-01 高通公司 具有用於360度視訊之透鏡失真校正之魚眼呈現

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07254074A (ja) * 1994-03-15 1995-10-03 Toppan Printing Co Ltd 視差画像作成方法および装置
JP3944188B2 (ja) * 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP4328311B2 (ja) * 2005-04-14 2009-09-09 株式会社東芝 三次元画像表示用多視点画像の作成方法およびプログラム
US8670001B2 (en) 2006-11-30 2014-03-11 The Mathworks, Inc. System and method for converting a fish-eye image into a rectilinear image
TWI441514B (zh) 2008-11-12 2014-06-11 Avisonic Technology Corp 魚眼影像校正及減輕透視變形的影像處理方法及相關影像處理裝置
JP5760559B2 (ja) * 2011-03-18 2015-08-12 株式会社リコー ステレオカメラ装置、視差画像生成方法
CN103796002B (zh) * 2014-01-21 2016-01-13 四川大学 基于正交投影的一维集成成像3d拍摄方法
CN103945207B (zh) * 2014-04-24 2015-09-02 浙江大学 一种基于视点合成的立体图像垂直视差消除方法
CN104023221B (zh) * 2014-06-23 2016-04-13 深圳超多维光电子有限公司 立体图像视差调节方法和装置
US10080004B2 (en) * 2014-11-06 2018-09-18 Disney Enterprises, Inc. Method and system for projector calibration
BR112017023535A2 (pt) * 2015-05-05 2018-07-24 Koninklijke Philips Nv aparelho e método para gerar uma imagem mostrada na tela destinada a um painel de exibição de uma tela autoestereoscópica
US10917633B2 (en) * 2017-09-15 2021-02-09 Intel Corporation Generating stereoscopic light field panoramas using concentric viewing circles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792334B (zh) * 2010-04-12 2015-09-23 住友重机械工业株式会社 图像生成装置及操作支持系统
TW201342304A (zh) * 2012-03-01 2013-10-16 Zorawar Singh Bassi 用於超廣角透鏡圖像的自我調整透視修正的方法和系統
CN105872354A (zh) * 2015-02-06 2016-08-17 株式会社理光 图像处理系统和方法、摄像系统、图像生成装置和方法
TW201742444A (zh) * 2016-05-20 2017-12-01 高通公司 虛擬實境中之圓形魚眼視訊
TW201742435A (zh) * 2016-05-24 2017-12-01 高通公司 具有用於360度視訊之透鏡失真校正之魚眼呈現

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Steffen Abraham , Wolfgang Forstner Fish-Eye-Stereo Calibration and Epipolar Rectification Universit¨at Bonn 2005/03/03 http://www.ipb.uni-bonn.de/pdfs/Steffen2005Fish.pdf *

Also Published As

Publication number Publication date
EP3651119A1 (en) 2020-05-13
EP3877952B1 (en) 2023-10-04
EP3877952A1 (en) 2021-09-15
CN112970044B (zh) 2024-07-19
WO2020094575A1 (en) 2020-05-14
TW202029056A (zh) 2020-08-01
KR20210087511A (ko) 2021-07-12
JP2022506104A (ja) 2022-01-17
BR112021008558A2 (pt) 2021-08-03
CN112970044A (zh) 2021-06-15
JP7326442B2 (ja) 2023-08-15
US20210407037A1 (en) 2021-12-30
EP3877952C0 (en) 2023-10-04
US12067691B2 (en) 2024-08-20

Similar Documents

Publication Publication Date Title
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
JP6859442B2 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
US9241147B2 (en) External depth map transformation method for conversion of two-dimensional images to stereoscopic images
CN110300292B (zh) 投影畸变校正方法、装置、系统及存储介质
EP2160714B1 (en) Augmenting images for panoramic display
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP4942221B2 (ja) 高解像度仮想焦点面画像生成方法
CN103839227B (zh) 鱼眼图像校正方法和装置
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
JP6883608B2 (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
JP2015022510A (ja) 自由視点画像撮像装置およびその方法
US11812009B2 (en) Generating virtual reality content via light fields
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
WO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
US8019180B2 (en) Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
JP3561446B2 (ja) 画像生成方法及びその装置
KR20170025214A (ko) 다시점 깊이맵 생성 방법
CN106331672B (zh) 视点图像的获得方法、装置及系统
Gurrieri et al. Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos
CN115004683A (zh) 成像装置、成像方法和程序
JP4925112B2 (ja) 自由視点画像の生成方法
JP2024062935A (ja) 立体視表示コンテンツを生成する方法および装置
Gurrieri et al. A model for the omnidirectional acquisition and rendering of stereoscopic images for human viewing