TWI524306B - 圖像轉換和多視圖輸出系統及方法 - Google Patents

圖像轉換和多視圖輸出系統及方法 Download PDF

Info

Publication number
TWI524306B
TWI524306B TW104104839A TW104104839A TWI524306B TW I524306 B TWI524306 B TW I524306B TW 104104839 A TW104104839 A TW 104104839A TW 104104839 A TW104104839 A TW 104104839A TW I524306 B TWI524306 B TW I524306B
Authority
TW
Taiwan
Prior art keywords
output
view
data
distortion
image data
Prior art date
Application number
TW104104839A
Other languages
English (en)
Other versions
TW201535318A (zh
Inventor
李縉
繼章 單
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201535318A publication Critical patent/TW201535318A/zh
Application granted granted Critical
Publication of TWI524306B publication Critical patent/TWI524306B/zh

Links

Classifications

    • G06T5/80—
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Description

圖像轉換和多視圖輸出系統及方法
數位成像系統通常包括一或多個透鏡和數位圖像感測器。此數位圖像感測器從經由透鏡被成像的物件或場景而將光加以捕捉，並將光轉換成電子信號。前述電子信號被數位化並被儲存在半導體記憶體中的作為數位圖像數據。這樣的數位成像系統被用於在各種消費性產品、工業和科學應用，包括行動電話、數位靜相攝影機(Digital still image video camera)、網路攝影機以及其他設備，以產生靜止圖像和/或視頻。
現今大多數的圖像感測器是由互補金屬氧化物半導體(CMOS)圖像感測器或電荷耦合裝置(CCD)圖像感測器所組成的二維像素陣列。現今的數位圖像感測器可包括數以百萬計的像素，以提供高解析度的圖像。
數位圖像，包括由數位成像系統所產生的靜態圖像和視頻圖像，其品質可取決於各種因素。在具有廣角攝影鏡(例如魚眼鏡頭)的數位成像系統，鏡頭失真(lens distortion)可顯著影響數位圖像的品質。鏡頭失真會造成在場景中被拍攝到的直線或物體於影像中出現彎曲。失真最常見的形式是徑向對稱，徑向對稱是從透鏡的對稱性而產生。徑向失真可被分類為兩種主要類型(桶形失真和枕形失真)中之一者。桶形失真(barrel distortion)是由廣角鏡頭所拍攝的常見圖像，而枕形失真(pincushion distortion)通常是存在於由縮放或遠攝鏡頭所拍攝的圖像。
在桶形失真中，圖像的放大倍率隨著至光軸的距離而減小。其效果是圖像看起來被映射至球體或桶之周圍。在枕形失真中，圖像放大倍率隨著至光軸的距離而增大。視覺上的效果是未經過圖像中心的線條會向內彎、朝向圖像的中心，就像一個針墊。複合失真，其為桶形失真和枕形失真的組合，始於如靠近圖像中心發生的桶形失真，且逐漸變為朝向圖像邊緣的枕形失真。
在一般的數位成像系統中，由鏡頭失真所產生的誤差可藉由形成 於半導體晶片晶粒上的圖像信號處理器(Image Signal Processor,ISP)進行信號處理而校正。ISP接收來自數位圖像感測器的數位圖像數據，數位圖像感測器也普遍地形成在半導體晶片晶粒上。為啟動失真數位圖像數據的校正程序，大量的緩衝記憶體用於儲存幾百行的失真圖像數據。所需的記憶體必須夠大且不能被包括在作為ISP晶片的一部分裡。因此，額外的記憶體晶片是必要的，例如動態隨機存取記憶體(DRAM)裝置。前述附加裝置會影響數位圖像系統的大小與成本。另外，前述附加裝置存取記憶體時會造成延遲，並使記憶體存取頻寬問題複雜化。
在一實施例中，圖像轉換和多視圖輸出方法是從原始圖像產生輸 出視圖。原始圖像被接收，且輸出視圖中的每個像素的座標是藉由使用座標映射而被逆映射到原始圖像的位置。座標映射校正原始圖像中(a)透視和(b)失真中的至少一者。輸出視圖中每個像素的強度是根據原始圖像相應的映射像素位置資訊而決定的。
在另一實施例中，圖像轉換和多視圖輸出系統是從原始圖像產生 輸出視圖。此系統包括查找表，其儲存在非揮發性記憶體中，包含將輸出視圖座標映射至原始圖像；以及逆映射器，其供藉由查找表的使用從原始圖像產生輸出視圖。座標映射校正原始圖像中的(a)透視和(b)失真中的至少一者。
在另一實施例中，提供一種方法，用以產生儲存在查找表中且被 圖像轉換和多視圖輸出系統所使用之座標映射，前述系統具有成像透鏡；圖像感測器，用於從透鏡捕捉的原始圖像；以及輸出裝置，用於顯示校正後的圖像。 圖像轉換和多視圖輸出系統的參數被接收，包括成像透鏡的失真曲線和失真中心。逆透視校正是根據成像透鏡的光軸相對於主光線從透鏡視野中的物體入射到透鏡的角度方位而決定的。逆失真校正是根據失真曲線和失真中心的一或兩者而決定。根據逆透視校正和逆失真校正產生座標映射；其中座標映射包括供圖像轉換和多視圖輸出系統使用的逆轉換，藉以從原始圖像產生輸出視圖。
100‧‧‧圖像轉換和多視圖輸出系統
102‧‧‧汽車
110‧‧‧後視攝影機、攝影機
112‧‧‧成像透鏡、透鏡
113‧‧‧視野
116‧‧‧圖像感測器
117‧‧‧原始圖像數據
120‧‧‧顯示器
121‧‧‧輸出視圖數據
122‧‧‧多視圖選擇開關
123、902‧‧‧輸出視圖
202、1010‧‧‧記憶體
204‧‧‧查找表
205‧‧‧座標映射
206‧‧‧逆映射器
208‧‧‧多視圖選擇模組
212‧‧‧座標映射模組
216‧‧‧強度設定模組
300‧‧‧線柵
301、301(0)-(3)、301(2)、301(4)、301(5)-(8)、501(4)、601(4)‧‧‧水平線
501(2)‧‧‧彎曲水平線
302、302(4)、502、502(0)-(3)、502(4)、502(5)-(8)、602(4)‧‧‧垂直線、中心垂直線、彎曲垂直線
315、317、515、517、617‧‧‧交叉點
400‧‧‧成像配置
430‧‧‧右手座標軸、座標軸
432‧‧‧光軸
434、601(2)、602(4)‧‧‧線
436‧‧‧非零視角角度、角度範圍
512‧‧‧原始圖像
516‧‧‧區域
516、810(1)、810(2)‧‧‧子視圖
534‧‧‧右手座標軸、座標軸
700‧‧‧圖像轉換和多視圖輸出方法、方法
704、1105‧‧‧虛線輪廓
701、702、706、708、710、1101、1102、1103、1104、1106、1107、1108、1112、1114‧‧‧步驟
802‧‧‧原始圖像
804、806、808、902‧‧‧輸出視圖
904‧‧‧失真圖像
906、908‧‧‧球體
907、909‧‧‧天花板線
1000‧‧‧座標映射產生器
1002‧‧‧處理器
1012‧‧‧成像透鏡數據
1014‧‧‧透視校正演算法
1015‧‧‧失真校正演算法
1016‧‧‧透視角度
1018‧‧‧使用者輸入裝置
1020‧‧‧軟體
1030‧‧‧失真曲線
1032‧‧‧失真中心
1038‧‧‧原始圖像數據參數
1040‧‧‧輸出視圖參數
1050‧‧‧中間映射數據
1100‧‧‧方法
圖1顯示在一個實施例中配置有具有後視攝影機、顯示器以及可選多視圖 選擇開關之一車輛的示例性圖像轉換和多視圖輸出系統。
圖2更詳細地顯示在圖1實施例中的圖像轉換和多視圖輸出系統的示意圖。
圖3顯示由圖1的攝影機所成像且由圖1的圖像轉換和多視圖輸出系統所處理的示例性線柵(wire grid)。
圖4顯示成像配置圖，其中圖1的攝影機是捕捉物體的原始圖像數據。
圖5顯示由圖4的攝影機所捕捉到圖3物體的原始圖像。
圖6顯示藉由圖1的圖像轉換和多視圖輸出系統從圖5的原始圖像所產生的輸出視圖。
圖7顯示在一實施例中一種示例性的圖像轉換和多視圖輸出方法。
圖8顯示由圖1的圖像轉換和多視圖輸出系統所產生的示例性原始圖像和三個示例性輸出視圖。
圖9顯示一失真的原始圖像和由圖1系統執行圖7的透視和失真校正方法所產生的輸出視圖。
圖10為顯示一實施例中供產生圖2的查找表所使用的座標映射產生器之示意圖。
圖11顯示在一實施例中用於產生圖2查找表的方法。
在採用寬視角的透鏡視頻成像系統中，例如對汽車駕駛輔助攝影機，圖框與圖框之間的延遲會降低系統的實用性。延遲會降低觀看者適當回應由系統所捕捉圖像的能力。從這樣的延遲所造成的不連貫或濺射視頻串流會阻止潛在使用者(如駕駛)觀看到完整的圖像。因此，如配合圖1到圖11與下文所述者，校正失真圖像的同時又能以「平穩」的圖框速率顯示圖像的能力，是這些視頻技術所具有價值的功能。
已有涉及逆映射的失真去除方法輔助視頻技術。逆映射將輸出圖像中的像素映射回原始失真圖像的位置。在正向映射演算法中，在失真圖像中的每個像素被映射到在校正後圖像中的像素。然而，這樣的演算法在計算上的效率並不高，因為許多失真圖像中的像素不會被映射到校正後的圖像。透過在原始圖像中只考慮映射像素的情況，逆映射法不僅更有效、更快速，且比正向映射法需要更少的計算資源。
一種在成像系統中加快失真移除的方式是將逆映射預先進行計 算且將結果儲存於查找表上。例如，包括一個CMOS圖像感測器的成像系統可在的晶片上對每一拍攝圖像執行映射演算法(正向或逆向)，然後將轉換後的圖像加以顯示。用包含前述演算法結果的查找表替換前述演算法能減少圖像失真修正的所需時間，且能應用於其他的圖像轉換。
對於從具有失真的拍攝圖像，例如那些由魚眼攝影透鏡捕捉的圖 像，產生直播無失真視頻串流的快速圖像轉換是重要的。對於某些成像應用，如下所述，具有一種“多視圖”功能的優點在於此功能可讓使用者選擇和查看一個原始圖像中一個或多個轉換的區域。例如，汽車後視攝影機和監視視頻系統，其因使用廣角攝像透鏡而造成明顯的失真將會從這些選擇和轉換所得益。以計算昂貴的失真移除演算法，從被捕捉視頻提供一多視圖的功能將會限制視頻框率，因而導致不連貫的視頻輸出。此不連貫的輸出會使觀看視頻的品質降低且妨礙使用者對現有資訊快速反應的能力。先前技術的圖像失真修正系統缺乏多個可轉換圖像與動態(或「即時」)可重組多視圖輸出的組合。
本發明所揭露是關於供將原始數位圖像加以轉換以去除圖像偽 影的方法和相關系統，例如與由廣角鏡頭(如魚眼鏡頭)所拍攝圖像有關的失真和透視誤差。一個能實現多視圖視頻串流的圖像校正且選擇子視圖區域的示例性方法，使得多個顯示視圖的選擇能即時更改。
圖1顯示配置成具有後視攝影機110、顯示器120和可選擇的多 視圖選擇開關122的汽車102的示例性圖像轉換和多視圖輸出系統100。攝影機110具有成像透鏡112和圖像感測器116。成像透鏡112是廣角鏡頭，例如以魚眼鏡頭為例。圖像感測器116例如可在CMOS中加以實施，但也可以其他技術而不悖離本發明範圍的情況下加以實施。圖像轉換和多視圖輸出系統100例如可在單個積體電路中加以實施，其中其可被配置於攝影機110或顯示器120中。
在一操作實例中，成像透鏡112將其視野113中的物體成像至圖 像感測器116，其產生原始圖像數據117並將原始圖像數據117發送至圖像轉換和多視圖輸出系統100。圖像轉換和多視圖輸出系統100將原始圖像數據117的至少一部分轉換為輸出視圖數據121，其是作為輸出視圖123而被顯示於顯示器120。若包括於其中，可選擇的多視圖選擇開關122可使用在對由圖像轉換和多視圖輸出系統100所產生的視圖作替代輸出視圖的選擇，且將相應原始圖像數據117的轉換版本顯示在顯示器120上。圖像轉換和多視圖輸出系統100還可 從原始圖像數據117同時將輸出視圖123中的多個視圖產生且顯示於顯示器120。
數位圖像數據可藉由含有二維像素陣列的圖像感測器加以捕 捉。圖像感測器116例如具有一個二維的像素陣列，每個像素具有一位置和一強度。像素位置是像素陣列中像素的二維座標位置。例如，在一VGA圖像感射器中的像素陣列具有640×480的維度，且其像素位置使用以零為基準加以編號，範圍從(0,0)至(639,479)。由此感測器捕捉的原始圖像數據包含像素強度值所對應的二維陣列。除少數例外，由一個映射所決定的原始圖像數據中的位置將具有相對應於像素之間位置的非整數座標。像素強度是當將數位圖像數據例如以一個包含於0和255之間的整數顯示時的像素亮度。
顯示器120將輸出視圖數據121加以顯示，其被表示為像素值的 二維陣列，每一者皆具有一個位置和強度值。因此，當參考數字圖像數據(例如原始圖像數據117或輸出視圖數據121)時，此規範將建構出可被表示為圖像數據的參考像素。構成這些數據的每個像素皆具有一像素位置和一像素強度值。
圖2是圖1顯示的圖像轉換和多視圖輸出系統100的進一步示例 性細節示意圖。圖像轉換和多視圖輸出系統100包括記憶體202、逆映射器206以及可選擇的多視圖選擇模組208。記憶體202供儲存所接收到的原始圖像數據117(例如，從攝影機110的圖像感測器116)、查找表204以及產生的輸出視圖數據121。記憶體202至少一部分以非揮發性記憶體(例如用於儲存查找表204者)的方式執行，且至少一部分以揮發性記憶體(例如用於暫時儲存原始圖像數據117和輸出視圖數據121者)的方式執行。查找表204包含至少一個座標映射205，其將輸出視圖數據121映射至原始圖像數據117的至少一部分，藉以根據輸出視圖數據121校正原始圖像數據117中的透視。座標映射205也可校正經由成像透鏡112所帶來的失真，藉以改善從原始圖像數據117所產生輸出視圖123的品質和清晰度。
逆映射器206包括座標映射模組212和強度設定模組216。座標映射模組212是根據查找表204而將輸出視圖數據121的每一像素映射到原始圖像數據117的相應部分。強度設定模組216從原始圖像數據117中的映射部分檢索像素強度值，並根據這些強度值設定輸出視圖數據121中的像素強度值。在一個實例中，將逆映射器206執行於硬體中，在從原始圖像數據117產生輸 出視圖數據121可達到高圖框速率。即，使用查找表204執行原始圖像數據117的透視和失真校正，於夠高速下形成輸出視圖數據121，因而使得輸出視圖123的更新不延遲，且藉以使感知移動維持平穩，使得使用者察覺不到任何轉換過程。
在操作中的一實例中，對於在輸出視圖數據121中的每一像素， 座標映射模組212利用查找表204內的座標映射205而決定原始圖像數據117中的位置。強度設定模組216根據在被決定位置的原始圖像數據117的資訊，決定對輸出視圖數據121的像素強度值。因為僅將對應至輸出視圖數據121中像素的原始圖像數據117中的像素進行處理，且沒有映射到輸出視圖數據121的原始圖像數據117的像素並不進行處理，因此，計算負載得以降低且節省功率。逆映射器206之所以能便於在硬體中執行是因為：(a)其直接將輸出視圖數據121的像素映射到原始圖像數據117，且(b)使用查找表204的單個映射操作是用於同時執行透視校正和失真校正中的一者或兩者。
為確保來自圖像感測器116的圖像資訊至少部分被轉移至輸出 視圖123，在輸出視圖數據中的每一像素位置被「向後(backward)」映射至原始圖像數據117的位置。由於輸出視圖數據的屬性被映射到輸入數據的屬性，此映射被認為是「逆」映射。
在一實施例中，查找表204包含多個座標映射205，其中每個 座標映射205從原始圖像數據117中產生不同的輸出視圖123。使用者可例如使用多視圖選擇開關122，選擇以一個特定的座標映射205產生所期望的輸出圖123。可選擇地，座標映射205還可被配置以產生多個位於輸出視圖123中的子視圖，其中，每個子視圖被映射到原始圖像數據117中的一部分。如以下的實例所示，將原始圖像數據117的各部分同時進行映射的動作是可以重疊的，以在輸出視圖123中形成多個子視圖。
在一個使用實例中，多個輸出視圖中之一者是根據一個或多個相 對於車輛之感測條件所自動選擇的。例如，對於裝有超聲波接近偵測的車輛，圖像轉換和多視圖輸出系統100可被控制，藉以當偵測到接近於外部物體時，能顯示一個或多個預先定義的視圖。藉此，使得外部物體的適當視圖可自動顯示給車輛的駕駛觀看。
多種類型的圖像校正的可在查找表204中執行。例如，查找表 204可執行圓柱型視圖(cylindrical view)，其具有沿著一方向(例如，垂直或水平)上的校正，而忽略在正交方向上的視野耗損。在另一個實例中，查找表204可以執行直線視圖(rectilinear view)，前述直線視圖包括沿著兩個正交軸進行失真校正，但也伴隨著沿著這些軸的視野減小，於此，藉由產生與原始圖像不同區域中心有關的多個直線視圖，以補償任何視野的減少。
座標映射205還可以包括圖像處理操作，例如旋轉操作和縮放操 作(改變焦距Zoom)。
座標映射205是例如由座標映射產生器1000(圖10)所產生，座 標映射產生器1000可執行成像透鏡112的校準以及執行每個座標映射205中的透視和失真校正，然後將座標映射205於圖像轉換和多視圖輸出系統100的查找表204中進行使用。
在一個實施例中，逆映射器206採用最近相鄰演算法以將輸出視 圖像素強度值設定到位於座標(xm,yn)的像素的原始圖像像素強度，其中(xm,yn)是最接近被映射原始圖像座標(xraw,yraw)的座標。其他實施例中，可採用更準確方法，而考慮接近被映射原始圖像座標(xraw,yraw)的多個像素強度。例如，多個相鄰內插演算法，其包含最接近被映射原始圖像座標(xraw,yraw)的三、四或N個像素的強度。這些方法包括但不限於：例如雙線性(bilinear)插值和雙三次(bicubic)插值等內插演算法。
在一實施例中，內插演算法的結果是預先計算並儲存在查找表 204中的座標映射205中。例如，座標映射205中的每個元素可包括可識別相應於原始圖像像素位置與每一位置權重值的陣列。逆映射器206根據儲存在座標映射205中的所識別像素位置與權重值，而計算像素強度的加權平均值。
圖3至圖6顯示圖1、2的圖像轉換和多視圖輸出系統100操作實例。圖3至圖6最佳一起配合以下描述加以觀看。
圖3顯示一個示例性線柵(wire grid)300，其由圖1的攝影機110加以成像，且由圖像轉換和多視圖輸出系統100進行處理。為了更佳地說明圖像轉換和多視圖輸出系統100的功能，因此以一個具有由水平線301與垂直線302相交形成的8×8正方形網格的平面作為線柵300，水平線301(4)和垂直線302(4)於交叉點315交叉，且水平線301(2)和垂直線302(4)於交叉點317交叉。
圖4顯示成像配置400，於此攝影機110捕捉被顯示為沿著線434 橫截面的線柵300的原始圖像數據117。攝影機110經定位而使得成像透鏡112的光軸432與線柵300在交叉點315相交，且攝影機110是垂直於線柵300的平面。藉此，成像透鏡112將線柵300成像至圖像感測器116，而將原始圖像數據117加以捕捉。在右手座標軸430中，y軸是垂直於xz平面。
圖5顯示當如圖4所顯示的配置時，由攝影機110所捕捉到的線 柵300的原始圖像數據117。右手座標軸534是將座標軸430往x軸旋轉90°，使得座標軸534的z軸垂直於x-y平面。座標軸534顯示出原始圖像512相對於攝影機110和線柵300的方位。
在原始圖像數據117中，垂直線502(4)是中心垂直線302(4)的鏡 像，且水平線501(4)是水平線301(4)的鏡像。原始圖像數據117所具有桶形失真是通常使用廣角鏡頭所拍攝圖像所一般具有者，其造成水平線301(0)-(3)、301(5)-(8)的彎曲以及垂直線502(0)-(3)、502(5)-(8)的彎曲。垂直線302(4)和水平線301(4)在原始圖像數據117的中心交叉點515交叉，因為在原始圖像數據117中在此位置的桶形失真為最小，所以能維持相對直的狀態。交點515是交叉點315的鏡像，且交叉點517是交叉點317的鏡像。如圖4所示，從線柵300中心的主光線沿著成像透鏡112的光軸432行進。
在圖3-6的實例中，輸出視圖數據121是以線柵300的交叉點 317為中心，因而產生座標映射205，藉以映射輸出視圖數據121至由原始圖像數據117的虛線所限定的區域516。
圖6顯示對應於區域516之一輸出視圖123，其由圖像轉換和多 視圖輸出系統100所產生。在輸出視圖123中，垂直線602(4)對應於線柵300的垂直線302(4)，且水平線601(4)對應於線柵300的水平線301(2)。水平線601(4)和垂直線602(4)的交叉點617因而對應於線柵300的交叉點317。由於交叉點317不位於攝影機110的光軸432上，主光線從交點317向攝影機110的方向具有至光軸432的非零視角角度436。因此，座標映射205包括透視和失真校正，使得逆映射器206從具有透視和失真校正的原始圖像數據117的區域516產生輸出視圖數據121。如圖所示，輸出視圖數據121的線601(2)和602(4)實質上是直的。應注意的是，當輸出視圖數據121是直線型時，原始圖像數據117中的區域516不必是直的。
為了產生輸出視圖數據121，逆映射器206使用查找表204將 輸出視圖數據121的像素座標映射至原始圖像數據117中的位置。例如，顯示交叉點617的像素被逆映射到原始圖像數據117中交叉點517的位置。同樣的，顯示水平線601(4)和垂直線602(4)的像素被映射到原始圖像數據117中的彎曲水平線501(2)和彎曲垂直線502(4)內相應的位置。
圖7顯示經由使用圖2的查找表204供從原始圖像數據117產生圖1的輸出視圖數據121的示例性圖像轉換和多視圖輸出方法700。舉例而言，方法700是在圖像轉換和多視圖輸出系統100中的逆映射器206中加以執行。步驟701是可選的。如果包括，在步驟701中，方法700會決定輸出視圖的選擇。在步驟701的一個實例中，多視圖選擇模組208決定將來自多視圖選擇開關122的輸出視圖數據121加以選擇，藉以選擇查找表204中的座標映射205。在步驟702中，方法700將原始圖像數據加以接收。在步驟702的一個實例中，圖像轉換和多視圖輸出系統100接收來自圖像感測器116的原始圖像數據117。
在步驟706中，方法700將每個輸出像素逆映射至原始圖像數據中的位置。在步驟706的實例中，逆映射器206使用查找表204而將輸出視圖數據121的輸出像素逆映射到原始圖像數據117中的位置。在步驟708中，方法700根據位於映射位置的原始圖像數據決定對於輸出視圖像素的像素強度值。在步驟708的實例中，逆映射器206的強度設定模組216使用像素內插法而藉此接近原始圖像數據117中的映射位置，以決定對應輸出視圖數據121中像素的值。如虛線輪廓704所指示的，重複進行步驟706和708，直到輸出視圖數據121的所有像素都被映射且被分配到一個值為止。每個輸出像素可根據逆映射器206的執行程序，按順序地或並行地進行映射。
在步驟710中，方法700將輸出視圖數據加以輸出。在步驟710的一個實例中，圖像轉換和多視圖輸出系統100將輸出視圖數據121發送至顯示器120。當應用於視頻圖框的處理時，對每個接收到的原始圖像數據(視頻圖框)重複進行方法700的步驟。
圖8顯示一示例性的原始圖像802中，其表示原始圖像數據117，以及三個示例性輸出視圖804、806和808，其皆由圖像轉換和多視圖輸出系統100所產生。在圖8的實例中，輸出視圖806形成兩個示例性的子視圖810(1)和810(2)，其是使用單個座標映射205所產生的。輸出視圖804、806和808是例如藉由圖1的圖像轉換和多視圖輸出系統100使用圖7的方法700而從 原始圖像802所產生的。輸出視圖804和輸出視圖806的每個子視圖810(1)和810(2)分別顯示原始圖像802的中心、左和右視圖的直線校正。輸出圖808顯示原始圖像802的垂直校正，其中在原始圖像802中只有校正垂直失真的部分，同時維持幾乎完整的水平視角。
圖9顯示藉由使用查找表204中的透視和失真校正且根據圖7 的方法700，由圖像轉換和多視圖輸出系統100所產生的失真圖像904和輸出視圖902。失真圖像904代表圖1的原始圖像數據圖117，且輸出視圖902代表輸出視圖數據121。藉由使用方法700，圖像轉換和多視圖輸出系統100將相對應輸出視圖902的球體908的像素，逆映射至相對應失真圖像904中球體906的位置。
失真圖像904展現出桶形失真，即如天花板線909自圖像中心彎 曲遠離所顯示者。座標映射205將透視和/或失真校正加以結合，使得在輸出視圖902中，天花板線907是直的。雖然只展示桶形失真，座標映射205也可在不悖離本發明的範圍下，應用於其它類型的失真校正。例如，座標映射205可以應用於枕形失真校正，且可校正桶形和枕形失真的任意組合(即複合失真)。
圖10是顯示一個用於產生供圖2查找表204中使用的座標映射 205的示例性座標映射產生器1000的示意圖。座標映射產生器1000例如是一電腦，其包括處理器1002和將軟體1020加以儲存的記憶體1010，前述軟體包括透視校正演算法1014。記憶體1010表示本領域習知的揮發性和非揮發性記憶體中的一者或兩者。軟體1020具有由處理器1002所執行的機器可讀指令，藉以執行如下所述座標映射產生器1000的功能。記憶體1010還示出了儲存成像透鏡數據1012的功能，其包括成像透鏡112(圖1)的失真曲線1030和失真中心1032的一者或兩者。成像透鏡數據1012還可決定成像透鏡112的視野(例如：視野113)。
記憶體1010還儲存有原始圖像數據參數1038及輸出視圖參數 1040，原始圖像數據參數1038定義原始圖像數據117和的特徵，輸出視圖參數1040則定義輸出視圖數據121的特徵。例如，原始圖像數據參數1038包括對應於圖像感測器116像素陣列的原始圖像數據117的像素陣列維度，輸出視圖參數1040定義輸出視圖123的像素陣列尺寸。
輸出視圖參數1040還可包括輸出視圖尺寸，即，關於原始圖像 區域的數位變焦。幾何形狀的部分，是藉由橫跨子視圖516的垂直線502(圖5)部分在x-z平面上的角度範圍436(圖4)與跨越子視圖516中彎曲水平線501(2)部分所對應y-z平面角度的範圍而定義。
舉例而言，透視角度1016為，使用對應於相對攝影機110光軸 432所需輸出視圖123的沿著x軸旋轉(pitch)、沿著y軸旋轉(yaw)和沿著z軸旋轉(roll)旋轉而加以定義。經由使用者輸入裝置1018而由使用者提供成像透鏡數據1012和透視角度1016中的一者或兩者。成像透鏡數據1012可經由成像透鏡112的量測來決定。如圖4所示，沿著x軸旋轉(pitch)、沿著y軸旋轉(yaw)和沿著z軸旋轉(roll)是分別圍繞著x軸、y軸和z軸進行旋轉。
子視圖810(1)和810(2)(圖8)顯示輸出視圖123的透視視角。每 個子視圖810(1)和810(2)中的垂直透視視角(pitch)是零，因為它們與原始圖像802的垂直透視並無不同。子視圖810(1)和810(2)的水平透視視角(yaw)兩者彼此並不同，且此兩者也與原始圖像802的水平透視視角(yaw)也不同。
透視校正演算法1014，當由處理器1002執行時，是根據原始圖 像數據參數1038和透視視角1016中的一者或多者，在輸出視圖參數1040上執行數學逆透視校正，藉以在記憶體1010中產生中間映射數據1050。然後，由處理器1002執行失真校正演算法1015，而根據中間映射數據1050、原始圖像數據參數1038，以及失真曲線1030與失真中心1032中的一者或兩者，將座標映射205產生。座標映射205因而包含透視校正和失真校正，以將輸出視圖數據121的像素座標逆映射至原始圖像數據117。
圖11是說明供於查找表204中使用用於產生座標映射205的示 例性方法1100的流程圖。舉例而言，方法1100是，在圖10的軟體1020中執行，以根據成像透鏡112和原始圖像數據117的特徵，產生對一或多個所需輸出視圖123中的每一者的座標映射205。
在步驟1101中，方法1100將成像透鏡參數加以接收。在步驟 1101的實例中，座標映射產生器1000從使用者接收指示成像透鏡112視野的輸入。
在步驟1102中，方法1100將原始圖像數據的參數加以接收。在 步驟1102的一個實例中，座標映射產生器1000將來自使用者指示原始圖像數據117屬性的輸入加以接收，例如像素陣列維度、像素數目與像素間距。
在步驟1103中，方法1100決定透鏡的失真曲線。在步驟1103 的實例中，座標映射產生器1000控制和/或指示校準設備，藉以測量成像透鏡112的失真曲線1030。在步驟1103的另一實例中，座標映射產生器1000是從第三方接收失真曲線1030，如經由成像透鏡112的製造商所提供的使用者輸入數據。
在步驟1104中，方法1100決定對應於透鏡的失真中心。在步驟 1104的一個實例中，座標映射產生器1000控制和/或指示校準設備，藉以測量成像透鏡112的失真中心1032而產生所述失真中心。在步驟1104的另一實例中，座標映射產生器1000從第三方接收失真中心1032，如經由成像透鏡112的製造商所提供的使用者輸入數據。
在步驟1106中，方法1100接收用於產生輸出視圖中的至少一 透視角度。至少一透視角度的每一者是代表成像透鏡視野中的角度。在步驟1106的一實例中，座標映射產生器1000自使用者接收一指示，其代表經延著x軸旋轉、延著z軸旋轉和延著y軸旋轉的透視角度。在步驟1106的一個實例中，座標映射產生器1000自使用者接收一指示，其代表透視角度經沿著x軸旋轉、沿著z軸旋轉和沿著y軸旋轉的一者或兩者的指定值，其中未被指定的透視角度被設置為零。
在步驟1107，方法1100將輸出視圖尺寸加以接收。在步驟1107 的實例中，藉由在正交平面、相對於步驟1106中接收的透視角度所定義的軸的兩個視野角度，輸出視圖尺寸被定義且由使用者加以輸入。
在步驟1106和1107所提供的資訊定義成像透鏡112視野的子視 野，其中子視野是由圖像轉換和多視圖輸出系統100轉換為輸出視圖123。
在步驟1108中，方法1100使用根據由步驟1106所接收的至少 一透視角度的數學計算，而藉由被選擇的輸出視圖數據的逆映射像素座標(例如，像素座標xout,yout)將透視校正應用於中間映射數據。在步驟1108的一實例中，處理器1002根據輸出視圖參數1040而執行透視校正演算法1014的指令，藉以產生中間映射數據1050。
在步驟1112中，方法1100使用失真曲線和/或失真中心，藉由 將在步驟1108所產生的中間映射數據加以逆映射，將失真校正應用於原始圖像數據位置。在步驟1112中的實例中，座標映射產生器1000的失真校正演算法 1015將中間映射數據1050進行處理，藉以將分別在步驟1103和1104加以決定的失真曲線1030和失真中心1032中的一者或兩者加以結合。在步驟1114中，方法1100將座標映射輸出。在步驟1114的實例中，座標映射產生器1000將座標映射205輸出而供查找表204中使用。例如，在此圖像轉換和多視圖輸出系統100是被用作為單一封裝(如，一個單一積體電路)，座標映射產生器1000可將座標映射205寫入圖像轉換多視圖輸出系統100的記憶體202。
重複步驟1106到步驟1114，如虛線輪廓1105所示，藉以產生 用於每個輸出視圖的座標映射205。例如，為了產生對應每個輸出視圖804、806和808的一個座標映射205，將步驟1106至1114重複進行三次：首先，產生對應於輸出視圖804的座標映射205；第二，產生對應於輸出視圖806的座標映射205；以及第三，產生對應於輸出視圖808的座標映射205。對於第二次重複，座標映射205將原始圖像802轉換成子視圖810(1)和810(2)，步驟1106至1112可以對每個子視圖810重複進行，且步驟1114將多個座標映射205結合而產生單一的座標映射205，以供於查找表204中使用。
方法1100中的步驟順序可以在不脫離本發明的範圍下加以改變。例如，步驟1104可以在步驟1103之前，且步驟1107可以在步驟1106之前。
可將以上方法和系統進行改變而不脫離本發明的範疇。因此應注意，以上描述中所含有及隨附圖式中所展示之內容應被解讀為說明性而非限制性的。以下申請專利範圍意欲涵蓋本文所描述之所有一般及特定的特徵，以及本發明的方法及系統範疇的所有陳述，其以語言角度可被視為落入其間範圍內。
100‧‧‧圖像轉換和多視圖輸出系統
102‧‧‧汽車
110‧‧‧後視攝影機、攝影機
112‧‧‧成像透鏡
113‧‧‧視野
116‧‧‧圖像感測器
117‧‧‧原始圖像數據
120‧‧‧顯示器
121‧‧‧輸出視圖數據
122‧‧‧多視圖選擇開關
123‧‧‧輸出視圖

Claims (15)

  1. 一種系統，用於圖像轉換和多視圖輸出，該系統包括：一查找表，其儲存在一非揮發性記憶體中且包含一座標映射，以將一輸出視圖數據的像素映射到一原始圖像數據中的位置；以及一逆映射器，其使用該座標映射而從該原始圖像數據產生該輸出視圖數據；其中該座標映射包括(a)透視校正和(b)失真校正中的一者或兩者。
  2. 如申請專利範圍第1項所述的系統，其中該逆映射器包括一強度設定模組，其供於該原始圖像數據中的至少兩個輸入像素之間進行內插，以產生該輸出視圖數據的每一輸出像素強度值。
  3. 如申請專利範圍第1項所述的系統，其中該逆映射器校正沿著圖像平面之一軸的失真。
  4. 如申請專利範圍第1項所述的系統，其中該逆映射器校正沿著圖像平面之兩個正交軸的失真。
  5. 如申請專利範圍第1項所述的系統，其中該輸出視圖數據包括該原始圖像數據的兩個獨立子視圖。
  6. 如申請專利範圍第1項所述的系統，更包括：至少一附加座標映射，其儲存在該查找表中；以及一多視圖選擇模組，供(a)接收一選擇性輸出視圖的一輸入指示，和(b)選擇該座標映射與該附加座標映射中之一者，而供該逆映射器使用以產生該輸出視圖數據。
  7. 如申請專利範圍第1項所述的系統，其中該座標映射執行一個或多個縮放和旋轉。
  8. 如申請專利範圍第1項所述的系統，其中該查找表和逆映射器被配置為一單一積體電路。
  9. 如申請專利範圍第1項所述的系統，其中該輸出視圖數據被發送到一顯示裝置而供顯示給使用者觀看。
  10. 如申請專利範圍第1項所述的系統，其中該原始圖像數據是一輸入視頻序列數據中的圖框，且其中該輸出視圖數據是在一直播視頻串流中作為圖框而被顯示。
  11. 一種方法，用於在一圖像轉換和多視圖輸出系統所使用的一查找表中產生一座標映射，包括：接收一成像透鏡的參數，該成像透鏡的參數包括該成像透鏡的一失真曲線和一失真中心兩者；接收一原始圖像數據的參數；接收至少一透視角度，該透視角度是對應於該圖像轉換和多視圖輸出系統的一輸出視圖；根據至少一個該透視角度而將逆透視校正應用至一輸出視圖數據，以產生一中間映射；根據該失真曲線和該失真中心中的一者或兩者而將逆失真校正應用至該中間映射，以產生該座標映射；以及將供該圖像轉換和多視圖輸出系統中所使用的該座標映射輸出。
  12. 如申請專利範圍第11項所述的方法，其中該成像透鏡的參數包括該成像透鏡之視野。
  13. 如申請專利範圍第11項所述的方法，其中該原始圖像數據的參數包括像素位置。
  14. 如申請專利範圍第11項所述的方法，其中該座標映射包括介於該原始圖像數據與該輸出視圖數據之間的一縮放操作。
  15. 如申請專利範圍第11項所述的方法，其中該座標映射是將該輸出視圖數據 的每一像素映射至該原始圖像數據中的一位置。
TW104104839A 2014-03-10 2015-02-12 圖像轉換和多視圖輸出系統及方法 TWI524306B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/203,016 US9196022B2 (en) 2014-03-10 2014-03-10 Image transformation and multi-view output systems and methods

Publications (2)

Publication Number Publication Date
TW201535318A TW201535318A (zh) 2015-09-16
TWI524306B true TWI524306B (zh) 2016-03-01

Family

ID=54017845

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104104839A TWI524306B (zh) 2014-03-10 2015-02-12 圖像轉換和多視圖輸出系統及方法

Country Status (4)

Country Link
US (1) US9196022B2 (zh)
CN (1) CN104917955B (zh)
HK (1) HK1209541A1 (zh)
TW (1) TWI524306B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2960864B1 (en) * 2014-06-23 2018-12-05 Harman Becker Automotive Systems GmbH Device and method for processing a stream of video data
US20160189350A1 (en) * 2014-12-30 2016-06-30 Texas Instruments Incorporated System and method for remapping of image to correct optical distortions
US10196005B2 (en) 2015-01-22 2019-02-05 Mobileye Vision Technologies Ltd. Method and system of camera focus for advanced driver assistance system (ADAS)
US9930315B2 (en) * 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
US9536287B1 (en) * 2015-07-09 2017-01-03 Intel Corporation Accelerated lens distortion correction with near-continuous warping optimization
US9836809B2 (en) 2015-09-25 2017-12-05 Intel Corporation Method and apparatus for adaptive pixel hashing for graphics processors
US10140687B1 (en) 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
US10142544B1 (en) 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
US10692050B2 (en) 2016-04-06 2020-06-23 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
CN106204480B (zh) * 2016-07-08 2018-12-18 石家庄域联视控控制技术有限公司 基于圆锥曲线的图像畸变矫正方法及实时矫正装置
TWI599989B (zh) 2016-11-29 2017-09-21 財團法人工業技術研究院 用於交通工具之影像處理方法及影像系統
CN106600528B (zh) * 2016-12-23 2020-04-14 首都师范大学 一种全画幅微单鱼眼相机畸变改正算法
US10572982B2 (en) * 2017-10-04 2020-02-25 Intel Corporation Method and system of image distortion correction for images captured by using a wide-angle lens
KR102467882B1 (ko) * 2017-11-28 2022-11-16 엘지디스플레이 주식회사 개인 몰입형 표시장치와 이의 구동방법
KR102650217B1 (ko) * 2017-12-07 2024-03-21 삼성전자주식회사 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
JP7081265B2 (ja) * 2018-03-29 2022-06-07 株式会社富士通ゼネラル 画像処理装置
CN108761777B (zh) * 2018-03-30 2021-04-20 京东方科技集团股份有限公司 一种确定光学装置畸变量、畸变校正的方法及设备
CN109472750B (zh) * 2018-10-29 2021-11-30 湖南优象科技有限公司 一种基于显著性检测的智能构图方法
FR3091946B1 (fr) * 2019-01-18 2021-10-01 Renault Sas Procédé de création de vues à partir d’une image capturée par une caméra grand angle
US11277544B2 (en) * 2019-08-07 2022-03-15 Microsoft Technology Licensing, Llc Camera-specific distortion correction
CN112489114A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备
CN115131224A (zh) * 2021-03-29 2022-09-30 北京小米移动软件有限公司 图像校正方法及装置、电子设备及存储介质
US11663704B2 (en) 2021-04-28 2023-05-30 Microsoft Technology Licensing, Llc Distortion correction via modified analytical projection
DE102021115253A1 (de) 2021-06-14 2022-12-15 Connaught Electronics Ltd. Reduzierung von Effekten der radialen Verzeichnung nicht-geradliniger Kameras
CN113487500B (zh) * 2021-06-28 2022-08-02 北京紫光展锐通信技术有限公司 图像畸变校正方法与装置、电子设备和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4630773A (en) * 1984-11-06 1986-12-23 Soil Teq., Inc. Method and apparatus for spreading fertilizer
US5321797A (en) 1990-06-11 1994-06-14 Eastman Kodak Company Apparatus and method for performing coordinate transformation employing stored values and interpolation
US6173087B1 (en) 1996-11-13 2001-01-09 Sarnoff Corporation Multi-view image registration with application to mosaicing and lens distortion correction
US7333238B2 (en) * 2003-03-28 2008-02-19 Hewlett-Packard Development Company, L.P. Rendering a printing device pixel map
JP2005339313A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 画像提示方法及び装置
WO2009013845A1 (ja) 2007-07-20 2009-01-29 Techwell Japan K.K. 画像処理装置及びカメラシステム
KR101014572B1 (ko) * 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
TWI441514B (zh) * 2008-11-12 2014-06-11 Avisonic Technology Corp 魚眼影像校正及減輕透視變形的影像處理方法及相關影像處理裝置
TWI423659B (zh) 2010-11-09 2014-01-11 Avisonic Technology Corp 影像校正方法與相關影像校正系統
TWI538474B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
CN103514628B (zh) * 2012-06-29 2016-08-10 中国船舶重工集团公司第七0九研究所 一种基于3d建模和位置查表技术的图像非线性几何校正方法
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法

Also Published As

Publication number Publication date
CN104917955B (zh) 2019-07-12
US9196022B2 (en) 2015-11-24
TW201535318A (zh) 2015-09-16
CN104917955A (zh) 2015-09-16
US20150254818A1 (en) 2015-09-10
HK1209541A1 (zh) 2016-04-01

Similar Documents

Publication Publication Date Title
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
US10616549B2 (en) Application processor for disparity compensation between images of two cameras in digital photographing apparatus
US8855441B2 (en) Method and apparatus for transforming a non-linear lens-distorted image
TWI423659B (zh) 影像校正方法與相關影像校正系統
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
US9667864B2 (en) Image conversion apparatus, camera, image conversion method, and storage medium with program stored therein
JP5666069B1 (ja) 座標算出装置及び方法、並びに画像処理装置及び方法
TWI578271B (zh) 動態影像處理方法以及動態影像處理系統
JP6434209B2 (ja) 画像生成装置、画像生成方法、およびプログラム
JP4935440B2 (ja) 画像処理装置およびカメラ装置
EP2820593A1 (en) Method and system for adaptive perspective correction of ultra wide-angle lens images
JP2010171914A (ja) 画像データ変換装置
US8289420B2 (en) Image processing device, camera device, image processing method, and program
JP2018152782A (ja) 画像処理システム、撮像装置、画像処理方法及びプログラム
JP6151930B2 (ja) 撮像装置およびその制御方法
JP2004135209A (ja) 広視野高解像度映像の生成装置及び方法
US20190005622A1 (en) Image processing apparatus, control method thereof, and storage medium
JP4908350B2 (ja) 画像処理方法と該画像処理方法を用いた撮像装置
JP6666983B2 (ja) 画像生成装置、画像生成方法、およびプログラム
WO2015098721A1 (ja) 画像処理装置、画像処理方法、画像処理用プログラム、および、撮像装置
TWI639338B (zh) 影像擷取裝置及其影像平順縮放方法
WO2011158344A1 (ja) 画像処理方法、プログラム、画像処理装置及び撮像装置
JP2015220662A (ja) 画像処理装置及びその制御方法、並びにプログラム
JP6273881B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6793310B2 (ja) 映像変換装置および撮像装置