TW594453B - Method for presenting fisheye-camera images - Google Patents
Method for presenting fisheye-camera images Download PDFInfo
- Publication number
- TW594453B TW594453B TW91116790A TW91116790A TW594453B TW 594453 B TW594453 B TW 594453B TW 91116790 A TW91116790 A TW 91116790A TW 91116790 A TW91116790 A TW 91116790A TW 594453 B TW594453 B TW 594453B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- projection
- point
- fisheye camera
- presenting
- Prior art date
Links
Landscapes
- Image Processing (AREA)
Description
594453
五、發明說明(1) 【發明之應用範圍】 本發明係有關於一種呈現魚眼相機影像的方法,且特 別是一種整合多準直器方法學(multic〇1Hmat〇r metrology)與地圖製作學(cartography)的方法,以有 系統地描述魚眼相機機制並據此轉換魚眼相機影像使其適 合進一步的視覺應用。 【發明之背景】 為了量測的準確度’人工視覺(artif icial vision)系統使用的相機裝置喜用小視角的鏡頭,以使得 攝取到的影像盡量符合理想透視投射機制(perspect丨Μ projection mechanism);事實上,這種以針孔成像為原 理的)透視投射機制經常是演繹相機參數的根據,其利用一 個非線性函數來描述像尚的模式偏差狀況。如此所痒到内 部(intrinsic)與外部(extrinsic)參數值可用來組 具有較佳精確度的視覺應用,如三維立體推斷(3 — d cubical inference)、立體視覺(stere〇sc〇py)、自 光學檢查(automatic optical inspection)等等;但 是,目前這類應用的共同限制是其視角太小與景深較短。 而魚眼鏡頭(f isheye lens)能夠聚焦得更廣更深。 裝置在相機上可以攫取到無限景深的清晰影像,其視释之 至可以超過1 8 0度,但是影像卻連帶具有劇烈的桶狀甚 (barrel distortion)。由於魚眼相機的光學幾何真 (optical geometry)與直線透視投射機制差異彳艮大 以習知方式藉由透視投射機制為建立魚眼相機模式’若
第6頁 594453 ____案號 9mR7Q0 五、發明說明(2) f %替攀頁 修正 據’則其光學參數無法如一般相機般被準確地演繹。因 此’導致大量於視覺科學已發展成熟的技術無法被運用來 處理魚眼相機取得的影像,甚至在全方位環場 (panospherical imaging)領域亦放棄使用折射光學魚 眼相機(稱之為dioptric sensor),轉而採用由複雜光 學咸置組成的反射式複合相機(稱之*catadioptric sensor)尋求解決之道。 這種反射式解環場的方法是利用反射鏡或稜鏡等光學 元件組合相機來取得大視角影像,如中華民國專利
3 78454、38 2 0 6 7與美國專利 6,1 1 8,474、6,2 8 8,84 3 B1 中 所揭露的技術。然這種解決方案需要非常精密的光學元件 配合而使得相機系統變得複雜且昂貴,而且經由附加光學 元件間接攝取影像會使得景彡傻却啤㈣ 锊a认冰”乂像喊變弱,更不用說將反射 鏡置於鏡頭刖的實施態樣會導致 點。 苜守双畫面中心有無可避免的盲 此外,習知取得大視角影 影機來連續攝取環境周圍的影 針對不同視野角度取影之後再 中華民國專利3 8 1 3 9 9與美國專 轉式攝影無法在同一時點取得 至於有時間不同步的瑕疵,且 隱藏或是實行近距離拍攝,更 費旋轉機構較多的電力又易故 本上的考量外,如何對各個相 整合亦存在著許多的難題。 像的方式還有利用旋轉式攝 像’或是擺設多個相機同時 縫合為一環場影像,例如: 利 6,2 5 6,〇 5 8 B 1。但是,旋 j的物周圍所有的影像,以 這種系統的體積難以縮小而 1用說相機本身的重量會耗 $;而使用多個相機除了成 、所拍攝的影像予以取樣、
mt 91.11679η 五、發明說明(3) 然而,考罝到許多實際應用上的♦ 的鏡頭(如魚眼鏡碩、反射式複合1未,採用非常廣角 影像,已是目前此類系統發展的趨勢員)一次攝取全景的 由於以往利用直線透視投射模 機參數的準確度不佳,因此陸陸續雄2基礎來演繹魚眼相 提出來探討。其中一種常見的方法他變通的做法被 基礎並假設鏡頭符合—專一投射函數取传的影像為演算 部的光學參數。請參照「第『Α圖」y:、目:相機内 中「第1A圖」顯示—個已柩屮、嘉两二弟丄B圖」,其 而「第1B圖」則為對應「第=域1, 模…張圖中皆標示了影像點的光軸偏:角求:工間投射 (Z:ni…=ce)與光軸圍繞角mzi_hai ^ Ce ,八中光軸偏折角α係為影像點對應於物體空 LI:入射Ϊ2學軸21的夾角’而光軸圍繞角々係為該 衫像點以設疋的本初子午線(prime meridUn) 13或該 本孤子午線的映射(mapping d〇main 〇f the pH· meridian) 13’為參考基準繞光學軸21 (或失真中心c)所 形成的夾角;套用地球儀的定位觀念,則冗/2一 α即為緯 度、、光軸圍繞角/?即為經度。若是複數個影像點落在成影 區域1的同一條半徑,其於空間中則是入射線的執跡位於 同一方位平面(azimuthal plane)上(如弧c, D,F,與兩 球半徑,定義的平面),也就是其光軸圍繞角Θ為一常 數,如厂第1 A圖」中的d、E、R點對應厂第1 b圖中 的 β,、E,、F,點。 上述以影^為基礎的演算法除了假設魚眼鏡頭符合一 _;_案號 9111Fi7Qn 五、發明說明(4)
594453 專一投射函數之外,更設定了數個假設前提··第一,#眼 相機影像是圓形或橢圓形且其長軸11與短軸1 2 (戈一直 徑)的,點即為影像的失真中心(principal p〇^*,即 光學轴21投射的影像);第二,假設影像邊緣係由水平光 線(即Ί /2)映射而得;第三,假設光軸偏折角^與像高 (principal distance) Ρ間恰好是線性比例的關係,其 中定義像高p為成影區域1上一影像點與失真中心間的相對 距離。例如「第1 A圖」中A點對C點的距離恰好是^半徑的 一半,因此A點的〇; =7Γ /4,而由此定出的視野線(sight ray)也決定了半球體視野空間中對應的視野線會通過 < A’點;以此類推,「第χ a圖」中的c、D、E、&點分別對 應的視野線會分別通過「第1 B圖」中的C,、D,、E,、 F ’點。至於影像點的座標,可以用直角座標系統 (Cartesian coordinate system)表示成(u,v)或是利用 ,座標系統(P〇;Ur coordinate system)表示為(ρ,卢), 這二種座標表示+式皆設定失真中心為座標原點;而其對_ 應的視野線空間向量座標可用(^)表示。 - ^然習知技術中並未討論這個”專一投射函數,,為何,但實„ 際上具.有這種成像能力的鏡頭係符合等距離投射 i IQUldlstant projecti〇n,以下簡稱為 EDP)且其剛好 ( 的丰ί據上述EDP;r的假設前提’焦距常數f可由成影區域1 、、^L除以;/ 2而得到;由影像平面座標(u,v )亦可以輕易
射1 8〇度視野角(以下合稱為EDP;r );等距離投射的投 、,數為P =ka ,其中k為一常數,且當鏡頭符合eDPtt時,乂 P疋鏡頭的焦距常數f( length c〇nstant)。
^ r^v^,很簡單的光學鏡片製 市%上最备易取得的鏡頭。 美國專利5, 1 8 5, 6 6 7即依循「第丄A圖」與「 B 圖」所呈現的投射成像機制來演繹演算法以 所攝取的影像為符合於線性投射模式,用以監視 野(垂直180度、水平3 6 0度),並將之應用在内視鏡、監 視與退端控制等實施樣態上(美國專利5,313,3〇6、 5, 35 9, 3 6 3、5, 384, 588)。但是,值得注意的是:這一 列的美國專利中並未具體論證鏡頭的這種機制的可行性’,' 致使其影像轉換的精確度受到質疑。 無論如何,這種以影像為基礎的演算法中大部分的假 設前提是不切實際的,因為它忽略了 一些基本的因素與可 能的變異。第一,請參照「第2圖」,其顯示三種典型的 魚眼鏡頭投射曲線,其中被採用的EDp;r只是所顯示投射幾 何的一個特例部份而已,鏡頭的原生投射機制可能是另外 二種·立體圖形投射(stere〇graphic projecti〇n,p = 2fx tanU /2))或正交圖形投射(〇rth〇graphic 594453 mt 9111R7QQ 乂 冶.丨丨
、發明說明(6) projection,p — fy ο· 、 ' 71 ’或許是更大或較小;再者,由「第3涵蓋範圍不恆為 這三種魚眼鏡頭投射機制間的差異隨 2」中可以看出 角《的增加而明顯地變大,所以將 t光之光軸偏折 EDk是不合理的。第二,光從魚眼相有機^鏡頭皆鎖定在 頭的視野是否為π ,因為無論鏡頭的視野〜/象是無法判斷鏡 呈現的形狀總疋圓形(或橢圓形)。第二1、’成影區域1 剛好是7Γ,但是射頻能量響應(radi〇m^就算確定視角 呈徑向衰減是一般鏡頭的普遍現象,尤置θ = reSp〇nse) 為明顯,此會造成影像強度在,旦彡 疋大視角鏡頭更 降,尤以低^、間早的鏡頭最為嚴重,因此, ^ 界在此效應下是很難被精確地定出。她姓 Up像邊 鏡頭疋否付e兀美的EDP;r假設,這種以影像為基礎的 不但精確度低、演繹光學參數時易生誤差、萃取的成影區飞 域1受到質疑、定位的失真中心也不穩定而且於實務上應 用也大受限制。 此外,根據 Margaret M. Fleck【"Perspective Projection: The Wrong Image Model”,1 994】所提出的, 研究結果顯示:實際製造出來之鏡頭的投射機制難以在所 有入射角度範圍下都符合單一的理想投射模式;而光學工 程師也可以依照應用領域的需求,設計各種特殊投射機制 的鏡頭,如瞳孔鏡頭(f 〇 v e a 1 e n s ),所以將等距離投射 套用在所有魚眼鏡頭的假說非常牽強。 明顯地,習知技術並未真正探討魚眼鏡頭的投射函 數、焦距常數(focal length constant)等重要的光學
第11頁 594453 曹正替換頁 ^ 92. I L· ! 修正 条皇 五、發明說明$ 參數 而且也不去考慮設定之邊界的準確性,如此會使得 八衫像解析的信賴度下降,更導致無法進一步將魚眼鏡頭 發展在其他的應用領域上。因此,本發明將精確地探討此 主題 使得相機參數化過程不受限於前述假設前提而精 確地得到相機的光學參數,如此一來,魚眼相機影像便可 依此光學參數而輪確地被轉換且呈現出來。 【發明 有 知的光 影像為 接近人 影像轉 根 的方法 申請案 何圖案 位,以 同時算 射模式 投射模 使得魚 應用在 為 成像模 之目的與概述】 機參數化後已 轉換魚眼相機 的影像符合或 被應用在各種 魚眼相機影像 中華民國專利 有同心對稱幾 光學軸的方 viewp〇int) 類出相機的投 、焦距常數與 眼相機影像, 袼式並進一步 鐘於此,本發明的目的為利用魚眼相 學參數來解魚眼相機影像,並且據此 各種有益的應用格式,例如使轉換後 類的一般視覺感知,或進一步使其可 換糸統上* 據上述本發明之目的,提供一種展現 ’其中有關參數化相機的方法係根據 9 〇 1 2 3 6 8 1中所揭露的技術。利用一具 的校正物件來定位影像的失真中心與 此為根據進而定出相機的投影中心( 出焦距常數,並於參數化的過程中歸 ;因此,丰發明依據已知的失真中心 式等相機的光學參數來轉換及呈現魚 眼相機影像可被適當地轉換為需要的 各種影像系統上。 式(tW〇—Step modeling method) 出一種二步驟 解釋影像轉換
第12頁 描述魚眼相機的成像機制,本發明 594453 _ 案號 91116790 五、發明說明(8)
If f 換? 修正 的過程。當空間中的入射 (normalized)入射線於 擬小球的中心點位於投影 化後,所有的入射線如同 表,此時便可採用地圖製 成熟的各種地圖投影法來 形成的影像。相反地,亦 面上各影像點正規化於虛 點以;其對應之入射線的光 碼,;以便利用適當的地圖 的格式。 、線射往魚眼鏡頭時,首先正規化 虛擬小球的表面上,設定此虛 中心且其半徑是焦距常數;正規 以球 作學 解釋 體表面上的對應影像點來代 (cartography)中已發展 不同魚眼相機的投射函數所 可據二步驟成像模式反推影像平 擬小球上的位置,也就是將影像 車由偏折角α與光轴圍繞角$來編 投影法進一步轉換影像點為需要
由於在相機的參數化過 數,因此本發明所揭露的演 各種投射機制的相機,並且 眼相機影像。 為讓本發明之上述和其 顯易懂,下文特舉一較佳實 細說明如下。 Κ 程中已經確知需要的光學參 算邏輯簡單且成本低,適用於 可以非常快速地轉換且呈現魚 他目的、特徵、和優點能更明 施例,並配合所附圖式,作詳
L电明之實施例說明】 t ^ ^ ^於—般的標準鏡頭,魚眼鏡頭所投射出之影^ 有康重的桶狀生吉,^ ^ ^ ^ 真程度於影像平; Μ1 def〇rmati〇 也就是1 學軸,於相機视m ,而於視野空間λ則對稱於其 ____ 見予中發射自物體的入射光線會先匯聚力
(distorti〇n面上呈中心對稱’此中心?稱為失^ 594453
修正 f號 9111679Π 五、發明說明(9) :::影:^:,、之,=更,據投射”發散並成像於 從幾何學的觀點來看Z;Ϊ此技藝人士所熟知的現象。 列的平面圖Γ,ΐ對光學軸空間對稱幾何排 事貝上便可以在相機内映射出中心對稱影 乾為美1若安排一已知方位且具有圓心對稱特性的平面圖 靶為基準,調整相機的方位而得到一中心對稱影像, ΐ:::ί ΐ ” ί ί1心的方位;&時萃取各物體點對 數即可推算空間申光學中心(或稱為投影中心,的⑽ 二WP广t,川_ νρ)的絕對座標以及算出焦距常 =faal length constant)。本發明中有關參數化相 =方法係參照中華民國專利申請案9() 1 2 3 68 1中所揭 技術。 為描述魚眼相機的影像呈現方法,本發明整入 器測量方法學(mUlUC〇lliinat〇r metr〇1〇gy)與3地圖製 作學(cartography)這二Η已發展得非常完備的學科, 而提出一種二步驟成像模式(tw〇_step mc)de ling method),以有系統的方式來解釋影像成像與轉換的過 程。 長久以來’多準直器(mulUc〇llimat〇r)機制一直被岸 用在校正大型的空照凸透鏡面’其利用精密圓弧排列的~多 準直點光源來產生中心集中的光束’以預先設定相機”的 安置點。任一點光源仿造一來自無限遠且已知光軸偏折角 a ( zenithal distance)的入射光,然後精確地量測每一 入射光所映射之影#‘點的又七光轴偏折角α定義為:影 4
像點對應於物體空間中的入射線與光學軸2丨的夾角。在如 此的架構之下,可以絕對地追蹤系統中投射的每一條視野 線。這種多準直器的實體佈置可以實測任何相機的投射行 為且求取相機的投射函數。本發明即以多準直器測量法為 基礎來描述魚眼鏡頭的成像機制。
但疋’多準直器的精密弧形機械結構很難在一般的實 驗室中實現’若是利用平面圖形來間接表達這種空間幾何 排列則會容易許多。因此,請參照「第3圖」,本發明藉 由一杈正物件(calibration target) 22來仿造多準直器 之亂弧排列的光學佈置,而且該校正物件2 2上必須具有一 個實體圓心與複數個同心且對稱的幾何圖形(如圖中繪示 的同心圓)’稱之為測試圖案(test pattern) 2 2 0,用 來_助參數化魚眼相機。
明參]k「苐4圖」’模擬參數化相機時,空間中校正 物件22與魚眼相機間的投射光路圖;其中以魚眼鏡頭24和 影像平面2 3來等效表示魚眼相機,而校正物件2 2則置於魚 眼相機的視野(f ield of View,以下簡稱為F〇v)中。如 果觀察到的相機投射行為符合「第2圖」中的任一投射函 數’那麼投射自測試圖案2 2 0的入射線必然會本質上達成 一準直機制(collimating mechanism);也就是說,入 射線會先匯聚於魚眼鏡頭24中一稱為前節點242 ( fr〇nt nodal point,簡稱為FNP)的邏輯光學中心,然後再由一 後節點243 ( back nodal p〇int,簡稱為BNp)根據投射函 數發散射出並成像在影像平面2 3上。前節點2 4 2與後節點 243是描述魚眼鏡丨頭24之投射行為的二個基準點,用來界
第15頁 594453 f 案號 91116790 i] Μ換 -修正 五、發明說明(11) 定魚眼相機内外的二個投射空間。於解析魚眼相機的投射 機制時,此二節點間的距離可以設定為任意值,因此在本 發明中假定前節點242與後節點243合併為^ 一的投影中心 241,如「第5圖」所示,以簡化模式。本發明將於以下 的敘述中採用一些測地學(geodesy)的術語,以簡潔地 引用地圖製作學的觀念。 θ “ 請參照「第5圖」,其以等距離投射(equidistant pro ject ion,以下簡稱為EDP)為例,顯示投射空間中卢值 相距為7Γ之二方位平面(azimuthal Plane)上的投射光路 軌跡’也就是此平面已定義了其上所有視野線的光轴圍繞 角气;請參照「第1 A圖」與「第1B圖」,光軸圍繞角卢 係為以設定的本初子午線(pri^ne meridian) 13或該本 初子午線的映射(mapping domain of the prime m e r;i dian) 13為參考基準繞光學軸21(或失真中心◦)所 形戍的夾角。本發明提出二虛擬同心球體用以輔助說明本 發明所根據的理論,其中設定影像小球30的極軸重疊於相 機的光學軸2;1、球中心點位於相機的投影中心241且半徑 =焦=吊數f,大球的弧形邊界則用來解釋校正 ::試圖J220如何模擬多準直器弧形排列的點光源。事 :射機劍ί 5圖」已經涵蓋了立體空間的投射幾何,因為 杈射機制呈現軸對稱性。 時,Ξι::: 交通過測試圖案22°的圖案中心225 最外圈的同心圓I ^ J :::巧:f視測試圖案220* 案2 2 0的视野線f · 相父的割圓。投射自測試圖 -----〜____Slght ray)會垂直地穿過小球30表面並
—i .* —*594453 修正 9jriR7Qn 五、發明說明(12) 往球中心(也就是投影中心241)集中,如此一來,測試 圖案2 2 0中每一同心圓所建構的對稱圓錐光束於邏輯上會 匯聚於投影中心2 41,如「第4圖」中的立體光路所示。 本發明中亦定義球中心為極座標的原點以描述視野線的方 位。 於邏輯上’視野線通過投影中心2 4丨後會依照投射函 數而折射到影像平面2 3上映射出對應影像2 3 〇。依據前述 之影像投射的空間軸對稱性,若是光學軸2 1已對準圖案中 心2 2 5 ’映射出的對應影像2 3 〇預期也會呈現同心且對稱的 圖案’類似於測試圖案2 2 〇 ;對應影像2 3 〇的幾何對稱中心 即為失真中心2 3 5。因此,本發明於進行實驗時,固定校 正物件2 2於一絕對座標位置,適當地調整相機的方位直到 形乘之對應影像|3〇的對稱性符合要求,此時圖案中心225 所映射之影像點南特徵座標(feature coordinate)即為 失真中心2 3 5的座標位置。進一步以連接圖案中心2 2 5與失 f中心2 3 5的空間視野線即可確定光學軸2丨的方位。以上 &序讓追‘光學軸2 1方位的功能可以實現,是相機參數化 過程的一大突破。 可供利用的測試圖案2 2 0並不只限定於「第3圖」中 所纷示的同心圓,測試圖案2 2 0若是由同心且對稱的幾何 圖形所組成會是較佳的實施例,除同心圓外,亦可利用同 心方形、同心三角形、或是同心六邊形等,甚至組合任意 數目的同心且對稱的圓形、方形、三角形與多邊形,亦是 另一種可行的實施例。 定出魚眼鏡頭2 4的光學轴2 1之後,根據幾何光學理論
第17頁
‘修正_ 594453 案號 91116790 五、發明說明(13) 可知:鏡頭24的投影中心241_^ 點,如此-來便大幅了縮減疋位於光學軸2 1上的某-沿著光學轴2 1——測試便可定^ &圍,是故,以試誤法 置,然後便可計算出焦距常數^的出禮投影中心241的實際位 時,假設測試鏡頭的投射函數 。本發明於進行實驗 過程亦可採用其他的投射函數^往夂’當然同樣的參數化 已知光學軸2 1上一定點為投影中、、& “、、第6圖」,假疋 個同心圓周上任二物體點所=心“41,依此便可決定第i 個同心圓映射而得之像高又的光軸偏折角ai,綜合第i: 到其對應的f i值。如果測”),根據EDP公式以“浪P i便可ψ 式,則不同半徑同心圓所、、1 # ^70王付合等距離投射模 否則,限制a i的測試範圖與异得到的各f丨皆等於一常數; 式的投射模式上,直到配、,或1是將同樣的資料套用在其他形 實際實驗時,將測;意的結果。 心圓且圍繞著圖案中心22f案2 2 0設定為二十個共面的同 為了插述方便,設定極座j目鄰的同心圓之間相隔5随。 24丨,且設定光學軸21為的原點(〇,〇,0)在投影中心 為實數。若投影中心241^二H〇,〇,Z)表示之,其中Ζ 度為p卜由於p !與ΛΞΐι^1、其對應每一影像高 式:p KD)= fa 1〇)),的函數’因此EDP可改為以下的 可以處理的影像軌跡總數、。中〜/,k其中N為對應影像230 * λΤ / 右疋取最外圍的圓形圖案為基 準,則p N(D)= fa N(D),經過簡單運算後可得以下等式: P i(D)/ P N(D)- a i(D)/a N(D)= 〇_______〜_____⑴ 事實上,此時還無法確定D值,因為還不知道投影中
第18頁 594453
F。一^ ^轴21的哪'個點上;若將(〇, 〇, D)改為z軸 .' ^ 點’0,z) ’則可得一誤差關係式如下: ei(z)= p i(D)/ p N(dk α z)M N(z)-------- 以試誤法搜暮止组+ ⑷等於最小值之處Λ21,根據 被確定在ei 來。 1乏處,此時投影中心241的位置即可被定出 各♦但疋式(2)只是取兩只同心圓所計算出來的結果,糸 考慮到測試範圍涵甚士 為 投射函數的範圍的有效的視野,且探討符合測試 執跡所觀察的視野角 „| — 门顆應母一 為·图。又榷重函數,以公平地對待各執跡的貢獻,其 W^(D)= (p i(D)- p i-i(D))/ p N(D) ------— f中P 0 (D )= 0,可視為是失真中心2 3 5的半徑。因此3 ) 學抽21上尋找投影中心的配適過程中,應’在光 為: . 參 ^差函數 3(2)= (xV?S ^ 其中z表示光學軸2 1上任意'測試圖幸2 〜(4 ) 若能找出唯一一點使得,(2)最風是;;::距離。 即為魚眼相機的投影中心2 41。至於焦距常數f,、 ’則該點 到的/〇 i (D )及其相對的α D)為基礎,利用τ斗艮據量蜊 f(D)= I似一魏 Λ用二式:算之: a、^ 中,fi(D)= p i(D^|f_、(D)。若鏡頭完全符(5) 工、量測無誤差,則D值將狼^!,那麼f (D)應、5 EDp模
這也就是鏡頭的焦距常數f。事實上,〜、 ^ - 侍到的f i -SS__9U16790
594453 五、發明說明(15) 5m的統計標準偏差,更可以制來估算假設之 杈射核式(例如目前假設為EDP)的準確性, 可以用下列式子傲.盥夕菸M’『王也就疋d 千仅為與之杈射枳式配適程度的指標: )"N-1)-------———(6) σ (D)= ( (¾冰⑼一芦 1第7圖」’胃顯示以歐普羅公司出產的 線,^相機目Φ機進行測試著Z轴找尋D值的趨近曲 線,該相機中安裝了 Daiwon 0pti =::;r由製造商提供的驗 ϊ = ΐ 70度。圖中以實線表現第-次的測試結 户做1 2以第一次測試所得之雎為基準(dD= 0),再 20)、盘 2r(rdD= 1〇)、15mm( dD= 15)、2〇mm( dD== 中各再進二5) °相同的推導過程也在這五次測試 顯的…)最小信 Λ在這六種測試條件下’都有—报明 示: 值。與第7圖」相關的測試數據如表以斤 表1測試的參數與結果 (單位· : rrnr〇 表1令的數據,第一列是六次測試中各自以第
第20頁 測試’分別將校正物件22往外移動5mm ( dD=
亚0·(ί UJO
5.0 · Ϊ0.0 15.0 20.0 〜 19.63 *^5ΐτΗ ~30M"""" 35.27 〜 1788 ITbITj 1.796 1.798 〜 0.002 0.0091 0.0058 0.0062 〜 594453
t為基準的位移量’第二列表示各測試推論出的物距D 二:第=是各測試條件下算出的焦距;== Ϊ六個位置所計算出來之焦距常數值“(D)± :⑻Π接 近,而且σ (D)相當小,顯+丨、士丄办如 σ 非书接 優良的準確度與精確度/將上參數化相機具有相當 射2设定(:立體圖形投射與正交圖形投射)再分別進 :;一 :π ί,:到類似表—的數據,檢驗這些數據便知在 該測Ξΐϊϊ =設下誤差值’⑴最小;實驗結果顯示 正交付5 t體圖形投射(Ρ = 2fx tanU /2))與 小sina);相反地,在edp假設下相當 數化相i 2 /持,測試鏡頭較接近edp鏡頭。因此,這種參 機的方法,並不只限定應用於符合等距離投射模式/ 虛”、、眼相機,只要是任何已知投射函數的 可:用此參數化相機的方法來鑑定,具有歸類以:: 相機之真實投射模式的功能。 疋各個 由於上述參數化相機的方法不需假設鏡頭的投 為EDP且不需限制鏡頭的視野剛好是1 80产,—入Η 4、吴式 學模式由確知的失真中心235往外解析而^寻疋因王此^艮據光 轉換與展開便可無視於邊緣模糊難辨與視、、相 ::問碭;如此一來’使用者可以自行在影像平 = J使用者自訂區域(user-defined area),只針 疋 於測i試函數的有效範圍的影像部分做轉換,亦即 付合 从自行決定影像轉換的邊界,因此可以解決習知:者可 不胃準確定位的問題,且不用強求所有的成像範圍U界 ' --*--—______ 付己某
第21頁 594453
^^91116790 五、發明說明(17) 才不準的投射函數;在某些情況下也 區域來換得較佳的精確度。 、、、s /、影像轉換的 ,此,魚眼相機的參數化過程結束,所 都^ym' 23 5 '頭的投射模式)也 地球】再;ί照「第5圖」,可視影像小球3〇為-透明的 ==眼相機的投影中心241置於球心且相機光學 2 1對準於地球的極軸。由於「第2圖 =射函數皆可藉由影像小球3。來解釋二= 又射·成何,因此本發明提出二步驟成像模式(切〇 — st ^ellng method)來說明魚眼相機的投射機制。請參照 第8、圖」,顯示投射空間中少值相距為π之二方位平面 (azimuthal plane)上的投射光路軌跡,也就是圖中所 有視野線的光軸園繞角/3皆已固定。第一步驟,自物體空 間入射的視野線(sight ray)直線地穿過投影中心241且 投射在影像小球3 0的表面上,於此步驟中,任意光軸偏折 角α (即使大於π )的視野線皆在角度不變的情形下被映, 射;第二步驟,根據各種投影方式,將正規化在影像小球 , 3 0表面的正規化影像點(α,厶)進一步地投射在影像平面2 3 上。舉例來說,正父圖形投射(p = fx s i nQ;)係由無線遠 平行光映射而得、立體圖形投射(p = 2 f X t a η (α / 2 ))則是 將羌源置於切點的遠端,而映射在小球30上之影像點所決 定的弧長即是EDP公式下的像高。 利用二步鱗成像模式(two-step modeling method) 來説明魚眼相機的投射機制有許多的好處。其中第一步驟
第22頁 f正替換頁 ^ 92J114 ri 參 594453 案號 91116790 J五、發明說明(18) |事實上只是單純的直線投射,所以 < 以直接引用各種與透 射投射(p e r s p e c t i v e p r 〇 j e c t i ο η)機制相關且已發展得 I很成熟的演算處理技術;以另一個觀點來看,由影像小球 3 0上的各影像點可以直接定義其於物體空間中對應的視野 |線。此第一步驟的邏輯同時也保證有單一投影中心2 4 1的 存在’使得影像的立體應用變得可行,相較於習知的許多 研究皆聲稱無法找出單一的投影中心2 4 1。而很有趣地, 第二步驟的投射過程剛好符合地圖製作學 (cart〇graphy)的各種常態正向地圖投影(n〇rmai forward map projection)方式。地圖製作學是一門將立 |體,球儀上的地理資訊轉換為平面地圖的科學。第二步驟 的遽輯亦暗示可以行得通的反向映射程序—於地圖製作學 圖投影(lnverse map proJection) 一可以 旦^德t像平面23上的影像點座標(u,v)反推求得其對岸在 影像小球30上的正規化影像 】=在 為基礎(也就县脾豆相达, ’ A ),之後再以影像小球 L i ^ 其視為地球),利用地圖製作學Φ的々 稱為轉換影像點。能夠將化影像點到投影面上, 的步驟大幅度地拓展了影 j f規化到影像小球30上 一來所有地圖製作科學中/發嘖多可能性,因為如此 用來進-步轉換魚眼相圖投影技術皆可被引 再搭配各種適當的地圖投^ ς要以影像小球30為橋樑 的格式將會變得非常簡單夕 現魚眼相機影像為特定 視覺感知的影像、影像資# f,,例如:轉換為接近人類 像的技術中是本發明: 第23頁 594453 修正 案號 91116790 五、發明說明(19) 一大創新。 事實上,一個正規化影像點,万)即代表空間中的一條 視野線,若考慮到使轉換影像拉進或拉遠(z〇om-in/-out)的因素,則改變影像小球30的半徑即可,亦即在座 標中增加小球3 0半徑的維度,變成(Q;,召,R ),其中R為影像 小球3 0的半徑。這和地球製作學中改變參考球體 (reference globe)的原理相同。 地圖製作學中包含有各式各樣的轉換技術以配合不同 的應用性,主要是由四種因素來決定地圖轉換方法的技術 内容’包含·光源的方位(light-source posi. tio η)、 投影面的型式(pro ject ion surf ace)、投影面的方向 (orientation of the projection surface)以及投影 面秀影像小球3〇間的接觸關係(tangency of the projection surface)。光源的方位主要區分為日晷投影 (gnomon i c project ion)、立體圖形投影 (stereograph i c projection)與正交圖形投影 (orthographic projection),日晷投影係將一點光源 置於球體中心,立體圖形投影則將點光源移往切點的遠 端,而正交圖形投影則是設定由無窮遠平行光投射,這三 種投影與影像小球3 0的幾何關係如「第8圖」所示。投影 面的型式可能是圓柱面、圓錐面或平面。投影面的方向 能是正規投影(normal/zenithal/azimuthal projection)、傾斜投影(oblique projection)與 4黃向 投影(transverse projection),其中正規投影是讓# 影面的軸線或法線平行於小球3 0的極軸、傾斜投影目9 &
第24頁 594453 修正 案號 9111R7Q0 五、發明說明(20) 兩者間夾一傾斜角、橫向投影則讓投影面的軸線或法線垂 直於小球3 0的極軸。至於投影面與影像小球3 0間的接觸關 係可能是相切或相割,分別稱為相切投影(t a n g e n t projection)與相割投影(secant projection) 〇 以上 有關地圖製作學申各種地圖投影的方式都已經發展得非常 完備且為熟習此技藝人士所熟知,因此本發明在此不對其 詳細實施内容多做贅述,詳細方法學請參考書籍 【Element of Cartography, Robinson, Arthur, et.al., John Wiley and Sons, Inc. , NY, 6th ed·, 1 9 9 6 ’ page 3 9 to 1 1 1】。無論如何,任何由以上四種因 素組合而成的地圖轉換技術皆可應用在本發明中,以配合 實際上的影像轉锋需求。例如:日晷正規投影(gn〇m〇nic normal pro jecti〇n)係將點光源置於球中心、其投影面 為一平面且平面的法線重合於小球3 〇的極軸。值得注意的 是:若考慮到相機系統中以投影中心241為中心點 (Pivot)的情形,地圖製作學中的日晷投影法剛好就是 ίΪΪ!” ’也就是利用曰暴投影可以將魚眼相機影像 Ϊ Ϊ : ϋ符合人類視覺感知的影像;當然若是應用其他 地圖轉換技術,料能達到影像編碼、加密或壓縮 宣祕2 S’作學宣稱沒有一項地圖轉換技術可以完全無失 ^ ;球的幾何資訊轉換為平面地圖,Pf # 4 it I* i y 影面接觸的點或線附近的區域 = 說,地圖製作風沾α 上對於衫像轉換來 機影像中的某此特定幾打關仫.门法J以70全恢设魚眼相 __1二特疋成何關係,因為第一步驟中將視野線
第25頁
594453 _案號 91 Γΐ 6790 五、發明說明(21) 正規化在影像小球3 0的做法即已經使得影像”失真”,再經 過一次π失真的’’地圖轉換投影,剛好對某些特定的幾何排 列有負負得正的效果。舉例來說,日晷正規投影 (gnomonic normal projection)可以完全恢復垂直於光 學軸2 4 1的平面型式圖形’而空間中類似圓柱的幾何排列 則可以藉由日晷圓柱投影(gnom〇nic cy 1 indr ical pro jection)來破復為符合人類視覺感知的環場影像 (panorama)。這些範例的細節將於下面段落中進一步說 明 0 本發明中揭露的韓施十、土^^ σ α A 有準確的光學參數而可二=現魚眼相機影像時,因 (morphologic fideli人復實體的形態傳真度 R) 種地,圖投影方式而可以^^因整合地圖製作學中的各 本發明的應用範團非常庚換衫像為各種有益的格式,因此 環境中3 6 0度的水平視汽闊。其丨中環場影像係呈現一特定 轉換細節請參照「第8 。滿足人類的一般視覺感知,其 上影像點(u i, ν i}的強$」、與「第9 Α圖」,影像平面2 3 3 0上而且編碼為、度或色彩首先被正規化於影像小球 (u i,v i),其中R為影像」)’也就是說··影像座標I (〇: i,yS . :i 倍率(zoom-in/-〇ut) ^球30的半徑,可以依照影像的放大 影法投射影像小球3 〇上f決定其值;然後利用日晷圓柱投 32。如果此圓柱接影雨選定的部分區域於一圓柱投影面 影像小球3 0上輕射方^ 3 2與影像小球3 0的赤道3 1正切,則 圓柱投影面3 2上會排^的影像區段(如同地球的經線)在 完成映射正規化j f 一條直線。 _____^像點於圓柱投影面3 2的程序後,展
第26頁 594453
案號 91116790_ 五 、發明說明(22) 開 上 此圓柱投影面3 2為一長方形平 像 ’其實是直接計算轉換影像點影像。實務 的二維座標位置(X,y)。以「第9 7展開後之環場影像上 的幾何關係’轉換影像點的高r A A圖」為例,參考圖中 U i) = f*C0t(p l/f),其中 f(盘也就是 丫分^量)P i,= Bcolt 的寬(也就是X分量)即為該影;象:丄已於前文中定義;轉換 赤道31上所定義的弧長,即等於點對應的光轴圍繞角万i在 下,如果原始影像中的某些圖幸θ 1邛。於此影像轉換機制 物體所映射而得的話,那麼轉^ =由平行光學軸2 1站立的 的態樣;也就是說,本發明中椙^的衫像仍然會呈現同樣 圓柱排列的物體被無失直地還,的轉換方法可以讓特定 影像的形態傳真度。…疋車在環場影像中,且保有其 當然,如果投影面3 2不是圓 量與γ分量的計算方法也會跟的話,則上述之X分
圖」,顯示另一種平面型式嫒。請參照「第9 B 球30之極鲕的音工的杈影面32’且傾斜於影像小 球30之極軸的貫施例,係利 本
oblique projecti〇n)做 ,傾斜投影(gn〇m〇niC 方式可能應用在針對特定二广像轉換的機制,這樣的轉換 換效果。其相關的轉換體,或是呈現特定的轉 成熟,因此本發明在此不c技藝中發展得非常 赚的魚眼相冑。在於像辕轉姑換方式亦可以應用在視野角非 影像的傳真度,同換並展開影像時’為確保轉換 起計算。無論魚眼相2^的X分量與Y分量必須聯繫在一 計算還是必須以赤道頭大於或小於π,上述X分量的 _— —__i為參考基準。舉例來說,如果相機
第27頁 的4453
-SS^9ni6790 i、發明說明(23) I供利用的影像最多至140度視 籽,γ分量的處理限於70度的光=,則在轉換環場影像 ,應的X分量仍是以赤道31為基準=,α之内,而其個別 本發明係根據可靠的焦距常數斤β十昇出的孤長。由於 所呈;現出來的轉換影像仍可以保、:目=相機影像,因此 像)的方法可以應用在任何ί 或其他型式的影 若是相機的原生投射模式; = C:,則其原始影像的光軸偏折角α和光:環;堯t ::妙 从依照投射函數推算得到。 、儿角/3仍然 會視訊會議(teleconference)是利用網際網路讓夂 ϋ 士"面對面”遠距離交流的—種數位媒體應用,:口 ^疋分別在兩端的會議室中架設數支相機來攝取影像别 疋,藉由本發明更可以讓視訊會議達到”桌 =功能。假設會議室中所有與會者圍著一:圓桌桌= 同的ΐ放有一些文件’以習知的做法必須同時啟動數組不 曰二角度安置的攝影機才能攝取到所有與會者的影像·但 =藉由本發明方法則只需要一支懸吊在天花板的魚眼相一 ’即可將整個會議桌及其周圍環境攝入鏡頭之內。 —Jn. a. η 田於 灰會議室内的人員佈置有圓柱狀排列的特性,因此非常 $合被轉換為環場影像;但是,對於桌子上的文件則較適 〇用日晷正規投影(gnomonic normal projection)或是 日暴傾斜投影(gnomonic oblique projection)來恢禮 其影像傳真度。 請再次參照「第6圖」,同樣以等距離投射為例,若
第28頁 )舛453 案號
五、發明說明(24) 疋相機攝取到的物辦炎 恢復魚眼相機影像為符人::鼾:軸21的平面,且希望 線投射的簡單幾何::=機制的影像,則板據直 折角a丄的正切值7,Υ^換鼻原影像的像高p i為光轴偏 像中對應影像點的像古、疋:丄A Una 1 ’其中:/0 i,為 放大倍率。若是k== / i為一爷數,可用於控制影像的’、、、 於△ OP,Q,,因此呈現圖^可_以清楚地看出△ 0PQ相似 比例,故透過本發.明方法可以母一αΡ1’都與其對應的ri成等 P — ction) 〇MiaUe " 本發明以下接:’Γ .於傾斜放置之平面物體的例子。 像轉換例子,做為本對桌π視訊會議於一端會議室的影 「第10圖」,ίΓ】之影!轉換方法的印證。請“ 室的全景拍攝下來=t於=化板的魚眼相機即可將會議 使用者可以選=此:的影像有劇烈的筒狀失i 影像轉換的使用者自ί3 了像(如圖中兩個虛線圓界定 場影像,結果如「第^ ^ I以日晷圓柱投影法展開為學 =人士顯示出來鏡坐在會議桌周 ”投影法還原爲符合透視投射機制=文件利用曰| 1 1 Β圖」所示。,然於 “」的衫像’結果如「第 將他的影像由「第工了 ' 丁 更可針對發言的人, 1C圖」所示11Α圖」中拉出放大,結果如「二 發明之功效 根據本發明φ 1 _出參數化相機的方法來展 現環場影
第29頁
II 594453 五 -^^iUi679〇 毛明說明(25) I像 具有以下的優勢·· 本發明利用一個可 參數的創新古4 4數化相機内邱爽紅 f MM 1 会,來精確地解^ 數及外部 介Η中r 始影像點(u,ν)可以、士仕果式,因此 ^ (α,石)所代表的視弊括破準確地轉換為 的影像保有良好的 、,、,據此轉換而呈 2.本發明藉由一影=度(fidelity)。 的橋樑,其優點I可 ::現與轉換機制 圖投影技術納入本發 $ f 1作學中相關的地 如此-來,本發明更ΐ::;影像轉換的基礎, 間的轉換而達到再編碼、加地圖投影技術 能。 ⑴或疋影像壓縮的功 3.本發明之f影像轉換的方法簡 各種投射機制的相機。 成本低,適用於 4·本發明所提出的演算邏輯簡 ’ 將原始失真影像展開為環場影像"。以非常快速地 5·藉由魚眼相機攝取視野中環球體景 (panospherical scene), ” 影像,則使得物體的運動债測(二:換為環 detect iug)變得毫不費力。 n 6·魚眼鏡頭模式化參數的精確产 银古i目興M ^ 又、因本發明而延伸 現有視見糸統可細作的視角範圍。 甲 ”,發明已以一較佳實施例揭露如上, _____文蟲者 在不脫離本發明之精 第30頁
第31頁 594453
第1 A圖 第 第第 B圖,繪示習知一種以平面旦 魚眼相機影像校正方法的影像平面:為基礎之 其對應之空間投射示意圖;面解析圖以及 圖 圖 繪示三種典型魚眼鏡頭之投射函數 繪示應用於本發明最佳實施例中 意圖 的曲線圖 <測試圖案的示 第4圖,繪示魚眼鏡頭與測試圖案間光路 圖; 運之立體不意
第5圖,繪示本發明利用測試圖案模擬多準直光源以及光 線在視野空間大虛擬球與線性投影小虛^球間投 射的光路示意圖(以等距離投射為例); 第6圖,=示本發明中定出投影中心以及藉由法線方位投 影(=ormal azimuthal projection)法轉換影 像以符合直線透視投射機制的光路示意圖(以等 距離投射為例); 第7圖,繪示本發明實際測試時趨近求取投影中心之曲線 圖; 、、 第8圖,繪示本發明以二步驟成像模式(tw〇 —step
modeling method)解釋影像呈現與轉換的光路 示意圖;
第9 A圖’繪示本發明以圓柱日晷投影(cy丨indrical gnomonic projection)方式轉換魚眼相機影像 為環場影像的投射示意圖; 弟9 B圖’繪示本發明以曰晷傾斜投影(g n 〇 m 〇 n丄c
第32頁 594453 修正 案號 91116790 圖式簡單說明 〇 b 1 i q u e p r 〇 j e c t i ο η)方式轉換魚眼相機影像為 透視影像的投射示意圖; 第1 0圖,繪示魚眼鏡頭下之桶狀失真影像的示意圖(以 會議室為例); 第1 1 Α圖,繪示以本發明方法將「第1〇圖」中兩虛線 圓間轉換展開後之環場影像的示意圖; 第1 1 B圖,繪示以本發明方法將「第1 0圖」中内虛線 圓部份轉換後之符合線性投射影像的示意圖;以 及 第1 1C圖,繪示放大「第1 1A圖」中部分影像的示意 圖。 /.; 【圖:丨式之符號說明】 1·· ......................................^ Μ ^ ^ 11··...................... •長軸 12··........................................ 短軸 13.................................... 本初子午線 13’..............................本初子午線的映射 21 ............ 光學軸 22 ...................................... 校正物件 2 2 0......................................測試圖案 2 2 5......................................圖案中心 23 ...................................... 影像平面 2 3 0......................................對應影像
第33頁
第34頁
Claims (1)
- 594453 92.11. 1 六、申請專利範圍 修正 -種呈現魚眼相機影像的方》 相機已確知的複數個光爾,包括-失真中心艮 (princip、al point)、一焦距常數(f〇cal length 、C〇n = ant)與—投射攝式(projection function /轉換忒參數化魚眼相機所取之一始 一轉換影像,該方法包含有: 1豕為 口十贫名原始衫像上一影像點(丨㈣& μ 盥 該失真中心的相對距離為一像高(principal - distance) p ,祐日^…., I儿疋義對應该影像點的一光軸圍錶 角(azimuthal distance)沒; % 根據该像局p、該焦距常數與該投射模式,演算 對應該影像點的一光軸偏折角(zenithal distance )a \ i 根據該光軸偏折角α與該光軸圍繞角万正規化該 影像點於一影像小球(sma 1 1 sphere)表面,是為一 正規化影像點(normalized imaged point);以及 套用地圖製作學(cartography)中一地圖投影 (map projection)方式,投射該正規化影像點於一 投影面(projection surface)上,是為一轉換影像 點(transformed imaged point),集合所有該轉換 影像點而形成該轉換影像。2 、如申請專利範圍第1項所述之呈現魚眼相機影像的方 法’其中該地圖投影方式的架構係取決於四個要素, 包括:一光源的方位(light-source position)、第35頁 594453 ___案號 91116790 六、申請專利範圍修正 該投影面的型式(projection surface)、該投影面 的方向(orientation of the projection surface )以及該投影面與該影像小球間的接觸關係. (tangency of the projection surface) 〇 3 、如申請專利範圍第2項所述之呈現魚眼相機影像的方 法,其中該光源的方位係為選自一日晷投影 (gnomon i c projection)、一 立體圖形投影 (stereographic projection)與一正交圖形投影 (orthographic projection)組合的其中之一。4、如申請專利範圍第2項所述之呈現魚眼相機影像的方 法,其中該投影面的型式係為選自一圓柱面 (cylinder)、一 圓錐面(cone)與一平面(piane )組合的其中之一。 5 、如申請專利範圍第2項所述之呈現魚眼相機影像的方 法,其中該投影面的方向係為選自正規投影(n orma. projection)、傾斜投影(oblique projection)與 横向投影(transverse projection)組合的其中之6 、如申請專利範圍第2項所述之呈現魚眼相機影像的方 法’其中該投影面與該影像小球間的接觸關係係為選 自相切投影(t a n g e n t p r 〇 j e c t i ο η)與相割投影 (secant projecti〇n)組合的其中之一。 7、如申請專利範圍第1項所述之呈現魚眼相機影像的方 法’其中該光軸偏折角α係為該參數化魚眼相機之一第36頁 594453光學軸與成像該影像點之一入射線的炎角ό 8、如申請專利範圍第1項所述之呈現魚眼相機影像的方 法’其中5亥光軸圍繞角石係為該影像點以一本初子午 線(prime meridian)或該本初子午線的一映射 (mapping domain of the prime meridian)為參考 基準,環繞該參數化魚眼相機之一光學軸所形成的夹 角。 9 、如申請專利範圍第1項所述之呈現魚眼相機影像的方 法’其中該影像小球的中心係位於該參數化魚眼相機 的一投影中心(v i ewpo i nt)。 1 0、如申請專利範圍第1項所述之呈現魚眼相機影像的 方法,其中該影像點係位於該原始影像中的一使用者 自訂區域(user-defined area)内。 1 1 、一種呈現魚眼相機影像的方法,係利用一參數化魚 眼相機已確知的複數個光學參數,包括一失真中心 ;(principal point)、一焦距常數(focai iength constant)與一投射模式( projecti〇ri functi〇n )’來轉換該參數化魚眼相機所攝取之一影像點為一 正規化影像點(normalized imaged point),該方 法包含有: 計算該影像點(i m a g e d ρ 〇 i n t)與該失真中心的 相對距離為一像高(principal distance) p ,並且 ,疋義對應該影像點的一光軸圍繞角(a z i m u t h a 1 distance) β ;第37頁 594453 mi 9Πΐ67〇η修正 中ό月專利辜色圍 _—— 7 ----— —1 丨丨 根據該像高Ρ、哕隹 對應該影像點的—光:偏二與該·=射模式,演算 )α ;以及斤角(Zenlthal distance α與該光軸圍繞角/5正規化該 small Sphere)表面,即為該 根據該光軸偏折角 影像點於一影像小球( 正規化影像點。 的;rfr=第11項所述之呈現魚眼相機影像 的方法’/、中该光軸偏折“係為該參數化魚眼相機 之一光學軸與成像該影像點之一入射線的夾角。、如申請專利範圍第;[i項所述之呈現魚眼相機影像 的方法,其中該光軸圍繞角万係為該影像點以一本初 子午線( prime meridian)或該本初子午線的一映射 (mapping domain 〇f the prime meridian)為參考 基準,環繞該參數化魚眼相機之一光學軸所形成的失 角0 1 4、如申請專利範圍第1 1項所述之呈現魚眼相機影像 的方法’其中δ玄影像小球的中心係位於該參數化魚眼 相機的一投影中心(ν i e wρ〇 i η ΐ)。1 5、一種呈現魚眼相機影像的方法,係利用一參數化魚 眼相機已確知的複數個光學參數,包括一失真中心 (principal point)、一焦距常數(focai iength constant)與一投射模式(projection function ),來轉換該參數化魚眼相機所攝取之一原始影像為 一環場影像(panorama),該方法包含有:第38頁 594453 f正替換頁 00 11 1 A 號 9ll1R7fln 六、申請專利範圍>計算該原始影像上一影像點(imaged p〇int) 與該失真中心的相對距離為一像高(principal d i s ΐ an c e) p ’並且定義對應該影像點的一光軸圍繞 角(azimuthal distance) $ ; ,根據該像高p、該焦距常數與該投射模式,演算 對應该影像點的一光軸偏折角(zenithal distance )a ; 根據該光軸偏折角α與該光軸圍繞角^正規化該 影像點於一影像小球(smaii sphere)表面,是為一 正規化影像點(normalize(1 image(i p〇in1:);以及 套用地圖製作學(cartography)中一日晷投影 (gnomonic ; pro ject ion)方式,投射該正規化影像 點於一圓柱面(cylindrical surface)上,是為一 轉換影像點(transformed imaged point),集合 所有該轉換影像點而形成該環場影像。 1 6 、如申請專利範圍第1 5項所述之呈現魚眼相機影像 的方法,其中該圓柱面的方向(orientation of the cy 1 indrical surf ace)係為選自正規投影(n〇rmal projection)、傾斜投影(oblique projection)與 橫向投影 (transverse projection) 組合的其中之 1 7、如申請專利範圍第1 5項所述之呈現魚眼相機影像 的方法,其中該圓柱面與該影像小球間的接觸關係 (tangency of the cylindrical surface)係為選自第39頁 594453案號 91 ΐί 6790 六、申請專利範圍 相切投影(tangent pr〇jecti〇n)與相割投 (secant projection)組合的其中之一。 〜 1 8 、如申請專利範圍第χ 5項所述之 的方法,其中該光軸偏折^係為該參數心 之一光學軸與成像該影像點之一入射線的夾^眼相機 19、如申請專利範圍帛15項所述之呈現魚目 的方法,其中該光轴圍繞角0係為該影像點以一2像 子午線(prime meridian)或該本初子午線的—映^ (mapping domain of the prime meridian) ^ 基準,環繞該參數化魚眼相機之„光學轴所形成 角。 处 2 0、如申請專利範圍帛工5項所述之呈現魚眼相機 的方法,其中該影像小球的中心係位於該參數化魚 相機的一投感中心(viewp〇int) 〇 ”、、又 2 、如申明專利範圍第1 5項所述之呈現魚眼相機影像 的方法,其中該影像點係位於該原始影像中的一使用 者自訂區域(user一define(1 area)内。 2 、一種呈現魚眼相機影像的方法,係利用一參數化魚 眼相機已確知的複數個光學參數,包括一失真中心 (principal p〇int)、一焦距常數(focal iength cons1:ant)寧一投射模式(projection function )’來轉換該參數化魚眼相機所攝取之一原始影像為 一透視影像(perspective —c〇rrecte(j image),該 方法包含有:第40頁 594453修正 案號 9111679η 六、申請專利範圍 計算該原始影像上一 兮矣直中心的知W像點(imaged point)與 該矢具中〜的相對距離 _ · · ,.丄 、 哪钓—像尚(principal distance) p ,並曰今 M / · t 疋義對應該影像點的一光軸圍繞 角(azimuthal di s + Q 、 UiStance) β ; 根據该像向P、兮4 對應該影像點二常數與該投射模式,演算 尤釉偏折角(zenithal distance )a ; 根據3羌轴偏折角α與該光軸圍繞角召正規化該 影像點於一影像小球(small sphere)表面,是為一 正規化影像點(n〇rmalized imaged p〇int);以及 套用地圖製作學(cartography)中一日晷投影 (gnomonic Pr0jecti0n)方式,投射該正規化影像點 於一平面(plane)上,是為一轉換影像點 (transformed imaged point),集合所有該轉換影 像點而形成該透視影像。 3、 如申請專利範圍第2 2項所述之呈現魚眼相機影像 的方法’其中該平面的方向(orientation of the p 1 ane)係為選自正規投影(norma 1 pro j ec t i on)、 傾斜投影(oblique projection)與橫向投影 (transverse projection)組合的其中之一。 4、 如申請專利範圍第2 2項所述之呈現魚眼相機影像 的方法,其中該平面與該影像小球間的接觸關係 (tangency of the cylindrical surface)係為選自 相切投影(tangent projection)與相割投影第41頁 594453 W 修正 案號 91116790 六、申請專利範圍 (secant projection)組合的其中之一。 2 5 、如申請專利範圍第2 2項所述之呈現魚眼相機影像 的方法,其中該光軸偏折角α係為該參數化魚眼相機 之一光學軸與成像該影像點之一入射線的夾角。 2 6、如申請專利範圍第2 2項所述之呈現魚眼相機影像 的方法,其中該光轴圍繞角/5係為該影像點以一本初 子午線(P r i m e m e r i d i a η)或該本初子午線的一映射 (mapping domain of the prime meridian)為參考 基準,環繞該參數化魚眼相機之一光學軸所形成的夾 角。 2 7、如申請專利範圍第2 2項所述之呈現魚眼相機影像 的方法,其中該影像小球的中心係位於該參數化魚眼 相機的一投影中心(v i ewpo i nt)。 2 8、如申請專利範圍第2 2項所述之呈現魚眼相機影像 的方法,其中該影像點係位於該原始影像中的一使用 者自訂區域(user-defined area)内 。第42頁
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW91116790A TW594453B (en) | 2002-07-26 | 2002-07-26 | Method for presenting fisheye-camera images |
US10/234,258 US7042508B2 (en) | 2002-07-26 | 2002-09-05 | Method for presenting fisheye-camera images |
AU2003246993A AU2003246993A1 (en) | 2002-07-26 | 2003-07-18 | Method for presenting fisheye-camera images |
PCT/IB2003/002843 WO2004015976A2 (en) | 2002-07-26 | 2003-07-18 | Method for presenting fisheye-camera images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW91116790A TW594453B (en) | 2002-07-26 | 2002-07-26 | Method for presenting fisheye-camera images |
Publications (1)
Publication Number | Publication Date |
---|---|
TW594453B true TW594453B (en) | 2004-06-21 |
Family
ID=34075528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW91116790A TW594453B (en) | 2002-07-26 | 2002-07-26 | Method for presenting fisheye-camera images |
Country Status (2)
Country | Link |
---|---|
AU (1) | AU2003246993A1 (zh) |
TW (1) | TW594453B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI397317B (zh) * | 2007-08-06 | 2013-05-21 | Imay Software Co Ltd | 廣角影像使用圓柱形座標模型並以透視投影法輸出影像的方法 |
TWI451358B (zh) * | 2007-02-14 | 2014-09-01 | Photint Venture Group Inc | 香蕉編碼解碼器 |
CN105184756A (zh) * | 2013-09-04 | 2015-12-23 | 北京英泰智软件技术发展有限公司 | 一种鱼眼镜头的图像校正方法 |
TWI563469B (en) * | 2013-01-02 | 2016-12-21 | Vivotek Inc | Image processor and display method for fisheye image thereof |
TWI646506B (zh) * | 2017-10-24 | 2019-01-01 | 華晶科技股份有限公司 | 利用魚眼影像計算所攝物體座標的方法及影像擷取裝置 |
CN109976533A (zh) * | 2019-04-15 | 2019-07-05 | 珠海天燕科技有限公司 | 显示控制方法及装置 |
US10762658B2 (en) | 2017-10-24 | 2020-09-01 | Altek Corporation | Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114647059B (zh) * | 2020-12-17 | 2023-10-03 | 长春理工大学 | 大视场小型化的光学成像系统 |
-
2002
- 2002-07-26 TW TW91116790A patent/TW594453B/zh not_active IP Right Cessation
-
2003
- 2003-07-18 AU AU2003246993A patent/AU2003246993A1/en not_active Abandoned
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI451358B (zh) * | 2007-02-14 | 2014-09-01 | Photint Venture Group Inc | 香蕉編碼解碼器 |
TWI397317B (zh) * | 2007-08-06 | 2013-05-21 | Imay Software Co Ltd | 廣角影像使用圓柱形座標模型並以透視投影法輸出影像的方法 |
TWI563469B (en) * | 2013-01-02 | 2016-12-21 | Vivotek Inc | Image processor and display method for fisheye image thereof |
CN105184756A (zh) * | 2013-09-04 | 2015-12-23 | 北京英泰智软件技术发展有限公司 | 一种鱼眼镜头的图像校正方法 |
CN105184756B (zh) * | 2013-09-04 | 2018-03-09 | 北京英泰智软件技术发展有限公司 | 一种鱼眼镜头的图像校正方法 |
TWI646506B (zh) * | 2017-10-24 | 2019-01-01 | 華晶科技股份有限公司 | 利用魚眼影像計算所攝物體座標的方法及影像擷取裝置 |
US10762658B2 (en) | 2017-10-24 | 2020-09-01 | Altek Corporation | Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images |
CN109976533A (zh) * | 2019-04-15 | 2019-07-05 | 珠海天燕科技有限公司 | 显示控制方法及装置 |
CN109976533B (zh) * | 2019-04-15 | 2022-06-03 | 珠海天燕科技有限公司 | 显示控制方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
AU2003246993A8 (en) | 2004-02-25 |
AU2003246993A1 (en) | 2004-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI397317B (zh) | 廣角影像使用圓柱形座標模型並以透視投影法輸出影像的方法 | |
US11748906B2 (en) | Gaze point calculation method, apparatus and device | |
US6323862B1 (en) | Apparatus for generating and interactively viewing spherical image data and memory thereof | |
US7042508B2 (en) | Method for presenting fisheye-camera images | |
CN105844584B (zh) | 校正鱼眼镜头图像畸变的方法 | |
TWI375136B (zh) | ||
CN101271187B (zh) | 无死角的双目立体全方位视觉传感装置 | |
CN108846796B (zh) | 图像拼接方法及电子设备 | |
WO2005063114A1 (ja) | 視線検出方法および装置ならびに三次元視点計測装置 | |
CN108122191A (zh) | 鱼眼图像拼接成全景图像和全景视频的方法及装置 | |
CN109947253B (zh) | 眼球追踪的模型建立方法、眼球追踪方法、设备、介质 | |
CN104246795A (zh) | 用于超广角透镜图像的自适应透视修正的方法和系统 | |
JP2020173461A (ja) | 撮像システム、方法及び用途 | |
CN106447731A (zh) | 利用单个球及正交消失点标定拋物折反射摄像机的方法 | |
TW594453B (en) | Method for presenting fisheye-camera images | |
CN108259887A (zh) | 注视点校准方法及装置、注视点标定方法及装置 | |
CN106780621A (zh) | 利用一条直线求解锥镜面折反射摄像机镜面参数的方法 | |
Svoboda et al. | Panoramic cameras for 3D computation | |
Greguss | The tube peeper: A new concept in endoscopy | |
US9621875B2 (en) | Device for the acquisition of a stereoscopy image pair | |
CN105303570A (zh) | 使用双球的相交像及圆环点的像标定拋物折反射摄像机 | |
JP2006220603A (ja) | 撮像装置 | |
CN109917908A (zh) | 一种ar眼镜的图像获取方法及系统 | |
CN109963143A (zh) | 一种ar眼镜的图像获取方法及系统 | |
CN113989105A (zh) | 一种单相机球面镜反射成像投影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |