TW594453B - Method for presenting fisheye-camera images - Google Patents

Method for presenting fisheye-camera images Download PDF

Info

Publication number
TW594453B
TW594453B TW91116790A TW91116790A TW594453B TW 594453 B TW594453 B TW 594453B TW 91116790 A TW91116790 A TW 91116790A TW 91116790 A TW91116790 A TW 91116790A TW 594453 B TW594453 B TW 594453B
Authority
TW
Taiwan
Prior art keywords
image
projection
point
fisheye camera
presenting
Prior art date
Application number
TW91116790A
Other languages
English (en)
Inventor
Gwo-Jen Jan
Chuang-Jan Chang
Original Assignee
Gwo-Jen Jan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gwo-Jen Jan filed Critical Gwo-Jen Jan
Priority to TW91116790A priority Critical patent/TW594453B/zh
Priority to US10/234,258 priority patent/US7042508B2/en
Priority to AU2003246993A priority patent/AU2003246993A1/en
Priority to PCT/IB2003/002843 priority patent/WO2004015976A2/en
Application granted granted Critical
Publication of TW594453B publication Critical patent/TW594453B/zh

Links

Landscapes

  • Image Processing (AREA)

Description

594453
五、發明說明(1) 【發明之應用範圍】 本發明係有關於一種呈現魚眼相機影像的方法,且特 別是一種整合多準直器方法學(multic〇1Hmat〇r metrology)與地圖製作學(cartography)的方法,以有 系統地描述魚眼相機機制並據此轉換魚眼相機影像使其適 合進一步的視覺應用。 【發明之背景】 為了量測的準確度’人工視覺(artif icial vision)系統使用的相機裝置喜用小視角的鏡頭,以使得 攝取到的影像盡量符合理想透視投射機制(perspect丨Μ projection mechanism);事實上,這種以針孔成像為原 理的)透視投射機制經常是演繹相機參數的根據,其利用一 個非線性函數來描述像尚的模式偏差狀況。如此所痒到内 部(intrinsic)與外部(extrinsic)參數值可用來組 具有較佳精確度的視覺應用,如三維立體推斷(3 — d cubical inference)、立體視覺(stere〇sc〇py)、自 光學檢查(automatic optical inspection)等等;但 是,目前這類應用的共同限制是其視角太小與景深較短。 而魚眼鏡頭(f isheye lens)能夠聚焦得更廣更深。 裝置在相機上可以攫取到無限景深的清晰影像,其視释之 至可以超過1 8 0度,但是影像卻連帶具有劇烈的桶狀甚 (barrel distortion)。由於魚眼相機的光學幾何真 (optical geometry)與直線透視投射機制差異彳艮大 以習知方式藉由透視投射機制為建立魚眼相機模式’若
第6頁 594453 ____案號 9mR7Q0 五、發明說明(2) f %替攀頁 修正 據’則其光學參數無法如一般相機般被準確地演繹。因 此’導致大量於視覺科學已發展成熟的技術無法被運用來 處理魚眼相機取得的影像,甚至在全方位環場 (panospherical imaging)領域亦放棄使用折射光學魚 眼相機(稱之為dioptric sensor),轉而採用由複雜光 學咸置組成的反射式複合相機(稱之*catadioptric sensor)尋求解決之道。 這種反射式解環場的方法是利用反射鏡或稜鏡等光學 元件組合相機來取得大視角影像,如中華民國專利
3 78454、38 2 0 6 7與美國專利 6,1 1 8,474、6,2 8 8,84 3 B1 中 所揭露的技術。然這種解決方案需要非常精密的光學元件 配合而使得相機系統變得複雜且昂貴,而且經由附加光學 元件間接攝取影像會使得景彡傻却啤㈣ 锊a认冰”乂像喊變弱,更不用說將反射 鏡置於鏡頭刖的實施態樣會導致 點。 苜守双畫面中心有無可避免的盲 此外,習知取得大視角影 影機來連續攝取環境周圍的影 針對不同視野角度取影之後再 中華民國專利3 8 1 3 9 9與美國專 轉式攝影無法在同一時點取得 至於有時間不同步的瑕疵,且 隱藏或是實行近距離拍攝,更 費旋轉機構較多的電力又易故 本上的考量外,如何對各個相 整合亦存在著許多的難題。 像的方式還有利用旋轉式攝 像’或是擺設多個相機同時 縫合為一環場影像,例如: 利 6,2 5 6,〇 5 8 B 1。但是,旋 j的物周圍所有的影像,以 這種系統的體積難以縮小而 1用說相機本身的重量會耗 $;而使用多個相機除了成 、所拍攝的影像予以取樣、
mt 91.11679η 五、發明說明(3) 然而,考罝到許多實際應用上的♦ 的鏡頭(如魚眼鏡碩、反射式複合1未,採用非常廣角 影像,已是目前此類系統發展的趨勢員)一次攝取全景的 由於以往利用直線透視投射模 機參數的準確度不佳,因此陸陸續雄2基礎來演繹魚眼相 提出來探討。其中一種常見的方法他變通的做法被 基礎並假設鏡頭符合—專一投射函數取传的影像為演算 部的光學參數。請參照「第『Α圖」y:、目:相機内 中「第1A圖」顯示—個已柩屮、嘉两二弟丄B圖」,其 而「第1B圖」則為對應「第=域1, 模…張圖中皆標示了影像點的光軸偏:角求:工間投射 (Z:ni…=ce)與光軸圍繞角mzi_hai ^ Ce ,八中光軸偏折角α係為影像點對應於物體空 LI:入射Ϊ2學軸21的夾角’而光軸圍繞角々係為該 衫像點以設疋的本初子午線(prime meridUn) 13或該 本孤子午線的映射(mapping d〇main 〇f the pH· meridian) 13’為參考基準繞光學軸21 (或失真中心c)所 形成的夾角;套用地球儀的定位觀念,則冗/2一 α即為緯 度、、光軸圍繞角/?即為經度。若是複數個影像點落在成影 區域1的同一條半徑,其於空間中則是入射線的執跡位於 同一方位平面(azimuthal plane)上(如弧c, D,F,與兩 球半徑,定義的平面),也就是其光軸圍繞角Θ為一常 數,如厂第1 A圖」中的d、E、R點對應厂第1 b圖中 的 β,、E,、F,點。 上述以影^為基礎的演算法除了假設魚眼鏡頭符合一 _;_案號 9111Fi7Qn 五、發明說明(4)
594453 專一投射函數之外,更設定了數個假設前提··第一,#眼 相機影像是圓形或橢圓形且其長軸11與短軸1 2 (戈一直 徑)的,點即為影像的失真中心(principal p〇^*,即 光學轴21投射的影像);第二,假設影像邊緣係由水平光 線(即Ί /2)映射而得;第三,假設光軸偏折角^與像高 (principal distance) Ρ間恰好是線性比例的關係,其 中定義像高p為成影區域1上一影像點與失真中心間的相對 距離。例如「第1 A圖」中A點對C點的距離恰好是^半徑的 一半,因此A點的〇; =7Γ /4,而由此定出的視野線(sight ray)也決定了半球體視野空間中對應的視野線會通過 < A’點;以此類推,「第χ a圖」中的c、D、E、&點分別對 應的視野線會分別通過「第1 B圖」中的C,、D,、E,、 F ’點。至於影像點的座標,可以用直角座標系統 (Cartesian coordinate system)表示成(u,v)或是利用 ,座標系統(P〇;Ur coordinate system)表示為(ρ,卢), 這二種座標表示+式皆設定失真中心為座標原點;而其對_ 應的視野線空間向量座標可用(^)表示。 - ^然習知技術中並未討論這個”專一投射函數,,為何,但實„ 際上具.有這種成像能力的鏡頭係符合等距離投射 i IQUldlstant projecti〇n,以下簡稱為 EDP)且其剛好 ( 的丰ί據上述EDP;r的假設前提’焦距常數f可由成影區域1 、、^L除以;/ 2而得到;由影像平面座標(u,v )亦可以輕易
射1 8〇度視野角(以下合稱為EDP;r );等距離投射的投 、,數為P =ka ,其中k為一常數,且當鏡頭符合eDPtt時,乂 P疋鏡頭的焦距常數f( length c〇nstant)。
^ r^v^,很簡單的光學鏡片製 市%上最备易取得的鏡頭。 美國專利5, 1 8 5, 6 6 7即依循「第丄A圖」與「 B 圖」所呈現的投射成像機制來演繹演算法以 所攝取的影像為符合於線性投射模式,用以監視 野(垂直180度、水平3 6 0度),並將之應用在内視鏡、監 視與退端控制等實施樣態上(美國專利5,313,3〇6、 5, 35 9, 3 6 3、5, 384, 588)。但是,值得注意的是:這一 列的美國專利中並未具體論證鏡頭的這種機制的可行性’,' 致使其影像轉換的精確度受到質疑。 無論如何,這種以影像為基礎的演算法中大部分的假 設前提是不切實際的,因為它忽略了 一些基本的因素與可 能的變異。第一,請參照「第2圖」,其顯示三種典型的 魚眼鏡頭投射曲線,其中被採用的EDp;r只是所顯示投射幾 何的一個特例部份而已,鏡頭的原生投射機制可能是另外 二種·立體圖形投射(stere〇graphic projecti〇n,p = 2fx tanU /2))或正交圖形投射(〇rth〇graphic 594453 mt 9111R7QQ 乂 冶.丨丨
、發明說明(6) projection,p — fy ο· 、 ' 71 ’或許是更大或較小;再者,由「第3涵蓋範圍不恆為 這三種魚眼鏡頭投射機制間的差異隨 2」中可以看出 角《的增加而明顯地變大,所以將 t光之光軸偏折 EDk是不合理的。第二,光從魚眼相有機^鏡頭皆鎖定在 頭的視野是否為π ,因為無論鏡頭的視野〜/象是無法判斷鏡 呈現的形狀總疋圓形(或橢圓形)。第二1、’成影區域1 剛好是7Γ,但是射頻能量響應(radi〇m^就算確定視角 呈徑向衰減是一般鏡頭的普遍現象,尤置θ = reSp〇nse) 為明顯,此會造成影像強度在,旦彡 疋大視角鏡頭更 降,尤以低^、間早的鏡頭最為嚴重,因此, ^ 界在此效應下是很難被精確地定出。她姓 Up像邊 鏡頭疋否付e兀美的EDP;r假設,這種以影像為基礎的 不但精確度低、演繹光學參數時易生誤差、萃取的成影區飞 域1受到質疑、定位的失真中心也不穩定而且於實務上應 用也大受限制。 此外,根據 Margaret M. Fleck【"Perspective Projection: The Wrong Image Model”,1 994】所提出的, 研究結果顯示:實際製造出來之鏡頭的投射機制難以在所 有入射角度範圍下都符合單一的理想投射模式;而光學工 程師也可以依照應用領域的需求,設計各種特殊投射機制 的鏡頭,如瞳孔鏡頭(f 〇 v e a 1 e n s ),所以將等距離投射 套用在所有魚眼鏡頭的假說非常牽強。 明顯地,習知技術並未真正探討魚眼鏡頭的投射函 數、焦距常數(focal length constant)等重要的光學
第11頁 594453 曹正替換頁 ^ 92. I L· ! 修正 条皇 五、發明說明$ 參數 而且也不去考慮設定之邊界的準確性,如此會使得 八衫像解析的信賴度下降,更導致無法進一步將魚眼鏡頭 發展在其他的應用領域上。因此,本發明將精確地探討此 主題 使得相機參數化過程不受限於前述假設前提而精 確地得到相機的光學參數,如此一來,魚眼相機影像便可 依此光學參數而輪確地被轉換且呈現出來。 【發明 有 知的光 影像為 接近人 影像轉 根 的方法 申請案 何圖案 位,以 同時算 射模式 投射模 使得魚 應用在 為 成像模 之目的與概述】 機參數化後已 轉換魚眼相機 的影像符合或 被應用在各種 魚眼相機影像 中華民國專利 有同心對稱幾 光學軸的方 viewp〇int) 類出相機的投 、焦距常數與 眼相機影像, 袼式並進一步 鐘於此,本發明的目的為利用魚眼相 學參數來解魚眼相機影像,並且據此 各種有益的應用格式,例如使轉換後 類的一般視覺感知,或進一步使其可 換糸統上* 據上述本發明之目的,提供一種展現 ’其中有關參數化相機的方法係根據 9 〇 1 2 3 6 8 1中所揭露的技術。利用一具 的校正物件來定位影像的失真中心與 此為根據進而定出相機的投影中心( 出焦距常數,並於參數化的過程中歸 ;因此,丰發明依據已知的失真中心 式等相機的光學參數來轉換及呈現魚 眼相機影像可被適當地轉換為需要的 各種影像系統上。 式(tW〇—Step modeling method) 出一種二步驟 解釋影像轉換
第12頁 描述魚眼相機的成像機制,本發明 594453 _ 案號 91116790 五、發明說明(8)
If f 換? 修正 的過程。當空間中的入射 (normalized)入射線於 擬小球的中心點位於投影 化後,所有的入射線如同 表,此時便可採用地圖製 成熟的各種地圖投影法來 形成的影像。相反地,亦 面上各影像點正規化於虛 點以;其對應之入射線的光 碼,;以便利用適當的地圖 的格式。 、線射往魚眼鏡頭時,首先正規化 虛擬小球的表面上,設定此虛 中心且其半徑是焦距常數;正規 以球 作學 解釋 體表面上的對應影像點來代 (cartography)中已發展 不同魚眼相機的投射函數所 可據二步驟成像模式反推影像平 擬小球上的位置,也就是將影像 車由偏折角α與光轴圍繞角$來編 投影法進一步轉換影像點為需要
由於在相機的參數化過 數,因此本發明所揭露的演 各種投射機制的相機,並且 眼相機影像。 為讓本發明之上述和其 顯易懂,下文特舉一較佳實 細說明如下。 Κ 程中已經確知需要的光學參 算邏輯簡單且成本低,適用於 可以非常快速地轉換且呈現魚 他目的、特徵、和優點能更明 施例,並配合所附圖式,作詳
L电明之實施例說明】 t ^ ^ ^於—般的標準鏡頭,魚眼鏡頭所投射出之影^ 有康重的桶狀生吉,^ ^ ^ ^ 真程度於影像平; Μ1 def〇rmati〇 也就是1 學軸,於相機视m ,而於視野空間λ則對稱於其 ____ 見予中發射自物體的入射光線會先匯聚力
(distorti〇n面上呈中心對稱’此中心?稱為失^ 594453
修正 f號 9111679Π 五、發明說明(9) :::影:^:,、之,=更,據投射”發散並成像於 從幾何學的觀點來看Z;Ϊ此技藝人士所熟知的現象。 列的平面圖Γ,ΐ對光學軸空間對稱幾何排 事貝上便可以在相機内映射出中心對稱影 乾為美1若安排一已知方位且具有圓心對稱特性的平面圖 靶為基準,調整相機的方位而得到一中心對稱影像, ΐ:::ί ΐ ” ί ί1心的方位;&時萃取各物體點對 數即可推算空間申光學中心(或稱為投影中心,的⑽ 二WP广t,川_ νρ)的絕對座標以及算出焦距常 =faal length constant)。本發明中有關參數化相 =方法係參照中華民國專利申請案9() 1 2 3 68 1中所揭 技術。 為描述魚眼相機的影像呈現方法,本發明整入 器測量方法學(mUlUC〇lliinat〇r metr〇1〇gy)與3地圖製 作學(cartography)這二Η已發展得非常完備的學科, 而提出一種二步驟成像模式(tw〇_step mc)de ling method),以有系統的方式來解釋影像成像與轉換的過 程。 長久以來’多準直器(mulUc〇llimat〇r)機制一直被岸 用在校正大型的空照凸透鏡面’其利用精密圓弧排列的~多 準直點光源來產生中心集中的光束’以預先設定相機”的 安置點。任一點光源仿造一來自無限遠且已知光軸偏折角 a ( zenithal distance)的入射光,然後精確地量測每一 入射光所映射之影#‘點的又七光轴偏折角α定義為:影 4
像點對應於物體空間中的入射線與光學軸2丨的夾角。在如 此的架構之下,可以絕對地追蹤系統中投射的每一條視野 線。這種多準直器的實體佈置可以實測任何相機的投射行 為且求取相機的投射函數。本發明即以多準直器測量法為 基礎來描述魚眼鏡頭的成像機制。
但疋’多準直器的精密弧形機械結構很難在一般的實 驗室中實現’若是利用平面圖形來間接表達這種空間幾何 排列則會容易許多。因此,請參照「第3圖」,本發明藉 由一杈正物件(calibration target) 22來仿造多準直器 之亂弧排列的光學佈置,而且該校正物件2 2上必須具有一 個實體圓心與複數個同心且對稱的幾何圖形(如圖中繪示 的同心圓)’稱之為測試圖案(test pattern) 2 2 0,用 來_助參數化魚眼相機。
明參]k「苐4圖」’模擬參數化相機時,空間中校正 物件22與魚眼相機間的投射光路圖;其中以魚眼鏡頭24和 影像平面2 3來等效表示魚眼相機,而校正物件2 2則置於魚 眼相機的視野(f ield of View,以下簡稱為F〇v)中。如 果觀察到的相機投射行為符合「第2圖」中的任一投射函 數’那麼投射自測試圖案2 2 0的入射線必然會本質上達成 一準直機制(collimating mechanism);也就是說,入 射線會先匯聚於魚眼鏡頭24中一稱為前節點242 ( fr〇nt nodal point,簡稱為FNP)的邏輯光學中心,然後再由一 後節點243 ( back nodal p〇int,簡稱為BNp)根據投射函 數發散射出並成像在影像平面2 3上。前節點2 4 2與後節點 243是描述魚眼鏡丨頭24之投射行為的二個基準點,用來界
第15頁 594453 f 案號 91116790 i] Μ換 -修正 五、發明說明(11) 定魚眼相機内外的二個投射空間。於解析魚眼相機的投射 機制時,此二節點間的距離可以設定為任意值,因此在本 發明中假定前節點242與後節點243合併為^ 一的投影中心 241,如「第5圖」所示,以簡化模式。本發明將於以下 的敘述中採用一些測地學(geodesy)的術語,以簡潔地 引用地圖製作學的觀念。 θ “ 請參照「第5圖」,其以等距離投射(equidistant pro ject ion,以下簡稱為EDP)為例,顯示投射空間中卢值 相距為7Γ之二方位平面(azimuthal Plane)上的投射光路 軌跡’也就是此平面已定義了其上所有視野線的光轴圍繞 角气;請參照「第1 A圖」與「第1B圖」,光軸圍繞角卢 係為以設定的本初子午線(pri^ne meridian) 13或該本 初子午線的映射(mapping domain of the prime m e r;i dian) 13為參考基準繞光學軸21(或失真中心◦)所 形戍的夾角。本發明提出二虛擬同心球體用以輔助說明本 發明所根據的理論,其中設定影像小球30的極軸重疊於相 機的光學軸2;1、球中心點位於相機的投影中心241且半徑 =焦=吊數f,大球的弧形邊界則用來解釋校正 ::試圖J220如何模擬多準直器弧形排列的點光源。事 :射機劍ί 5圖」已經涵蓋了立體空間的投射幾何,因為 杈射機制呈現軸對稱性。 時,Ξι::: 交通過測試圖案22°的圖案中心225 最外圈的同心圓I ^ J :::巧:f視測試圖案220* 案2 2 0的视野線f · 相父的割圓。投射自測試圖 -----〜____Slght ray)會垂直地穿過小球30表面並
—i .* —*594453 修正 9jriR7Qn 五、發明說明(12) 往球中心(也就是投影中心241)集中,如此一來,測試 圖案2 2 0中每一同心圓所建構的對稱圓錐光束於邏輯上會 匯聚於投影中心2 41,如「第4圖」中的立體光路所示。 本發明中亦定義球中心為極座標的原點以描述視野線的方 位。 於邏輯上’視野線通過投影中心2 4丨後會依照投射函 數而折射到影像平面2 3上映射出對應影像2 3 〇。依據前述 之影像投射的空間軸對稱性,若是光學軸2 1已對準圖案中 心2 2 5 ’映射出的對應影像2 3 〇預期也會呈現同心且對稱的 圖案’類似於測試圖案2 2 〇 ;對應影像2 3 〇的幾何對稱中心 即為失真中心2 3 5。因此,本發明於進行實驗時,固定校 正物件2 2於一絕對座標位置,適當地調整相機的方位直到 形乘之對應影像|3〇的對稱性符合要求,此時圖案中心225 所映射之影像點南特徵座標(feature coordinate)即為 失真中心2 3 5的座標位置。進一步以連接圖案中心2 2 5與失 f中心2 3 5的空間視野線即可確定光學軸2丨的方位。以上 &序讓追‘光學軸2 1方位的功能可以實現,是相機參數化 過程的一大突破。 可供利用的測試圖案2 2 0並不只限定於「第3圖」中 所纷示的同心圓,測試圖案2 2 0若是由同心且對稱的幾何 圖形所組成會是較佳的實施例,除同心圓外,亦可利用同 心方形、同心三角形、或是同心六邊形等,甚至組合任意 數目的同心且對稱的圓形、方形、三角形與多邊形,亦是 另一種可行的實施例。 定出魚眼鏡頭2 4的光學轴2 1之後,根據幾何光學理論
第17頁
‘修正_ 594453 案號 91116790 五、發明說明(13) 可知:鏡頭24的投影中心241_^ 點,如此-來便大幅了縮減疋位於光學軸2 1上的某-沿著光學轴2 1——測試便可定^ &圍,是故,以試誤法 置,然後便可計算出焦距常數^的出禮投影中心241的實際位 時,假設測試鏡頭的投射函數 。本發明於進行實驗 過程亦可採用其他的投射函數^往夂’當然同樣的參數化 已知光學軸2 1上一定點為投影中、、& “、、第6圖」,假疋 個同心圓周上任二物體點所=心“41,依此便可決定第i 個同心圓映射而得之像高又的光軸偏折角ai,綜合第i: 到其對應的f i值。如果測”),根據EDP公式以“浪P i便可ψ 式,則不同半徑同心圓所、、1 # ^70王付合等距離投射模 否則,限制a i的測試範圖與异得到的各f丨皆等於一常數; 式的投射模式上,直到配、,或1是將同樣的資料套用在其他形 實際實驗時,將測;意的結果。 心圓且圍繞著圖案中心22f案2 2 0設定為二十個共面的同 為了插述方便,設定極座j目鄰的同心圓之間相隔5随。 24丨,且設定光學軸21為的原點(〇,〇,0)在投影中心 為實數。若投影中心241^二H〇,〇,Z)表示之,其中Ζ 度為p卜由於p !與ΛΞΐι^1、其對應每一影像高 式:p KD)= fa 1〇)),的函數’因此EDP可改為以下的 可以處理的影像軌跡總數、。中〜/,k其中N為對應影像230 * λΤ / 右疋取最外圍的圓形圖案為基 準,則p N(D)= fa N(D),經過簡單運算後可得以下等式: P i(D)/ P N(D)- a i(D)/a N(D)= 〇_______〜_____⑴ 事實上,此時還無法確定D值,因為還不知道投影中
第18頁 594453
F。一^ ^轴21的哪'個點上;若將(〇, 〇, D)改為z軸 .' ^ 點’0,z) ’則可得一誤差關係式如下: ei(z)= p i(D)/ p N(dk α z)M N(z)-------- 以試誤法搜暮止组+ ⑷等於最小值之處Λ21,根據 被確定在ei 來。 1乏處,此時投影中心241的位置即可被定出 各♦但疋式(2)只是取兩只同心圓所計算出來的結果,糸 考慮到測試範圍涵甚士 為 投射函數的範圍的有效的視野,且探討符合測試 執跡所觀察的視野角 „| — 门顆應母一 為·图。又榷重函數,以公平地對待各執跡的貢獻,其 W^(D)= (p i(D)- p i-i(D))/ p N(D) ------— f中P 0 (D )= 0,可視為是失真中心2 3 5的半徑。因此3 ) 學抽21上尋找投影中心的配適過程中,應’在光 為: . 參 ^差函數 3(2)= (xV?S ^ 其中z表示光學軸2 1上任意'測試圖幸2 〜(4 ) 若能找出唯一一點使得,(2)最風是;;::距離。 即為魚眼相機的投影中心2 41。至於焦距常數f,、 ’則該點 到的/〇 i (D )及其相對的α D)為基礎,利用τ斗艮據量蜊 f(D)= I似一魏 Λ用二式:算之: a、^ 中,fi(D)= p i(D^|f_、(D)。若鏡頭完全符(5) 工、量測無誤差,則D值將狼^!,那麼f (D)應、5 EDp模
這也就是鏡頭的焦距常數f。事實上,〜、 ^ - 侍到的f i -SS__9U16790
594453 五、發明說明(15) 5m的統計標準偏差,更可以制來估算假設之 杈射核式(例如目前假設為EDP)的準確性, 可以用下列式子傲.盥夕菸M’『王也就疋d 千仅為與之杈射枳式配適程度的指標: )"N-1)-------———(6) σ (D)= ( (¾冰⑼一芦 1第7圖」’胃顯示以歐普羅公司出產的 線,^相機目Φ機進行測試著Z轴找尋D值的趨近曲 線,該相機中安裝了 Daiwon 0pti =::;r由製造商提供的驗 ϊ = ΐ 70度。圖中以實線表現第-次的測試結 户做1 2以第一次測試所得之雎為基準(dD= 0),再 20)、盘 2r(rdD= 1〇)、15mm( dD= 15)、2〇mm( dD== 中各再進二5) °相同的推導過程也在這五次測試 顯的…)最小信 Λ在這六種測試條件下’都有—报明 示: 值。與第7圖」相關的測試數據如表以斤 表1測試的參數與結果 (單位· : rrnr〇 表1令的數據,第一列是六次測試中各自以第
第20頁 測試’分別將校正物件22往外移動5mm ( dD=
亚0·(ί UJO
5.0 · Ϊ0.0 15.0 20.0 〜 19.63 *^5ΐτΗ ~30M"""" 35.27 〜 1788 ITbITj 1.796 1.798 〜 0.002 0.0091 0.0058 0.0062 〜 594453
t為基準的位移量’第二列表示各測試推論出的物距D 二:第=是各測試條件下算出的焦距;== Ϊ六個位置所計算出來之焦距常數值“(D)± :⑻Π接 近,而且σ (D)相當小,顯+丨、士丄办如 σ 非书接 優良的準確度與精確度/將上參數化相機具有相當 射2设定(:立體圖形投射與正交圖形投射)再分別進 :;一 :π ί,:到類似表—的數據,檢驗這些數據便知在 該測Ξΐϊϊ =設下誤差值’⑴最小;實驗結果顯示 正交付5 t體圖形投射(Ρ = 2fx tanU /2))與 小sina);相反地,在edp假設下相當 數化相i 2 /持,測試鏡頭較接近edp鏡頭。因此,這種參 機的方法,並不只限定應用於符合等距離投射模式/ 虛”、、眼相機,只要是任何已知投射函數的 可:用此參數化相機的方法來鑑定,具有歸類以:: 相機之真實投射模式的功能。 疋各個 由於上述參數化相機的方法不需假設鏡頭的投 為EDP且不需限制鏡頭的視野剛好是1 80产,—入Η 4、吴式 學模式由確知的失真中心235往外解析而^寻疋因王此^艮據光 轉換與展開便可無視於邊緣模糊難辨與視、、相 ::問碭;如此一來’使用者可以自行在影像平 = J使用者自訂區域(user-defined area),只針 疋 於測i試函數的有效範圍的影像部分做轉換,亦即 付合 从自行決定影像轉換的邊界,因此可以解決習知:者可 不胃準確定位的問題,且不用強求所有的成像範圍U界 ' --*--—______ 付己某
第21頁 594453
^^91116790 五、發明說明(17) 才不準的投射函數;在某些情況下也 區域來換得較佳的精確度。 、、、s /、影像轉換的 ,此,魚眼相機的參數化過程結束,所 都^ym' 23 5 '頭的投射模式)也 地球】再;ί照「第5圖」,可視影像小球3〇為-透明的 ==眼相機的投影中心241置於球心且相機光學 2 1對準於地球的極軸。由於「第2圖 =射函數皆可藉由影像小球3。來解釋二= 又射·成何,因此本發明提出二步驟成像模式(切〇 — st ^ellng method)來說明魚眼相機的投射機制。請參照 第8、圖」,顯示投射空間中少值相距為π之二方位平面 (azimuthal plane)上的投射光路軌跡,也就是圖中所 有視野線的光軸園繞角/3皆已固定。第一步驟,自物體空 間入射的視野線(sight ray)直線地穿過投影中心241且 投射在影像小球3 0的表面上,於此步驟中,任意光軸偏折 角α (即使大於π )的視野線皆在角度不變的情形下被映, 射;第二步驟,根據各種投影方式,將正規化在影像小球 , 3 0表面的正規化影像點(α,厶)進一步地投射在影像平面2 3 上。舉例來說,正父圖形投射(p = fx s i nQ;)係由無線遠 平行光映射而得、立體圖形投射(p = 2 f X t a η (α / 2 ))則是 將羌源置於切點的遠端,而映射在小球30上之影像點所決 定的弧長即是EDP公式下的像高。 利用二步鱗成像模式(two-step modeling method) 來説明魚眼相機的投射機制有許多的好處。其中第一步驟
第22頁 f正替換頁 ^ 92J114 ri 參 594453 案號 91116790 J五、發明說明(18) |事實上只是單純的直線投射,所以 < 以直接引用各種與透 射投射(p e r s p e c t i v e p r 〇 j e c t i ο η)機制相關且已發展得 I很成熟的演算處理技術;以另一個觀點來看,由影像小球 3 0上的各影像點可以直接定義其於物體空間中對應的視野 |線。此第一步驟的邏輯同時也保證有單一投影中心2 4 1的 存在’使得影像的立體應用變得可行,相較於習知的許多 研究皆聲稱無法找出單一的投影中心2 4 1。而很有趣地, 第二步驟的投射過程剛好符合地圖製作學 (cart〇graphy)的各種常態正向地圖投影(n〇rmai forward map projection)方式。地圖製作學是一門將立 |體,球儀上的地理資訊轉換為平面地圖的科學。第二步驟 的遽輯亦暗示可以行得通的反向映射程序—於地圖製作學 圖投影(lnverse map proJection) 一可以 旦^德t像平面23上的影像點座標(u,v)反推求得其對岸在 影像小球30上的正規化影像 】=在 為基礎(也就县脾豆相达, ’ A ),之後再以影像小球 L i ^ 其視為地球),利用地圖製作學Φ的々 稱為轉換影像點。能夠將化影像點到投影面上, 的步驟大幅度地拓展了影 j f規化到影像小球30上 一來所有地圖製作科學中/發嘖多可能性,因為如此 用來進-步轉換魚眼相圖投影技術皆可被引 再搭配各種適當的地圖投^ ς要以影像小球30為橋樑 的格式將會變得非常簡單夕 現魚眼相機影像為特定 視覺感知的影像、影像資# f,,例如:轉換為接近人類 像的技術中是本發明: 第23頁 594453 修正 案號 91116790 五、發明說明(19) 一大創新。 事實上,一個正規化影像點,万)即代表空間中的一條 視野線,若考慮到使轉換影像拉進或拉遠(z〇om-in/-out)的因素,則改變影像小球30的半徑即可,亦即在座 標中增加小球3 0半徑的維度,變成(Q;,召,R ),其中R為影像 小球3 0的半徑。這和地球製作學中改變參考球體 (reference globe)的原理相同。 地圖製作學中包含有各式各樣的轉換技術以配合不同 的應用性,主要是由四種因素來決定地圖轉換方法的技術 内容’包含·光源的方位(light-source posi. tio η)、 投影面的型式(pro ject ion surf ace)、投影面的方向 (orientation of the projection surface)以及投影 面秀影像小球3〇間的接觸關係(tangency of the projection surface)。光源的方位主要區分為日晷投影 (gnomon i c project ion)、立體圖形投影 (stereograph i c projection)與正交圖形投影 (orthographic projection),日晷投影係將一點光源 置於球體中心,立體圖形投影則將點光源移往切點的遠 端,而正交圖形投影則是設定由無窮遠平行光投射,這三 種投影與影像小球3 0的幾何關係如「第8圖」所示。投影 面的型式可能是圓柱面、圓錐面或平面。投影面的方向 能是正規投影(normal/zenithal/azimuthal projection)、傾斜投影(oblique projection)與 4黃向 投影(transverse projection),其中正規投影是讓# 影面的軸線或法線平行於小球3 0的極軸、傾斜投影目9 &
第24頁 594453 修正 案號 9111R7Q0 五、發明說明(20) 兩者間夾一傾斜角、橫向投影則讓投影面的軸線或法線垂 直於小球3 0的極軸。至於投影面與影像小球3 0間的接觸關 係可能是相切或相割,分別稱為相切投影(t a n g e n t projection)與相割投影(secant projection) 〇 以上 有關地圖製作學申各種地圖投影的方式都已經發展得非常 完備且為熟習此技藝人士所熟知,因此本發明在此不對其 詳細實施内容多做贅述,詳細方法學請參考書籍 【Element of Cartography, Robinson, Arthur, et.al., John Wiley and Sons, Inc. , NY, 6th ed·, 1 9 9 6 ’ page 3 9 to 1 1 1】。無論如何,任何由以上四種因 素組合而成的地圖轉換技術皆可應用在本發明中,以配合 實際上的影像轉锋需求。例如:日晷正規投影(gn〇m〇nic normal pro jecti〇n)係將點光源置於球中心、其投影面 為一平面且平面的法線重合於小球3 〇的極軸。值得注意的 是:若考慮到相機系統中以投影中心241為中心點 (Pivot)的情形,地圖製作學中的日晷投影法剛好就是 ίΪΪ!” ’也就是利用曰暴投影可以將魚眼相機影像 Ϊ Ϊ : ϋ符合人類視覺感知的影像;當然若是應用其他 地圖轉換技術,料能達到影像編碼、加密或壓縮 宣祕2 S’作學宣稱沒有一項地圖轉換技術可以完全無失 ^ ;球的幾何資訊轉換為平面地圖,Pf # 4 it I* i y 影面接觸的點或線附近的區域 = 說,地圖製作風沾α 上對於衫像轉換來 機影像中的某此特定幾打關仫.门法J以70全恢设魚眼相 __1二特疋成何關係,因為第一步驟中將視野線
第25頁
594453 _案號 91 Γΐ 6790 五、發明說明(21) 正規化在影像小球3 0的做法即已經使得影像”失真”,再經 過一次π失真的’’地圖轉換投影,剛好對某些特定的幾何排 列有負負得正的效果。舉例來說,日晷正規投影 (gnomonic normal projection)可以完全恢復垂直於光 學軸2 4 1的平面型式圖形’而空間中類似圓柱的幾何排列 則可以藉由日晷圓柱投影(gnom〇nic cy 1 indr ical pro jection)來破復為符合人類視覺感知的環場影像 (panorama)。這些範例的細節將於下面段落中進一步說 明 0 本發明中揭露的韓施十、土^^ σ α A 有準確的光學參數而可二=現魚眼相機影像時,因 (morphologic fideli人復實體的形態傳真度 R) 種地,圖投影方式而可以^^因整合地圖製作學中的各 本發明的應用範團非常庚換衫像為各種有益的格式,因此 環境中3 6 0度的水平視汽闊。其丨中環場影像係呈現一特定 轉換細節請參照「第8 。滿足人類的一般視覺感知,其 上影像點(u i, ν i}的強$」、與「第9 Α圖」,影像平面2 3 3 0上而且編碼為、度或色彩首先被正規化於影像小球 (u i,v i),其中R為影像」)’也就是說··影像座標I (〇: i,yS . :i 倍率(zoom-in/-〇ut) ^球30的半徑,可以依照影像的放大 影法投射影像小球3 〇上f決定其值;然後利用日晷圓柱投 32。如果此圓柱接影雨選定的部分區域於一圓柱投影面 影像小球3 0上輕射方^ 3 2與影像小球3 0的赤道3 1正切,則 圓柱投影面3 2上會排^的影像區段(如同地球的經線)在 完成映射正規化j f 一條直線。 _____^像點於圓柱投影面3 2的程序後,展
第26頁 594453
案號 91116790_ 五 、發明說明(22) 開 上 此圓柱投影面3 2為一長方形平 像 ’其實是直接計算轉換影像點影像。實務 的二維座標位置(X,y)。以「第9 7展開後之環場影像上 的幾何關係’轉換影像點的高r A A圖」為例,參考圖中 U i) = f*C0t(p l/f),其中 f(盘也就是 丫分^量)P i,= Bcolt 的寬(也就是X分量)即為該影;象:丄已於前文中定義;轉換 赤道31上所定義的弧長,即等於點對應的光轴圍繞角万i在 下,如果原始影像中的某些圖幸θ 1邛。於此影像轉換機制 物體所映射而得的話,那麼轉^ =由平行光學軸2 1站立的 的態樣;也就是說,本發明中椙^的衫像仍然會呈現同樣 圓柱排列的物體被無失直地還,的轉換方法可以讓特定 影像的形態傳真度。…疋車在環場影像中,且保有其 當然,如果投影面3 2不是圓 量與γ分量的計算方法也會跟的話,則上述之X分
圖」,顯示另一種平面型式嫒。請參照「第9 B 球30之極鲕的音工的杈影面32’且傾斜於影像小 球30之極軸的貫施例,係利 本
oblique projecti〇n)做 ,傾斜投影(gn〇m〇niC 方式可能應用在針對特定二广像轉換的機制,這樣的轉換 換效果。其相關的轉換體,或是呈現特定的轉 成熟,因此本發明在此不c技藝中發展得非常 赚的魚眼相冑。在於像辕轉姑換方式亦可以應用在視野角非 影像的傳真度,同換並展開影像時’為確保轉換 起計算。無論魚眼相2^的X分量與Y分量必須聯繫在一 計算還是必須以赤道頭大於或小於π,上述X分量的 _— —__i為參考基準。舉例來說,如果相機
第27頁 的4453
-SS^9ni6790 i、發明說明(23) I供利用的影像最多至140度視 籽,γ分量的處理限於70度的光=,則在轉換環場影像 ,應的X分量仍是以赤道31為基準=,α之内,而其個別 本發明係根據可靠的焦距常數斤β十昇出的孤長。由於 所呈;現出來的轉換影像仍可以保、:目=相機影像,因此 像)的方法可以應用在任何ί 或其他型式的影 若是相機的原生投射模式; = C:,則其原始影像的光軸偏折角α和光:環;堯t ::妙 从依照投射函數推算得到。 、儿角/3仍然 會視訊會議(teleconference)是利用網際網路讓夂 ϋ 士"面對面”遠距離交流的—種數位媒體應用,:口 ^疋分別在兩端的會議室中架設數支相機來攝取影像别 疋,藉由本發明更可以讓視訊會議達到”桌 =功能。假設會議室中所有與會者圍著一:圓桌桌= 同的ΐ放有一些文件’以習知的做法必須同時啟動數組不 曰二角度安置的攝影機才能攝取到所有與會者的影像·但 =藉由本發明方法則只需要一支懸吊在天花板的魚眼相一 ’即可將整個會議桌及其周圍環境攝入鏡頭之內。 —Jn. a. η 田於 灰會議室内的人員佈置有圓柱狀排列的特性,因此非常 $合被轉換為環場影像;但是,對於桌子上的文件則較適 〇用日晷正規投影(gnomonic normal projection)或是 日暴傾斜投影(gnomonic oblique projection)來恢禮 其影像傳真度。 請再次參照「第6圖」,同樣以等距離投射為例,若
第28頁 )舛453 案號
五、發明說明(24) 疋相機攝取到的物辦炎 恢復魚眼相機影像為符人::鼾:軸21的平面,且希望 線投射的簡單幾何::=機制的影像,則板據直 折角a丄的正切值7,Υ^換鼻原影像的像高p i為光轴偏 像中對應影像點的像古、疋:丄A Una 1 ’其中:/0 i,為 放大倍率。若是k== / i為一爷數,可用於控制影像的’、、、 於△ OP,Q,,因此呈現圖^可_以清楚地看出△ 0PQ相似 比例,故透過本發.明方法可以母一αΡ1’都與其對應的ri成等 P — ction) 〇MiaUe " 本發明以下接:’Γ .於傾斜放置之平面物體的例子。 像轉換例子,做為本對桌π視訊會議於一端會議室的影 「第10圖」,ίΓ】之影!轉換方法的印證。請“ 室的全景拍攝下來=t於=化板的魚眼相機即可將會議 使用者可以選=此:的影像有劇烈的筒狀失i 影像轉換的使用者自ί3 了像(如圖中兩個虛線圓界定 場影像,結果如「第^ ^ I以日晷圓柱投影法展開為學 =人士顯示出來鏡坐在會議桌周 ”投影法還原爲符合透視投射機制=文件利用曰| 1 1 Β圖」所示。,然於 “」的衫像’結果如「第 將他的影像由「第工了 ' 丁 更可針對發言的人, 1C圖」所示11Α圖」中拉出放大,結果如「二 發明之功效 根據本發明φ 1 _出參數化相機的方法來展 現環場影
第29頁
II 594453 五 -^^iUi679〇 毛明說明(25) I像 具有以下的優勢·· 本發明利用一個可 參數的創新古4 4數化相機内邱爽紅 f MM 1 会,來精確地解^ 數及外部 介Η中r 始影像點(u,ν)可以、士仕果式,因此 ^ (α,石)所代表的視弊括破準確地轉換為 的影像保有良好的 、,、,據此轉換而呈 2.本發明藉由一影=度(fidelity)。 的橋樑,其優點I可 ::現與轉換機制 圖投影技術納入本發 $ f 1作學中相關的地 如此-來,本發明更ΐ::;影像轉換的基礎, 間的轉換而達到再編碼、加地圖投影技術 能。 ⑴或疋影像壓縮的功 3.本發明之f影像轉換的方法簡 各種投射機制的相機。 成本低,適用於 4·本發明所提出的演算邏輯簡 ’ 將原始失真影像展開為環場影像"。以非常快速地 5·藉由魚眼相機攝取視野中環球體景 (panospherical scene), ” 影像,則使得物體的運動债測(二:換為環 detect iug)變得毫不費力。 n 6·魚眼鏡頭模式化參數的精確产 银古i目興M ^ 又、因本發明而延伸 現有視見糸統可細作的視角範圍。 甲 ”,發明已以一較佳實施例揭露如上, _____文蟲者 在不脫離本發明之精 第30頁
第31頁 594453
第1 A圖 第 第第 B圖,繪示習知一種以平面旦 魚眼相機影像校正方法的影像平面:為基礎之 其對應之空間投射示意圖;面解析圖以及 圖 圖 繪示三種典型魚眼鏡頭之投射函數 繪示應用於本發明最佳實施例中 意圖 的曲線圖 <測試圖案的示 第4圖,繪示魚眼鏡頭與測試圖案間光路 圖; 運之立體不意
第5圖,繪示本發明利用測試圖案模擬多準直光源以及光 線在視野空間大虛擬球與線性投影小虛^球間投 射的光路示意圖(以等距離投射為例); 第6圖,=示本發明中定出投影中心以及藉由法線方位投 影(=ormal azimuthal projection)法轉換影 像以符合直線透視投射機制的光路示意圖(以等 距離投射為例); 第7圖,繪示本發明實際測試時趨近求取投影中心之曲線 圖; 、、 第8圖,繪示本發明以二步驟成像模式(tw〇 —step
modeling method)解釋影像呈現與轉換的光路 示意圖;
第9 A圖’繪示本發明以圓柱日晷投影(cy丨indrical gnomonic projection)方式轉換魚眼相機影像 為環場影像的投射示意圖; 弟9 B圖’繪示本發明以曰晷傾斜投影(g n 〇 m 〇 n丄c
第32頁 594453 修正 案號 91116790 圖式簡單說明 〇 b 1 i q u e p r 〇 j e c t i ο η)方式轉換魚眼相機影像為 透視影像的投射示意圖; 第1 0圖,繪示魚眼鏡頭下之桶狀失真影像的示意圖(以 會議室為例); 第1 1 Α圖,繪示以本發明方法將「第1〇圖」中兩虛線 圓間轉換展開後之環場影像的示意圖; 第1 1 B圖,繪示以本發明方法將「第1 0圖」中内虛線 圓部份轉換後之符合線性投射影像的示意圖;以 及 第1 1C圖,繪示放大「第1 1A圖」中部分影像的示意 圖。 /.; 【圖:丨式之符號說明】 1·· ......................................^ Μ ^ ^ 11··...................... •長軸 12··........................................ 短軸 13.................................... 本初子午線 13’..............................本初子午線的映射 21 ............ 光學軸 22 ...................................... 校正物件 2 2 0......................................測試圖案 2 2 5......................................圖案中心 23 ...................................... 影像平面 2 3 0......................................對應影像
第33頁
第34頁

Claims (1)

  1. 594453 92.11. 1 六、申請專利範圍 修正 -種呈現魚眼相機影像的方》 相機已確知的複數個光爾,包括-失真中心艮 (princip、al point)、一焦距常數(f〇cal length 、C〇n = ant)與—投射攝式(projection function /轉換忒參數化魚眼相機所取之一始 一轉換影像,該方法包含有: 1豕為 口十贫名原始衫像上一影像點(丨㈣& μ 盥 該失真中心的相對距離為一像高(principal - distance) p ,祐日^…., I儿疋義對應该影像點的一光軸圍錶 角(azimuthal distance)沒; % 根據该像局p、該焦距常數與該投射模式,演算 對應該影像點的一光軸偏折角(zenithal distance )a \ i 根據該光軸偏折角α與該光軸圍繞角万正規化該 影像點於一影像小球(sma 1 1 sphere)表面,是為一 正規化影像點(normalized imaged point);以及 套用地圖製作學(cartography)中一地圖投影 (map projection)方式,投射該正規化影像點於一 投影面(projection surface)上,是為一轉換影像 點(transformed imaged point),集合所有該轉換 影像點而形成該轉換影像。
    2 、如申請專利範圍第1項所述之呈現魚眼相機影像的方 法’其中該地圖投影方式的架構係取決於四個要素, 包括:一光源的方位(light-source position)、
    第35頁 594453 ___案號 91116790 六、申請專利範圍
    修正 該投影面的型式(projection surface)、該投影面 的方向(orientation of the projection surface )以及該投影面與該影像小球間的接觸關係. (tangency of the projection surface) 〇 3 、如申請專利範圍第2項所述之呈現魚眼相機影像的方 法,其中該光源的方位係為選自一日晷投影 (gnomon i c projection)、一 立體圖形投影 (stereographic projection)與一正交圖形投影 (orthographic projection)組合的其中之一。
    4、如申請專利範圍第2項所述之呈現魚眼相機影像的方 法,其中該投影面的型式係為選自一圓柱面 (cylinder)、一 圓錐面(cone)與一平面(piane )組合的其中之一。 5 、如申請專利範圍第2項所述之呈現魚眼相機影像的方 法,其中該投影面的方向係為選自正規投影(n orma. projection)、傾斜投影(oblique projection)與 横向投影(transverse projection)組合的其中之
    6 、如申請專利範圍第2項所述之呈現魚眼相機影像的方 法’其中該投影面與該影像小球間的接觸關係係為選 自相切投影(t a n g e n t p r 〇 j e c t i ο η)與相割投影 (secant projecti〇n)組合的其中之一。 7、如申請專利範圍第1項所述之呈現魚眼相機影像的方 法’其中該光軸偏折角α係為該參數化魚眼相機之一
    第36頁 594453
    光學軸與成像該影像點之一入射線的炎角ό 8、如申請專利範圍第1項所述之呈現魚眼相機影像的方 法’其中5亥光軸圍繞角石係為該影像點以一本初子午 線(prime meridian)或該本初子午線的一映射 (mapping domain of the prime meridian)為參考 基準,環繞該參數化魚眼相機之一光學軸所形成的夹 角。 9 、如申請專利範圍第1項所述之呈現魚眼相機影像的方 法’其中該影像小球的中心係位於該參數化魚眼相機 的一投影中心(v i ewpo i nt)。 1 0、如申請專利範圍第1項所述之呈現魚眼相機影像的 方法,其中該影像點係位於該原始影像中的一使用者 自訂區域(user-defined area)内。 1 1 、一種呈現魚眼相機影像的方法,係利用一參數化魚 眼相機已確知的複數個光學參數,包括一失真中心 ;(principal point)、一焦距常數(focai iength constant)與一投射模式( projecti〇ri functi〇n )’來轉換該參數化魚眼相機所攝取之一影像點為一 正規化影像點(normalized imaged point),該方 法包含有: 計算該影像點(i m a g e d ρ 〇 i n t)與該失真中心的 相對距離為一像高(principal distance) p ,並且 ,疋義對應該影像點的一光軸圍繞角(a z i m u t h a 1 distance) β ;
    第37頁 594453 mi 9Πΐ67〇η
    修正 中ό月專利辜色圍 _—— 7 ----— —1 丨丨 根據該像高Ρ、哕隹 對應該影像點的—光:偏二與該·=射模式,演算 )α ;以及斤角(Zenlthal distance α與該光軸圍繞角/5正規化該 small Sphere)表面,即為該 根據該光軸偏折角 影像點於一影像小球( 正規化影像點。 的;rfr=第11項所述之呈現魚眼相機影像 的方法’/、中该光軸偏折“係為該參數化魚眼相機 之一光學軸與成像該影像點之一入射線的夾角。
    、如申請專利範圍第;[i項所述之呈現魚眼相機影像 的方法,其中該光軸圍繞角万係為該影像點以一本初 子午線( prime meridian)或該本初子午線的一映射 (mapping domain 〇f the prime meridian)為參考 基準,環繞該參數化魚眼相機之一光學軸所形成的失 角0 1 4、如申請專利範圍第1 1項所述之呈現魚眼相機影像 的方法’其中δ玄影像小球的中心係位於該參數化魚眼 相機的一投影中心(ν i e wρ〇 i η ΐ)。
    1 5、一種呈現魚眼相機影像的方法,係利用一參數化魚 眼相機已確知的複數個光學參數,包括一失真中心 (principal point)、一焦距常數(focai iength constant)與一投射模式(projection function ),來轉換該參數化魚眼相機所攝取之一原始影像為 一環場影像(panorama),該方法包含有:
    第38頁 594453 f正替換頁 00 11 1 A 號 9ll1R7fln 六、申請專利範圍
    >計算該原始影像上一影像點(imaged p〇int) 與該失真中心的相對距離為一像高(principal d i s ΐ an c e) p ’並且定義對應該影像點的一光軸圍繞 角(azimuthal distance) $ ; ,根據該像高p、該焦距常數與該投射模式,演算 對應该影像點的一光軸偏折角(zenithal distance )a ; 根據該光軸偏折角α與該光軸圍繞角^正規化該 影像點於一影像小球(smaii sphere)表面,是為一 正規化影像點(normalize(1 image(i p〇in1:);以及 套用地圖製作學(cartography)中一日晷投影 (gnomonic ; pro ject ion)方式,投射該正規化影像 點於一圓柱面(cylindrical surface)上,是為一 轉換影像點(transformed imaged point),集合 所有該轉換影像點而形成該環場影像。 1 6 、如申請專利範圍第1 5項所述之呈現魚眼相機影像 的方法,其中該圓柱面的方向(orientation of the cy 1 indrical surf ace)係為選自正規投影(n〇rmal projection)、傾斜投影(oblique projection)與 橫向投影 (transverse projection) 組合的其中之 1 7、如申請專利範圍第1 5項所述之呈現魚眼相機影像 的方法,其中該圓柱面與該影像小球間的接觸關係 (tangency of the cylindrical surface)係為選自
    第39頁 594453
    案號 91 ΐί 6790 六、申請專利範圍 相切投影(tangent pr〇jecti〇n)與相割投 (secant projection)組合的其中之一。 〜 1 8 、如申請專利範圍第χ 5項所述之 的方法,其中該光軸偏折^係為該參數心 之一光學軸與成像該影像點之一入射線的夾^眼相機 19、如申請專利範圍帛15項所述之呈現魚目 的方法,其中該光轴圍繞角0係為該影像點以一2像 子午線(prime meridian)或該本初子午線的—映^ (mapping domain of the prime meridian) ^ 基準,環繞該參數化魚眼相機之„光學轴所形成 角。 处 2 0、如申請專利範圍帛工5項所述之呈現魚眼相機 的方法,其中該影像小球的中心係位於該參數化魚 相機的一投感中心(viewp〇int) 〇 ”、、又 2 、如申明專利範圍第1 5項所述之呈現魚眼相機影像 的方法,其中該影像點係位於該原始影像中的一使用 者自訂區域(user一define(1 area)内。 2 、一種呈現魚眼相機影像的方法,係利用一參數化魚 眼相機已確知的複數個光學參數,包括一失真中心 (principal p〇int)、一焦距常數(focal iength cons1:ant)寧一投射模式(projection function )’來轉換該參數化魚眼相機所攝取之一原始影像為 一透視影像(perspective —c〇rrecte(j image),該 方法包含有:
    第40頁 594453
    修正 案號 9111679η 六、申請專利範圍 計算該原始影像上一 兮矣直中心的知W像點(imaged point)與 該矢具中〜的相對距離 _ · · ,.丄 、 哪钓—像尚(principal distance) p ,並曰今 M / · t 疋義對應該影像點的一光軸圍繞 角(azimuthal di s + Q 、 UiStance) β ; 根據该像向P、兮4 對應該影像點二常數與該投射模式,演算 尤釉偏折角(zenithal distance )a ; 根據3羌轴偏折角α與該光軸圍繞角召正規化該 影像點於一影像小球(small sphere)表面,是為一 正規化影像點(n〇rmalized imaged p〇int);以及 套用地圖製作學(cartography)中一日晷投影 (gnomonic Pr0jecti0n)方式,投射該正規化影像點 於一平面(plane)上,是為一轉換影像點 (transformed imaged point),集合所有該轉換影 像點而形成該透視影像。 3、 如申請專利範圍第2 2項所述之呈現魚眼相機影像 的方法’其中該平面的方向(orientation of the p 1 ane)係為選自正規投影(norma 1 pro j ec t i on)、 傾斜投影(oblique projection)與橫向投影 (transverse projection)組合的其中之一。 4、 如申請專利範圍第2 2項所述之呈現魚眼相機影像 的方法,其中該平面與該影像小球間的接觸關係 (tangency of the cylindrical surface)係為選自 相切投影(tangent projection)與相割投影
    第41頁 594453 W 修正 案號 91116790 六、申請專利範圍 (secant projection)組合的其中之一。 2 5 、如申請專利範圍第2 2項所述之呈現魚眼相機影像 的方法,其中該光軸偏折角α係為該參數化魚眼相機 之一光學軸與成像該影像點之一入射線的夾角。 2 6、如申請專利範圍第2 2項所述之呈現魚眼相機影像 的方法,其中該光轴圍繞角/5係為該影像點以一本初 子午線(P r i m e m e r i d i a η)或該本初子午線的一映射 (mapping domain of the prime meridian)為參考 基準,環繞該參數化魚眼相機之一光學軸所形成的夾 角。 2 7、如申請專利範圍第2 2項所述之呈現魚眼相機影像 的方法,其中該影像小球的中心係位於該參數化魚眼 相機的一投影中心(v i ewpo i nt)。 2 8、如申請專利範圍第2 2項所述之呈現魚眼相機影像 的方法,其中該影像點係位於該原始影像中的一使用 者自訂區域(user-defined area)内 。
    第42頁
TW91116790A 2002-07-26 2002-07-26 Method for presenting fisheye-camera images TW594453B (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW91116790A TW594453B (en) 2002-07-26 2002-07-26 Method for presenting fisheye-camera images
US10/234,258 US7042508B2 (en) 2002-07-26 2002-09-05 Method for presenting fisheye-camera images
AU2003246993A AU2003246993A1 (en) 2002-07-26 2003-07-18 Method for presenting fisheye-camera images
PCT/IB2003/002843 WO2004015976A2 (en) 2002-07-26 2003-07-18 Method for presenting fisheye-camera images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW91116790A TW594453B (en) 2002-07-26 2002-07-26 Method for presenting fisheye-camera images

Publications (1)

Publication Number Publication Date
TW594453B true TW594453B (en) 2004-06-21

Family

ID=34075528

Family Applications (1)

Application Number Title Priority Date Filing Date
TW91116790A TW594453B (en) 2002-07-26 2002-07-26 Method for presenting fisheye-camera images

Country Status (2)

Country Link
AU (1) AU2003246993A1 (zh)
TW (1) TW594453B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI397317B (zh) * 2007-08-06 2013-05-21 Imay Software Co Ltd 廣角影像使用圓柱形座標模型並以透視投影法輸出影像的方法
TWI451358B (zh) * 2007-02-14 2014-09-01 Photint Venture Group Inc 香蕉編碼解碼器
CN105184756A (zh) * 2013-09-04 2015-12-23 北京英泰智软件技术发展有限公司 一种鱼眼镜头的图像校正方法
TWI563469B (en) * 2013-01-02 2016-12-21 Vivotek Inc Image processor and display method for fisheye image thereof
TWI646506B (zh) * 2017-10-24 2019-01-01 華晶科技股份有限公司 利用魚眼影像計算所攝物體座標的方法及影像擷取裝置
CN109976533A (zh) * 2019-04-15 2019-07-05 珠海天燕科技有限公司 显示控制方法及装置
US10762658B2 (en) 2017-10-24 2020-09-01 Altek Corporation Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114647059B (zh) * 2020-12-17 2023-10-03 长春理工大学 大视场小型化的光学成像系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI451358B (zh) * 2007-02-14 2014-09-01 Photint Venture Group Inc 香蕉編碼解碼器
TWI397317B (zh) * 2007-08-06 2013-05-21 Imay Software Co Ltd 廣角影像使用圓柱形座標模型並以透視投影法輸出影像的方法
TWI563469B (en) * 2013-01-02 2016-12-21 Vivotek Inc Image processor and display method for fisheye image thereof
CN105184756A (zh) * 2013-09-04 2015-12-23 北京英泰智软件技术发展有限公司 一种鱼眼镜头的图像校正方法
CN105184756B (zh) * 2013-09-04 2018-03-09 北京英泰智软件技术发展有限公司 一种鱼眼镜头的图像校正方法
TWI646506B (zh) * 2017-10-24 2019-01-01 華晶科技股份有限公司 利用魚眼影像計算所攝物體座標的方法及影像擷取裝置
US10762658B2 (en) 2017-10-24 2020-09-01 Altek Corporation Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images
CN109976533A (zh) * 2019-04-15 2019-07-05 珠海天燕科技有限公司 显示控制方法及装置
CN109976533B (zh) * 2019-04-15 2022-06-03 珠海天燕科技有限公司 显示控制方法及装置

Also Published As

Publication number Publication date
AU2003246993A8 (en) 2004-02-25
AU2003246993A1 (en) 2004-02-25

Similar Documents

Publication Publication Date Title
TWI397317B (zh) 廣角影像使用圓柱形座標模型並以透視投影法輸出影像的方法
US11748906B2 (en) Gaze point calculation method, apparatus and device
US6323862B1 (en) Apparatus for generating and interactively viewing spherical image data and memory thereof
US7042508B2 (en) Method for presenting fisheye-camera images
CN105844584B (zh) 校正鱼眼镜头图像畸变的方法
TWI375136B (zh)
CN101271187B (zh) 无死角的双目立体全方位视觉传感装置
CN108846796B (zh) 图像拼接方法及电子设备
WO2005063114A1 (ja) 視線検出方法および装置ならびに三次元視点計測装置
CN108122191A (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN109947253B (zh) 眼球追踪的模型建立方法、眼球追踪方法、设备、介质
CN104246795A (zh) 用于超广角透镜图像的自适应透视修正的方法和系统
JP2020173461A (ja) 撮像システム、方法及び用途
CN106447731A (zh) 利用单个球及正交消失点标定拋物折反射摄像机的方法
TW594453B (en) Method for presenting fisheye-camera images
CN108259887A (zh) 注视点校准方法及装置、注视点标定方法及装置
CN106780621A (zh) 利用一条直线求解锥镜面折反射摄像机镜面参数的方法
Svoboda et al. Panoramic cameras for 3D computation
Greguss The tube peeper: A new concept in endoscopy
US9621875B2 (en) Device for the acquisition of a stereoscopy image pair
CN105303570A (zh) 使用双球的相交像及圆环点的像标定拋物折反射摄像机
JP2006220603A (ja) 撮像装置
CN109917908A (zh) 一种ar眼镜的图像获取方法及系统
CN109963143A (zh) 一种ar眼镜的图像获取方法及系统
CN113989105A (zh) 一种单相机球面镜反射成像投影装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees