TWI667528B - 多相機全景成像系統及用於形成全景影像之方法 - Google Patents

多相機全景成像系統及用於形成全景影像之方法 Download PDF

Info

Publication number
TWI667528B
TWI667528B TW104114490A TW104114490A TWI667528B TW I667528 B TWI667528 B TW I667528B TW 104114490 A TW104114490 A TW 104114490A TW 104114490 A TW104114490 A TW 104114490A TW I667528 B TWI667528 B TW I667528B
Authority
TW
Taiwan
Prior art keywords
imaging systems
edges
imaging system
discrete
adjacent
Prior art date
Application number
TW104114490A
Other languages
English (en)
Other versions
TW201602708A (zh
Inventor
查卡瑞亞 尼亞奇
Original Assignee
查卡瑞亞 尼亞奇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 查卡瑞亞 尼亞奇 filed Critical 查卡瑞亞 尼亞奇
Publication of TW201602708A publication Critical patent/TW201602708A/zh
Application granted granted Critical
Publication of TWI667528B publication Critical patent/TWI667528B/zh

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B9/00Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or -
    • G02B9/34Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having four components only
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/02Simple or compound lenses with non-spherical faces

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)

Abstract

本發明揭示一種不具有視差之多相機全景成像系統。在一實例中,該多相機全景成像系統包含安置成一並排陣列之多個離散成像系統,其中各個離散成像系統之一視野與各個毗鄰離散成像系統之一視野結合,進一步其中該等離散成像系統中之任何者之該視野之邊緣處之主光線之一模板將實質上平行於該等離散成像系統中之任何毗鄰者之該視野之邊緣處之主光線之一模板使得在自物件空間觀看時主光線之全部實質上平行模板似乎會聚至一共同點。本發明揭示一種用於形成不具有視差之一物件之一影像之方法。

Description

多相機全景成像系統及用於形成全景影像之方法 相關申請案資料
本申請案主張2014年5月6日申請之美國臨時申請案第61/989,136號之優先權,該申請案之標的物以全文引用的方式併入本文中。
本發明之態樣及實施例最通常係針對一光學成像系統,與其相關之方法及其之應用;更特定言之係針對一全景光學成像系統,與其相關之方法及其之應用;且最特定言之係針對具有零或實質上無視差之一全景光學成像系統,與其相關之方法及其之應用。
當前無視差之360度系統採用鏡之一配置以掃描影像且由10圖框/秒(fps)之一成像速度限制。谷歌(Google)使用由Immersive Media開發之具有折射透鏡之一360度相機來為其街景(Streetview)軟體擷取照片。該等照片必須經後處理且針對視差經校正,其耗時,此減小谷歌擴縮其街景計劃之能力。魚眼透鏡提供廣角成像,但以高失真為代價。失真係將一大球形物件映射至一小平坦影像平面上之物理結果。
一些公司已開發光學系統以簡化拍攝一全景影像之程序。與其旋轉相機以獲得多個畫面,不如使用使場景之不同部分成像之許多相機同時擷取全部照片。Immersive Media及Greypoint Imaging已開發在$10,000與$100,000之間變動之標價可購得之單鏡頭360度相機。兩個公司皆開發軟體以自動校正在影像中產生之假影(視差)且提供比由一 個相機(例如,iPhone相機)擷取之全景更佳之一解決方案。然而,該軟體并非完美且許多假影仍存在於影像中。據傳,谷歌讓一人在大峽谷(Grand Canyon)周圍攜載一Dodeca 360相機(由Immersive Media提供),且不得不雇用程式設計師以針對由視差引發之假影逐圖框校正影像。
一光學系統之視差及主光線
視差被定義為「藉以在(例如)透過取景器及一相機之透鏡自不同位置觀看時一物件之位置或方向似乎不同之效果」。視差係由於將來自多個相機(各具有其自身對世界之獨有視角)之影像拼接在一起而產生。
參考圖1,一光學系統之主光線係在一物件之邊緣開始,在孔徑光闌處跨光軸之中心且在偵測器處之影像之邊緣處停止之子午光線。因此主光線界定一影像之大小。
主光線在藉由將多個影像拼接在一起而產生之視差中起一關鍵作用。圖2繪示並排之兩個光學系統(相機)。對於頂部上之透鏡單元,正方形、三角形及矩形經映射至影像中之相同點,而對於底部上之透鏡單元,其等經映射至三個相異點,如所展示。在頂部成像系統中,其等係由相同主光線成像,而對於底部成像系統,其等係由三個相異主光線成像。當在圖3中組合該兩個影像時,將出現視差且將導致如圖4中所展示之一影像。
對於可校正視差之一演算法之探尋已持續許多年。已開發許多解決方案但甚至使用至今最複雜的演算法,假影仍留在全景影像中。對於某些人,此可能不係一問題,此乃因可雇用軟體工程師以逐框修復影像;然而,對於一般消費者,校正各個影像之此選項不可行。需要在使此一系統在消費者市場可購得之前有效校正視差之一更佳解決方案。較佳係光學而非計算解決減小一影像中之視差之問題。
針對單鏡頭全景成像產生之當前設計遭受視差,此乃為其等係 自具有重疊視野之成像系統而產生。圖5係取自美國專利2,696,758。此圖式繪示在當今可購之360度成像系統中如何產生視差。視野重疊且對於底部透鏡系統出現在FOV之邊緣處之一三角形將出現在頂部上之成像系統中之FOV之約0.707倍處。因此,對於每一相機,三角形經映射至不同影像點。在底部上,三角形經映射至全FOV(影像之邊緣)。
發明者因此認識到其中不存在視差且其中視差係光學消除而非藉由後處理軟體消除之一全景成像系統及相關聯之方法之優勢及益處。此一系統將具有包含以下之應用:提供映射全球之街道之一可擴縮方式;容許居民及私人機構兩者之虛擬旅遊之產生;高圖框速率之視訊監視;包含無人駕駛飛機及坦克技術之軍事應用;對於以高失真為代價提供廣角成像之魚眼透鏡之一替代品。
本發明之一態樣係不具有視差之一多相機全景成像系統。根據一非限制性實施例,該多相機全景成像系統包含安置成一並排陣列之複數個離散成像系統,其中各個離散成像系統之一視野與各個毗鄰離散成像系統之一視野結合,進一步其中該等離散成像系統中之任何者之該視野之邊緣處之主光線之一模板將實質上平行於該等離散成像系統中之任何毗鄰者之該視野之邊緣處之主光線之一模板使得在自物件空間觀看時主光線之全部該等實質上平行模板似乎會聚至一共同點。在多種非限制實施例中,該多相機全景成像系統可包含以下特徵、限制、特性(單獨或其之多種組合)或進一步由其表徵:-包括複數個相同離散成像系統;-其中主光線之該模板之至少50%自平行偏離二十度或更少;-其中該等離散成像系統中之各者包含一影像感測器,進一步其中該明顯會聚點定位於該等離散成像系統中之各者之該影像感測器之 後;-其中該等離散成像系統中之所有者皆不實體重疊;-其中該系統具有一十二面體幾何形狀,進一步其中該系統由一360度FOV表徵;-其中該等離散成像系統中之各者之一前透鏡係一單一連續自由曲面光學器件之一部分;-其中各個影像感測器係一波前感測器;-其中該等離散成像系統中之各者具有一彎曲影像平面以便匹配該成像系統之一失真及珀茲伐曲率(Petzval Curvature)。
本發明之一態樣係用於形成不具有視差之一物件之一影像之一方法。根據一非限制性實施例,該方法包含:提供一全景成像系統,其中該全景成像系統包括:各由一視野表徵之複數個離散成像系統;且將該等離散成像系統中之每一者之該視野之邊緣處之主光線之一模板約束至實質上平行於該等離散成像系統中之一緊毗鄰者之該視野之邊緣處之主光線之一模板使得在自物件空間觀看時主光線之全部該等平行模板似乎會聚至一共同點,其中該成像系統系無視差。在多種非限制性實施例中,該全景成像方法可包含以下特徵、限制、特性、步驟(單獨或其之多種組合)或進一由其表徵:-進一步包括約束主光線之該模板之至少50%以自平行偏離二十度或更少;-進一步包括使用一演算法以校正由該成像系統形成之一連續360度影像中之一失真像差。
本發明之一態樣係用於設計一(實質上)無視差之全景成像系統之一方法。根據一非限制性實施例,該方法包含:判定一整體全景成像系統幾何形狀,其中該整體全景成像系統包括具有各自視野之安置成一並排陣列使得毗鄰成像系統之該等視野結合之複數個離散成像系 統;設計該等離散成像系統使得該等離散成像系統中之一者之該視野之邊緣處之主光線之一模板將實質上平行於該等離散成像系統中之一毗鄰者之該視野之邊緣處之主光線之一模板使得在自物件空間觀看時主光線之該實質上平行模板似乎會聚至一共同點。在多種非限制性實施例中,該全景成像方法可包含以下特徵、限制、特性、步驟(單獨或其之多種組合)或進一步由其表徵:-其中該整體全景成像系統包括複數個相同離散成像系統;-其中在設計該等離散成像系統中,確保在該複數個離散成像系統中之任何者之間不存在實體重疊;-其中在設計該等離散成像系統中,確保該明顯會聚點定位於各個離散成像系統之一各自影像感測器之後。
圖1繪示一光學系統之主光線。主光線界定物件之高度以及影像之高度。
圖2繪示為何在使用多個折射成像系統以擷取一場景之一影像時出現視差。在頂部上之透鏡單元中,三個物件經映射至相同影像點;在底部之透鏡單元中,其等經映射至三個分離影像點。
圖3(左邊)繪示由圖2中之頂部透鏡單元形成之影像,而右邊上之影像係由底部透鏡單元形成。
圖4展示將由組合圖3中之兩個影像導致之影像。
圖5繪示在當今產生之相機中如何出現視差。視野重疊且對於底部透鏡系統出現在FOV之邊緣處之一三角形將出現在頂部上之成像系統中之FOV之約0.707倍處。因此,對於各個相機,三角形經映射至不同影像點。在底部上三角形經映射至全FOV(影像之邊緣)。
圖6繪示不具有視差之兩個並排成像系統。在各個系統之邊緣處之主光線經約束以彼此平行定位。因此,沿著此線定位之物件經成像 至影像平面中之相同點。
圖7繪示關於所展示之兩個成像系統之無視差(NP)點(如下文中所定義)之位置。
圖8展示在FOV之邊緣處之主光線不平行,因此NP點定位於不同位置處。
圖9繪示其中NP點定位於影像感測器之前之一成像系統。
圖10繪示兩個成像系統,其等經對準使得在各者之FOV之邊緣處之主光線彼此平行。
圖11展示其中NP點在影像平面之後之一成像系統。
圖12展示其中NP點同位之一多個單元成像系統。
圖13展示其中邊緣光線經約束以沿著各個十二面體面定位之一360度透鏡系統之一3維呈現。
圖14展示繪示若透鏡係一圓而非一五邊形則將產生之盲點之內切於一五邊形中之一圓。
圖15展示最初經設計以外切正五邊形之各個系統之第一透鏡元件。
圖16:第一透鏡元件之直徑經約束至1.7013a,其中a係正五邊形之邊長度。
圖17:自第一透鏡元件之中心至十二面體之中心(NP點)之距離係1.1135a,其中a係五邊形之邊長度。
圖18:自五邊形面之頂部至NP點之距離經約束至1.31a,其中a係正五邊形之邊長度。此處NP點係十二面體之中心。
圖19:繪示相對於十二面體之中心施加於第一透鏡元件上之約束之圖式。「a」係十二面體中各個正五邊形之邊長度。
圖20:繪示任何元件之最大長度經約束以適配於自十二面體之中心發出之31.717度半角光錐內之圖式。
圖21:十二面體之1/12及十二面體之中心與五邊形邊緣之中心之間之角度之三維呈現。
圖22:十二面體之1/12及十二面體之中心與五邊形邊緣之邊緣之間之角度之三維呈現。
圖23:展示至第一光線及第三十七光線之高度之五邊形形狀之透鏡元件。
圖24:展示模型中之第一光線及第三十七光線之當前透鏡設計之Zemax圖。
圖25:自背面之當前透鏡設計之三維Zemax圖。
圖26:自側面之三維Zemax圖。
為了使一全景相機達成最小視差,成像系統之視野(FOV)必須不重疊。因此,FOV之邊緣處之主光線必須平行於毗鄰光學系統之邊緣處之主光線接近光學系統。
圖6繪示不具有視差之並排之兩個成像系統。在各個系統之邊緣處之主光線經約束以彼此平行定位。因此,沿著此線定位之物件經成像至影像平面中之相同點。此係可用於設計個別透鏡元件之一方法。視野不彼此重疊,此係因為在混合角處之主光線經約束以彼此平行且會聚至一共同點。共同點將取決於在其中圍封透鏡之幾何形狀。換言之,主光線經限制成係平行的使得在自物件空間觀看透鏡系統時其似乎在相同點處跨光軸。事實上,其在定位於此虛點之前之一影像感測器處跨光軸,但自物件空間觀察透鏡系統,似乎其等跨於相同點處。
NP點(無視差點)
為了幫助理解先前之概念,吾等定義稱為無視差點(NP點)之一術語。NP點係用於理解可如何實體地使FOV之邊緣處之主光線彼此平行定位且其應遵循之規則之一抽象概念。NP點係對於無視差之一全景成像系統當自物件空間觀看系統時其中毗鄰光學系統之邊緣處之主 光線與光軸相交之點。
根據所體現之發明,對於各個成像系統之NP點必須定位於相同位置中。即,毗鄰光學系統之光線必須平行。圖9展示其中NP點定位於成像感測器之前之一成像系統。圖10繪示兩個成像系統,其經對準使得在各者之FOV之邊緣處之主光線彼此平行。此約束意為對於兩個系統,NP點必須在相同位置處。當NP點在影像感測器之前時,不可能使NP點對準而不使透鏡元件重疊。此系統將不具有任何視差,但其實體上不可能實施。此指示當設計光學系統時,NP點應定位於成像系統中之全部元件之後使得無元件彼此實體重疊。
圖11展示其中NP點定位於影像平面之後之一系統。當情況如此時,可配置多個成像系統使得視野不重疊,如圖12中所展示。NP點之確切位置將由透鏡配置之幾何形狀判定。藉由任意挑選一位置,即任意選擇一光線高度及入射角使得主光線似乎在影像平面之後跨光軸,透鏡系統之幾何形狀可需要數百個透鏡單元以擷取一全360度影像。必須在考慮一人希望用於透鏡之幾何形狀之後判定NP點位置。
本發明之一實施例係關於一多相機全景成像系統,其中毗鄰成像單元之視野合併以形成整個成像系統之複合視野,如圖7之示意圖中所繪示。傳統全景成像系統以使得成像單元之各自視野重疊(如圖8之示意圖中所繪示)之一方式將成像單元放在一起,此在所得影像中導致視差且需要校正軟體將影像拼接在一起以移除視差。
在當前例示性實施例中,照射一個成像單元之邊緣之光線經約束以平行於一毗鄰成像單元之入射光線定位使得兩個成像系統都共用相同邊緣光線組。如圖13中之3維模型中可見,在一個成像單元之邊緣處之光線與在一毗鄰成像單元之邊緣處之彼等光線相同。光線係經約束以沿著十二面體邊緣之表面定位之灰色線。在各個五邊形形狀之透鏡之邊緣處之灰色光線與射入其鄰近表面之光線重合。在半徑次於 邊緣光線之全部光線以較小入射角定位使得此等光線不與來自毗鄰系統之光線重疊。
所體現之全景成像系統利用設計具有在影像感測器之後之一NP點之一成像系統之前述技術且以一十二面體之幾何形狀組合多個透鏡系統以產生具有最小或無視差之一360度FOV相機。
第一透鏡元件將經塑形成一正五邊形之表面。完整系統將由12個離散成像單元構成,各個離散成像單元具有對於沿著五邊形之邊緣且經約束以具有滿足由一十二面體之幾何形狀指定之幾何形狀之入射角之光線之一共同NP點。
一十二面體係具有12個表面之一多面體。一多面體係由在邊緣處接合之多邊形之一集合組成之一個三維固體。十二面體之各側係一正五邊形(具有相等長度邊之一五邊形)。十二面體具有一些重要幾何性質,必須理解該等幾何性質以設計利用該幾何形狀之一透鏡系統。將在簡要論述為何必須將第一透鏡塑形成一五邊形之表面之後接著依序論述該等性質。
藉由使用一圓形邊緣之透鏡作為十二面體幾何形狀中之第一元件,不可能使用對準邊緣光線之當前技術擷取360度視野中之全部資訊。第一透鏡自其內切於五邊形中之遺漏區域(圖14中之陰影區域)產生盲點。由於視野從未重疊,所以從未擷取此資訊。可計算出一圓之面積比該圓內切於其中之一五邊形之面積之間之比率等於π/5或62.83%。此係吾等可針對吾等周圍之360度視野記錄之最大資訊量。在透鏡與五邊形之間產生之盲點刪除360度影像中之幾乎40%之資訊。
以下描述意欲繪示一十二面體之幾何形狀且在利用前述NP技術及一十二面體幾何形狀產生一透鏡系統時必須的,但非為了產生本文中體現之無視差全景成像系統之目的所必要的。
性質1:外切正五邊形之圓之直徑
對個12個個別透鏡系統中之各者,第一透鏡將經設計使得其外切十二面體之正五邊形中之各者,如圖15中所展示。外切一正五邊形之一圓之直徑係:D=a/sin(36°)=1.7013a
在上文中之方程式中,「a」係正五邊形之邊長度。各個系統之第一透鏡元件將充分外切各個五邊形且因此各個系統之第一透鏡元件之直徑經給定為1.7013a,如圖16中所繪示。
性質2:各個五邊形之內切球體接觸中心
一內切球體(相切於十二面體之面中之各者)之半徑係:
半徑係自十二面體之中心(其將係在此設計中之各個透鏡之NP點)與五邊形面之中心(其與佔用彼五邊形之一系統中之第一透鏡元件之中心(光軸)重合)之距離。此點在各個五邊形面之中心處。NP點與十二面體之中心之間之長度經約束至1.1135a,其中a係五邊形之邊中之一者之長度,如圖17中所繪示。
性質3:十二面體之中半徑
中半徑係連接十二面體之中心及各個邊緣之中間之點。此長度經給定為如下:
此方程式約束五邊形面之頂部與NP點之間之距離,如圖18中所繪示。
約束
一十二面體之幾何性質約束將體現其之12個透鏡之設計。特定言之,吾等具有基於上文中給定之描述之以下四個參數:1.第一透鏡元件之直徑:1.7013a;2.自第一透鏡元件至十二面體之中心之距離:1.1135a;3.自第一透鏡元件之頂部至十二面體之中心之距離:1.31a;4. FOV=37.3777度
經給定前三個約束中之任何兩者,吾等具有透鏡之光軸與第一透鏡元件之頂部之間之角度係37.3777度(見圖19):tan-1((1.7013/2)/1.1135)-37.377°。
吾等希望此角度37.37度為透鏡之視野。此將確保係其中混合(混合角係全FOV)之主光線與物件空間中之光軸相交之點之NP點定位於十二面體之中心處。全部其他約束將確保透鏡元件定位於NP點之前且元件落於31.717度半角光錐內。
其他透鏡元件及感測器之直徑
在上文中給定之四個約束之情況下,吾等已知為了適配至十二面體幾何形狀中,第一透鏡元件之後之各個透鏡元件之大小。為了使之前透鏡元件適配,任何透鏡或感測器元件必須適配於31.717度之在十二面體之中心處開始且相切於第一透鏡元件之直徑之光錐中。隨著自第一透鏡元件之距離增加,之前透鏡元件之直徑將按比例減小(見圖20)。
可發現在第一透鏡元件之前之任何透鏡元件或感測器之最大直徑幾何上為小於或等於(1.1135a-D)*tan(31.716度),其中D係彼元件距第一透鏡元件之距離。
因此,吾等現在具有將容許此透鏡系統匹配一十二面體之幾何形狀且允許360度成像之五個約束:1.第一透鏡元件之直徑:1.3763a; 2.自第一透鏡元件至十二面體之中心之距離:1.1135a;3.自第一透鏡元件之頂部至十二面體之中心之距離:1.31a;4. FOV=37.377度;5. φLi<(1.1135a-DL1,Li)tan(31.717°),其中φLi係自第一透鏡元件分離一距離DL1,Li之任何透鏡元件之直徑。給定上文中之五個約束(其中全部透鏡經設計使得其落於自十二面體之中心發出之31.717度之光錐內),可建構無視差之一透鏡系統。
系統設計
選擇透鏡之一幾何形狀。正多面體具有其由具有相等幾何形狀及體積之許多實體構成。對於360度成像之一系統,此容許複合成像系統由相同複製透鏡設計製成。選擇一十二面體幾何形狀係因為在其幾何形狀中其大約係球形的。
為了使一個成像單元之邊緣光線平行於一毗鄰單元之彼等邊緣光線定位,其必須以相同角度射入。由兩個成像單元共用之角係十二面體邊緣表面之角。在邊緣表面之中心處,相對於十二面體中心之中心之角係31.717度,如圖21中所繪示。在邊緣表面之隅角處,相對於十二面體中心之中心之角係37.377度,如圖22中所繪示。
為了使沿著毗鄰成像單元之光線匹配,成像單元之第一透鏡經切割成匹配十二面體之表面之一五邊形。在邊緣之中心處,照射表面之光線以31.717度之一入射角射入。在邊緣之隅角處,一射入光線之入射角係37.377度。在沿著透鏡之邊緣之全部點處,使一射入光線之入射角匹配十二面體表面之幾何形狀。
已知自十二面體之中心至五邊形面之中心之距離,且已知自十二面體之中心至討論之邊緣點之距離(如圖21及圖22中所展示),使用三角學計算關於沿著五邊形透鏡之邊緣之37個光線之入射角。各個光 線之高度經約束以沿著五邊形邊緣定位。舉例而言,用120mm之一半徑描述表面1之外切圓,在第一點處之光線具有48.54mm之一高度及31.717度之一入射角。在第三十七點處之光線具有60mm之一高度及37.377度之一入射角。表I描述關於針對圖23中之第一點與第三十七點之間之三十七個點之光線高度及入射角之值。
在圖24中展示繪示光線約束之一圖式。第一光線具有48.54mm之一高度及31.717度之一入射角。第一光線係圖24中穿過第一點之光線。第二光線具有60mm之一高度及37.377度之一入射角且係圖24中穿過第三十七點之光線。全部三十七個光線都由上文中之表中指定之光線高度及角約束。以此方式約束,全部光線以與十二面體之表面相 同之角度射入透鏡。以另一方式看彼等相同光線,吾等可見該等光線經適當約束至一五邊形幾何形狀於正確入射角處,如圖25及圖26中所繪示。

Claims (14)

  1. 一種用於形成一全景影像之方法,其包括:提供一全景成像系統,其具有安置成一並排陣列之複數個離散成像系統,該等離散成像系統之各者之特徵為一視野;及約束複數個主光線以實質上平行於另外的複數個主光線,該複數個主光線沿著該等離散成像系統之各者之該視野之邊緣入射,該另外的複數個主光線沿著該等離散成像系統之一緊毗鄰者之該視野之毗鄰邊緣入射,使得在自物件空間觀看時該等主光線之全部似乎會聚至一共同點且該複數個離散成像系統之各者之該視野與該等離散成像系統之該緊毗鄰者之該視野結合但不重疊。
  2. 如請求項1之方法,其進一步包括約束該等主光線之至少50%以自平行偏離20度或更少,該等主光線沿著離散成像系統中之該視野之毗鄰邊緣入射。
  3. 如請求項1之方法,其中該等離散成像系統之各者與該等離散成像系統之該緊毗鄰者共用相同一組主光線。
  4. 如請求項1之方法,其中該等離散成像系統之各者是相同的。
  5. 如請求項1之方法,其中提供該全景成像系統之步驟包括:組態該並排陣列於具有一中心之三維幾何形狀中,組態具有複數個邊緣之一前透鏡之該複數個離散成像系統之各者,該複數個邊緣在沿著相對於該三維幾何形狀之該中心之該等邊緣之點處及該前透鏡之一中點處界定複數個邊緣表面角度,及組態該複數個邊緣中之各邊以與毗鄰前透鏡之毗鄰邊緣毗鄰,及約束沿著該視野入射之複數個主光線之步驟包括將沿著該等邊緣之該複數個主光線之各者之一入射角與沿著該毗鄰邊緣之該等毗鄰表面角度匹配。
  6. 如請求項5之方法,其中該三維幾何形狀為十二面體,且在該等離散成像系統之各者中之該前透鏡經構形為具有五邊形形狀,其中該五邊形形狀之該等邊緣具有一長度a,外切該五邊形形狀之一圓之直徑等於a/sin(36°)=1.7013a,內切該十二面體內之一球體之半徑等於
    Figure TWI667528B_C0001
    且從該十二面體之一中心到該前透鏡之該邊緣上之一中點之距離等於
    Figure TWI667528B_C0002
  7. 一種多相機全景成像系統,其包括:複數個離散成像系統,其特徵為一視野及安置成一並排陣列,其中該等離散成像系統之各者之該視野與各個毗鄰離散成像系統之該視野結合但不重疊,該等離散成像系統之各者包括一前透鏡,其經構形以約束複數個主光線以實質上平行於另外的複數個主光線,該複數個主光線沿著該等離散成像系統之各者之該視野之邊緣入射,該另外的複數個主光線沿著該等離散成像系統之緊毗鄰者之該視野之毗鄰邊緣入射,使得在自物件空間觀看時該等主光線之全部似乎會聚至一共同點。
  8. 如請求項7之多相機全景成像系統,其中該等主光線之至少50%自平行偏離20度或更少,該等主光線沿著離散成像系統中之該視野之毗鄰邊緣入射。
  9. 如請求項7之多相機全景成像系統,其中該等離散成像系統之各者包含一影像感測器,進一步其中該共同點定位於該影像感測器之後。
  10. 如請求項7之多相機全景成像系統,其中該並排陣列形成具有一中心之三維幾何形狀,該等離散成像系統之各者中之該前透鏡具有複數個邊緣,該複數個邊緣沿著相對於該三維幾何形狀之該中心之該等邊緣之點處及該前透鏡之一中點處界定複數個邊緣表面角度,該複數個邊緣中之各邊緣經構形與毗鄰前透鏡之毗鄰邊緣毗鄰,及沿著該複數個邊緣之各者中之該等邊緣之該複數個邊緣表面角度與沿著該毗鄰前透鏡中之該毗鄰邊緣之該複數個主光線之各者之一入射角匹配。
  11. 如請求項10之多相機全景成像系統,其中該三維幾何形狀係為十二面體,且在該等離散成像系統之各者中之該前透鏡經構形為具有五邊形形狀,其中該五邊形形狀之該等邊緣具有一長度a,外切該五邊形形狀之一圓之直徑等於a/sin(36°)=1.7013a,內切該十二面體內之一球體之半徑等於
    Figure TWI667528B_C0003
    且從該十二面體之一中心到該前透鏡之該邊緣上之一中點之距離等於
    Figure TWI667528B_C0004
  12. 如請求項7之多相機全景成像系統,其中該等離散成像系統中之各者之一前透鏡係一單一連續自由曲面光學器件之一部分。
  13. 如請求項9之多相機全景成像系統,其中該影像感測器係一波前感測器。
  14. 如請求項7之多相機全景成像系統,其中該等離散成像系統中之各者具有一彎曲影像平面以便匹配該成像系統之一失真及珀茲伐曲率。
TW104114490A 2014-05-06 2015-05-06 多相機全景成像系統及用於形成全景影像之方法 TWI667528B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461989136P 2014-05-06 2014-05-06
US61/989,136 2014-05-06

Publications (2)

Publication Number Publication Date
TW201602708A TW201602708A (zh) 2016-01-16
TWI667528B true TWI667528B (zh) 2019-08-01

Family

ID=53189206

Family Applications (2)

Application Number Title Priority Date Filing Date
TW104114490A TWI667528B (zh) 2014-05-06 2015-05-06 多相機全景成像系統及用於形成全景影像之方法
TW108122749A TWI708111B (zh) 2014-05-06 2015-05-06 多相機全景成像系統及多相機成像系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108122749A TWI708111B (zh) 2014-05-06 2015-05-06 多相機全景成像系統及多相機成像系統

Country Status (12)

Country Link
US (5) US10341559B2 (zh)
EP (2) EP3140689B1 (zh)
JP (3) JP2017519250A (zh)
KR (2) KR102234981B1 (zh)
CN (2) CN111510621B (zh)
AU (1) AU2015256320B2 (zh)
CA (1) CA2953337C (zh)
IL (1) IL248733B (zh)
RU (1) RU2698479C2 (zh)
SG (1) SG11201609780PA (zh)
TW (2) TWI667528B (zh)
WO (1) WO2015171544A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108282615B (zh) * 2017-11-02 2021-01-05 广东康云多维视觉智能科技有限公司 周边环境扫描方法及系统
CN113424524B (zh) * 2019-03-27 2023-02-14 Oppo广东移动通信有限公司 使用半球形或球形可见光深度图像的三维建模
WO2020263868A1 (en) * 2019-06-24 2020-12-30 Circle Optics, Inc. Lens design for low parallax panoramic camera systems
JP2023513107A (ja) * 2020-02-10 2023-03-30 サークル オプティクス,インコーポレイテッド 強化された検知のためのパノラマカメラシステム
CN114859510B (zh) * 2022-04-28 2024-03-01 福建福光天瞳光学有限公司 摄远型大光圈光学镜头及其工作方法
CN115629076A (zh) * 2022-09-27 2023-01-20 威海华菱光电股份有限公司 一种阵列式图像检测装置
CN116360077B (zh) * 2023-03-03 2023-11-03 广州瑞格尔电子有限公司 一种大视场短焦的投影镜头以及lcd投影机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051805A1 (en) * 2001-08-17 2004-03-18 Koichi Yoshikawa Imaging device
US20130076900A1 (en) * 2011-09-23 2013-03-28 Goodrich Corporation Wide field of view monocentric lens system for infrared aerial reconnaissance camera systems
TW201502691A (zh) * 2013-06-14 2015-01-16 Omnivision Tech Inc 產生全景圖像的系統和方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1013652A (fr) 1950-02-17 1952-08-01 Objectif grand angulaire
US5023725A (en) 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5703604A (en) * 1995-05-22 1997-12-30 Dodeca Llc Immersive dodecaherdral video viewing system
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
EP0830034B1 (en) 1996-09-11 2005-05-11 Canon Kabushiki Kaisha Image processing for three dimensional display of image data on the display of an image sensing apparatus
US6618093B1 (en) * 1998-01-15 2003-09-09 Chauncey F. Levy Distortion-free imaging device having curved photosensor
US7620909B2 (en) 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3872250B2 (ja) * 2000-03-14 2007-01-24 日本放送協会 広画角撮像装置
KR20030028553A (ko) 2000-07-21 2003-04-08 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 이미지 모자이크 방법 및 장치
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP4051945B2 (ja) * 2001-02-07 2008-02-27 ソニー株式会社 撮像装置
JP4211319B2 (ja) 2001-08-17 2009-01-21 ソニー株式会社 撮像装置
JP2003066303A (ja) 2001-08-28 2003-03-05 Sony Corp 撮像装置
EP1452899A1 (en) * 2001-11-13 2004-09-01 Matsushita Electric Industrial Co., Ltd. Wide-angle imaging optical system and wide-angle imaging device, monitoring imaging device, on-vehicle imaging device and projection device with the wide-angle imaging optical system
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
JP4288939B2 (ja) 2002-12-05 2009-07-01 ソニー株式会社 撮像装置
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
US7436438B2 (en) * 2004-03-16 2008-10-14 Creative Technology Ltd. Digital still camera and method of forming a panoramic image
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
JP2006030664A (ja) * 2004-07-16 2006-02-02 Sony Corp 撮像装置
JP4386021B2 (ja) 2005-10-11 2009-12-16 ソニー株式会社 撮像装置
JP5156979B2 (ja) 2005-10-21 2013-03-06 ナルックス株式会社 光ファイバーカプラーに光ファイバーを取り付ける方法
US7834910B2 (en) 2006-03-01 2010-11-16 David M. DeLorme Method and apparatus for panoramic imaging
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
US9118850B2 (en) * 2007-11-27 2015-08-25 Capso Vision, Inc. Camera system with multiple pixel arrays on a chip
CA2714492C (en) 2008-02-08 2014-07-15 Google, Inc. Panoramic camera with multiple image sensors using timed shutters
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
RU2399073C1 (ru) 2009-04-13 2010-09-10 Герман Рудольфович Пекки Оптическая панорамическая система
TWI407243B (zh) * 2009-10-19 2013-09-01 Hon Hai Prec Ind Co Ltd 全景透鏡及使用該全景透鏡的全景拍攝系統
CN201725141U (zh) * 2010-05-06 2011-01-26 浙江大学 一种多镜头实时全景成像系统
JP5607430B2 (ja) 2010-06-10 2014-10-15 株式会社ジャパンディスプレイ 立体映像表示装置及び電子機器
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
WO2012056437A1 (en) 2010-10-29 2012-05-03 École Polytechnique Fédérale De Lausanne (Epfl) Omnidirectional sensor array system
WO2012066642A1 (ja) 2010-11-16 2012-05-24 小平アソシエイツ株式会社 視界映像情報生成装置
JP2012177747A (ja) * 2011-02-25 2012-09-13 Sony Corp 立体画像撮像装置
JP2012199752A (ja) * 2011-03-22 2012-10-18 Sony Corp 画像処理装置と画像処理方法およびプログラム
US9250510B2 (en) * 2012-02-15 2016-02-02 City University Of Hong Kong Panoramic stereo catadioptric imaging
NL2008639C2 (en) 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
JP5595463B2 (ja) 2012-10-12 2014-09-24 キヤノン株式会社 波面光学測定装置
US9503638B1 (en) 2013-02-04 2016-11-22 UtopiaCompression Corporation High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
US20150281538A1 (en) * 2014-03-25 2015-10-01 Semiconductor Components Industries, Llc Multi-array imaging systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051805A1 (en) * 2001-08-17 2004-03-18 Koichi Yoshikawa Imaging device
US20130076900A1 (en) * 2011-09-23 2013-03-28 Goodrich Corporation Wide field of view monocentric lens system for infrared aerial reconnaissance camera systems
TW201502691A (zh) * 2013-06-14 2015-01-16 Omnivision Tech Inc 產生全景圖像的系統和方法

Also Published As

Publication number Publication date
CN107027338A (zh) 2017-08-08
CA2953337A1 (en) 2015-11-12
CA2953337C (en) 2023-04-11
EP3140689A1 (en) 2017-03-15
US20220272261A1 (en) 2022-08-25
RU2016145439A (ru) 2018-06-06
AU2015256320B2 (en) 2020-03-05
KR20170005024A (ko) 2017-01-11
JP2017519250A (ja) 2017-07-13
KR102073206B1 (ko) 2020-02-04
TW201940956A (zh) 2019-10-16
TWI708111B (zh) 2020-10-21
US20170085792A1 (en) 2017-03-23
US11743591B2 (en) 2023-08-29
EP3140689B1 (en) 2021-12-22
TW201602708A (zh) 2016-01-16
CN111510621B (zh) 2021-11-12
KR20200013800A (ko) 2020-02-07
RU2016145439A3 (zh) 2018-12-21
US20190289209A1 (en) 2019-09-19
KR102234981B1 (ko) 2021-04-01
CN111510621A (zh) 2020-08-07
JP2022116089A (ja) 2022-08-09
AU2015256320A1 (en) 2016-12-01
RU2698479C2 (ru) 2019-08-28
IL248733B (en) 2020-08-31
US20230388642A1 (en) 2023-11-30
SG11201609780PA (en) 2016-12-29
US20200244881A1 (en) 2020-07-30
IL248733A0 (en) 2017-01-31
JP2020173461A (ja) 2020-10-22
CN107027338B (zh) 2020-04-14
US10659688B2 (en) 2020-05-19
EP3855232A1 (en) 2021-07-28
WO2015171544A1 (en) 2015-11-12
US11363194B2 (en) 2022-06-14
US10341559B2 (en) 2019-07-02

Similar Documents

Publication Publication Date Title
TWI667528B (zh) 多相機全景成像系統及用於形成全景影像之方法
US7837330B2 (en) Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
ES2326965T3 (es) Metodo para capturar una imagen panoramica por medio de un captador rectangular de imagenes.
CN101271187B (zh) 无死角的双目立体全方位视觉传感装置
US11137582B2 (en) Omnidirectional catadioptric lens with odd aspheric contour or multi-lens
US20190196158A1 (en) Image acquisition compound lens and application thereof
KR101469361B1 (ko) 초광각 파노라마 영상 촬영 장치
Abdelhamid et al. 360 degrees imaging systems design, implementation and evaluation
Hua et al. Design analysis of a high-resolution panoramic camera using conventional imagers and a mirror pyramid
CN107024828A (zh) 一种可共光心的摄像机装置、全景无缝拼接组件及方法
JP2004070002A (ja) 撮像装置
Zhu et al. A virtual reality video stitching system based on mirror pyramids
WO2018077413A1 (en) An optical arrangement for focusing images of a three-dimensional space from different divergent perspectives onto one or more camera sensors