TWI708111B - 多相機全景成像系統及多相機成像系統 - Google Patents

多相機全景成像系統及多相機成像系統 Download PDF

Info

Publication number
TWI708111B
TWI708111B TW108122749A TW108122749A TWI708111B TW I708111 B TWI708111 B TW I708111B TW 108122749 A TW108122749 A TW 108122749A TW 108122749 A TW108122749 A TW 108122749A TW I708111 B TWI708111 B TW I708111B
Authority
TW
Taiwan
Prior art keywords
imaging system
discrete
discrete imaging
edge
edges
Prior art date
Application number
TW108122749A
Other languages
English (en)
Other versions
TW201940956A (zh
Inventor
查卡瑞亞 尼亞奇
Original Assignee
查卡瑞亞 尼亞奇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 查卡瑞亞 尼亞奇 filed Critical 查卡瑞亞 尼亞奇
Publication of TW201940956A publication Critical patent/TW201940956A/zh
Application granted granted Critical
Publication of TWI708111B publication Critical patent/TWI708111B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B9/00—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or -
    • G02B9/34—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having four components only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/02—Simple or compound lenses with non-spherical faces

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)

Abstract

本發明揭示一種不具有視差之多相機全景成像系統。在一實例中，該多相機全景成像系統包含安置成一並排陣列之多個離散成像系統，其中各個離散成像系統之一視野與各個毗鄰離散成像系統之一視野結合，進一步其中該等離散成像系統中之任何者之該視野之邊緣處之主光線之一模板將實質上平行於該等離散成像系統中之任何毗鄰者之該視野之邊緣處之主光線之一模板使得在自物件空間觀看時主光線之全部實質上平行模板似乎會聚至一共同點。本發明揭示一種用於形成不具有視差之一物件之一影像之方法。

Description

多相機全景成像系統及多相機成像系統
本發明之態樣及實施例最通常係針對一光學成像系統，與其相關之方法及其之應用；更特定言之係針對一全景光學成像系統，與其相關之方法及其之應用；且最特定言之係針對具有零或實質上無視差之一全景光學成像系統，與其相關之方法及其之應用。
當前無視差之360度系統採用鏡之一配置以掃描影像且由10圖框/秒(fps)之一成像速度限制。谷歌(Google)使用由Immersive Media開發之具有折射透鏡之一360度相機來為其街景(Streetview)軟體擷取照片。該等照片必須經後處理且針對視差經校正，其耗時，此減小谷歌擴縮其街景計劃之能力。魚眼透鏡提供廣角成像，但以高失真為代價。失真係將一大球形物件映射至一小平坦影像平面上之物理結果。
一些公司已開發光學系統以簡化拍攝一全景影像之程序。與其旋轉相機以獲得多個畫面，不如使用使場景之不同部分成像之許多相機同時擷取全部照片。Immersive Media及Greypoint Imaging已開發在$10,000與$100,000之間變動之標價可購得之單鏡頭360度相機。兩個公司皆開發軟體以自動校正在影像中產生之假影(視差)且提供比由一個相機(例如， iPhone相機)擷取之全景更佳之一解決方案。然而，該軟體并非完美且許多假影仍存在於影像中。據傳，谷歌讓一人在大峽谷(Grand Canyon)周圍攜載一Dodeca 360相機(由Immersive Media提供)，且不得不雇用程式設計師以針對由視差引發之假影逐圖框校正影像。
一光學系統之視差及主光線
視差被定義為「藉以在(例如)透過取景器及一相機之透鏡自不同位置觀看時一物件之位置或方向似乎不同之效果」。視差係由於將來自多個相機(各具有其自身對世界之獨有視角)之影像拼接在一起而產生。
參考圖1，一光學系統10之主光線20係在一物件12之邊緣開始，在孔徑光闌18處跨光軸16之中心且在偵測器處之影像14之邊緣處停止之子午光線。因此主光線界定一影像之大小。
主光線在藉由將多個影像拼接在一起而產生之視差中起一關鍵作用。圖2繪示並排之兩個光學系統25(相機)。對於頂部上之透鏡單元，正方形、三角形及矩形經映射至影像中之相同點，而對於底部上之透鏡單元，其等經映射至三個相異點，如所展示。在頂部成像系統25中，其等係由相同主光線20成像，而對於底部成像系統，其等係由三個相異主光線成像。當在圖3中組合該兩個影像14時，將出現視差且將導致如圖4中所展示之一影像14。
對於可校正視差之一演算法之探尋已持續許多年。已開發許多解決方案但甚至使用至今最複雜的演算法，假影仍留在全景影像中。對於某些人，此可能不係一問題，此乃因可雇用軟體工程師以逐框修復影像；然而，對於一般消費者，校正各個影像之此選項不可行。需要在使此一系統在消費者市場可購得之前有效校正視差之一更佳解決方案。較佳係光學而 非計算解決減小一影像中之視差之問題。
針對單鏡頭全景成像產生之當前設計遭受視差，此乃為其等係自具有重疊視野之成像系統而產生。圖5係取自美國專利2,696,758。此圖式繪示在當今可購之360度成像系統50中如何產生視差。視野(FOV,field of view)28重疊且對於底部透鏡系統出現在FOV28之邊緣處之一三角形將出現在頂部上之成像系統中之FOV28之約0.707倍處。因此，對於每一相機25，三角形經映射至不同影像點。在底部上，三角形經映射至全FOV28(影像之邊緣)。
發明者因此認識到其中不存在視差且其中視差係光學消除而非藉由後處理軟體消除之一全景成像系統及相關聯之方法之優勢及益處。此一系統將具有包含以下之應用：提供映射全球之街道之一可擴縮方式；容許居民及私人機構兩者之虛擬旅遊之產生；高圖框速率之視訊監視；包含無人駕駛飛機及坦克技術之軍事應用；對於以高失真為代價提供廣角成像之魚眼透鏡之一替代品。
本發明之一態樣係不具有視差之一多相機全景成像系統。根據一非限制性實施例，該多相機全景成像系統包含安置成一並排陣列之複數個離散成像系統，其中各個離散成像系統之一視野與各個毗鄰離散成像系統之一視野結合，進一步其中該等離散成像系統中之任何者之該視野之邊緣處之主光線之一模板將實質上平行於該等離散成像系統中之任何毗鄰者之該視野之邊緣處之主光線之一模板使得在自物件空間觀看時主光線之全部該等實質上平行模板似乎會聚至一共同點。在多種非限制實施例中，該多相機全景成像系統可包含以下特徵、限制、特性(單獨或其之多種組合)或進 一步由其表徵：-包括複數個相同離散成像系統；-其中主光線之該模板之至少50%自平行偏離二十度或更少；-其中該等離散成像系統中之各者包含一影像感測器，進一步其中該明顯會聚點定位於該等離散成像系統中之各者之該影像感測器之後；-其中該等離散成像系統中之所有者皆不實體重疊；-其中該系統具有一十二面體幾何形狀，進一步其中該系統由一360度FOV表徵；-其中該等離散成像系統中之各者之一前透鏡係一單一連續自由曲面光學器件之一部分；-其中各個影像感測器係一波前感測器；-其中該等離散成像系統中之各者具有一彎曲影像平面以便匹配該成像系統之一失真及珀茲伐曲率(Petzval Curvature)。
本發明之一態樣係用於形成不具有視差之一物件之一影像之一方法。根據一非限制性實施例，該方法包含：提供一全景成像系統，其中該全景成像系統包括：各由一視野表徵之複數個離散成像系統；且將該等離散成像系統中之每一者之該視野之邊緣處之主光線之一模板約束至實質上平行於該等離散成像系統中之一緊毗鄰者之該視野之邊緣處之主光線之一模板使得在自物件空間觀看時主光線之全部該等平行模板似乎會聚至一共同點，其中該成像系統系無視差。在多種非限制性實施例中，該全景成像方法可包含以下特徵、限制、特性、步驟(單獨或其之多種組合)或進一由其表徵：-進一步包括約束主光線之該模板之至少50%以自平行偏離二十度或 更少；-進一步包括使用一演算法以校正由該成像系統形成之一連續360度影像中之一失真像差。
本發明之一態樣係用於設計一(實質上)無視差之全景成像系統之一方法。根據一非限制性實施例，該方法包含：判定一整體全景成像系統幾何形狀，其中該整體全景成像系統包括具有各自視野之安置成一並排陣列使得毗鄰成像系統之該等視野結合之複數個離散成像系統；設計該等離散成像系統使得該等離散成像系統中之一者之該視野之邊緣處之主光線之一模板將實質上平行於該等離散成像系統中之一毗鄰者之該視野之邊緣處之主光線之一模板使得在自物件空間觀看時主光線之該實質上平行模板似乎會聚至一共同點。在多種非限制性實施例中，該全景成像方法可包含以下特徵、限制、特性、步驟(單獨或其之多種組合)或進一步由其表徵：-其中該整體全景成像系統包括複數個相同離散成像系統；-其中在設計該等離散成像系統中，確保在該複數個離散成像系統中之任何者之間不存在實體重疊；-其中在設計該等離散成像系統中，確保該明顯會聚點定位於各個離散成像系統之一各自影像感測器之後。
10:光學系統
12:物件
14:影像
16:光軸
18:孔徑光闌
20:主光線
25:成像系統/光學系統/相機/成像單元
28:視野
35:物件空間
40:成像感測器/影像感測器
50:360度成像系統/全景成像系統
60:NP點
100:全景成像系統
110:成像系統/透鏡/透鏡系統/成像單元
115:影像平面
120:光軸
125:影像感測器
130:視野
135:物件空間
160:NP點/共同點
170:前透鏡
200:全景成像系統
210:離散成像系統/成像系統/成像單元/透鏡系統
215:影像平面
220:光軸
225:影像感測器
230:視野
235:物件空間
240:光線/主光線
245:光線高度
250:邊緣
260:NP點
265:五邊形形狀之透鏡
267:五邊形
270:第一透鏡/第一元件/第一透鏡元件
272:第二組鏡頭
274:第三組鏡頭
276:孔徑光闌
278:透鏡元件
280:中心
290:十二面體
300:毗鄰系統
310:波前感測器
圖1繪示一光學系統之主光線。主光線界定物件之高度以及影像之高度。
圖2繪示為何在使用多個折射成像系統以擷取一場景之一影像時出現視差。在頂部上之透鏡單元中，三個物件經映射至相同影像點；在底部之透鏡單元中，其等經映射至三個分離影像點。
圖3(左邊)繪示由圖2中之頂部透鏡單元形成之影像，而右邊上之影像係由底部透鏡單元形成。
圖4展示將由組合圖3中之兩個影像導致之影像。
圖5繪示在當今產生之相機中如何出現視差。視野重疊且對於底部透鏡系統出現在FOV之邊緣處之一三角形將出現在頂部上之成像系統中之FOV之約0.707倍處。因此，對於各個相機，三角形經映射至不同影像點。在底部上三角形經映射至全FOV(影像之邊緣)。
圖6繪示不具有視差之兩個並排成像系統。在各個系統之邊緣處之主光線經約束以彼此平行定位。因此，沿著此線定位之物件經成像至影像平面中之相同點。
圖7繪示關於所展示之兩個成像系統之無視差(NP)點(如下文中所定義)之位置。
圖8展示在FOV28之邊緣處之主光線20不平行，因此NP點定位於不同位置處。
圖9繪示其中NP點定位於影像感測器之前之一成像系統。
圖10繪示兩個成像系統，其等經對準使得在各者之FOV之邊緣處之主光線彼此平行。
圖11展示其中NP點在影像平面之後之一成像系統。
圖12展示其中NP點同位之一多個單元成像系統。
圖13展示其中邊緣光線經約束以沿著各個十二面體面定位之一360度透鏡系統之一3維呈現。
圖14展示繪示若透鏡係一圓而非一五邊形則將產生之盲點之內切於一五邊形中之一圓。
圖15展示最初經設計以外切正五邊形之各個系統之第一透鏡元件。
圖16：第一透鏡元件之直徑經約束至1.7013a，其中a係正五邊形之邊長度。
圖17：自第一透鏡元件之中心至十二面體之中心(NP點)之距離係1.1135a，其中a係五邊形之邊長度。
圖18：自五邊形面之頂部至NP點之距離經約束至1.31a，其中a係正五邊形之邊長度。此處NP點係十二面體之中心。
圖19：繪示相對於十二面體之中心施加於第一透鏡元件上之約束之圖式。「a」係十二面體中各個正五邊形之邊長度。
圖20：繪示任何元件之最大長度經約束以適配於自十二面體之中心發出之31.717度半角光錐內之圖式。
圖21：十二面體之1/12及十二面體之中心與五邊形邊緣之中心之間之角度之三維呈現。
圖22：十二面體之1/12及十二面體之中心與五邊形邊緣之邊緣之間之角度之三維呈現。
圖23：展示至第一光線及第三十七光線之高度之五邊形形狀之透鏡元件。
圖24：展示模型中之第一光線及第三十七光線之當前透鏡設計之Zemax圖。
圖25：自背面之當前透鏡設計之三維Zemax圖。
圖26：自側面之三維Zemax圖。
相關申請案資料
本申請案主張2014年5月6日申請之美國臨時申請案第61/989,136號之優先權，該申請案之標的物以全文引用的方式併入本文中。
為了使一全景相機達成最小視差，成像系統之視野(FOV)必須不重疊。因此，FOV之邊緣處之主光線必須平行於毗鄰光學系統之邊緣處之主光線接近光學系統。
圖6繪示不具有視差之並排之兩個成像系統110。在各個系統之邊緣處之主光線140經約束以彼此平行定位。因此，沿著此線定位之物件經成像至影像平面115中之相同點。此係可用於設計個別透鏡元件之一方法。視野130不彼此重疊，此係因為在混合角處之主光線140經約束以彼此平行且會聚至一共同點160。共同點160將取決於在其中圍封透鏡110之幾何形狀。換言之，主光線140經限制成係平行的使得在自物件空間135觀看透鏡系統110時其似乎在相同點處跨光軸120。事實上，其在定位於此虛點之前之一影像感測器125處跨光軸120，但自物件空間135觀察透鏡系統110，似乎其等跨於相同點處。
NP點(無視差點Non Parallax Point)
為了幫助理解先前之概念，吾等定義稱為無視差點(NP點)之一術語。NP點160係用於理解可如何實體地使FOV130之邊緣處之主光線140彼此平行定位且其應遵循之規則之一抽象概念。NP點160係對於無視差之一全景成像系統100當自物件空間135觀看系統時其中毗鄰光學系統110之邊緣處之主光線140與光軸相交之點。
根據所體現之發明，對於各個成像系統之NP點必須定位於相同位置中。即，毗鄰光學系統之光線必須平行。圖9展示其中NP點60定位於成像感測器40之前之一成像系統25。圖10繪示兩個成像系統25，其經對準使 得在各者之FOV28之邊緣處之主光線20彼此平行。此約束意為對於兩個系統，NP點60必須在相同位置處。當NP點60在影像感測器40之前時，不可能使NP點60對準而不使透鏡元件重疊。此系統將不具有任何視差，但其實體上不可能實施。此指示當設計光學系統時，NP點應定位於成像系統中之全部元件之後使得無元件彼此實體重疊。
圖11展示其中NP點260定位於影像平面215之後之一系統210。當情況如此時，可配置多個成像系統210使得視野230不重疊，如圖12中所展示。NP點260之確切位置將由透鏡配置之幾何形狀判定。藉由任意挑選一位置，即任意選擇一光線高度及入射角使得主光線240似乎在影像平面215之後跨光軸220，透鏡系統之幾何形狀可需要數百個透鏡單元以擷取一全360度影像。必須在考慮一人希望用於透鏡之幾何形狀之後判定NP點位置。
本發明之一實施例係關於一多相機全景成像系統100，其中毗鄰成像單元110之視野合併以形成整個成像系統之複合視野，如圖7之示意圖中所繪示。傳統全景成像系統50以使得成像單元25之各自視野28重疊(如圖8之示意圖中所繪示)之一方式將成像單元放在一起，此在所得影像中導致視差且需要校正軟體將影像拼接在一起以移除視差。
在當前例示性實施例中，照射一個成像單元之邊緣之光線經約束以平行於一毗鄰成像單元之入射光線定位使得兩個成像系統都共用相同邊緣光線組。如圖13中之3維模型中可見，在一個成像單元210之邊緣250處之光線240與在一毗鄰成像單元210之邊緣250處之彼等光線相同。光線係經約束以沿著十二面體290邊緣之表面定位之灰色線。在各個五邊形形狀之透鏡265之邊緣處之灰色光線與射入其鄰近表面之光線重合。在半徑次於 邊緣光線之全部光線以較小入射角定位使得此等光線不與來自毗鄰系統300之光線重疊。
所體現之全景成像系統200利用設計具有在影像感測器225之後之一NP點260之一成像系統之前述技術且以一十二面體之幾何形狀組合多個透鏡系統210以產生具有最小或無視差之一360度FOV相機200。
第一透鏡元件270將經塑形成一正五邊形267之表面。完整系統將由12個離散成像單元210構成，各個離散成像單元具有對於沿著五邊形267之邊緣且經約束以具有滿足由一十二面體之幾何形狀指定之幾何形狀之入射角之光線之一共同NP點260。
一十二面體係具有12個表面之一多面體。一多面體係由在邊緣處接合之多邊形之一集合組成之一個三維固體。十二面體之各側係一正五邊形(具有相等長度邊之一五邊形)。十二面體具有一些重要幾何性質，必須理解該等幾何性質以設計利用該幾何形狀之一透鏡系統210。將在簡要論述為何必須將第一透鏡塑形成一五邊形之表面之後接著依序論述該等性質。
藉由使用一圓形邊緣之透鏡作為十二面體幾何形狀中之第一元件270，不可能使用對準邊緣光線之當前技術擷取360度視野中之全部資訊。第一透鏡270自其內切於五邊形267中之遺漏區域(圖14中之陰影區域)產生盲點。由於視野230從未重疊，所以從未擷取此資訊。可計算出一圓之面積比該圓內切於其中之一五邊形267之面積之間之比率等於π/5或62.83%。此係吾等可針對吾等周圍之360度視野記錄之最大資訊量。在透鏡與五邊形之間產生之盲點刪除360度影像中之幾乎40%之資訊。
以下描述意欲繪示一十二面體之幾何形狀且在利用前述NP技術及一十二面體幾何形狀產生一透鏡系統時必須的，但非為了產生本文中體現之 無視差全景成像系統之目的所必要的。
性質1：外切正五邊形之圓之直徑
對個12個個別透鏡系統210中之各者，第一透鏡270將經設計使得其外切十二面體之正五邊形267中之各者，如圖15中所展示。外切一正五邊形之一圓之直徑係：D=a/sin(36°)=1.7013a
在上文中之方程式中，「a」係正五邊形之邊長度。各個系統210之第一透鏡元件270將充分外切各個五邊形且因此各個系統210之第一透鏡元件270之直徑經給定為1.7013a，如圖16中所繪示。
性質2：各個五邊形之內切球體接觸中心
一內切球體(相切於十二面體之面中之各者)之半徑係：
Figure 108122749-A0305-02-0013-1
半徑係自十二面體之中心280(其將係在此設計中之各個透鏡210之NP點260)與五邊形面之中心(其與佔用彼五邊形之一系統中之第一透鏡元件270之中心(光軸)重合)之距離。此點在各個五邊形面之中心處。NP點260與十二面體之中心之間之長度經約束至1.1135a，其中a係五邊形之邊中之一者之長度，如圖17中所繪示。
性質3：十二面體之中半徑
中半徑係連接十二面體之中心及各個邊緣之中間之點。此長度經給定為如下：
Figure 108122749-A0305-02-0013-2
此方程式約束五邊形面之頂部與NP點之間之距離，如圖18中所繪示。
約束
一十二面體之幾何性質約束將體現其之12個透鏡210之設計。特定言之，吾等具有基於上文中給定之描述之以下四個參數：1.第一透鏡元件270之直徑：1.7013a；2.自第一透鏡元件270至十二面體之中心之距離：1.1135a；3.自第一透鏡元件270之頂部至十二面體之中心之距離：1.31a；4.FOV=37.3777度
經給定前三個約束中之任何兩者，吾等具有透鏡210之光軸220與第一透鏡元件270之頂部之間之角度係37.3777度(見圖19)：tan-1((1.7013/2)/1.1135)-37.377°。
吾等希望此角度37.37度為透鏡210之視野230。此將確保係其中混合(混合角係全FOV)之主光線240與物件空間235中之光軸220相交之點之NP點260定位於十二面體之中心280處。全部其他約束將確保透鏡元件278定位於NP點260之前且元件278落於31.717度半角光錐內。
其他透鏡元件及感測器之直徑
在上文中給定之四個約束之情況下，吾等已知為了適配至十二面體幾何形狀中，第一透鏡元件270之後之各個透鏡元件278之大小。為了使之前透鏡元件278適配，任何透鏡或感測器元件必須適配於31.717度之在十二面體之中心處開始且相切於第一透鏡元件270之直徑之光錐中。隨著自第一透鏡元件270之距離增加，之前透鏡元件278之直徑將按比例減小(見圖20)。
可發現在第一透鏡元件之前之任何透鏡元件278或感測器225之最大直徑幾何上為小於或等於(1.1135a-D)*tan(31.716度)，其中D係彼元件距第一透鏡元件270之距離。
因此，吾等現在具有將容許此透鏡系統210匹配一十二面體之幾何形狀且允許360度成像之五個約束：1.第一透鏡元件270之直徑：1.3763a；2.自第一透鏡元件270至十二面體之中心之距離：1.1135a；3.自第一透鏡元件270之頂部至十二面體之中心之距離：1.31a；4.FOV=37.377度；5.φLi<(1.1135a-DL1,Li)tan(31.717°)，其中φLi係自第一透鏡元件分離一距離DL1,Li之任何透鏡元件之直徑。給定上文中之五個約束(其中全部透鏡經設計使得其落於自十二面體之中心280發出之31.717度之光錐內)，可建構無視差之一透鏡系統210。
系統設計
選擇透鏡210之一幾何形狀。正多面體具有其由具有相等幾何形狀及體積之許多實體構成。對於360度成像之一系統，此容許複合成像系統由相同複製透鏡設計製成。選擇一十二面體幾何形狀係因為在其幾何形狀中其大約係球形的。
為了使一個成像單元210之邊緣光線平行於一毗鄰單元之彼等邊緣光線定位，其必須以相同角度射入。由兩個成像單元共用之角係十二面體邊緣表面之角。在邊緣表面之中心處，相對於十二面體中心之中心之角係31.717度，如圖21中所繪示。在邊緣表面之隅角處，相對於十二面體中心之中心280之角係37.377度，如圖22中所繪示。
為了使沿著毗鄰成像單元210之光線匹配，成像單元210之第一透鏡270經切割成匹配十二面體之表面之一五邊形267。在邊緣之中心處，照射表面之光線240以31.717度之一入射角射入。在邊緣之隅角處，一射入光線之入射角係37.377度。在沿著透鏡270之邊緣之全部點處，使一射入光線之入射角匹配十二面體表面之幾何形狀。
已知自十二面體之中心至五邊形面之中心之距離，且已知自十二面體之中280心至討論之邊緣點之距離(如圖21及圖22中所展示)，使用三角學計算關於沿著五邊形透鏡之邊緣之37個光線之入射角。各個光線之高度經約束以沿著五邊形邊緣定位。舉例而言，用120mm之一半徑描述表面1之外切圓，在第一點處之光線具有48.54mm之一高度及31.717度之一入射角。在第三十七點處之光線具有60mm之一高度及37.377度之一入射角。表I描述關於針對圖23中之第一點與第三十七點之間之三十七個點之光線高度及入射角之值。
Figure 108122749-A0305-02-0016-3
Figure 108122749-A0305-02-0017-4
在圖24中展示繪示光線約束之一圖式。第一光線具有48.54mm之一 高度及31.717度之一入射角。第一光線係圖24中穿過第一點之光線。第二光線具有60mm之一高度及37.377度之一入射角且係圖24中穿過第三十七點之光線。全部三十七個光線240都由上文中之表中指定之光線高度245及角約束。以此方式約束，全部光線以與十二面體之表面相同之角度射入透鏡270。以另一方式看彼等相同光線240，吾等可見該等光線經適當約束至一五邊形幾何形狀於正確入射角處，如圖25及圖26中所繪示。

Claims (18)

  1. 一種多相機全景成像系統，其包括：複數個離散成像系統，其經構形成一並排陣列，該並排陣列形成具有一中心之三維幾何形狀；該等離散成像系統之各者包括具有複數個邊緣之一第一透鏡元件，該複數個邊緣各者經構形成該並排陣列以抵靠該等離散成像系統之一毗鄰者之該第一透鏡元件之一抵靠邊緣以在該等離散成像系統之該等第一透鏡元件之間形成複數個共同邊緣，該等邊緣之各者沿著相對於該三維幾何形狀之該中心之該等邊緣之點處界定複數個邊緣表面角度；及該等離散成像系統之各者經構形以約束沿著該第一透鏡元件之該等邊緣入射之複數個主光線以具有一入射角，該入射角等於由該複數個邊緣所界定之該等邊緣表面角度，使得入射在該等離散成像系統之毗鄰者之間之該等共同邊緣之該等主光線實質上是平行的且提供沿該等共同邊緣之結合的視野以形成具有最小視差或無視差之成像。
  2. 如請求項1之多相機全景成像系統，其中在自物件空間觀看時，沿著該等離散成像系統之毗鄰者之間之該等共同邊緣入射之該等主光線似乎會聚至一共同NP點(無視差點，Non Parallax Point)。
  3. 如請求項1之多相機全景成像系統，其中該三維幾何形狀係為多面體且該第一透鏡元件係為多邊形。
  4. 如請求項1之多相機全景成像系統，其中該三維幾何形狀係為十二面體且該第一透鏡元件係為五邊形。
  5. 如請求項4之多相機全景成像系統，其中該五邊形之該等邊緣具有具有一長度a，外切該五邊形形狀之一圓之直徑等於a/sin(36°)=1.7013a，內切該十二面體內之一球體之半徑等於
    Figure 108122749-A0305-02-0022-5
     且從該十二面體之一中心到該第一透鏡之該等邊緣上之一中點之距離等於
    Figure 108122749-A0305-02-0022-7
  6. 如請求項1之多相機全景成像系統，其中該等離散成像系統之各者之該第一透鏡元件係一單一連續自由曲面光學器件之一部分。
  7. 如請求項1之多相機全景成像系統，其中該三維幾何形狀之一表面係由該等離散成像系統之各者之該第一透鏡元件形成。
  8. 如請求項1之多相機全景成像系統，其中該等離散成像系統經配置以提供360度視野。
  9. 如請求項1之多相機全景成像系統，其中該等離散成像系統之各者具有一彎曲影像平面。
  10. 如請求項1之多相機全景成像系統，其中該等離散成像系統之各者包含一影像感測器，該三維幾何形狀之該中心定位於該影像感測器之後。
  11. 如請求項10之多相機全景成像系統，其中該影像感測器係一波前感測器。
  12. 一種多相機成像系統，其包括：一第一離散成像系統及一第二離散成像系統，該第一離散成像系統及該第二離散成像系統經配置成一並排構形且各者包括具有複數個邊緣之一第一透鏡元件，該第一離散成像系統中之一第一邊緣經定位以抵靠該第二離散成像系統中之一第二邊緣以形成一共同邊緣；及該第一離散成像系統經構形以約束沿著該共同邊緣入射之複數個第一主光線，且該第二離散成像系統經構形以約束沿著該共同邊緣入射之複數個第二主光線以實質上平行於該複數個第一主光線，使得該第一離散成像系統及該第二離散成像系統提供沿著該共同邊緣之結合的視野以形成具有最小視差或無視差之成像。
  13. 如請求項12之多相機全景成像系統，其中在自物件空間觀看時，沿著該第一離散成像系統與該第二離散成像系統之間之該共同邊緣入射之該等主光線似乎會聚至一共同NP點。
  14. 如請求項13之多相機全景成像系統，其中該第一離散成像系統及該第二離散成像系統各包含一影像感測器，該共同NP點定位於該影像感測器之後。
  15. 如請求項14之多相機全景成像系統，其中該影像感測器係一波前感測器。
  16. 如請求項12之多相機全景成像系統，其中該第一離散成像系統之該第一透鏡元件及該第二離散成像系統之該第一透鏡元件係一單一連續自由曲面光學器件之一部分。
  17. 如請求項12之多相機全景成像系統，其中該第一離散成像系統及該第二離散成像系統各具有一彎曲影像平面。
  18. 如請求項12之多相機全景成像系統，其中該複數個第一主光線及該複數個第二主光線之至少50%係實質上平行的。
TW108122749A 2014-05-06 2015-05-06 多相機全景成像系統及多相機成像系統 TWI708111B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461989136P 2014-05-06 2014-05-06
US61/989,136 2014-05-06

Publications (2)

Publication Number Publication Date
TW201940956A TW201940956A (zh) 2019-10-16
TWI708111B true TWI708111B (zh) 2020-10-21

Family

ID=53189206

Family Applications (2)

Application Number Title Priority Date Filing Date
TW104114490A TWI667528B (zh) 2014-05-06 2015-05-06 多相機全景成像系統及用於形成全景影像之方法
TW108122749A TWI708111B (zh) 2014-05-06 2015-05-06 多相機全景成像系統及多相機成像系統

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW104114490A TWI667528B (zh) 2014-05-06 2015-05-06 多相機全景成像系統及用於形成全景影像之方法

Country Status (12)

Country Link
US (5) US10341559B2 (zh)
EP (2) EP3855232A1 (zh)
JP (3) JP2017519250A (zh)
KR (2) KR102073206B1 (zh)
CN (2) CN107027338B (zh)
AU (1) AU2015256320B2 (zh)
CA (1) CA2953337C (zh)
IL (1) IL248733B (zh)
RU (1) RU2698479C2 (zh)
SG (1) SG11201609780PA (zh)
TW (2) TWI667528B (zh)
WO (1) WO2015171544A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108282615B (zh) * 2017-11-02 2021-01-05 广东康云多维视觉智能科技有限公司 周边环境扫描方法及系统
WO2020192022A1 (en) * 2019-03-27 2020-10-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Three-dimensional modeling using hemispherical or spherical visible light-depth images
WO2020263865A1 (en) * 2019-06-24 2020-12-30 Circle Optics, Inc. Opto-mechanics of panoramic capture devices with abutting cameras
US20230090281A1 (en) * 2020-02-10 2023-03-23 Circle Optics, Inc. Panoramic camera system for enhanced sensing
CN114859510B (zh) * 2022-04-28 2024-03-01 福建福光天瞳光学有限公司 摄远型大光圈光学镜头及其工作方法
CN115629076A (zh) * 2022-09-27 2023-01-20 威海华菱光电股份有限公司 一种阵列式图像检测装置
CN116360077B (zh) * 2023-03-03 2023-11-03 广州瑞格尔电子有限公司 一种大视场短焦的投影镜头以及lcd投影机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051805A1 (en) * 2001-08-17 2004-03-18 Koichi Yoshikawa Imaging device
TW200513674A (en) * 2003-07-03 2005-04-16 Physical Optics Corp Panoramic video system with real-time distortion-free imaging
TWI390333B (zh) * 2004-03-16 2013-03-21 Creative Tech Ltd 形成全景影像之數位靜態相機、系統、電腦可使用媒體及方法
US20130076900A1 (en) * 2011-09-23 2013-03-28 Goodrich Corporation Wide field of view monocentric lens system for infrared aerial reconnaissance camera systems
TWI407243B (zh) * 2009-10-19 2013-09-01 Hon Hai Prec Ind Co Ltd 全景透鏡及使用該全景透鏡的全景拍攝系統
TW201502691A (zh) * 2013-06-14 2015-01-16 Omnivision Tech Inc 產生全景圖像的系統和方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1013652A (fr) 1950-02-17 1952-08-01 Objectif grand angulaire
US5023725A (en) 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5703604A (en) * 1995-05-22 1997-12-30 Dodeca Llc Immersive dodecaherdral video viewing system
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US6549650B1 (en) 1996-09-11 2003-04-15 Canon Kabushiki Kaisha Processing of image obtained by multi-eye camera
US6618093B1 (en) * 1998-01-15 2003-09-09 Chauncey F. Levy Distortion-free imaging device having curved photosensor
US7620909B2 (en) 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3872250B2 (ja) * 2000-03-14 2007-01-24 日本放送協会 広画角撮像装置
KR20030028553A (ko) 2000-07-21 2003-04-08 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 이미지 모자이크 방법 및 장치
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP4051945B2 (ja) * 2001-02-07 2008-02-27 ソニー株式会社 撮像装置
JP4211319B2 (ja) * 2001-08-17 2009-01-21 ソニー株式会社 撮像装置
JP2003066303A (ja) 2001-08-28 2003-03-05 Sony Corp 撮像装置
WO2003042743A1 (fr) * 2001-11-13 2003-05-22 Matsushita Electric Industrial Co., Ltd. Systeme optique d'imagerie a grand angle, dispositif d'imagerie a grand angle, dispositif d'imagerie de surveillance, dispositif d'imagerie a bord d'un vehicule et dispositif de projection equipe du systeme optique d'imagerie a grand angle
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
JP4288939B2 (ja) 2002-12-05 2009-07-01 ソニー株式会社 撮像装置
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
JP2006030664A (ja) * 2004-07-16 2006-02-02 Sony Corp 撮像装置
JP4386021B2 (ja) 2005-10-11 2009-12-16 ソニー株式会社 撮像装置
WO2007046498A1 (ja) 2005-10-21 2007-04-26 Nalux Co., Ltd. 光ファイバー接続用カプラーおよびカプラーに光ファイバーを取り付ける方法
US7834910B2 (en) 2006-03-01 2010-11-16 David M. DeLorme Method and apparatus for panoramic imaging
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
US9118850B2 (en) * 2007-11-27 2015-08-25 Capso Vision, Inc. Camera system with multiple pixel arrays on a chip
CA2714492C (en) 2008-02-08 2014-07-15 Google, Inc. Panoramic camera with multiple image sensors using timed shutters
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN102037717B (zh) 2008-05-20 2013-11-06 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
RU2399073C1 (ru) 2009-04-13 2010-09-10 Герман Рудольфович Пекки Оптическая панорамическая система
CN201725141U (zh) * 2010-05-06 2011-01-26 浙江大学 一种多镜头实时全景成像系统
JP5607430B2 (ja) 2010-06-10 2014-10-15 株式会社ジャパンディスプレイ 立体映像表示装置及び電子機器
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
US9876953B2 (en) 2010-10-29 2018-01-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
JP5780561B2 (ja) 2010-11-16 2015-09-16 小平アソシエイツ株式会社 視界映像情報生成装置
JP2012177747A (ja) * 2011-02-25 2012-09-13 Sony Corp 立体画像撮像装置
JP2012199752A (ja) * 2011-03-22 2012-10-18 Sony Corp 画像処理装置と画像処理方法およびプログラム
US9250510B2 (en) * 2012-02-15 2016-02-02 City University Of Hong Kong Panoramic stereo catadioptric imaging
NL2008639C2 (en) 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
JP5595463B2 (ja) 2012-10-12 2014-09-24 キヤノン株式会社 波面光学測定装置
US9503638B1 (en) 2013-02-04 2016-11-22 UtopiaCompression Corporation High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
US20150281538A1 (en) * 2014-03-25 2015-10-01 Semiconductor Components Industries, Llc Multi-array imaging systems and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040051805A1 (en) * 2001-08-17 2004-03-18 Koichi Yoshikawa Imaging device
TW200513674A (en) * 2003-07-03 2005-04-16 Physical Optics Corp Panoramic video system with real-time distortion-free imaging
TWI390333B (zh) * 2004-03-16 2013-03-21 Creative Tech Ltd 形成全景影像之數位靜態相機、系統、電腦可使用媒體及方法
TWI407243B (zh) * 2009-10-19 2013-09-01 Hon Hai Prec Ind Co Ltd 全景透鏡及使用該全景透鏡的全景拍攝系統
US20130076900A1 (en) * 2011-09-23 2013-03-28 Goodrich Corporation Wide field of view monocentric lens system for infrared aerial reconnaissance camera systems
TW201502691A (zh) * 2013-06-14 2015-01-16 Omnivision Tech Inc 產生全景圖像的系統和方法

Also Published As

Publication number Publication date
JP2020173461A (ja) 2020-10-22
RU2698479C2 (ru) 2019-08-28
EP3140689A1 (en) 2017-03-15
RU2016145439A (ru) 2018-06-06
KR20170005024A (ko) 2017-01-11
RU2016145439A3 (zh) 2018-12-21
US20230388642A1 (en) 2023-11-30
US10659688B2 (en) 2020-05-19
CA2953337C (en) 2023-04-11
CA2953337A1 (en) 2015-11-12
AU2015256320B2 (en) 2020-03-05
KR20200013800A (ko) 2020-02-07
TWI667528B (zh) 2019-08-01
KR102234981B1 (ko) 2021-04-01
IL248733A0 (en) 2017-01-31
US11743591B2 (en) 2023-08-29
IL248733B (en) 2020-08-31
US10341559B2 (en) 2019-07-02
TW201602708A (zh) 2016-01-16
EP3855232A1 (en) 2021-07-28
US20170085792A1 (en) 2017-03-23
US11363194B2 (en) 2022-06-14
US20190289209A1 (en) 2019-09-19
KR102073206B1 (ko) 2020-02-04
CN111510621B (zh) 2021-11-12
EP3140689B1 (en) 2021-12-22
CN107027338A (zh) 2017-08-08
SG11201609780PA (en) 2016-12-29
JP2022116089A (ja) 2022-08-09
US20220272261A1 (en) 2022-08-25
TW201940956A (zh) 2019-10-16
CN107027338B (zh) 2020-04-14
AU2015256320A1 (en) 2016-12-01
WO2015171544A1 (en) 2015-11-12
US20200244881A1 (en) 2020-07-30
CN111510621A (zh) 2020-08-07
JP2017519250A (ja) 2017-07-13

Similar Documents

Publication Publication Date Title
TWI708111B (zh) 多相機全景成像系統及多相機成像系統
US7837330B2 (en) Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
ES2326965T3 (es) Metodo para capturar una imagen panoramica por medio de un captador rectangular de imagenes.
CN101271187B (zh) 无死角的双目立体全方位视觉传感装置
US8798451B1 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
US11137582B2 (en) Omnidirectional catadioptric lens with odd aspheric contour or multi-lens
WO2018001231A1 (zh) 图像采集复合镜头及其应用
KR101469361B1 (ko) 초광각 파노라마 영상 촬영 장치
WO2018139250A1 (ja) 全天球撮像装置
Abdelhamid et al. 360 degrees imaging systems design, implementation and evaluation
CN104010119A (zh) 360度环场实时显像装置