TWI617177B - ３ｄ多孔徑成像裝置 - Google Patents

３ｄ多孔徑成像裝置 Download PDF

Info

Publication number
TWI617177B
TWI617177B TW105126877A TW105126877A TWI617177B TW I617177 B TWI617177 B TW I617177B TW 105126877 A TW105126877 A TW 105126877A TW 105126877 A TW105126877 A TW 105126877A TW I617177 B TWI617177 B TW I617177B
Authority
TW
Taiwan
Prior art keywords
optical channels
view
image sensor
field
images
Prior art date
Application number
TW105126877A
Other languages
English (en)
Other versions
TW201711457A (zh
Inventor
法蘭克 懷柏曼
安德列斯 布魯克納
安德列斯 布勞爾
亞歷山大 奧伯多斯特
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW201711457A publication Critical patent/TW201711457A/zh
Application granted granted Critical
Publication of TWI617177B publication Critical patent/TWI617177B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本文描述一種3D多孔徑成像裝置，該3D多孔徑成像裝置一方面能夠在一場景中提供3D資訊，且另一方面允許獲得高橫向解析度及/或一較寬全視場。該3D多孔徑成像裝置設置有用於將一全視場之重疊第一局部視場投射於該3D多孔徑成像裝置之一影像感測器之第一影像感測器區域上的第一多個光學通道，以及設置有用於將該全視場之重疊第二局部視場投射於該影像感測器之第二影像感測器區域上的第二多個光學通道，其中該第一及第二多個光學通道橫向設置彼此偏移一基距，且當將已藉由該多個光學通道捕獲之影像融合至該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中的一第一全影像時，使用一對影像之視差，其中該等影像中之一者已藉由該第二多個光學通道中之一者捕獲。

Description

3D多孔徑成像裝置
發明領域 本申請案係關於一種3D多孔徑成像裝置。
發明背景 具有線性通道配置的多孔徑成像系統由幾個並置成像通道構成，每一個僅捕獲物件之一部分。全影像由合併或融合單獨局部影像產生。由於成像通道彼此的有限距離而發生視差，該視差在短物距內尤其顯著，且產生複合全影像中的偽影。除此之外，存在個別通道各自完全捕獲一個及相同場景的多孔徑成像系統，其中自通道之間的視差計算物件或場景之深度上的資訊。
問題出現在當在一個及相同成像系統中需要具有一方面相對較寬視場及另一方面產生深度資訊的場景之高空間或橫向解析度時。
發明概要 本發明提供一種3D多孔徑成像裝置，該3D多孔徑成像裝置允許獲得高橫向解析度及/或寬視場，其中可獲得額外深度資訊。
此目標係藉由獨立請求項之標的物解決。
本申請案係基於可提供一種3D多孔徑成像裝置之發現，該3D多孔徑成像裝置一方面能夠提供場景上的3D資訊且另一方面允許獲得高橫向解析度及/或寬視場，其中該3D多孔徑成像裝置設置有用於將全視場之重疊第一局部視場投射於該3D多孔徑成像裝置之影像感測器之第一影像感測器區域上的第一多個光學通道，以及設置有用於將該全視場之重疊第二局部視場投射於該影像感測器之第二影像感測器區域上的第二多個光學通道，其中該第一及第二多個光學通道橫向設置彼此偏移一基距，且當將已藉由第一多個光學通道捕獲之影像融合至該第一多個光學通道中之一對光學通道之第一局部視場之重疊區域中的第一全影像時，使用一對影像之視差，其中該等影像中之一者已藉由該第二多個光學通道中之一者捕獲。因此，全視場兩次分為僅部分重疊局部視場，亦即，以第一多個光學通道之形式，且另一次以第二多個光學通道之形式，從而可能獲得全視場之所需橫向解析度及/或所需寬度及獲得跨越全視場的視差資訊。將藉助於第一多個光學通道獲得之影像融合至全影像中使得在第一多個光學通道中之通道之間的視差發生更少，此係由於將已藉由第一多個光學通道捕獲之影像融合至第一全影像中係由藉由評估已由第二多個光學通道之通道中之一者捕獲之影像獲得的視差資訊支援。特定而言，將第一多個光學通道之通道之間的橫向距離保持較低為可能的。必然發生的橫向距離引起第一多個通道之通道之間的視差。當融合多個第一多個通道之影像時，將影像融合於重疊區域中之物距相依性可關於僅評估第一多個光學通道之影像當中的視差的程序以改進方式實現，此係由於使用了一對影像之影像之間的視差，其中該等影像中之一者已藉由第二多個光學通道中之一者捕獲。此可為其中之一者已藉由第一多個通道且另一者藉由第二多個通道捕獲之一對影像，或為其中兩者均已藉由來自第一或第二多個通道的不同通道捕獲的一對影像。然而，與超過一對影像的視差可用於重疊區域。除此之外可能顯然為兩者均已藉由來自第二多個通道的不同通道捕獲的一對影像，亦即，待融合的一對影像。
較佳實施例之詳細說明 圖1展示根據一實施例的3D多孔徑成像裝置10。該3D多孔徑成像裝置具有可分別分為兩個組件121 及122 的影像感測器，如圖1所指示，一個組件121 用於「右」光學通道141 且另一組件122 用於「左」通道142 。在圖1之實例中，右光學通道141 及左光學通道142 經相同地構造，然而，彼此橫向偏移一基距15以關於裝置10之視場內的場景獲得儘可能多的深度資訊。因此，具備在自左方的第一位置具有索引1的參考號的元件屬於第一組件1或設備10之右通道的第一模組(模組1)，且具備在自左方的第一位置具有索引2的參考號的元件屬於第二組件2或裝置10之左通道的第二模組(模組2)。儘管在圖1中模組之數目為兩個，但該裝置亦可具有超過兩個，其設置在彼此的各別基距處。
在圖1之例示性情況中，各多個光學通道141 及142 包括四個並置光學通道。單獨「右」通道藉由第二下標索引區分。通道自右向左經索引化，亦即，由於出於清晰目的之部分省略未圖示於圖1中之光學通道1411 (例如)沿基距方向17設置在最外右邊緣，左及右通道沿該基距方向設置為彼此偏移基距15，亦即，遠離多個左通道142 ，其中其他右通道1412 -1414 順著基距方向17。因此，通道1411 -1414 形成光學通道之單線陣列，其線延伸方向對應於基距方向17。左通道142 以相同方式構造。其亦可藉由第二下標索引區分。左通道1421 -1424 設置為彼此靠近且連續地在與右通道1411 -1414 相同的方向上，亦即，以使得通道1421 最接近右通道，且通道1424 最遠離後者。
右通道1411 -1414 中之每一者包括各別光學器件，如圖1所指示，其可由透鏡系統組成。替代地，各通道可包含一透鏡。各光學通道1411 -1414 捕獲全視場28之重疊局部視場中之一者，其彼此重疊且一起覆蓋全視場28。通道1411 (例如)將局部視場3011 投射於影像感測器區域1211 上，光學通道1412 將局部視場3012 投射於影像感測器區域1212 上，光學通道1413 將分配的局部視場3013 投射於圖1中未見的影像感測器12之各別影像感測器區域1213 上，且光學通道1414 將分配的局部視場3014 投射於由於消除在圖1中亦未展示的各別影像感測器區域1214 上。
在圖1中，影像感測器12之影像感測器區域1211 -1214 或影像感測器12之組件121 設置在平行於基距方向15或平行於線延伸方向17的平面中，且光學通道1411 -1414 之光學器件之透鏡平面亦平行於此平面。另外，影像感測器區域1211 -1214 設置有彼此的橫向通道間距離19，光學通道1411 -1414 之光學器件在彼方向上亦設置有通道間距離，以使得光學通道1411 -1414 之光軸及光徑在影像感測器區域1211 -1214 及光學器件1411 -1414 之間彼此平行運行。影像感測器區域1211 -1214 之中心及光學通道1411 -1414 之光學器件之光學中心設置在(例如)各別光軸上，該光軸垂直於影像感測器區域1211 -1214 之上述共同平面運行。
光學通道1411 -1414 之光軸或光徑藉由光束偏轉裝置241 偏轉且因此具備分叉，其具有光學通道1411 -1414 之局部視場3011 -3014 僅部分重疊之效果，例如，以使得局部視場3011 -3014 關於立體角成對重疊最多50%。如圖1中所指示，光束偏轉裝置241 (例如)針對各光學通道1411 -1414 可具有反射小平面，其在通道1411 -1414 當中關於彼此以不同方式傾斜。反射小平面關於影像感測器平面之一般傾角在(例如)垂直於平面的方向上偏轉右通道1411 -1414 之全視場，其中光學通道1411 -1414 之光學器件之光軸分別在藉由裝置241 之光束偏轉之前及無該光束偏轉之情況下運行，或偏移此垂直方向小於10℃。替代地，光束偏轉裝置241 亦可使用稜鏡以用於光學通道1411 -1414 之單獨光軸或光徑之光束偏轉。
光束偏轉裝置241 提供具有分叉的光學通道1411 -1414 之光徑，以使得實際上在方向17上線性並置的通道1411 -1414 以二維方式覆蓋全視場28。
應注意，光徑或光軸亦可與所述平行度偏移，但光學通道之光徑之平行度仍可為不同的，以使得藉由單獨通道1411 -1414 覆蓋或投射於各別影像感測器區域1211 -1214 上的局部視場將在無任何其他措施(諸如光束偏轉)之情況下經大部分重疊，以使得藉由多孔徑成像10覆蓋更大全視場，光束偏轉裝置24提供具有額外分叉的光徑，以使得通道1411 -1414 之局部視場彼此重疊更少。光束偏轉裝置241 (例如)具有全視場具有跨越所有方位角或所有橫向平均的孔徑角之效果，該孔徑角較光學通道1411 -1414 之局部視場之各別平均孔徑角大1.5倍。
左通道1421 -1424 與右通道1411 -1414 以相同方式構造，且關於分別分配的影像感測器區域1221 -1224 定位，其中在與通道1411 -1414 之光軸相同的平面中彼此平行運行的光學通道1421 -1424 之光軸藉由對應的光束偏轉裝置242 偏轉，以使得光學通道1421 -1424 以幾乎疊合的方式捕獲相同的全視場28，亦即，在全視場28以二維方式劃分的彼此重疊的局部視場3021 -3024 中，且其中該等局部視場中之一者幾乎完全與右通道1411 -1414 之各別通道之各別局部視場3011 -3014 重疊。舉例而言，局部視場3011 及局部視場3021 、局部視場3012 及3022 等幾乎完全重疊。
影像感測器區域1211 -1224 可(例如)各自由包括各別像素陣列的晶片形成，其中晶片可安裝在共同基體或共同板上或在幾個板上成組，如圖1所指示，以用於將組件121 之影像感測器區域1211 -1214 之晶片單獨放在板上及將組件122 之影像感測器區域1221 -1224 之晶片放在另一板上。替代地，影像感測器區域1211 -1224 一起或成組形成將亦為可能的，諸如根據組件121 及122 之分配與跨越各別影像感測器區域連續延伸的共同像素陣列之一部分分離，其中共同像素陣列形成於(例如)單晶片上。接著，例如，僅在各別影像感測器區域中讀出共同像素陣列之像素值。此等替代例之不同組合亦係可能的，諸如存在組件121 及122 內用於兩個或大於兩個通道之一個晶片及用於不同通道或其類似者之另一晶片。
除上述組件之外，3D多孔徑成像裝置包括處理器85，該處理器執行將已在由3D多孔徑成像裝置10捕獲期間藉由右光學通道1411 -1414 捕獲之影像融合至第一全影像之任務。待解決之問題為：由於右通道1411 -1414 之相鄰通道之間的通道間距離19，在捕獲期間已藉由影像區域1211 -1214 中之通道1411 -1414 捕獲的影像不能關於一個簡單地或平移地移位及放置至彼此上。換言之，上述者不能輕易融合。沿當捕獲相同場景時的對應於彼此但常駐在不同影像內的影像感測器區域1211 -1214 之影像中的方向15、17或19的橫向偏移被稱作視差。對應影像內容之視差再次取決於場景內的此影像內容之距離(亦即，各別物件與裝置10之距離)。處理器85現可嘗試評估影像感測器區域1211 -1214 自身之影像當中的視差以將此等影像融合至第一全影像(亦即，「右全影像」)。然而，不利的是，存在通道間距離19，且因此僅導致問題，然而，另一方面，通道間距離19相對較低，以使得深度解析度或估計僅為不精確的。因此，(例如)藉助於相關性嘗試判定兩個影像之間的重疊區域中(諸如影像感測器區域1211 及1212 之影像之間的重疊區域86中)的對應影像內容為困難的。
因此，為了融合，圖1之處理器在局部視場3011 及3012 之間的重疊區域86中使用其中一者已藉由左通道1421 或1422 捕獲且其經投射的第二局部視場(亦即，3021 或3022 )與重疊區域86重疊的一對影像的視差。舉例而言，為了融合影像感測器區域1211 及1212 ，處理器85評估影像(亦即，已藉由影像感測器區域1211 或1212 中之一者捕獲的影像)中之視差，其中影像中之一者已藉由影像感測器區域1221 或1222 中之一者捕獲，且另一者藉由重疊區域86中涉及的通道捕獲。 隨後，此對具有基本基距加/減一個或零個通道基距19的基距15。後一基距顯著大於單通道基距19，此為處理器85更容易判定重疊區域86中之視差之原因。因此，為了融合右通道之影像，處理器85評估由左通道之影像導致且較佳地但非排他地在來自右通道中之一者及左通道中之一者的影像之間的視差。
更特定而言，處理器85採用局部視場3011 之一部分為可能的，該視場不與大體上直接來自影像1211 的右通道之其他局部視場中之一者重疊且基於影像感測器區域1212 -1214 之影像針對局部視場3012 、3013 及3014 之非重疊區域相同地執行，其中影像感測器區域1211 -1214 之影像經(例如)同時捕獲。僅在相鄰局部視場之重疊區域(諸如局部視場3011 及3012 )中，處理器85使用影像對之視差，其在全視場28中之重疊在重疊區域中重疊，但自其多個但不僅一個已藉由右通道中之一者且另一者藉由左通道中之一者再次(例如)同時捕獲。
根據一替代程序，處理器85根據影像對之間的視差之評估翹曲右通道之所有影像將亦為可能的，其中影像中之一者已藉由右通道捕獲，且另一者藉由左通道捕獲。以此方式，針對右通道之影像藉由處理器85計算之全影像可實際上不僅在右通道之局部視場3011 -3014 之重疊區域中而且實際上在焦點上的非重疊區域中翹曲，其(例如)橫向地在右通道1411 -1414 之間的中心中，此係因為即使對於不重疊的局部視場3011 -3014 之彼等區域，影像對之視差亦藉由處理器85評估，其中一個影像已藉由右通道中之一者捕獲，且另一影像藉由左通道中之一者捕獲。
圖1之3D多孔徑成像裝置10不僅能夠產生來自右通道之影像的全影像，而且圖1之3D多孔徑成像裝置10亦能夠至少以一種操作模式自經捕獲的影像產生除第一通道之全影像之外的左通道之影像之全影像及/或除右通道之全影像之外的深度圖。
根據第一替代例，處理器85經組配為(例如)將已分別藉由左光學通道1421 -1424 及影像感測器區域1221 -1224 捕獲的影像融合至第二全影像(亦即，左通道之全影像)，且在左光學通道之橫向相鄰局部視場3021 -3024 之重疊區域中使用一對影像之視差，影像中多個但不僅一個已藉由右光學通道1411 -1414 捕獲且與一對局部視場3021 -3024 之各別重疊區域重疊，且另一者較佳地藉由左光學通道中之一者捕獲，其中局部視場與各別重疊區域重疊。
根據第一替代例，處理器85輸出兩個全影像用於一個捕獲，亦即，一個用於右光學通道，及另一個用於左光學通道。此等兩個全影像可分別提供給使用者(例如，提供給使用者的兩個眼睛)，且因此引起所捕獲場景的三維曝光。
根據另一上述替代例，處理器85藉由使用包含右通道1411 -1414 中之一者的至少一對的影像對的視差產生除右通道之全影像之外的深度圖，影像包含已藉由各別右通道捕獲之一個影像及已藉由左通道中之一者捕獲的另一影像。
在深度圖由處理器85產生的實施例中，基於深度圖針對已藉由右通道捕獲的所有影像執行上述翹曲亦為可能的。由於深度圖包含跨越全視場28的深度資訊，因此將已藉由右通道捕獲的所有影像(亦即，不僅在相同重疊區域中而且在非重疊區域中)分別翹曲至虛擬共同孔徑點及虛擬光學中心為可能的。
兩個替代例亦可均藉由處理器85處理。相同的可首先產生兩個全影像，亦即一個用於右光學通道且另一個用於左光學通道，如上文所描述，此係藉由在融合右通道之影像之間的重疊區域中的右通道之影像時使用其中一者屬於左通道之影像的影像對之視差，及在融合左通道之影像之間的重疊區域中的左通道之影像時亦使用其中一者屬於右通道之影像的影像對的視差而產生，且隨後自以彼方式獲得的表示自不同視角的全視場中的場景的全影像產生具有分配之深度圖的全影像，諸如位於右光學通道及左光學通道之光學器件之光學中心之間但針對虛擬視角或針對虛擬光學中心可能不僅位於其之間的全景像。為了計算深度圖且為了翹曲兩個全影像中之一者或將兩個全影像翹曲及融合至虛擬視圖中，處理器85使用實際上分別作為左單獨影像及右單獨影像之先前融合之中間結果的右全影像及左全影像。此處，處理器評估兩個中間結果全影像之視差以獲得深度圖及執行其翹曲或翹曲/融合。
應注意，處理器(例如)藉助於影像區域之交叉相關執行一對影像之視差之評估。
圖2亦展示處理器85可使用整體的一或若干個額外視差，亦即，「四分之二」種視差源，亦即，關於此對緊鄰局部視場之間的重疊區域中的場景物件之視差的影像感測器區域之影像對，其作為用於將已藉由一對影像感測器捕獲的影像融合至左通道之一對光學器件投射一對緊鄰局部視場上的基礎，由於其例示性地針對局部視場3011 及3012 為此情況，除該對影像之外。在圖2中，此針對局部視場3011 與3012 之間的陰影相交重疊區域例示性地指示：除待融合的右通道1411 及1412 (視差源1)之該對影像之外，存在四對影像，其中一者藉由右通道投射，且一者藉由各別影像感測器區域上的左通道投射且藉由後者(視差源2、3、4、5)捕獲，亦即，藉助於通道1411 及1421 (視差源2)捕獲的影像、藉助於通道1411 及1422 (視差源3)捕獲的影像、藉助於通道1412 及1422 (視差源4)捕獲的影像以及藉助於通道1412 及1421 (視差源5)捕獲的影像。此外，存在一對影像，其中兩者均藉由各別影像感測器區域上的左通道投射且藉由後者(視差源6，1421 及1422 成對)捕獲。處理器可使用一或多個額外源3或5以供融合支援。根據上述替代例，若處理器85亦計算全視場28之深度圖，則處理器可根據用於影像融合之程序自超過一個影像對之視差之評估判定視場28之各點處的深度圖，其中一者藉由右通道投身且一者藉由各別影像感測器區域上的左通道投射，並藉由後者捕獲，亦即，在除右通道之局部視場及左通道之局部視場外另一對亦重疊之點處。在圖2中，此僅為在與左通道之局部視場之重疊區域相同的右通道之局部視場之重疊區域處的情況，此係由於與左通道之局部視場之疊合，但在其他實施例中此疊合可能不存在。
應提及，在一方面藉由左通道之局部視場及另一方面藉由右通道之局部視場之全視場28之不同覆蓋中，可能超過四個通道(不考慮其分配至左通道或右通道)彼此重疊，(例如)在線方向或行方向上的先前實例之局部視場之重疊區域之間的互相重疊處其亦如此，其中右通道之局部視場以及左通道之局部視場各自設置在行及列中。隨後，其通常針對相同的視差源之數目應用，其中N係指具有重疊局部視場的通道之數目。
除以上描述之外，應提及，處理器85除其他之外視情況亦執行各別通道之透視投射錯位之通道方向校正。
應注意，圖1之實施例在許多方面僅為例示性的。此(例如)涉及光學通道之數目。右光學通道之數目(例如)為四，但無論如何大於/等於2或在2與10之間(兩者均為包含性的)，且右光學通道之局部視場之重疊區域(只要針對各局部視場或各通道，考慮具有針對各別局部視場的最大重疊的對)針對所有此等對關於該區域可在影像之平均影像大小之1/2與1/1000之間，該等影像已藉由影像區域1211 -1214 捕獲，(例如)在影像平面(亦即，影像感測器區域之平面)中量測。上述者(例如)應用於左通道。然而，該數目可在右通道與左通道之間變化。此意謂左光學通道之數目NL及右光學通道之數目NR不必相同，且將全視場28劃分為左通道之局部視場及右通道之局部視場在圖1之情況時不必大致相同。關於局部視場及其重疊，其可使得局部視場至少針對具有最大重疊的所有對彼此投射，例如只要考慮10 m之影像距離或物距藉由至少20個像素投射，其中此可應用於右通道及左通道兩者。
此外，與以上陳述相反，左光學通道及右光學通道分別形成於單線中為不必的。左及/或右通道亦可形成光學通道之二維陣列。另外，單線陣列具有共線延伸方向為不必要的。然而，圖1之配置為有利的，此係由於上述者導致與平面垂直的最低安裝高度，其中光學通道(亦即，右通道及左通道兩者)之光軸分別在光束偏轉之前及無光束偏轉之情況下運行。關於影像感測器12，已提及上述者可由一個、兩個或幾個晶片形成。舉例而言，可提供每影像感測器區域1211 -1214 及1221 -1224 一個晶片，其中在幾個晶片之情況下，上述者可安裝在一個或幾個板上，諸如用於左通道或左通道之影像感測器之一個板及用於右通道之影像感測器之一個板。
因此，在圖1之實施例中，將相鄰通道儘可能密集地放置在右通道或左通道之通道內為可能的，其中在最佳情況下，通道距離19對應於透鏡直徑。此導致低通道距離且因此導致低視差。一方面的右通道及另一方面的左通道亦可在彼此任何距離15處設置，以使得可實現較大視差。總之，產生假影減少或甚至無假影的影像融合及產生具有被動光學成像系統的深度圖的選擇。
與以上實例相反，使用超過兩組通道141 及142 將為可能的。組之數目可被稱作N。若在此情況下，每組之通道之數目相同且針對所有組分為局部視場的全視場相同，則視場源之數目(例如)將根據組141之局部視場之重疊區域產生。然而，如上文已提及，通道組之不同全視場劃分亦為可能的。
最後，應注意，在以上描述中，僅例示性情況已陳述處理器85融合右通道之影像。如上所述，相同程序亦可藉由處理器85分別針對兩個及所有通道組或亦針對左通道或類似者執行。
圖1之3D多孔徑成像裝置可安裝在(例如)行動裝置(諸如行動電話)之平殼中。此處，影像感測器區域1211 -1214 及1221 -1224 之平面以及左通道及右通道之光學器件之任何透鏡平面可平行於平殼之厚度方向運行。由於分別藉由光束偏轉裝置241 及242 之光束偏轉，3D多孔徑成像裝置之全視場將(例如)在(例如)行動裝置之螢幕經定位的正面的前方，或在行動裝置之背面的前方。
圖3展示(例如)上述替代例之裝置10如何安裝於(例如)攜帶型裝置200之平殼中，該攜帶型裝置可為(例如)行動電話、智慧型電話或媒體播放機或類似者中之一者。部件121 及122 之影像感測器區域之平面及通道141 及142 之光學器件之透鏡平面分別垂直於平殼之扁平延伸方向及平行於厚度方向定向。以此方式，舉例而言，光束偏轉裝置241 及242 將分別具有多孔徑成像裝置10之全視場位於平殼之正面202之前方的效果，該平殼(例如)亦包含螢幕。替代地，以視場在平殼之背面的前方的方式，偏轉將亦為可能的，平殼之背面與正面202相對。外殼可能在穿透側202具有透明窗206以使該組光學通道141 及142 之光徑通過。裝置200之外殼或裝置自身可為平坦的，此係由於歸因於裝置10在外殼中之所說明位置，裝置10的安裝高度(其平行於外殼之厚度)可保持低。將裝置10安裝至另一可能非攜帶型裝置(諸如汽車)中亦將係可能的。
分別關於光束偏轉裝置241 及242 ，應注意，上述者呈現可選元件。光學通道(亦即，一方面其間的右通道及另一方面其間的左通道)之光徑之分叉較使用各別光束偏轉裝置241 -242 亦可以不同方式產生。光學通道之光學器件之光學中心可(例如)與分配之影像感測器區域橫向偏移以在一方面左通道之間及另一方面右通道之間產生僅部分(亦即)局部視場之不完全重疊。
為了對此進一步說明，圖4又展示根據圖1的組配的特定實例，其中，在各模組1及2中，各別偏轉構件241 及242 分別產生分別為光學通道141 # 及142 # 之分別來自光軸211 及222 的分叉，該等通道首先彼此平行。為簡單起見，圖4僅說明具有右通道之模組1，但說明及描述因此適用於模組2。
圖4展示各光學通道1411 、1412 、1413 、1414 藉助於分配的光學器件1611 -1614 將全視場28之各別通道單獨部分3011 -3014 分別投射至影像感測器121 之各別影像感測器區域1211 、1212 、1213 及1214 上。光學器件1611 至1614 由(例如)如圖4中所示可藉由共同固持器181 保持的透鏡中之每一者或一組透鏡組成。例示性地，固持器181 由透明材料形成並藉由光學通道之光徑穿透但亦存在用於固持器之其他替代例。影像感測器區域1211 -1214 設置於共同平面(亦即光學通道141 之影像平面)中。在圖4中，此平面例示性地平行於藉由圖1中展示用於簡化以下描述並具備參考數字20的笛卡爾座標系統之x軸及y軸所表示的平面。在一個實施例中，此可能為影像感測器區域1221 至1224 位於的相同平面。光學器件1611 -1614 (例如)亦並置於與影像感測器12平行(亦即，與xy平面平行)的平面中。在圖4之實例中，影像感測器平面中之影像感測器區域1211 -1214 的相對位置另外與光學器件1611 -1614 及光學器件1611 -1614 之沿著x軸及y軸(亦即與影像感測器121 有關的橫向)的相對位置一致定位，以使得光學器件161 -164 之光學中心相對於影像感測器區1211 -1214 之中心而定中心。此意謂在圖4之實例中，光學通道1411 -1414 之光軸2211 -2214 首先彼此平行且平行於座標系統20之z軸運行，影像感測器區域1211 -1214 及光學器件1611 t-1614 關於該光軸以定中心方式定位。根據一實施例，光學中心之平面將在模組1與2之間再次相同。視情況存在之基體181 可針對各模組單獨提供或可支援兩個模組之光學器件。該裝置包含一個或幾個能夠改變光學器件1611 -1614 關於影像感測器區域1211 -1214 在橫向方向上(亦即，在x及/或y方向上)的相對位置(例如)以用於影像穩定的構件為可能的。光學器件1611 -1614 將全視場28中之場景中的物件投射於分配的影像感測器區域1211 -1214 上，且出於此目的，上述者經定位與影像感測器121 相距各別距離。由於此距離亦可為固定的，替代地，可提供用於改變此影像感測器/光學器件距離的構件，諸如用於手動或自動焦點變化。光束偏轉裝置241 分別偏轉多個光學通道14之光徑及光軸2211 -2214 ，以使得全視場28不在z軸方向上而在別的某處。圖4表示全視場28在偏轉後基本上沿y軸(亦即，基本上在zy平面中執行偏轉)的例示性情況。現如上文所描述，在圖4之實施例中，光軸2211 -2214 分別在藉由光束偏轉裝置241 之偏轉之前及無此偏轉之情況下彼此平行，且(例如)分別在光學器件1611 -1614 處。光學器件1611 -1614 以及影像感測器區1211 -1214 之對應中心定位易於產生且在最小化安裝空間方面有利。然而，光學通道之光徑之平行度亦具有如下效果，亦即，藉由單獨通道1411 -1414 覆蓋且分別投射於各別影像感測器區域1211 -1214 上的局部視場將在無其他措施(諸如光束偏轉)之情況下幾乎完全重疊。為了覆蓋更大全視場28，圖4之光束偏轉裝置241 之另一功能為提供具有分叉的光徑的光軸，亦即偏轉光徑，以使得通道1411 -1414 之局部視場3011 -3014 彼此重疊更少。在圖4之實例中，為此，分配至單獨光學通道的光束偏轉裝置241 之小平面2611 -2614 關於彼此或相對於影像感測器121 具有不同傾斜，亦即，均在x軸周圍且與其垂直的傾斜。
上文已提及，光徑及光軸分別可在分別在光束偏轉之前及無光束偏轉之情況下與平行度背離。此情況將在下文中描述，通道可具備光軸之某種預先分叉。在光軸2211 至2214 之此預先分叉情況下，例如並非所有小平面傾斜係不同的，但使通道之一些群組具有例如相同傾斜之小平面將係可能的。後者隨後可一體地形成或彼此連續地合併為一個小平面，可謂，其分配至在線延伸方向上相鄰的此組通道。此等通道之光軸的分叉可接著源自如藉由通道之光學器件與影像感測器區的光學中心之間的橫向偏移獲得的此等光軸之分叉。預先分叉可例如限於一個平面。光軸可(例如)分別在光束偏轉之前及無光束偏轉之情況下在共同平面中運行，但在上述者內為分叉的，且小平面僅影響額外分叉，亦即，在其他橫向平面中的方向之偏轉或改變，亦即，其均平行於線延伸方向且關於彼此傾斜，僅與光軸之上述共同平面不同，其中同樣幾個小平面可具有相同傾斜或可一起分配至一組通道，其光軸(例如)分別在光束偏轉之前及無光束偏轉之情況下在成對光軸之上述共同平面中不同。
可例如藉由使光學件之光學中心位於沿著線延伸方向之直線上而獲得可能存在的上文所提及之預先發散，而影像感測器區域之中心偏離光學中心沿著影像感測器區域之平面之法線至影像感測器平面中之直線上之點上的投影而設置，例如設置在沿著線延伸方向及/或沿著垂直於線延伸方向及影像感測器法線兩者的方向以通道個別方式偏離影像感測器平面中之先前所提及直線上的點。替代地，可獲得預先發散，此係因為影像感測器之中心位於沿行延伸方向之直線上，而光學件之中心在光學件中心平面中之直線上的點處(諸如，在以通道個別方式沿行延伸方向及/或沿垂直於行延伸方向及光學件中心平面之法線兩者之方向偏離光學件中心平面中之上文所提及直線上的點的點處)沿光學件之光學中心的平面之法線偏離影像感測器之光學中心之投影而配置。較佳地，自各別投射的上述通道單獨偏移僅在線延伸方向上運行，亦即，僅在共同平面中的光軸具備預先分叉。接著，光學中心及影像感測器區中心兩者係在平行於線延伸方向的直線上但具有不同中間距離。對比而言，透鏡與影像感測器之間的在橫切於線延伸方向之垂直方向中之橫向偏移將導致安裝高度的增加。行延伸方向上之純平面內偏移不會改變安裝高度，但可導致更少小平面及/或小平面僅具有簡化結構之角度定向上之傾斜。此圖示於圖5a及圖5b中，其中一方面的相鄰通道1411 及142 及相鄰通道1413 及1414 包含光軸2211 及2212 及2213 及2214 ，其分別在共同平面中運行，各自關於彼此為斜視的，亦即，具備預先分叉。小平面261 1 及2612 可由一個小平面形成，且小平面2613 及2614 可由另一小平面形成，如由各別成對小平面之間的虛線所指示，且僅兩個小平面僅在一個方向上傾斜且皆平行於線延伸方向。
應注意，作為圖5a及圖5b之替代例，同樣光學通道1及2以及通道3及4可彼此彙集運行，且兩對同樣彙集至彼此，其中同樣所有光軸在一個平面內運行。以此方式，可使小平面在線延伸方向上更小。
同樣，應注意，出於明晰之原因，圖4及圖5a、圖5b僅展示一個模組，但各別另一模組可以相同方式構造。此外，應再次提及，每一模組之通道之數目不限於四個。
此外，可規定，在一個模組中，諸如出於超解析度或增加對應局部視場由此等通道取樣使用之解析度，一些光學通道被分配至同一局部視場。此群組內之光學通道將接著(例如)在光束偏轉之前為平行的，且將由小平面偏轉至局部視場。有利地，群組之通道的影像感測器之像素影像將放置在此群組之另一通道的影像感測器的像素之影像之間的中間位置中。因此，在空間解析度之意義上且不在每像素之數目之意義上，全視場將不由模組採樣以使得各通道捕獲具有完整解析度但僅具有減少解析度的全視場之其一部分，亦即，其局部視場。僅使用像素偏移將產生具有較高解析度的全影像，其中各局部視場較捕獲單獨地考慮且與上文數量不同的此局部視場的通道之影像將包含更多像素。然而，將僅獲得具有減少之解析度的深度圖且並非如上文分別具有全影像解析度及深度值，及分別全影像之每像素之深度圖像素，以及分別地全影像。此外，對於光束偏轉裝置及影像感測器，上述者如上所述關於光學基體應用，亦即，模組1及2亦可共用各別元件。針對影像穩定目的，光束偏轉裝置可為繞平行於x軸的軸線可旋轉的。連同光學器件沿x軸之平移移動，此導致在兩個方向上全視場之影像穩定，其中可經由光學器件沿z軸之平移移動實現聚焦控制。
1、2‧‧‧模組
10‧‧‧3D多孔徑成像裝置
12、121、122‧‧‧影像感測器
1211、1212、1213、1214‧‧‧第一影像感測器區域
1221、1222‧‧‧第二影像感測器區域
141、142‧‧‧光學通道
1411、1412、1413、1414‧‧‧右通道
1421、1422、1423、1424‧‧‧左通道
15‧‧‧基距
1611、1612、1613、1614‧‧‧光學器件
17‧‧‧基距方向
181‧‧‧共同固持器
19‧‧‧通道間距離
2211、2212、2213、2214‧‧‧光軸
241、242‧‧‧光束偏轉裝置
2611、2612、2613、2614‧‧‧小平面
28‧‧‧全視場
3011、3012、3013、3014‧‧‧第一局部視場
3021、3022、3023、3024‧‧‧第二局部視場
85‧‧‧處理器
86‧‧‧重疊區域
200‧‧‧攜帶型裝置
202‧‧‧正面
206‧‧‧透明窗
本申請案之有利實施為從屬請求項之標的物。下文將參考圖式更詳細論述本申請案之較佳實施例。圖式示出： 圖1 根據一實施例的3D多孔徑成像裝置之局部示意性三維局部圖示； 圖2 通道及其影像待融化的通道之局部視場之重疊區域之視差源之形成的示意圖； 圖3 用於說明3D多孔徑成像裝置之安裝的行動裝置之透視圖； 圖4 根據一實施例的3D多孔徑成像裝置之模組之三維圖示，其中光學器件例示性地由通過光徑穿透的透明基體支援；及 圖5a及5 b 根據一實施例的3D多孔徑成像裝置之模組之側視圖及俯視圖，其中光軸在光軸之平面中具有預先分叉，且光束偏轉裝置在另一方向上呈現分叉，從而偏轉裝置之小平面之數目可減少，且傾斜可限於一個方向。
10‧‧‧3D多孔徑成像裝置
12、121、122‧‧‧影像感測器
1211、1212、1214‧‧‧第一影像感測器區域
1221、1222‧‧‧第二影像感測器區域
141、142‧‧‧光學通道
1412、1413、1414‧‧‧右通道
1421、1422、1423、1424‧‧‧左通道
15‧‧‧基距
17‧‧‧基距方向
19‧‧‧通道間距離
241、242‧‧‧光束偏轉裝置
28‧‧‧全視場
3011、3012、3013、3014‧‧‧第一局部視場
3021、3022、3023、3024‧‧‧第二局部視場
85‧‧‧處理器
86‧‧‧重疊區域

Claims (23)

  1. 一種3D多孔徑成像裝置，其包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距；一處理器，其用於將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該處理器經組配為藉由使用一對影像中之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合，其中該對影像中之至少一個已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊；其中該處理器經組配以：將已藉由該第二多個光學通道捕獲的影像融合至一第二全影像，且在該第二多個光學通道中之一對光學通道之第二局部視場之一重疊區域中使用一另一對影像中之視差，其中該另一對影像中之至少一者已藉由該第一多個光學通道中之一者捕獲，該第一多個光學通道之經投射的第一局部視場與該第二局部視場之該重疊區域重疊。
  2. 如請求項1之3D多孔徑成像裝置，其中該處理器經組配以： 藉由使用該第一全影像與第二全影像之間的視差生成一深度圖。
  3. 如請求項2之3D多孔徑成像裝置，其中該處理器經組配以：將該第一或該第二全影像翹曲至一虛擬視圖中或將該第一及第二全影像翹曲並融合至該虛擬視圖上，以獲得該深度圖所屬的一最終全影像。
  4. 如請求項1之3D多孔徑成像裝置，其中該處理器經組配以：針對一深度圖判定該第一全影像之各影像點之一深度值。
  5. 如請求項1之3D多孔徑成像裝置，其中該第一多個光學通道與該第二多個光學通道經相同地構造，以基本上相同地對該全視場採樣且無子像素範圍內的相互偏移。
  6. 如請求項1之3D多孔徑成像裝置，其中該處理器經組配以使得該第一多個光學通道分配的該等第一局部視場與該第二多個光學通道分配的該等第二局部視場彼此不同且疊合。
  7. 一種3D多孔徑成像裝置，其包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距； 一處理器，其用於將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該處理器經組配為藉由使用一對影像中之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合，其中該對影像中之至少一個已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊；其中該處理器經組配以使得已藉由該第一多個光學通道捕獲的該等影像及已藉由該第二多個光學通道捕獲的該等影像以及該第一全影像具有相同的橫向空間解析度。
  8. 一種3D多孔徑成像裝置，其包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距；一處理器，其用於將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該處理器經組配為藉由使用一對影像中之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合，其中該對影像中之至少一個已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊；其中該處理器經組配以 至少針對該第一多個光學通道中之每一者藉由使用成對影像之視差產生該第一全影像之一深度圖，該等成對影像包含至少一對包含已藉由該第一多個光學通道中之各別一者捕獲的一影像以及已藉由該第二多個光學通道中之一者捕獲的一另一影像。
  9. 一種3D多孔徑成像裝置，其包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距；一處理器，其用於將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該處理器經組配為藉由使用一對影像中之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合，其中該對影像中之至少一個已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊；其中該第一多個光學通道之一數目在2與100之間，均為包含性的，且該第一多個光學通道中之該對光學通道之該等第一局部視場之該重疊區域，關於該區域，係在藉由該第一多個光學通道捕獲之該等影像之一平均影像大小之1/2與1/1000之間。
  10. 一種3D多孔徑成像裝置，其包含： 一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距；一處理器，其用於將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該處理器經組配為藉由使用一對影像中之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合，其中該對影像中之至少一個已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊；其中該第二多個光學通道之一數目在2與100之間，均為包含性的，且該第二多個光學通道中之一對光學通道之該等第二局部視場之一重疊區域，關於該區域，係在藉由該第一多個光學通道捕獲之該等影像之一平均影像大小之1/2與1/1000之間。
  11. 一種3D多孔徑成像裝置，其包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設 置彼此偏移一基距；一處理器，其用於將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該處理器經組配為藉由使用一對影像中之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合，其中該對影像中之至少一個已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊；其中該第一及第二多個光學通道之該數目相同，且將該全視場劃分為該等第一局部視場大致與將該全視場劃分為該等第二局部視場疊合。
  12. 一種3D多孔徑成像裝置，其包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距；一處理器，其用於將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該處理器經組配為藉由使用一對影像中之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合，其中該對影像中之至少一個已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊； 其中該第一多個光學通道中之該對光學通道之該等局部視場在10m之一影像距離處藉由已藉由該第一多個光學通道中之該對光學通道捕獲之該等影像之至少20個像素之該重疊區域之一寬度彼此投射。
  13. 一種3D多孔徑成像裝置，其包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距；一處理器，其用於將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該處理器經組配為藉由使用一對影像中之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合，其中該對影像中之至少一個已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊；其中該第一及第二多個光學通道各自形成為一單線陣列，並沿一相同的線延伸方向在一線上並置，彼此偏移該基距。
  14. 一種3D多孔徑成像裝置，其包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上； 第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距；一處理器，其用於將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該處理器經組配為藉由使用一對影像中之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合，其中該對影像中之至少一個已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊；其中該處理器經組配為藉由使用該對影像之局部剖面之一交叉相關判定該等視差。
  15. 一種用於融合已藉由一3D多孔徑成像裝置捕獲之影像的方法，該3D多孔徑成像裝置包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；及第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距，該方法包含：藉由通過使用一對影像之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該對影像中之至少一者已藉由該第二多個光學通道中之一者捕 獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊；將已藉由該第二多個光學通道捕獲的影像融合至一第二全影像，且在該第二多個光學通道中之一對光學通道之第二局部視場之一重疊區域中使用一另一對影像中之視差，其中該另一對影像中之至少一者已藉由該第一多個光學通道中之一者捕獲，該第一多個光學通道之經投射的第一局部視場與該第二局部視場之該重疊區域重疊。
  16. 一種用於融合已藉由一3D多孔徑成像裝置捕獲之影像的方法，該3D多孔徑成像裝置包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；及第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距，該方法包含：藉由通過使用一對影像之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該對影像中之至少一者已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊；使得已藉由該第一多個光學通道捕獲的該等影像及已藉由該第二多個光學通道捕獲的該等影像以及該第一全影像具有相 同的橫向空間解析度。
  17. 一種用於融合已藉由一3D多孔徑成像裝置捕獲之影像的方法，該3D多孔徑成像裝置包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；及第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距，該方法包含：藉由通過使用一對影像之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該對影像中之至少一者已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊；以及至少針對該第一多個光學通道中之每一者藉由使用成對影像之視差產生該第一全影像之一深度圖，該等成對影像包含至少一對包含已藉由該第一多個光學通道中之各別一者捕獲的一影像以及已藉由該第二多個光學通道中之一者捕獲的一另一影像。
  18. 一種用於融合已藉由一3D多孔徑成像裝置捕獲之影像的方法，該3D多孔徑成像裝置包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；及第二多個光學通 道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距，其中該第一多個光學通道之一數目在2與100之間，均為包含性的，且該第一多個光學通道中之該對光學通道之該等第一局部視場之該重疊區域，關於該區域，係在藉由該第一多個光學通道捕獲之該等影像之一平均影像大小之1/2與1/1000之間，該方法包含：藉由通過使用一對影像之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該對影像中之至少一者已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊。
  19. 一種用於融合已藉由一3D多孔徑成像裝置捕獲之影像的方法，該3D多孔徑成像裝置包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；及第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距，其中該第二多個光學通道之一數目在2與100之間，均為包含性的，且該第二多個光學通道中之一對光學通道之該等第二局部視場之一重疊區域，關於該區域，係在藉由該第一多個光 學通道捕獲之該等影像之一平均影像大小之1/2與1/1000之間，該方法包含：藉由通過使用一對影像之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該對影像中之至少一者已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊。
  20. 一種用於融合已藉由一3D多孔徑成像裝置捕獲之影像的方法，該3D多孔徑成像裝置包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；及第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距，其中該第一及第二多個光學通道之該數目相同，且將該全視場劃分為該等第一局部視場大致與將該全視場劃分為該等第二局部視場疊合，該方法包含：藉由通過使用一對影像之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該對影像中之至少一者已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊。
  21. 一種用於融合已藉由一3D多孔徑成像裝置捕獲之影像的方法，該3D多孔徑成像裝置包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；及第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距，其中該第一多個光學通道中之該對光學通道之該等局部視場在10m之一影像距離處藉由已藉由該第一多個光學通道中之該對光學通道捕獲之該等影像之至少20個像素之該重疊區域之一寬度彼此投射，該方法包含：藉由通過使用一對影像之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該對影像中之至少一者已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊。
  22. 一種用於融合已藉由一3D多孔徑成像裝置捕獲之影像的方法，該3D多孔徑成像裝置包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；及第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基 距，其中該第一及第二多個光學通道各自形成為一單線陣列，並沿一相同的線延伸方向在一線上並置，彼此偏移該基距，該方法包含：藉由通過使用一對影像之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該對影像中之至少一者已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊。
  23. 一種用於融合已藉由一3D多孔徑成像裝置捕獲之影像的方法，該3D多孔徑成像裝置包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊第一局部視場投射於該影像感測器之第一影像感測器區域上；及第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該第一及第二多個光學通道橫向設置彼此偏移一基距，該方法包含：藉由通過使用一對影像之視差在該第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合將已藉由該第一多個光學通道捕獲的影像融合至一第一全影像，其中該對影像中之至少一者已藉由該第二多個光學通道中之一者捕獲，該第二多個光學通道之經投射的第二局部視場與該重疊區域重疊；藉由使用該對影像之局部剖面之一交叉相關判定該等視差。
TW105126877A 2015-08-24 2016-08-23 ３ｄ多孔徑成像裝置 TWI617177B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??102015216140.4 2015-08-24
DE102015216140.4A DE102015216140A1 (de) 2015-08-24 2015-08-24 3D-Multiaperturabbildungsvorrichtung

Publications (2)

Publication Number Publication Date
TW201711457A TW201711457A (zh) 2017-03-16
TWI617177B true TWI617177B (zh) 2018-03-01

Family

ID=56801537

Family Applications (2)

Application Number Title Priority Date Filing Date
TW106135732A TWI668989B (zh) 2015-08-24 2016-08-23 ３ｄ多孔徑成像裝置
TW105126877A TWI617177B (zh) 2015-08-24 2016-08-23 ３ｄ多孔徑成像裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW106135732A TWI668989B (zh) 2015-08-24 2016-08-23 ３ｄ多孔徑成像裝置

Country Status (9)

Country Link
US (1) US10701340B2 (zh)
EP (1) EP3342148B1 (zh)
JP (1) JP6530135B2 (zh)
KR (1) KR102060585B1 (zh)
CN (1) CN108353117B (zh)
DE (1) DE102015216140A1 (zh)
ES (1) ES2770333T3 (zh)
TW (2) TWI668989B (zh)
WO (1) WO2017032749A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016200287A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
TWI638221B (zh) * 2017-01-05 2018-10-11 旺玖科技股份有限公司 具有至少兩個鏡頭的全景影像擷取裝置及其全景影像擷取模組
DE102017204035B3 (de) 2017-03-10 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017206442B4 (de) 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
DE102017206429A1 (de) 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017208709B3 (de) 2017-05-23 2018-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrrichtung und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017211586A1 (de) 2017-07-06 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer falschlichtempfindlichkeit, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
CN109429055B (zh) * 2017-08-24 2021-02-23 阿里巴巴集团控股有限公司 图像展示、视频文件处理方法及装置
DE102017216172A1 (de) 2017-09-13 2019-03-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer bauhöhe und umschaltbarer blickrichtung, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
US10900776B2 (en) * 2018-02-06 2021-01-26 Saudi Arabian Oil Company Sensor device for distance offset measurements
CN109151281A (zh) * 2018-09-26 2019-01-04 中国计量大学 一种获得深度信息的像素孔径偏移相机
DE102018222861A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation
DE102018222865A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
DE102019204075B4 (de) 2019-03-25 2022-03-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
WO2020245356A1 (de) * 2019-06-06 2020-12-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multikanalabbildungsvorrichtung und vorrichtung mit einer multiaperturabbildungsvorrichtung
CN110568715A (zh) * 2019-09-30 2019-12-13 宁波元年文化传媒有限公司 立体球体表面全覆盖投影装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204575985U (zh) * 2015-05-14 2015-08-19 中国船舶重工集团公司第七一七研究所 一种具有四孔径的稀疏合成孔径光学成像装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155109A (ja) * 1996-11-22 1998-06-09 Canon Inc 撮像方法及び装置並びに記憶媒体
US8023117B2 (en) * 2002-01-09 2011-09-20 Venture Ad Astra, Llc Establishing and maintaining focus in segmented-optic telescopes
US7132664B1 (en) * 2002-11-09 2006-11-07 Crosetto Dario B Method and apparatus for improving PET detectors
JP2006033570A (ja) * 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
DE102009049387B4 (de) * 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
EP2502115A4 (en) * 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
EP2537332A1 (en) * 2010-02-19 2012-12-26 Dual Aperture, Inc. Processing multi-aperture image data
US20120098971A1 (en) * 2010-10-22 2012-04-26 Flir Systems, Inc. Infrared binocular system with dual diopter adjustment
JP2012227679A (ja) * 2011-04-19 2012-11-15 Mathematec Corp ２眼カメラ
WO2013006649A2 (en) 2011-07-05 2013-01-10 Omron Corporation A method and apparatus for projective volume monitoring
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US9378542B2 (en) * 2011-09-28 2016-06-28 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
JP6102930B2 (ja) * 2011-10-14 2017-03-29 オムロン株式会社 射影空間監視のための方法および装置
JP6112419B2 (ja) * 2012-02-03 2017-04-12 パナソニックＩｐマネジメント株式会社 撮像装置および測距装置
US20140085431A1 (en) * 2012-09-21 2014-03-27 Sony Corporation Optical element, optical system and image processing method
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9013543B1 (en) * 2012-11-14 2015-04-21 Google Inc. Depth map generation using multiple scanners to minimize parallax from panoramic stitched images
JP2015037282A (ja) * 2013-08-15 2015-02-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
DE102013222780B3 (de) 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
DE102014213371B3 (de) 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US10469873B2 (en) * 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
WO2016168869A1 (en) * 2015-04-16 2016-10-20 California Institute Of Technology Systems and methods for behavior detection using 3d tracking and machine learning
US10699476B2 (en) * 2015-08-06 2020-06-30 Ams Sensors Singapore Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204575985U (zh) * 2015-05-14 2015-08-19 中国船舶重工集团公司第七一七研究所 一种具有四孔径的稀疏合成孔径光学成像装置

Also Published As

Publication number Publication date
US10701340B2 (en) 2020-06-30
ES2770333T3 (es) 2020-07-01
WO2017032749A1 (de) 2017-03-02
CN108353117A (zh) 2018-07-31
JP6530135B2 (ja) 2019-06-12
KR102060585B1 (ko) 2019-12-30
EP3342148B1 (de) 2020-01-08
TW201711457A (zh) 2017-03-16
KR20180043334A (ko) 2018-04-27
TW201806383A (zh) 2018-02-16
EP3342148A1 (de) 2018-07-04
DE102015216140A1 (de) 2017-03-02
TWI668989B (zh) 2019-08-11
JP2018533248A (ja) 2018-11-08
CN108353117B (zh) 2021-08-24
US20180184068A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
TWI617177B (zh) ３ｄ多孔徑成像裝置
US11244434B2 (en) Multi-aperture imaging device
TWI687099B (zh) 用於成像局部視場的裝置、多孔徑成像裝置及其提供方法
TWI617192B (zh) 具有通道特定可調性之多孔徑成像裝置
JP2018527829A (ja) 光学基板を有するマルチ開口撮像装置
US10225541B2 (en) Stereoscopic display apparatus and control method
JP6217918B2 (ja) アレイ状光学素子、撮像用部材、撮像素子、撮像装置および測距装置
TW201839455A (zh) 多孔徑成像裝置、成像系統和提供多孔徑成像裝置的方法
US20140071247A1 (en) Image pick-up device and distance measuring device
TW201322733A (zh) 影像處理裝置、立體影像顯示裝置、影像處理方法及影像處理程式
TW201901246A (zh) 多孔徑成像裝置、成像系統和提供多孔徑成像裝置的方法
US11924395B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
CN103869483A (zh) 图像显示装置
TWI794571B (zh) 包含用於累積圖像資訊的多孔徑成像裝置的裝置
US9781397B2 (en) Projector and projector system
JP2007206655A (ja) 立体像表示装置
JP2013044893A (ja) 複眼撮像装置及び距離画像取得装置
JP3564383B2 (ja) ３次元動画入力装置
JP2007333525A (ja) 距離測定装置
CN113853543A (zh) 包括用于产生深度图的多孔径成像设备的设备
Boher et al. Full optical characterization of autostereoscopic 3D displays using local viewing angle and imaging measurements
KR20240109744A (ko) 무안경 3차원 디스플레이를 위한 카메라 모듈의 시점을 테스트하는 방법 및 시스템
JP2005283779A (ja) 三次元画像データの取得方法および三次元画像用撮像システム
JP2000258155A (ja) 測距装置
JP2013142742A (ja) 立体画像撮影装置および立体画像表示装置