TWI668989B - ３ｄ多孔徑成像裝置 - Google Patents

３ｄ多孔徑成像裝置 Download PDF

Info

Publication number
TWI668989B
TWI668989B TW106135732A TW106135732A TWI668989B TW I668989 B TWI668989 B TW I668989B TW 106135732 A TW106135732 A TW 106135732A TW 106135732 A TW106135732 A TW 106135732A TW I668989 B TWI668989 B TW I668989B
Authority
TW
Taiwan
Prior art keywords
view
optical channels
image
image sensor
field
Prior art date
Application number
TW106135732A
Other languages
English (en)
Other versions
TW201806383A (zh
Inventor
法蘭克 懷柏曼
安德列斯 布魯克納
安德列斯 布勞爾
亞歷山大 奧伯多斯特
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW201806383A publication Critical patent/TW201806383A/zh
Application granted granted Critical
Publication of TWI668989B publication Critical patent/TWI668989B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

本文描述一種3D多孔徑成像裝置，該3D多孔徑成像裝置一方面能夠在一場景中提供3D資訊，且另一方面允許獲得高橫向解析度及/或一較寬全視場。該3D多孔徑成像裝置設置有用於將一全視場之重疊第一局部視場投射於該3D多孔徑成像裝置之一影像感測器之第一影像感測器區域上的第一多個光學通道，以及設置有用於將該全視場之重疊第二局部視場投射於該影像感測器之第二影像感測器區域上的第二多個光學通道，其中該等第一及第二多個光學通道橫向設置彼此偏移一基距，且當將已藉由該等多個光學通道捕獲之影像融合至該等第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中的一第一全影像時，使用一對影像之視差，其中該等影像中之一者已藉由該等第二多個光學通道中之一者捕獲。

Description

3D多孔徑成像裝置 發明領域
本申請案係關於一種3D多孔徑成像裝置。
發明背景
具有線性通道配置的多孔徑成像系統由幾個並置成像通道構成，每一個僅捕獲物件之一部分。全影像由合併或融合單獨局部影像產生。由於成像通道彼此的有限距離而發生視差，該視差在短物距內尤其顯著，且產生複合全影像中的偽影。除此之外，存在個別通道各自完全捕獲一個及相同場景的多孔徑成像系統，其中自通道之間的視差計算物件或場景之深度上的資訊。
問題出現在當在一個及相同成像系統中需要具有一方面相對較寬視場及另一方面產生深度資訊的場景之高空間或橫向解析度時。
發明概要
本發明提供一種3D多孔徑成像裝置，該3D多孔徑成像裝置允許獲得高橫向解析度及/或寬視場，其中可獲得額外深度資 訊。
此目標係藉由獨立請求項之標的物解決。
本申請案係基於可提供一種3D多孔徑成像裝置之發現，該3D多孔徑成像裝置一方面能夠提供場景上的3D資訊且另一方面允許獲得高橫向解析度及/或寬視場，其中該3D多孔徑成像裝置設置有用於將全視場之重疊第一局部視場投射於該3D多孔徑成像裝置之影像感測器之第一影像感測器區域上的第一多個光學通道，以及設置有用於將該全視場之重疊第二局部視場投射於該影像感測器之第二影像感測器區域上的第二多個光學通道，其中該等第一及第二多個光學通道橫向設置彼此偏移一基距，且當將已藉由第一多個光學通道捕獲之影像融合至該等第一多個光學通道中之一對光學通道之第一局部視場之重疊區域中的第一全影像時，使用一對影像之視差，其中該等影像中之一者已藉由該等第二多個光學通道中之一者捕獲。因此，全視場兩次分為僅部分重疊局部視場，亦即，以第一多個光學通道之形式，且另一次以第二多個光學通道之形式，從而可能獲得全視場之所需橫向解析度及/或所需寬度及獲得跨越全視場的視差資訊。將藉助於第一多個光學通道獲得之影像融合至全影像中使得在第一多個光學通道中之通道之間的視差發生更少，此係由於將已藉由第一多個光學通道捕獲之影像融合至第一全影像中係由藉由評估已由第二多個光學通道之通道中之一者捕獲之影像獲得的視差資訊支援。特定而言，將第一多個光學通道之通道之間的橫向距離保持較低為可能的。必然發生的橫向距離引起第一多個通道之通道之間的視差。當融合多個 第一多個通道之影像時，將影像融合於重疊區域中之物距相依性可關於僅評估第一多個光學通道之影像當中的視差的程序以改進方式實現，此係由於使用了一對影像之影像之間的視差，其中該等影像中之一者已藉由第二多個光學通道中之一者捕獲。此可為其中之一者已藉由第一多個通道且另一者藉由第二多個通道捕獲之一對影像，或為其中兩者均已藉由來自第一或第二多個通道的不同通道捕獲的一對影像。然而，與超過一對影像的視差可用於重疊區域。除此之外可能顯然為兩者均已藉由來自第二多個通道的不同通道捕獲的一對影像，亦即，待融合的一對影像。
1、2‧‧‧模組
10‧‧‧3D多孔徑成像裝置
12、121、122‧‧‧影像感測器
1211、1212、1213、1214‧‧‧第一影像感測器區域
1221、1222‧‧‧第二影像感測器區域
141、142‧‧‧光學通道
1411、1412、1413、1414‧‧‧右通道
1421、1422、1423、1424‧‧‧左通道
15‧‧‧基距
1611、1612、1613、1614‧‧‧光學器件
17‧‧‧基距方向
181‧‧‧共同固持器
19‧‧‧通道間距離
2211、2212、2213、2214‧‧‧光軸
241、242‧‧‧光束偏轉裝置
2611、2612、2613、2614‧‧‧小平面
28‧‧‧全視場
3011、3012、3013、3014‧‧‧第一局部視場
3021、3022、3023、3024‧‧‧第二局部視場
85‧‧‧處理器
86‧‧‧重疊區域
200‧‧‧攜帶型裝置
202‧‧‧正面
206‧‧‧透明窗
本申請案之有利實施為從屬請求項之標的物。下文將參考圖式更詳細論述本申請案之較佳實施例。圖式示出：圖1 根據一實施例的3D多孔徑成像裝置之局部示意性三維局部圖示；圖2 通道及其影像待融化的通道之局部視場之重疊區域之視差源之形成的示意圖；圖3 用於說明3D多孔徑成像裝置之安裝的行動裝置之透視圖；圖4 根據一實施例的3D多孔徑成像裝置之模組之三維圖示，其中光學器件例示性地由通過光徑穿透的透明基體支援；及圖5a及5b 根據一實施例的3D多孔徑成像裝置之模組之側視圖及俯視圖，其中光軸在光軸之平面中具有預先分叉，且光 束偏轉裝置在另一方向上呈現分叉，從而偏轉裝置之小平面之數目可減少，且傾斜可限於一個方向。
較佳實施例之詳細說明
圖1展示根據一實施例的3D多孔徑成像裝置10。該3D多孔徑成像裝置具有可分別分為兩個組件121及122的影像感測器，如圖1所指示，一個組件121用於「右」光學通道141且另一組件122用於「左」通道142。在圖1之實例中，右光學通道141及左光學通道142經相同地構造，然而，彼此橫向偏移一基距15以關於裝置10之視場內的場景獲得儘可能多的深度資訊。因此，具備在自左方的第一位置具有索引1的參考號的元件屬於第一組件1或設備10之右通道的第一模組(模組1)，且具備在自左方的第一位置具有索引2的參考號的元件屬於第二組件2或裝置10之左通道的第二模組(模組2)。儘管在圖1中模組之數目為兩個，但該裝置亦可具有超過兩個，其設置在彼此的各別基距處。
在圖1之例示性情況中，各多個光學通道141及142包括四個並置光學通道。單獨「右」通道藉由第二下標索引區分。通道自右向左經索引化，亦即，由於出於清晰目的之部分省略未圖示於圖1中之光學通道1411(例如)沿基距方向17設置在最外右邊緣，左及右通道沿該基距方向設置為彼此偏移基距15，亦即，遠離多個左通道142，其中其他右通道1412-1414順著基距方向17。因此，通道1411-1414形成光學通道之單線陣列，其線延伸方向對應於基距方向17。左通道142以相同方式構造。其亦可藉由第二下標索引區分。左通道1421-1424設置為彼此靠近且連續地 在與右通道1411-1414相同的方向上，亦即，以使得通道1421最接近右通道，且通道1424最遠離後者。
右通道1411-1414中之每一者包括各別光學器件，如圖1所指示，其可由透鏡系統組成。替代地，各通道可包含一透鏡。各光學通道1411-1414捕獲全視場28之重疊局部視場中之一者，其彼此重疊且一起覆蓋全視場28。通道1411(例如)將局部視場3011投射於影像感測器區域1211上，光學通道1412將局部視場3012投射於影像感測器區域1212上，光學通道1413將分配的局部視場3013投射於圖1中未見的影像感測器12之各別影像感測器區域1213上，且光學通道1414將分配的局部視場3014投射於由於消除在圖1中亦未展示的各別影像感測器區域1214上。
在圖1中，影像感測器12之影像感測器區域1211-1214或影像感測器12之組件121設置在平行於基距方向15或平行於線延伸方向17的平面中，且光學通道1411-1414之光學器件之透鏡平面亦平行於此平面。另外，影像感測器區域1211-1214設置有彼此的橫向通道間距離19，光學通道1411-1414之光學器件在彼方向上亦設置有通道間距離，以使得光學通道1411-1414之光軸及光徑在影像感測器區域1211-1214及光學器件1411-1414之間彼此平行運行。影像感測器區域1211-1214之中心及光學通道1411-1414之光學器件之光學中心設置在(例如)各別光軸上，該光軸垂直於影像感測器區域1211-1214之上述共同平面運行。
光學通道1411-1414之光軸或光徑藉由光束偏轉裝置241偏轉且因此具備分叉，其具有光學通道1411-1414之局部視場3011-3014僅部分重疊之效果，例如，以使得局部視場3011-3014關 於立體角成對重疊最多50%。如圖1中所指示，光束偏轉裝置241(例如)針對各光學通道1411-1414可具有反射小平面，其在通道1411-1414當中關於彼此以不同方式傾斜。反射小平面關於影像感測器平面之一般傾角在(例如)垂直於平面的方向上偏轉右通道1411-1414之全視場，其中光學通道1411-1414之光學器件之光軸分別在藉由裝置241之光束偏轉之前及無該光束偏轉之情況下運行，或偏移此垂直方向小於10℃。替代地，光束偏轉裝置241亦可使用稜鏡以用於光學通道1411-1414之單獨光軸或光徑之光束偏轉。
光束偏轉裝置241提供具有分叉的光學通道1411-1414之光徑，以使得實際上在方向17上線性並置的通道1411-1414以二維方式覆蓋全視場28。
應注意，光徑或光軸亦可與所述平行度偏移，但光學通道之光徑之平行度仍可為不同的，以使得藉由單獨通道1411-1414覆蓋或投射於各別影像感測器區域1211-1214上的局部視場將在無任何其他措施(諸如光束偏轉)之情況下經大部分重疊，以使得藉由多孔徑成像10覆蓋更大全視場，光束偏轉裝置24提供具有額外分叉的光徑，以使得通道1411-1414之局部視場彼此重疊更少。光束偏轉裝置241(例如)具有全視場具有跨越所有方位角或所有橫向平均的孔徑角之效果，該孔徑角較光學通道1411-1414之局部視場之各別平均孔徑角大1.5倍。
左通道1421-1424與右通道1411-1414以相同方式構造，且關於分別分配的影像感測器區域1221-1224定位，其中在與通道1411-1414之光軸相同的平面中彼此平行運行的光學通道 1421-1424之光軸藉由對應的光束偏轉裝置242偏轉，以使得光學通道1421-1424以幾乎疊合的方式捕獲相同的全視場28，亦即，在全視場28以二維方式劃分的彼此重疊的局部視場3021-3024中，且其中該等局部視場中之一者幾乎完全與右通道1411-1414之各別通道之各別局部視場3011-3014重疊。舉例而言，局部視場3011及局部視場3021、局部視場3012及3022等幾乎完全重疊。
影像感測器區域1211-1224可(例如)各自由包括各別像素陣列的晶片形成，其中晶片可安裝在共同基體或共同板上或在幾個板上成組，如圖1所指示，以用於將組件121之影像感測器區域1211-1214之晶片單獨放在板上及將組件122之影像感測器區域1221-1224之晶片放在另一板上。替代地，影像感測器區域1211-1224一起或成組形成將亦為可能的，諸如根據組件121及122之分配與跨越各別影像感測器區域連續延伸的共同像素陣列之一部分分離，其中共同像素陣列形成於(例如)單晶片上。接著，例如，僅在各別影像感測器區域中讀出共同像素陣列之像素值。此等替代例之不同組合亦係可能的，諸如存在組件121及122內用於兩個或大於兩個通道之一個晶片及用於不同通道或其類似者之另一晶片。
除上述組件之外，3D多孔徑成像裝置包括處理器85，該處理器執行將已在由3D多孔徑成像裝置10捕獲期間藉由右光學通道1411-1414捕獲之影像融合至第一全影像之任務。待解決之問題為：由於右通道1411-1414之相鄰通道之間的通道間距離19，在捕獲期間已藉由影像區域1211-1214中之通道1411-1414捕獲的影像不能關於一個簡單地或平移地移位及放置至彼此上。 換言之，上述者不能輕易融合。沿當捕獲相同場景時的對應於彼此但常駐在不同影像內的影像感測器區域1211-1214之影像中的方向15、17或19的橫向偏移被稱作視差。對應影像內容之視差再次取決於場景內的此影像內容之距離(亦即，各別物件與裝置10之距離)。處理器85現可嘗試評估影像感測器區域1211-1214自身之影像當中的視差以將此等影像融合至第一全影像(亦即，「右全影像」)。然而，不利的是，存在通道間距離19，且因此僅導致問題，然而，另一方面，通道間距離19相對較低，以使得深度解析度或估計僅為不精確的。因此，(例如)藉助於相關性嘗試判定兩個影像之間的重疊區域中(諸如影像感測器區域1211及1212之影像之間的重疊區域86中)的對應影像內容為困難的。
因此，為了融合，圖1之處理器在局部視場3011及3012之間的重疊區域86中使用其中一者已藉由左通道1421或1422捕獲且其經投射的第二局部視場(亦即，3021或3022)與重疊區域86重疊的一對影像的視差。舉例而言，為了融合影像感測器區域1211及1212，處理器85評估影像(亦即，已藉由影像感測器區域1211或1212中之一者捕獲的影像)中之視差，其中影像中之一者已藉由影像感測器區域1221或1222中之一者捕獲，且另一者藉由重疊區域86中涉及的通道捕獲。隨後，此對具有基本基距加/減一個或零個通道基距19的基距15。後一基距顯著大於單通道基距19，此為處理器85更容易判定重疊區域86中之視差之原因。因此，為了融合右通道之影像，處理器85評估由左通道之影像導致且較佳地但非排他地在來自右通道中之一者及左通道中之一者的影像之間的視差。
更特定而言，處理器85採用局部視場3011之一部分為可能的，該視場不與大體上直接來自影像1211的右通道之其他局部視場中之一者重疊且基於影像感測器區域1212-1214之影像針對局部視場3012、3013及3014之非重疊區域相同地執行，其中影像感測器區域1211-1214之影像經(例如)同時捕獲。僅在相鄰局部視場之重疊區域(諸如局部視場3011及3012)中，處理器85使用影像對之視差，其在全視場28中之重疊在重疊區域中重疊，但自其多個但不僅一個已藉由右通道中之一者且另一者藉由左通道中之一者再次(例如)同時捕獲。
根據一替代程序，處理器85根據影像對之間的視差之評估翹曲右通道之所有影像將亦為可能的，其中影像中之一者已藉由右通道捕獲，且另一者藉由左通道捕獲。以此方式，針對右通道之影像藉由處理器85計算之全影像可實際上不僅在右通道之局部視場3011-3014之重疊區域中而且實際上在焦點上的非重疊區域中翹曲，其(例如)橫向地在右通道1411-1414之間的中心中，此係因為即使對於不重疊的局部視場3011-3014之彼等區域，影像對之視差亦藉由處理器85評估，其中一個影像已藉由右通道中之一者捕獲，且另一影像藉由左通道中之一者捕獲。
圖1之3D多孔徑成像裝置10不僅能夠產生來自右通道之影像的全影像，而且圖1之3D多孔徑成像裝置10亦能夠至少以一種操作模式自經捕獲的影像產生除第一通道之全影像之外的左通道之影像之全影像及/或除右通道之全影像之外的深度圖。
根據第一替代例，處理器85經組配為(例如)將已分別藉由左光學通道1421-1424及影像感測器區域1221-1224捕獲的影像融合至第二全影像(亦即，左通道之全影像)，且在左光學通道之橫向相鄰局部視場3021-3024之重疊區域中使用一對影像之視差，影像中多個但不僅一個已藉由右光學通道1411-1414捕獲且與一對局部視場3021-3024之各別重疊區域重疊，且另一者較佳地藉由左光學通道中之一者捕獲，其中局部視場與各別重疊區域重疊。
根據第一替代例，處理器85輸出兩個全影像用於一個捕獲，亦即，一個用於右光學通道，及另一個用於左光學通道。此等兩個全影像可分別提供給使用者(例如，提供給使用者的兩個眼睛)，且因此引起所捕獲場景的三維曝光。
根據另一上述替代例，處理器85藉由使用包含右通道1411-1414中之一者的至少一對的影像對的視差產生除右通道之全影像之外的深度圖，影像包含已藉由各別右通道捕獲之一個影像及已藉由左通道中之一者捕獲的另一影像。
在深度圖由處理器85產生的實施例中，基於深度圖針對已藉由右通道捕獲的所有影像執行上述翹曲亦為可能的。由於深度圖包含跨越全視場28的深度資訊，因此將已藉由右通道捕獲的所有影像(亦即，不僅在相同重疊區域中而且在非重疊區域中)分別翹曲至虛擬共同孔徑點及虛擬光學中心為可能的。
兩個替代例亦可均藉由處理器85處理。相同的可首先產生兩個全影像，亦即一個用於右光學通道且另一個用於 左光學通道，如上文所描述，此係藉由在融合右通道之影像之間的重疊區域中的右通道之影像時使用其中一者屬於左通道之影像的影像對之視差，及在融合左通道之影像之間的重疊區域中的左通道之影像時亦使用其中一者屬於右通道之影像的影像對的視差而產生，且隨後自以彼方式獲得的表示自不同視角的全視場中的場景的全影像產生具有分配之深度圖的全影像，諸如位於右光學通道及左光學通道之光學器件之光學中心之間但針對虛擬視角或針對虛擬光學中心可能不僅位於其之間的全景像。為了計算深度圖且為了翹曲兩個全影像中之一者或將兩個全影像翹曲及融合至虛擬視圖中，處理器85使用實際上分別作為左單獨影像及右單獨影像之先前融合之中間結果的右全影像及左全影像。此處，處理器評估兩個中間結果全影像之視差以獲得深度圖及執行其翹曲或翹曲/融合。
應注意，處理器(例如)藉助於影像區域之交叉相關執行一對影像之視差之評估。
圖2亦展示處理器85可為了作為用以將已藉由左通道之一對光學器件投射如局部視場3011及3012所例示的一對緊鄰的局部視場於其上的一對影像感測器所捕獲的影像予以融合的基礎，而使用出自此對影像之視差，此等視差乃為總計，亦即「四取二」種視差源的另外一或若干個視差，且其中該等視差源亦即為與此對緊鄰局部視場之間的重疊區域中的場景物件之視差相關的影像感測器區域之影像對。在圖2中，此針對局部視場3011與3012之間的陰影相交重疊區域例示性地指示：除待融合 的右通道1411及1412(視差源1)之該對影像之外，存在四對影像，其中一者藉由右通道投射，且一者藉由各別影像感測器區域上的左通道投射且藉由後者(視差源2、3、4、5)捕獲，亦即，藉助於通道1411及1421(視差源2)捕獲的影像、藉助於通道1411及1422(視差源3)捕獲的影像、藉助於通道1412及1422(視差源4)捕獲的影像以及藉助於通道1412及1421(視差源5)捕獲的影像。此外，存在一對影像，其中兩者均藉由各別影像感測器區域上的左通道投射且藉由後者(視差源6，1421及1422成對)捕獲。處理器可使用一或多個額外源3或5以供融合支援。根據上述替代例，若處理器85亦計算全視場28之深度圖，則處理器可根據用於影像融合之程序自超過一個影像對之視差之評估判定視場28之各點處的深度圖，其中一者藉由右通道投射且一者藉由各別影像感測器區域上的左通道投射，並藉由後者捕獲，亦即，在除右通道之局部視場及左通道之局部視場外另一對亦重疊之點處。在圖2中，此僅為在與左通道之局部視場之重疊區域相同的右通道之局部視場之重疊區域處的情況，此係由於與左通道之局部視場之疊合，但在其他實施例中此疊合可能不存在。
應提及，在一方面藉由左通道之局部視場及另一方面藉由右通道之局部視場之全視場28之不同覆蓋中，可能超過四個通道(不考慮其分配至左通道或右通道)彼此重疊，(例如)在線方向或行方向上的先前實例之局部視場之重疊區域之間的互相重疊處其亦如此，其中右通道之局部視場以及左通道之局部視場各自設置在行及列中。隨後，其對於視差源之數目為者一般適用，其中N係指具有重疊局部視場的通道之數目。
除以上描述之外，應提及，處理器85除其他之外視情況亦執行各別通道之透視投射錯位之通道方向校正。
應注意，圖1之實施例在許多方面僅為例示性的。此(例如)涉及光學通道之數目。右光學通道之數目(例如)為四，但無論如何大於/等於2或在2與10之間(兩者均為包含性的)，且右光學通道之局部視場之重疊區域(只要針對各局部視場或各通道，考慮具有針對各別局部視場的最大重疊的對)針對所有此等對關於該區域可在影像之平均影像大小之1/2與1/1000之間，該等影像已藉由影像區域1211-1214捕獲，(例如)在影像平面(亦即，影像感測器區域之平面)中量測。上述者(例如)應用於左通道。然而，該數目可在右通道與左通道之間變化。此意謂左光學通道之數目NL及右光學通道之數目NR不必相同，且將全視場28劃分為左通道之局部視場及右通道之局部視場在圖1之情況時不必大致相同。關於局部視場及其重疊，其可使得局部視場至少針對具有最大重疊的所有對彼此投射，例如只要考慮10m之影像距離或物距藉由至少20個像素投射，其中此可應用於右通道及左通道兩者。
此外，與以上陳述相反，左光學通道及右光學通道分別形成於單線中為不必的。左及/或右通道亦可形成光學通道之二維陣列。另外，單線陣列具有共線延伸方向為不必要的。然而，圖1之配置為有利的，此係由於上述者導致與平面垂直的最低安裝高度，其中光學通道(亦即，右通道及左通道兩者)之光軸分別在光束偏轉之前及無光束偏轉之情況下運行。關於影像感測器12，已提及上述者可由一個、兩個或幾個晶片形 成。舉例而言，可提供每影像感測器區域1211-1214及1221-1224一個晶片，其中在幾個晶片之情況下，上述者可安裝在一個或幾個板上，諸如用於左通道或左通道之影像感測器之一個板及用於右通道之影像感測器之一個板。
因此，在圖1之實施例中，將相鄰通道儘可能密集地放置在右通道或左通道之通道內為可能的，其中在最佳情況下，通道距離19對應於透鏡直徑。此導致低通道距離且因此導致低視差。一方面的右通道及另一方面的左通道亦可在彼此任何距離15處設置，以使得可實現較大視差。總之，產生假影減少或甚至無假影的影像融合及產生具有被動光學成像系統的深度圖的選擇。
與以上實例相反，使用超過兩組通道141及142將為可能的。組之數目可被稱作N。若在此情況下，每組之通道之數目相同且針對所有組分為局部視場的全視場相同，則視差源之數目(例如)將根據組141之局部視場之重疊區域產生。然而，如上文已提及，通道組之不同全視場劃分亦為可能的。
最後，應注意，在以上描述中，僅例示性情況已陳述處理器85融合右通道之影像。如上所述，相同程序亦可藉由處理器85分別針對兩個及所有通道組或亦針對左通道或類似者執行。
圖1之3D多孔徑成像裝置可安裝在(例如)行動裝置(諸如行動電話)之平殼中。此處，影像感測器區域1211-1214及1221-1224之平面以及左通道及右通道之光學器件之任何透鏡平面可平行於平殼之厚度方向運行。由於分別藉由光束偏轉裝置241及242之光束偏轉，3D多孔徑成像裝置之全視場將(例如)在(例如) 行動裝置之螢幕經定位的正面的前方，或在行動裝置之背面的前方。
圖3展示(例如)上述替代例之裝置10如何安裝於(例如)攜帶型裝置200之平殼中，該攜帶型裝置可為(例如)行動電話、智慧型電話或媒體播放機或類似者中之一者。部件121及122之影像感測器區域之平面及通道141及142之光學器件之透鏡平面分別垂直於平殼之扁平延伸方向及平行於厚度方向定向。以此方式，舉例而言，光束偏轉裝置241及242將分別具有多孔徑成像裝置10之全視場位於平殼之正面202之前方的效果，該平殼(例如)亦包含螢幕。替代地，以視場在平殼之背面的前方的方式，偏轉將亦為可能的，平殼之背面與正面202相對。外殼可能在穿透側202具有透明窗206以使該組光學通道141及142之光徑通過。裝置200之外殼或裝置自身可為平坦的，此係由於歸因於裝置10在外殼中之所說明位置，裝置10的安裝高度(其平行於外殼之厚度)可保持低。將裝置10安裝至另一可能非攜帶型裝置(諸如汽車)中亦將係可能的。
分別關於光束偏轉裝置241及242，應注意，上述者呈現可選元件。光學通道(亦即，一方面其間的右通道及另一方面其間的左通道)之光徑之分叉較使用各別光束偏轉裝置241-242亦可以不同方式產生。光學通道之光學器件之光學中心可(例如)與分配之影像感測器區域橫向偏移以在一方面左通道之間及另一方面右通道之間產生僅部分(亦即)局部視場之不完全重疊。
為了對此進一步說明，圖4又展示根據圖1的組配 的特定實例，其中，在各模組1及2中，各別偏轉構件241及242分別產生分別為光學通道141#及142#之分別來自光軸211及222的分叉，該等通道首先彼此平行。為簡單起見，圖4僅說明具有右通道之模組1，但說明及描述因此適用於模組2。
圖4展示各光學通道1411、1412、1413、1414藉助於分配的光學器件1611-1614將全視場28之各別通道單獨部分3011-3014分別投射至影像感測器121之各別影像感測器區域1211、1212、1213及1214上。光學器件1611至1614由(例如)如圖4中所示可藉由共同固持器181保持的透鏡中之每一者或一組透鏡組成。例示性地，固持器181由透明材料形成並藉由光學通道之光徑穿透但亦存在用於固持器之其他替代例。影像感測器區域1211-1214設置於共同平面(亦即光學通道141之影像平面)中。在圖4中，此平面例示性地平行於藉由圖1中展示用於簡化以下描述並具備參考數字20的笛卡爾座標系統之x軸及y軸所表示的平面。在一個實施例中，此可能為影像感測器區域1221至1224位於的相同平面。光學器件1611-1614(例如)亦並置於與影像感測器12平行(亦即，與xy平面平行)的平面中。在圖4之實例中，影像感測器平面中之影像感測器區域1211-1214的相對位置另外與光學器件1611-1614及光學器件1611-1614之沿著x軸及y軸(亦即與影像感測器121有關的橫向)的相對位置一致定位，以使得光學器件161-164之光學中心相對於影像感測器區1211-1214之中心而定中心。此意謂在圖4之實例中，光學通道1411-1414之光軸2211-2214首先彼此平行且平行於座標系統20之z軸運行，影像感測器區域1211-1214及光學器件1611t-1614關於該光軸以定中心方式定位。根據一實施例，光學中心 之平面將在模組1與2之間再次相同。視情況存在之基體181可針對各模組單獨提供或可支援兩個模組之光學器件。該裝置包含一個或幾個能夠改變光學器件1611-1614關於影像感測器區域1211-1214在橫向方向上(亦即，在x及/或y方向上)的相對位置(例如)以用於影像穩定的構件為可能的。光學器件1611-1614將全視場28中之場景中的物件投射於分配的影像感測器區域1211-1214上，且出於此目的，上述者經定位與影像感測器121相距各別距離。由於此距離亦可為固定的，替代地，可提供用於改變此影像感測器/光學器件距離的構件，諸如用於手動或自動焦點變化。光束偏轉裝置241分別偏轉多個光學通道14之光徑及光軸2211-2214，以使得全視場28不在z軸方向上而在別的某處。圖4表示全視場28在偏轉後基本上沿y軸(亦即，基本上在zy平面中執行偏轉)的例示性情況。現如上文所描述，在圖4之實施例中，光軸2211-2214分別在藉由光束偏轉裝置241之偏轉之前及無此偏轉之情況下彼此平行，且(例如)分別在光學器件1611-1614處。光學器件1611-1614以及影像感測器區1211-1214之對應中心定位易於產生且在最小化安裝空間方面有利。然而，光學通道之光徑之平行度亦具有如下效果，亦即，藉由單獨通道1411-1414覆蓋且分別投射於各別影像感測器區域1211-1214上的局部視場將在無其他措施(諸如光束偏轉)之情況下幾乎完全重疊。為了覆蓋更大全視場28，圖4之光束偏轉裝置241之另一功能為提供具有分叉的光徑的光軸，亦即偏轉光徑，以使得通道1411-1414之局部視場3011-3014彼此重疊更少。在圖4之實例中，為此，分配至單獨光學通道的光束偏轉裝置241之小平面2611-2614關於彼此或相對於影像感測器 121具有不同傾斜，亦即，均在x軸周圍且與其垂直的傾斜。
上文已提及，光徑及光軸分別可在分別在光束偏轉之前及無光束偏轉之情況下與平行度背離。此情況將在下文中描述，通道可具備光軸之某種預先分叉。在光軸2211至2214之此預先分叉情況下，例如並非所有小平面傾斜係不同的，但使通道之一些群組具有例如相同傾斜之小平面將係可能的。後者隨後可一體地形成或彼此連續地合併為一個小平面，可謂，其分配至在線延伸方向上相鄰的此組通道。此等通道之光軸的分叉可接著源自如藉由通道之光學器件與影像感測器區的光學中心之間的橫向偏移獲得的此等光軸之分叉。預先分叉可例如限於一個平面。光軸可(例如)分別在光束偏轉之前及無光束偏轉之情況下在共同平面中運行，但在上述者內為分叉的，且小平面僅影響額外分叉，亦即，在其他橫向平面中的方向之偏轉或改變，亦即，其均平行於線延伸方向且關於彼此傾斜，僅與光軸之上述共同平面不同，其中同樣幾個小平面可具有相同傾斜或可一起分配至一組通道，其光軸(例如)分別在光束偏轉之前及無光束偏轉之情況下在成對光軸之上述共同平面中不同。
可例如藉由使光學件之光學中心位於沿著線延伸方向之直線上而獲得可能存在的上文所提及之預先發散，而影像感測器區域之中心偏離光學中心沿著影像感測器區域之平面之法線至影像感測器平面中之直線上之點上的投影而設置，例如設置在沿著線延伸方向及/或沿著垂直於線延伸方向及影像感測器法線兩者的方向以通道個別方式偏離影像感測器平面中之先前所提及直線上的點。替代地，可獲得預先發散，此係因為 影像感測器之中心位於沿行延伸方向之直線上，而光學件之中心在光學件中心平面中之直線上的點處(諸如，在以通道個別方式沿行延伸方向及/或沿垂直於行延伸方向及光學件中心平面之法線兩者之方向偏離光學件中心平面中之上文所提及直線上的點的點處)沿光學件之光學中心的平面之法線偏離影像感測器之光學中心之投影而配置。較佳地，自各別投射的上述通道單獨偏移僅在線延伸方向上運行，亦即，僅在共同平面中的光軸具備預先分叉。接著，光學中心及影像感測器區中心兩者係在平行於線延伸方向的直線上但具有不同中間距離。對比而言，透鏡與影像感測器之間的在橫切於線延伸方向之垂直方向中之橫向偏移將導致安裝高度的增加。行延伸方向上之純平面內偏移不會改變安裝高度，但可導致更少小平面及/或小平面僅具有簡化結構之角度定向上之傾斜。此圖示於圖5a及圖5b中，其中一方面的相鄰通道1411及142及相鄰通道1413及1414包含光軸2211及2212及2213及2214，其分別在共同平面中運行，各自關於彼此為斜視的，亦即，具備預先分叉。小平面2611及2612可由一個小平面形成，且小平面2613及2614可由另一小平面形成，如由各別成對小平面之間的虛線所指示，且僅兩個小平面僅在一個方向上傾斜且皆平行於線延伸方向。
應注意，作為圖5a及圖5b之替代例，同樣光學通道1及2以及通道3及4可彼此彙集運行，且兩對同樣彙集至彼此，其中同樣所有光軸在一個平面內運行。以此方式，可使小平面在線延伸方向上更小。
同樣，應注意，出於明晰之原因，圖4及圖5a、 圖5b僅展示一個模組，但各別另一模組可以相同方式構造。此外，應再次提及，每一模組之通道之數目不限於四個。
此外，可規定，在一個模組中，諸如出於超解析度或增加對應局部視場由此等通道取樣使用之解析度，一些光學通道被分配至同一局部視場。此群組內之光學通道將接著(例如)在光束偏轉之前為平行的，且將由小平面偏轉至局部視場。有利地，群組之通道的影像感測器之像素影像將放置在此群組之另一通道的影像感測器的像素之影像之間的中間位置中。因此，在空間解析度之意義上且不在每像素之數目之意義上，全視場將不由模組採樣以使得各通道捕獲具有完整解析度但僅具有減少解析度的全視場之其一部分，亦即，其局部視場。僅使用像素偏移將產生具有較高解析度的全影像，其中各局部視場較捕獲單獨地考慮且與上文數量不同的此局部視場的通道之影像將包含更多像素。然而，將僅獲得具有減少之解析度的深度圖且並非如上文分別具有全影像解析度及深度值，及分別全影像之每像素之深度圖像素，以及分別地全影像。此外，對於光束偏轉裝置及影像感測器，上述者如上所述關於光學基體應用，亦即，模組1及2亦可共用各別元件。針對影像穩定目的，光束偏轉裝置可為繞平行於x軸的軸線可旋轉的。連同光學器件沿x軸之平移移動，此導致在兩個方向上全視場之影像穩定，其中可經由光學器件沿z軸之平移移動實現聚焦控制。

Claims (6)

  1. 一種3D多孔徑成像裝置，其包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊的第一局部視場投射於該影像感測器之第一影像感測器區域上；第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該等第一及第二多個光學通道橫向設置彼此偏移一基距；一處理器，其用於將已藉由該等第一多個光學通道捕獲的影像融合成一第一全影像，其中該處理器經組配為藉由使用一對影像中之視差在該等第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合，其中該對影像中之至少一個已藉由該等第二多個光學通道中之一者捕獲，該等第二多個光學通道中之該一者之經投射的第二局部視場與該重疊區域重疊。
  2. 如請求項1之3D多孔徑成像裝置，其中該處理器經組配以：針對出自經捕獲的影像之一深度圖判定關於該第一全影像之各影像點之一深度值。
  3. 如請求項2之3D多孔徑成像裝置，其中該處理器經組配以使用影像對中的視差判定該深度圖，其中各影像對包含以該等第一多個光學通道中之一者所捕獲的一影像，及以該等第二多個光學通道中之一者所捕獲的一各自的影像。
  4. 如請求項1之3D多孔徑成像裝置，其中該等第一多個光學通道與該等第二多個光學通道經相同地構造，以除了由該基距所導致的效果外相同地對該全視場採樣且無子像素範圍內的相互偏移。
  5. 如請求項1之3D多孔徑成像裝置，其中該處理器經組配以使得該等第一多個光學通道分配的該等第一局部視場與該等第二多個光學通道分配的該等第二局部視場彼此不同且疊合。
  6. 一種用於融合已藉由一3D多孔徑成像裝置捕獲之影像的方法，該3D多孔徑成像裝置包含：一影像感測器；第一多個光學通道，其用於將一全視場之重疊的第一局部視場投射於該影像感測器之第一影像感測器區域上；及第二多個光學通道，其用於將彼此重疊且與該等第一局部視場重疊的該全視場之第二局部視場投射在該影像感測器之第二影像感測器區域上，其中該等第一及第二多個光學通道橫向設置彼此偏移一基距，該方法包含：藉由通過使用一對影像之視差在該等第一多個光學通道中之一對光學通道之第一局部視場之一重疊區域中執行融合來將已藉由該等第一多個光學通道捕獲的影像融合成一第一全影像，其中該對影像中之至少一者已藉由該等第二多個光學通道中之一者捕獲，該等第二多個光學通道中之該一者之經投射的第二局部視場與該重疊區域重疊。
TW106135732A 2015-08-24 2016-08-23 ３ｄ多孔徑成像裝置 TWI668989B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??102015216140.4 2015-08-24
DE102015216140.4A DE102015216140A1 (de) 2015-08-24 2015-08-24 3D-Multiaperturabbildungsvorrichtung

Publications (2)

Publication Number Publication Date
TW201806383A TW201806383A (zh) 2018-02-16
TWI668989B true TWI668989B (zh) 2019-08-11

Family

ID=56801537

Family Applications (2)

Application Number Title Priority Date Filing Date
TW106135732A TWI668989B (zh) 2015-08-24 2016-08-23 ３ｄ多孔徑成像裝置
TW105126877A TWI617177B (zh) 2015-08-24 2016-08-23 ３ｄ多孔徑成像裝置

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW105126877A TWI617177B (zh) 2015-08-24 2016-08-23 ３ｄ多孔徑成像裝置

Country Status (9)

Country Link
US (1) US10701340B2 (zh)
EP (1) EP3342148B1 (zh)
JP (1) JP6530135B2 (zh)
KR (1) KR102060585B1 (zh)
CN (1) CN108353117B (zh)
DE (1) DE102015216140A1 (zh)
ES (1) ES2770333T3 (zh)
TW (2) TWI668989B (zh)
WO (1) WO2017032749A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016200287A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
TWI638221B (zh) * 2017-01-05 2018-10-11 旺玖科技股份有限公司 具有至少兩個鏡頭的全景影像擷取裝置及其全景影像擷取模組
DE102017204035B3 (de) 2017-03-10 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017206442B4 (de) * 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
DE102017206429A1 (de) 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017208709B3 (de) 2017-05-23 2018-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrrichtung und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017211586A1 (de) 2017-07-06 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer falschlichtempfindlichkeit, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
CN109429055B (zh) * 2017-08-24 2021-02-23 阿里巴巴集团控股有限公司 图像展示、视频文件处理方法及装置
DE102017216172A1 (de) 2017-09-13 2019-03-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer bauhöhe und umschaltbarer blickrichtung, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
US10900776B2 (en) * 2018-02-06 2021-01-26 Saudi Arabian Oil Company Sensor device for distance offset measurements
CN109151281A (zh) * 2018-09-26 2019-01-04 中国计量大学 一种获得深度信息的像素孔径偏移相机
DE102018222861A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation
DE102018222865A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
CN114270815A (zh) * 2019-06-06 2022-04-01 弗劳恩霍夫应用研究促进协会 多通道成像设备和具有多孔径成像设备的设备
CN110568715A (zh) * 2019-09-30 2019-12-13 宁波元年文化传媒有限公司 立体球体表面全覆盖投影装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013543B1 (en) * 2012-11-14 2015-04-21 Google Inc. Depth map generation using multiple scanners to minimize parallax from panoramic stitched images
CN204575985U (zh) * 2015-05-14 2015-08-19 中国船舶重工集团公司第七一七研究所 一种具有四孔径的稀疏合成孔径光学成像装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155109A (ja) * 1996-11-22 1998-06-09 Canon Inc 撮像方法及び装置並びに記憶媒体
US8023117B2 (en) * 2002-01-09 2011-09-20 Venture Ad Astra, Llc Establishing and maintaining focus in segmented-optic telescopes
US7132664B1 (en) * 2002-11-09 2006-11-07 Crosetto Dario B Method and apparatus for improving PET detectors
JP2006033570A (ja) * 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
CN102037717B (zh) * 2008-05-20 2013-11-06 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
DE102009049387B4 (de) 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
EP2502115A4 (en) * 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
CN103210641B (zh) * 2010-02-19 2017-03-15 双光圈国际株式会社 处理多孔径像数据
US20120098971A1 (en) * 2010-10-22 2012-04-26 Flir Systems, Inc. Infrared binocular system with dual diopter adjustment
JP2012227679A (ja) * 2011-04-19 2012-11-15 Mathematec Corp ２眼カメラ
EP2729915B1 (en) * 2011-07-05 2017-12-27 Omron Corporation A method and apparatus for projective volume monitoring
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US9378542B2 (en) * 2011-09-28 2016-06-28 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
JP6102930B2 (ja) * 2011-10-14 2017-03-29 オムロン株式会社 射影空間監視のための方法および装置
WO2013114890A1 (ja) * 2012-02-03 2013-08-08 パナソニック株式会社 撮像装置および測距装置
US20140085431A1 (en) * 2012-09-21 2014-03-27 Sony Corporation Optical element, optical system and image processing method
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
JP2015037282A (ja) * 2013-08-15 2015-02-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
DE102013222780B3 (de) 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
DE102014213371B3 (de) 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10469873B2 (en) * 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10121064B2 (en) * 2015-04-16 2018-11-06 California Institute Of Technology Systems and methods for behavior detection using 3D tracking and machine learning
US10699476B2 (en) * 2015-08-06 2020-06-30 Ams Sensors Singapore Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013543B1 (en) * 2012-11-14 2015-04-21 Google Inc. Depth map generation using multiple scanners to minimize parallax from panoramic stitched images
CN204575985U (zh) * 2015-05-14 2015-08-19 中国船舶重工集团公司第七一七研究所 一种具有四孔径的稀疏合成孔径光学成像装置

Also Published As

Publication number Publication date
TWI617177B (zh) 2018-03-01
DE102015216140A1 (de) 2017-03-02
TW201711457A (zh) 2017-03-16
US20180184068A1 (en) 2018-06-28
EP3342148B1 (de) 2020-01-08
CN108353117A (zh) 2018-07-31
KR20180043334A (ko) 2018-04-27
WO2017032749A1 (de) 2017-03-02
JP6530135B2 (ja) 2019-06-12
TW201806383A (zh) 2018-02-16
KR102060585B1 (ko) 2019-12-30
JP2018533248A (ja) 2018-11-08
US10701340B2 (en) 2020-06-30
EP3342148A1 (de) 2018-07-04
CN108353117B (zh) 2021-08-24
ES2770333T3 (es) 2020-07-01

Similar Documents

Publication Publication Date Title
TWI668989B (zh) ３ｄ多孔徑成像裝置
US11244434B2 (en) Multi-aperture imaging device
CN106028024B (zh) 用于测量光学成像系统的成像性质的装置和方法
JP2018527829A (ja) 光学基板を有するマルチ開口撮像装置
US10225541B2 (en) Stereoscopic display apparatus and control method
TW201713988A (zh) 具有包含反射小平面之光束偏轉裝置的多孔徑成像裝置
TWI687099B (zh) 用於成像局部視場的裝置、多孔徑成像裝置及其提供方法
ES2887034T3 (es) Dispositivo de obtención de imágenes de apertura múltiple, sistema de obtención de imágenes y método de proporcionar un dispositivo de obtención de imágenes de apertura múltiple
TWI388881B (zh) 用於自動立體顯示器的指向性發光單元
CN108139565A (zh) 具有通道特定可调性的多孔径成像装置
TWI710804B (zh) 多孔徑成像裝置、成像系統和提供多孔徑成像裝置的方法
US20140160563A1 (en) Image display apparatus
JPWO2013114890A1 (ja) 撮像装置および測距装置
JP4728825B2 (ja) 立体像表示装置
JP4049738B2 (ja) 立体映像表示装置及び立体映像撮像装置
US11924395B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
TWI794571B (zh) 包含用於累積圖像資訊的多孔徑成像裝置的裝置
GB2540922B (en) Full resolution plenoptic imaging
JP2007333525A (ja) 距離測定装置
KR20100020200A (ko) 3차원 영상 획득을 위한 스테레오 비젼 카메라
JP6055595B2 (ja) 立体画像撮影装置および立体画像表示装置
CN113853543A (zh) 包括用于产生深度图的多孔径成像设备的设备
JP2000258155A (ja) 測距装置