TWI794571B - 包含用於累積圖像資訊的多孔徑成像裝置的裝置 - Google Patents

包含用於累積圖像資訊的多孔徑成像裝置的裝置 Download PDF

Info

Publication number
TWI794571B
TWI794571B TW108147029A TW108147029A TWI794571B TW I794571 B TWI794571 B TW I794571B TW 108147029 A TW108147029 A TW 108147029A TW 108147029 A TW108147029 A TW 108147029A TW I794571 B TWI794571 B TW I794571B
Authority
TW
Taiwan
Prior art keywords
view
image information
image
full field
image sensor
Prior art date
Application number
TW108147029A
Other languages
English (en)
Other versions
TW202043842A (zh
Inventor
法蘭克 懷柏曼
安德烈亞斯 布魯克納
賈奎斯 杜柏瑞
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202043842A publication Critical patent/TW202043842A/zh
Application granted granted Critical
Publication of TWI794571B publication Critical patent/TWI794571B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本發明的裝置包含一種多孔徑成像裝置具有一圖像感測器（12）；相鄰佈置的數個光通道（16a-d）的一陣列（14），每個光通道（16a-d）包含數個光學元件（22a-d），用於投影一全視場（261 、262 ）的至少一部分視場（24a-d）在該圖像感測器（12）的一圖像感測器區域（28a-d）上；一光束偏轉器（18），用於偏轉該些光通道（16a-d）的一光束路徑（104），其中該光束偏轉器（18）的一相對方位可在一第一位置和一第二位置之間切換，從而在該第一位置，該光束路徑（104）朝向一第一全視場（261 ）偏轉；在該第二位置，該光束路徑（104）朝著一第二全視場（262 ）偏轉。該裝置還包含：數個控制裝置（44、54）適用於控制該光束偏轉器（18）以移動到該第一位置，以從該圖像感測器（12）獲得該第一全視場（261 ）的圖像資訊（461 ）；及控制該光束偏轉器（18）以移動到該第二位置，以從該圖像感測器（12）獲得該第二全視場（262 ）的第一圖像資訊（462 ）；以及將該第一圖像資訊（461 ）的一部分（92）插入到該第二圖像資訊（462 ）中，以便獲得數個部分表示該第一全視場（261 ）及數個部分表示該第二全視場（262 ）的累積的圖像資訊（48）。

Description

包含用於累積圖像資訊的多孔徑成像裝置的裝置
本發明涉及多種多孔徑成像裝置，尤其涉及一種包含一多孔徑成像裝置的裝置。該裝置被配置為使用包含在該多孔徑成像裝置內的資訊來產生一深度圖和/或一累積的圖像資訊。本發明還涉及利用一陣列照相機從數個焦點合成(focus stack)中提取深度資訊和/或利用一陣列照相機針對一經修改的背景從一自拍(self-portrait)中提取深度資訊。
多孔徑成像裝置可以通過使用數個部分視場(field of view)來對物件場(object field)進行成像。存在使用一光束偏轉系統(例如一鏡子)的概念，以使數個相機通道的一觀看方向從裝置平面偏轉到整個系統的另一個方向，例如大致垂直於該方向。在使用一行動電話的情況下，例如，該垂直方向可以是使用者臉部的一個方向，也可以是他/她前方的環境的方向，並且基本上可以通過使用數個可切換的鉸接鏡來實現。
用於有效圖像生成的裝置和/或用於容易處理的裝置將是合乎需要的。
因此，本發明的目的是提供一種包含一多孔徑成像裝置的裝置，該裝置允許有效的圖像生成和/或易於處理。
該目的通過獨立請求項的目標被達成。
本發明的一個發現是，通過在數個焦點位置的一序列中捕捉數個圖像的一序列，該深度圖可以從一個自己的圖像資訊被創建，因此視差資訊(disparity information)並不重要，並且此類資訊的使用可以被免除。
根據第一方面的一個實施例，一種裝置包含一多孔徑成像裝置。該多孔徑成像裝置包含一圖像感測器，相鄰佈置的數個光通道的一陣列，每個光通道包含數個光學元件，用於投影一全視場的至少一部分視場在該圖像感測器的一圖像感測器區域上。該多孔徑成像裝置包含一光束偏轉裝置，用於偏轉該些光通道的一光束路徑，及數個聚焦裝置，用於設定該多孔徑成像裝置的一焦點位置。該裝置的一控制裝置適用於控制該些聚焦裝置及適用於從該圖像感測器接收圖像資訊。該控制裝置被配置成設置在多孔徑成像裝置中的數個焦點位置的一序列，從而以檢測該全視場的圖像資訊的一對應的序列，並創建從圖像資訊的該序列中被檢測的全視場的一深度圖。這樣的優點在於，可以從數個焦點位置的一序列生成該深度圖，從而即使從一個觀看方向對該全視場進行單次拍攝也可以提供足夠的資訊來創建該深度圖。
根據第一方面的一個實施例，該控制裝置被配置為在數個焦點位置的該序列中捕捉相應數量的數個部分圖像的數個組。每個部分圖像都與一成像的部分視場相關聯，以使該些部分圖像的該些組中的每一個都有一個共同的焦點位置。該控制裝置被配置為執行該些部分圖像中當地的圖像清晰度資訊的 一比較，並從此來創建該深度圖。這是可能的，例如，在一已知的焦點位置中，已經通過該控制裝置用於檢測該組的數個部分圖像，以及通過確定清晰地成像的數個物體來設定，也就是說，在分別設定的焦點位置上的數個物體，可以獲得關於以下事實的資訊：分別在距該多孔徑成像裝置在對應於該設定的焦點位置的一距離處已經被捕捉的分別清晰成像的數個圖像區域。通過使用幾個組的數個部分圖像，從而使用幾個焦點位置，對應的資訊可以針對不同的物體來生成，以及因此，針對全視場來生成，以便實現該深度圖。這允許關於深度資訊的大區域甚至全視場的完全映射。
根據第一方面的一個實施例，該裝置被配置為控制該聚焦裝置，使得數個焦點位置的一序列在該圖像空間內基本上等距地分佈。這可以通過盡可能精確的等距佈置來實現，但也可以考慮到最大±25%、±15%或±5%的誤差範圍，其中該些焦點位置的該序列分布在一最小焦點位置和一最大焦點位置之間。由於該圖像區域中的等距，可以實現該深度圖在不同距離上的一致精確度。
根據第一方面的一個實施例，該裝置被配置為基於圖像資訊的該序列生成再現該全視場的數個全圖像的一序列，每個全圖像基於相同焦點位置的數個部分圖像的一組合。可以在使用該深度圖的同時完成數個部分圖像的合併，以便在合併的全圖像中獲得較高的圖像質量。
根據第一方面的一個實施例，該裝置被配置為基於該深度圖來改變呈現該全視場的一全圖像。當該深度圖已知時，可以執行不同的圖像操作，例如隨後對一個或數個圖像區域進行聚焦和/或散焦。
根據第一方面的一個實施例，該陣列的一第一光通道被形成以成像該全視場的一第一部分視場，該陣列的一第二光通道被形成以成像該全視場 的一第二全視場。一第三光通道被配置為完全成像該全視場。這使得能夠使用附加的成像功能，例如關於變焦範圍和/或提高的解析度。
根據第一方面的一個實施例，該聚焦裝置具有至少一個致動器，用於設置該焦點位置。該聚焦裝置被配置為至少部分地設置在由一長方體的數個側面涵蓋的兩個平面之間，該長方體的該些側面彼此相平行對準並且與該陣列的一線延伸方向及該圖像感測器和該光束偏轉器之間的該光通道的部分的一線延伸方向相對準。該長方體的體積很小，但設計為包含該圖像感測器、該陣列和該光束偏轉器。這允許該多孔徑成像裝置被設計成沿著垂直於該些平面的一深度方向具有一小的尺寸。
根據第一方面的一個實施例，該多孔徑成像裝置具有被佈置為與該兩個平面正交的一厚度方向。該致動器具有平行於該厚度方向的一尺寸。該致動器的尺寸被佈置為至多50%的比例，從該兩個平面之間的一區域開始，以這一種方式延伸到該兩個平面之外。將該致動器佈置在該些平面之間的至少50%的周長中形成該多孔徑成像裝置的一薄配置，這也允許該裝置的一薄配置。
根據第一方面的一個實施例，該聚焦裝置包含一致動器，用於提供該些光通道中的至少一個的光學元件與該圖像感測器之間的相對運動。這樣可以輕鬆設置該焦點位置。
根據第一方面的一個實施例，該聚焦裝置適用於在該些光通道中的一個的光學元件和圖像感測器之間執行相對運動同時執行該光束偏轉器同步於該相對運動的一運動。這使得可以通過該光束偏轉器保持設定的光學影響，例如關於一光束偏轉器的一光束偏轉表面，該光束偏轉器以不變的尺寸用於偏轉 該光束路徑，這使得光束偏轉器的尺寸較小，因為它可以在增加的距離上免除提供相對較大的表面。
根據第一方面的一個實施例，該聚焦裝置被佈置成使得其從長方體的該些平面之間的區域最多突出50%。通過將整個聚焦裝置佈置在該些平面之間的區域中，包含任何機械部件等，可以實現非常薄多孔徑成像裝置以及因此非常薄多孔徑成像裝置的裝置成為可能。
根據第一方面的一個實施例，該聚焦裝置的至少一個致動器是一壓電彎曲致動器。這使得可以在一較短的時間間隔內保持數個焦點位置的序列。
根據第一方面的一個實施例，該聚焦裝置包含至少一個致動器適用於提供運動。該聚焦裝置還包含機械裝置用於將該運動傳遞到該陣列以設置該焦點位置。該致動器被佈置在該圖像感測器的遠離該陣列的一側上，並且該機械裝置被佈置成使得力的一通量橫向地通過該圖像感測器。替代地，該致動器被佈置在該光束偏轉器遠離該陣列的一側上，並且該機械裝置被佈置成使得力的一通量橫向地通過該光束偏轉器。這允許以這樣的方式設計該多孔徑成像裝置，使得該致動器在橫向方向上垂直於該厚度方向定位，而不會阻擋該些光通道的該些光束路徑，同時能夠避免檢測到該裝置。當使用幾個致動器時，數個實施例提供了將所有致動器佈置在該圖像感測器遠離該陣列的那一側上，提供了將所有致動器佈置在該光束偏轉器遠離該陣列的那一側上，或者提供了將該些致動器的一子集佈置在該圖像感測器的遠離該陣列的一側上，以及提供了將該些致動器的一子集(不相結合)佈置在該光束偏轉器遠離該陣列的一側上。
根據第一方面的一個實施例，該光束偏轉器的一相對位置可在一第一位置和一第二位置之間切換，以使得在該第一位置中，該光束路徑朝向 一第一全視場偏轉，而在該第二位置中，該光束路徑向一第二全視場偏轉。該控制裝置適用於將該光束偏轉器引導到該第一位置，以從該圖像感測器獲得該第一全視場的圖像資訊，其中該控制裝置還適用於將該光束偏轉器引導到該第二位置，以從該圖像感測器握得該第二全視場的圖像資訊。該控制裝置還適用於將該第一圖像資訊的一部分插入到該第二圖像資訊中以獲得累積的圖像資訊，該累積的圖像資訊的有些部分表示該第一全視場，而有些部分表示該第二全視場。這使得允許該裝置容易地處理設備，因為可以省去對該多孔徑成像裝置的複雜重新定位，例如可以在一背景之前拍攝自己的照片。因為自生成的深度圖，這是可能的，以一種特別有利的方式。
本發明的進一步發現的是，已經認識到，通過組合不同全視場的圖像資訊，從而在一累積的圖像資訊中，該第一全視場和該第二全視場分別被部分地再現，由於例如可以省去使用者和/或裝置的繁瑣定位，因此可以容易地操作裝置。
根據第二方面的一個實施例，一種裝置包含一多孔徑成像裝置，該多孔徑成像裝置具有一圖像感測器，相鄰佈置的數個光通道的一陣列以及一光束偏轉器。該陣列的每個光通道包含光學元件，用於將一全視場的至少一部分視場投影在一圖像感測器的一圖像感測器區域上。該光束偏轉器被配置為使該些光通道的一光束路徑偏轉，其中該光束偏轉器的一相對位置可在一第一位置和一第二位置之間切換，使得在該第一位置中，該光束路徑偏轉朝向一第一全視場，及在該第二位置中，該光束路徑偏轉朝向一第二全視場。該裝置還包含控制裝置適用於將該光束偏轉器引導到該第一位置。因此，通過這樣的控制，可以從該控制裝置獲得與投影在該圖像感測器上關於該第一全視場的圖 像資訊。該控制裝置被配置為將該光束偏轉器引導至該第二位置，以從該圖像感測器獲得該第二全視場的圖像資訊。獲得該第一全視場的該圖像資訊和獲得該第二全視場的該圖像資訊的一順序可以是任意的。該控制裝置被配置為將該第一圖像資訊的一部分插入到該第二圖像資訊中以獲得累積的圖像資訊，該累積的圖像資訊的有些部分表示該第一全視場，而有些部分表示該第二全視場。這允許組合不同全視場的圖像內容，從而可以省去裝置和/或圖像物體的費時定位。
根據第二方面的一個實施例，該第一全視場沿著與該裝置的一使用者方向相對應或與該裝置的相反佈置的視覺方向相對應的方向佈置。這允許將該第一全視場中的圖像內容與跟該第一全視場不同的一全視場中的圖像內容進行組合。
另外，根據第二方面的一個較佳的實施例，該第二全視場沿著與該使用者方向和該觀看方向中的另一個相對應的方向佈置，從而該兩個全視場一起捕捉了視覺方向和使用者方向。在該累積的圖像資訊中，因此可以將來自視覺方向的內容和來自使用者方向的內容彼此相組合。
根據第二方面的一個實施例，該控制裝置適用於在該第一圖像資訊中識別和分割(segment)(即，分離(separate))一人物，或者適用於至少複製與該人物有關的圖像資訊，並適用於插入該人物的圖像到該第二圖像資訊中，以獲得該累積的圖像資訊。這允許將該人物的圖像插入實際上沿著該裝置的不同方向佈置的一圖像環境中。
根據這個的一個較佳的配置，該裝置被配置為自動識別該人物並將該人物的圖像自動插入到該第二圖像資訊中。這使得有可能獲得實際上不 同背景下的自己(自拍照)的照片。這避免了裝置、人和/或背景的複雜定位。它還可以補償背景是鏡面反轉的事實。
根據第二方面的一個實施例，該裝置適用於在使用由該裝置從該第一圖像資訊生成的一深度圖的同時，識別和/或分割該部分，例如一人物或一人物的至少一部分。該深度圖可以例如在使用第一方面時或通過其他方式創建。這使得實施例能夠容易地實施。
根據第二方面的一個實施例，該裝置適用於為該第二圖像資訊創建具有數個深度平面的一深度圖，並將該第一圖像資訊插入到該第二圖像資訊的一預先決定的深度平面中，以獲得該累積的圖像資訊。這使得能夠以對於預先定義的(predefined)或預先決定的(predetermined)深度平面在深度方面正確的方式將該第一圖像資訊整合到該第二圖像資訊中。
根據本發明的較佳的實施例，在10%的誤差範圍內的預先定義的深度平面等於該第一全視場到該裝置的距離。這使得能夠以這樣的方式來獲得該累積的圖像資訊，即該第二全視場被表示為好像該第一圖像資訊或其一部分已經沿著該裝置的其他方向佈置。
根據本發明的另一較佳的實施例，該預先定義的深度平面基於與該第一圖像資訊的佈局相關聯的一使用者輸入。這使得可以在要拍攝的不同圖片之間改變要考慮的深度平面和/或可以通過一使用者的輸入使之適合於使用者的選擇。
根據第二方面的一個實施例，該裝置被配置為縮放該第一圖像資訊以獲得縮放的第一圖像資訊，並且將該縮放的第一圖像資訊插入到該第二圖像資訊中以便獲得該累積的圖像資訊。這使得可以將該第一圖像資訊插入到 該第二圖像資訊中，以這樣的方式，在該累積的圖像資訊中(特別是關於第一圖像資訊的大小)獲得預先定義的感知，這特別是有利於結合該第一圖像資訊插入其中的可調節深度平面，使得除了在深度方面正確的插入之外，在尺寸方面正確的呈現也是可能的。
根據第二方面的一個實施例，該裝置被配置為確定在該第一圖像資訊中相對於該裝置成像的一物體的一距離，以及基於在該第二圖像資訊中該預先決定的深度平面與一確定的距離的比較的基礎上來縮放該第一圖像資訊。這使得可以通過縮放(即通過調整大小)自動考慮該第一圖像資訊的一距離，該距離在將其插入到該第二圖像資訊時由該深度平面改變。
根據第二方面的一個實施例，該裝置被配置為在至少0.1毫秒至最多30毫秒的一時間間隔內檢測該第一全視場和該第二全視場。該下限是可選的。這樣快速捕捉兩個全視場使得有可能減少甚至避免由於時間造成的全視場改變。
根據第二方面的一個實施例，該裝置被配置為接收該累積的圖像資訊作為一視頻數據流。為此目的，該裝置可以針對該第一全視場和/或該第二全視場的數個連續的圖像的來獲得數個累積的圖像資訊數據，並將它們組合成一圖像序列作為一視頻數據流。
替代地或另外地，根據第二方面，數個實施例提供了該累積的圖像資訊提供為一靜止圖像。
根據第二方面的一個實施例，該第一圖像資訊包含一使用者的圖像，及該第二圖像資訊包含該裝置的一視覺視野。該控制裝置被配置成可能基於由該裝置生成的深度圖資訊從該第一圖像資訊中分割出該使用者的一圖 像，並將該使用者的該圖像插入到該視覺視野中。這使得使用該裝置輕鬆獲得自拍。
根據第二方面的一個實施例，該裝置被配置為在深度方面以正確的方式將該使用者的該圖像插入到該視覺視野中。這能夠使得使用者站在該視覺視野的前面的效果，而無需費時的定位。
根據第二方面的一個實施例，該裝置被配置為以不同的數個焦點位置捕捉該第一全視場和/或該第二全視場的數個圖像的一序列，並從該些圖像的該序列創建一深度圖，以用於該第一全視場和/或該第二全視場。由此尤其可以在一預先定義的深度平面內將該第二圖像資訊與該第一圖像資訊相組合和/或在正確的深度方面成像。為此，可以利用本發明的第一方面的優點。這意味著第一方面可以與第二方面的實施方式相結合和/或第二方面可以與第一方面的實施方式相結合。特別是組合在一起時，這兩個方面導致了有利的設計，這將在後面討論。
在附屬請求項中將定義本發明的其他有利實施例。
101、102、103、30、40、60:多孔徑成像裝置
102a-d:光束路徑
104:全視場方向
12:圖像感測器
14:陣列
16a-16d:光通道
18:光束偏轉器
181:第一位置
182:第二位置
22:光學元件
22a-d:光學元件
24a-d:部分視場
25:重疊區域
25a-e:重疊區域
26:全視場
261:第一全視場
262:第二全視場
28a-d:圖像感測器區域
32:聚焦裝置
34:控制裝置
36:圖像資訊
38:深度圖
381-385:部分資訊
42:圖像資訊
421-425:全圖像
44、54:控制裝置
461:第一圖像資訊
462:第二圖像資訊
48:累積的圖像資訊
52:訊號
561-565:焦點位置
581-585:距離
621-624:距離
641-642:單個幀
66:線延伸方向
68a:第一平面
68b:第二平面
69:長方體
69a、69b:側面
71:平面
72:致動器
721-725:致動器
74:延伸
76:旋轉軸線
78:基板
82:機械偏轉裝置
841-842:致動器
86a-d:切面
881:第一值
882:第二值
92:部分
94:尺寸
96:尺寸
98:板
參照附圖，本發明的數個較佳的實施例進行描述如下，其中：
〔圖1a〕示出了根據第一方面的一裝置的示意透視圖；〔圖1b〕示出了根據第二方面的一個實施例的一裝置的示意透視圖；〔圖1c〕示出了根據一個實施例的一裝置的示意透視圖，其結合了第一方面和第二方面。
〔圖2a〕示出了根據一個實施例的數個不同焦點位置的示意圖，其中可以根據第一方面來控制一裝置； 〔圖2b〕示出了根據一個實施例的從數個不同焦點位置生成的一深度圖的利用及其生成的示意圖；〔圖3a〕示出了根據一個實施例的一裝置的示意透視圖，其中一圖像感測器涵蓋數個光通道的一陣列，以及一光束偏轉器涵蓋空間中的一長方體；〔圖3b〕示出了根據一個實施例的圖3a的該裝置的示意側視截面圖，其中多孔徑成像裝置包含多個致動器；〔圖3c〕示出了圖3a和/或3b的多孔徑成像裝置的示意側視截面圖，其中數個不同的全視場可以基於該光束偏轉器的數個不同位置來檢測；〔圖4a〕示出了根據一個實施例的一裝置的示意俯視圖，其中該致動器被形成為一壓電彎曲致動器；〔圖4b〕示出了圖4a的裝置的示意側視截面圖，以示出關於圖3a所描述的該長方體的數個平面之間的該致動器的佈置；〔圖5a-c〕示出了根據一個實施例的在一全視場中數個部分視場的佈置的示意圖；〔圖6〕示出了根據第二方面的一個實施例的一裝置的示意透視圖；〔圖7a〕示出了根據一個實施例的通過對該些全視場成像而能夠獲得的圖像資訊的處理的示意圖；〔圖7b〕示出了根據一個實施例在累積的圖像資訊中縮放的圖像資訊的一部分的示意圖；以及〔圖8〕示出了根據一個實施例的一多孔徑成像裝置的數個部分，其可以在該第一和/或第二方面的發明裝置中使用。
在下面參考附圖詳細解釋本發明的實施例之前，應當指出，不同附圖中的相同、功能或效果相同的元件、物體和/或結構具有相同的圖示標號，使得在不同實施例中呈現的這些元件的描述可以彼此互換或可以彼此應用。
圖1a示出了根據第一方面的一裝置101的示意透視圖。該裝置101包含一多孔徑成像裝置，該多孔徑成像裝置包含一圖像感測器12和相鄰佈置的數個光通道16a-e的一陣列14。該多孔徑成像裝置還包含一光束偏轉器18，用於偏轉數個光通道16a-d的一光束路徑。這允許該些光通道16a-d的光束路徑通過該陣列14的數個光學元件22a-d在圖像感測器12與光束偏轉器18之間的一橫向路線朝向一非橫向路線偏轉。不同的數個光通道16a-d以每個光通道16a-d投影一全視場26的一部分視場24a-d在一圖像感測器12的一圖像感測器區域28a-d上這樣的方式進行偏轉。該些部分視場24a-d可以一維或二維方式分佈在空間中，或者在該些光學元件22a-d的不同焦距的基礎上以三維方式分佈。為了更好的理解，下面將以這樣的方式描述該全視場26：該些部分視場24a-d具有二維分佈，其中相鄰的數個部分視場24a-d可以彼此相重疊。該些部分視場的一總面積形成該全視場26。
該多孔徑成像裝置包含一聚焦裝置32，其用於設置該多孔徑成像裝置的一焦點位置(position)。這可以通過改變該圖像感測器12和該陣列14之間的相對方位(location)或位置來完成，其中該聚焦裝置32可以適用於改變該圖像感測器12的一位置和/或該陣列14的一位置，以便在該圖像感測器12和該陣列14之間獲得一可變的相對位置，從而設置該多孔徑成像裝置的該焦點位置。
設置該相對方位可以是特定通道，也可以應用於數個光通道的數個群組或所有通道。例如，單個光學元件22a-d可以被移動，或者數個光學元件22a-d的一群組或所有光學元件22a-d可以一起移動。這同樣適用於圖像感測器12。
該裝置包含控制裝置34適用於控制該聚焦裝置32。此外，該控制裝置34適用於從該圖像感測器12接收圖像資訊36。這可以是例如投影在該些圖像感測器區域28a-d上的該些部分視場24a-d或對應於該些投影的資訊或數據。這不排除圖像資訊36的中間處理，例如濾波、平滑等方面。
該控制裝置34被配置為設置在該多孔徑成像裝置中的數個焦點位置的一序列，以便檢測該全視場26的圖像資訊的一相應序列。該控制裝置34適用於從圖像資訊的該序列對該全視場26創建一深度圖38。可以通過一相應的訊號來提供該深度圖38。該控制裝置34能夠在由該圖像感測器12和該陣列14之間的數個不同相對位置獲得的該些不同焦點位置的基礎上捕捉相同視場26的數個不同圖像，和/或能夠根據由該些部分視場24a-d的分割捕捉數個不同聚焦的部分圖像。
數個深度圖可用於不同目的，例如用於圖像處理，也可用於圖像合併。因此，該控制裝置34可適用於連接從該些圖像感測器區域28a至28d獲得的數個個別的圖像(數個單個幀)，同時使用該深度圖38來獲得表示該全視場26的該圖像的圖像資訊42，即，一圖片。對於使用一深度圖這種合併數個部分圖像的方法(也稱為拼接)特別有利。
當使用該深度圖時，該控制裝置可以被配置為組裝一組的數個部分圖像中的該些部分圖像以形成一全圖像。這意味著用於縫合的該深度圖可以從要縫合的非常部分的數個圖像中生成。例如，基於圖像資訊的該序列，表示該全視場的數個全圖像的一序列可以被生成。每個全圖像可以基於具有相同焦點位置的數個部分圖像的一組合。替代地或另外地，來自該序列的至少兩個、幾個或全部的全圖像可以被組合以獲得具有擴展資訊的一全圖像，例如，創建一散景效果(Bokeh effect)。替代地或另外地，該圖像還可以以整個圖像被人為地銳化 這樣的方式來表示，即，與單個幀(例如，整個圖像)中的情況相比，許多的部分區域被聚焦。
該裝置101被配置為將全視場的圖像創建為一單色圖像(mono image)，並從數個單色圖像的一序列中創建該深度圖38。儘管也可以對該全視場26進行多次掃描，但是該裝置該10可以從僅僅一個單色圖像生成該深度圖，這可以免去從不同的觀看方向(例如，通過使用同一裝置拍攝的多張圖片，或通過冗餘佈置額外的光通道拍攝數個另外的圖片的需要)。
圖1b示出了根據第二方面的實施例的一裝置102的示意透視圖。與該裝置101相比，該裝置102具有代替該控制裝置34的一控制裝置44，該控制裝置44配置成將該光束偏轉器引導到不同的位置181和182。在該些不同的位置181和182中，該光束偏轉器18具有不同的相對位置，以便在不同位置或方位上，由於該些光通道16a-d的該些光束路徑在受不同位置181和182影響的不同方向上偏轉，因此獲得了不同的第一全視場261和第二全視場262的圖像資訊。替代地或除了該控制裝置34之外，該裝置102還包含控制裝置44，該控制裝置44被配置為將該光束偏轉器引導至該第一位置181，以從該圖像感測器12獲得第一全視場261的圖像資訊。在此之前或之後，該控制裝置44適用於將該光束偏轉器18引導到該第二位置182，以從該圖像感測器12獲得第二全視場262的圖像資訊。該第一全視場261和第二全視場262可以不相交。該控制裝置44適用於將第一圖像資訊461的一部分插入第二圖像資訊462中以獲得共同或累積的圖像資訊48。該累積的圖像資訊48可以再現該第一全視場261的數個部分以及該第二全視場262的數個部分，其包含數個圖像操縱或處理的步驟。這意味著，該累積的圖像資訊48在某些地方基於該第一全視場261的一圖像，而在其他地方則基於該第二全視場262的一圖像。
該控制裝置44可以適用於提供包含或再現該累積的圖像資訊48的一訊號52。可選地，該圖像資訊461和/或462也可以由訊號52輸出。
圖1c示出了根據一個實施例的裝置一103的示意圖，該裝置包含代替圖1a的該控制裝置34和代替圖1b的該控制裝置44的一控制裝置54，該控制裝置54結合了該控制裝置34和該控制裝置44的功能，並適用於根據該裝置103的一可變焦點位置產生該深度圖38，以提供圖1b的該累積的圖像資訊48。
圖2a示出了可以在根據第一方面的一裝置(例如該裝置101和該裝置102)中設置的不同焦點位置561至565的示意圖。該些不同焦點位置561至565可以理解為數個位置或數個距離581至585，其中所捕捉的視場中的數個物體以一聚焦方式投射在該圖像感測器12上。該些焦點位置56的一數量可以是任意的並且可以大於1。
數個相鄰焦點位置之間的數個距離621至624可以指代圖像空間中的數個距離，其中，也可以將一實現為或轉移解釋為至物體空間中的數個距離。然而，觀看圖像空間的優點在於，考慮了多孔徑成像裝置的特性，尤其在最小或最大物距方面。控制裝置34和/或54可以適用於控制該多孔徑成像裝置以具有兩個或更多個焦點位置561至565。在相應的焦點位置中，可以根據所捕捉的數個部分視場24的一數量來捕捉數個單個幀641和642。在已經設置了該些焦點位置561至565中的哪個焦點位置的基礎上的認知以獲得相應的局部圖像461和462，該控制裝置可以通過該分析圖像資訊哪些圖像部分被清晰地成像的方面來確定這些清晰成像的數個物體相對於該裝置的安置的距離。關於該距離的資訊可以用於該深度圖38。這意味著該控制裝置可以被配置為捕捉數個焦點位置561至565的序列中的一相應數量的數個部分圖像數個群組，每個部分圖像與一成像的部分視場相關聯。因此，數個部分圖像的該群組可以對應於代表在設置的焦點位置中的全視場的那些部分圖像。
該控制裝置可以被配置為從該些部分圖像中的區域圖像清晰度資訊的一比較來產生該深度圖。該區域清晰度資訊可以指示圖像物體的哪些區域在焦點上，或者在先前定義的誤差範圍內清晰地成像。例如，邊緣模糊功能的一確定和邊緣延伸的數個距離的一檢測可以用於確定在該圖像感測器上是否對一相應的圖像區域，一相應的物體或其一部分進行了清晰地成像或是模糊的。此外，順序圖像(sequential-image)或線條模糊功能可以用作圖像內容清晰度的一質量標準。替代地或另外地，可以使用任何已知的光學清晰度度量以及已知的調製傳遞函數(Modulation Transfer Function,MTF)。替代地或另外地，相同的數個物體在堆疊的數個相鄰圖像中的清晰度，通過校準的查找表(lookup)和/或離焦掃描(through-focus scan)的方向將聚焦致動器位置與物體距離相關聯可以被使用來以部分遞歸的方式從堆疊的數個相鄰圖像中獲取深度資訊，並避免產生歧義。知道與在焦點中成像的一物體距離唯一相關的設定焦點位置，因此可以推斷出-至少在預定的誤差範圍內在焦點中物體成像的知識-從圖像的區域的一距離，從物體或其部分的區域的一距離，可以作為該深度圖38的基礎。
當使用該深度圖時，該控制裝置可以被配置為將數個部分圖像的一群組中的該些部分圖像組裝成一全圖像。這意味著用於縫合的該深度圖可以從要縫合的該些部分圖像本身中生成。
該裝置可以被配置為控制該聚焦裝置32，使得數個焦點位置561至565的一序列在一最小焦點位置和一最大焦點位置之間以±25%、±15%或±5%，最好盡可能接近0%的誤差範圍內在圖像空間中等距地分佈。為了節省設置一焦點位置時的時間，有意義但並非必要的是，以增加或減小的距離順序設置該些焦點位置561至565。相反地，設置的該些焦點位置561至565的順序是任意的。
圖2b示出了該深度圖38的使用及其生成的示意圖。部分圖像641和642可各自用於從各自的焦點位置561至565獲得該深度圖38的部分資訊381至385， 因為在單個幀641和642中清晰地表示的該些物體可以相對於它們的距離精確地被確定。然而，在焦點位置561和565之間也可以使用插值方法，從而即使略微模糊的數個物體，仍可為該深度圖38獲得足夠精確的資訊。包含在該部分資訊381至385中的距離資訊可以由該控制裝置組合以形成該深度圖38。該深度圖38可以用於組合來自不同焦點位置561至565的單個幀641和642以形成一相應數量的全圖像421至425。
圖3a示出了根據一個實施例的一裝置30的示意透視圖。圖像感測器12，陣列14和光束偏轉器18可以涵蓋房間內的一長方體。該長方體也可以理解為一虛擬長方體，並且例如可以具有一最小的體積，尤其是沿著平行於一厚度方向y的一方向的一最小垂直延伸，該厚度方向y平行於與一線延伸方向66。該線延伸方向66例如沿著z方向並且垂直於x方向延伸，該x方向平行於該圖像感測器12和該陣列14之間的該些光線路徑的一路線佈置。x，y和z方向可以涵蓋一笛卡爾坐標系統。該虛擬長方體的最小體積或其最小垂直延伸可以使得該虛擬長方體仍然包含該圖像感測器12、該陣列14和該光束偏轉器18。該最小體積也可以理解為描述了一長方體，該長方體通過該圖像感測器12、該陣列14和/或該光束偏轉器18的佈置和/或操作運動來涵蓋。該線延伸方向66可以以光通道16a和16b佈置成彼此相緊鄰，可能彼此相平行，沿著該線延伸方向66這樣的方式佈置。該線延伸方向66可以固定地佈置在房間內。
該虛擬長方體可以具有彼此相平行佈置的兩個側面，平行於該陣列14的該線延伸方向66，並且平行於該圖像感測器12與該光束偏轉器18之間的光通道16a和16b的光束路徑的一部分。以簡化的方式但沒有限制的作用，這些可以例如是該虛擬長方體的一頂側和一底側。該兩側可以涵蓋一第一平面68a和第二平面68b。這意味著該長方體的該兩側可以分別是平面68a或68b的一部分。該多孔徑成像裝置的更多部件可以全部但至少部分地佈置在平面68a和68b之間的 區域內，使得該多孔徑成像裝置的安裝空間要求沿著y方向，其平行於平面68a和/或68b的一表面法線(可以很小)，這是有利的。該多孔徑成像裝置的一體積可以在平面68a和68b之間具有小的或最小的安裝空間。沿著平面68a和/或68b的側面或延伸方向，該多孔徑成像裝置的安裝空間可以是大的或任意的大。例如，該虛擬長方體的體積受到該圖像感測器12、該陣列14和該光束偏轉器18的佈置的影響，這些部件的佈置使得根據本文描述的實施例，這些部件的安裝空間沿著垂直於平面的方向，從而平面68a和68b彼此之間的距離變小或變最小。與其他部件的佈置相比，該虛擬長方體的其他側面的體積和/或距離可以增加。
該裝置30包含一致動器72，用於在該圖像感測器12、該單行(single-line)陣列14和該光束偏轉器18之間產生相對運動。這可以包含例如該光束偏轉器18的定位運動以在關於圖1b的描述該些位置之間切換。替代地或另外地，該致動器72可以被配置為執行結合圖1a描述的相對運動，以改變該圖像感測器12和該陣列14之間的相對位置。該致動器72至少部分地佈置在該些平面68a和68b之間。該致動器72可以適用於移動該圖像感測器12、該單行陣該列14和該光束偏轉器18中的至少一個，其可以包含沿著一個或多個方向的旋轉和/或平移運動。這樣的示例是分別在各自的光通道16的數個圖像感測器區域28、各自的光通道16的數個光學元件22的數個圖像感測器區域28和該光束偏轉器18的數個圖像感測器區域28和/或相應的片段或切面(facet)的數個圖像感測器區域28之間的一相對位置的一通道特定(channel-specific)的改變，和/或與相應的光通道的光束路徑的偏轉有關的片段/切面的一光學特性的通道特定的變化。替代地或另外地，該致動器72可以至少部分地實現自動聚焦和/或光學圖像穩定。
該致動器72可以是該聚焦裝置32的一部分，並且可以適用於提供光通道16a和16b中的至少一個的至少一個光學元件與該圖像感測器12之間的一相對運動。該光學元件22a和/或22b之間的該相對運動可以通過該聚焦裝置32控 制，以這樣的方式使得該光束偏轉器18執行一同時運動。當減小該光學元件22a和/或22b與該圖像感測器之間的一距離時，可以相應地減小該光束偏轉器18與該圖像感測器12之間的距離，使得該陣列14分別與該光學元件22a和/或22b之間，及該光束偏轉器18的相對距離基本上恆定。這使得該光束偏轉器18能夠配備有小的數個光束偏轉表面，因為由於該陣列14和該光束偏轉器18之間的一增加距離而增長的光束錐可以通過保持距該光束偏轉器18的距離來補償。
該聚焦裝置32和/或該致動器72被佈置為使得它們從平面68a和68b之間的區域突出不超過50%這樣的方式。該致動器72可具有平行於厚度方向y的尺寸(dimension)或延伸74。從平面68a和68b之間的一區域開始，該尺寸74的最大比例的50%、最大比例的30%或最大比例的10%可以突出到平面68a和/或68b之外，從而突出該虛擬長方體。這意味著該致動器72最多僅不顯著地從平面68a和/或68b突出。根數個實施例，該致動器72不突出超過平面68a和68b。這樣做的優點是，該致動器72不會增加該多孔徑成像裝置沿厚度方向y的一延伸。
儘管該光束偏轉器18被描述為圍繞一旋轉軸線76可旋轉地安裝，但是該致動器72可以替代地或另外地還沿著一個或多個空間方向產生一平移運動。該致動器72可包含一個或數個的單個致動器，可能以單獨可控的方式產生不同的單個運動。該致動器72或其至少一個單個致動器可以例如實施為或包含一壓電致動器，特別是一壓電彎曲致動器，將結合圖4更詳細地描述。一壓電彎曲器允許快速和可重複的位置變化。該特徵對於在短時間內從幾個或多個圖像的意義上數個焦點合成的捕捉是有利的。數個壓電彎曲器作為沿一個維度或方向設計的數個致動器可以被有利地採用，特別是在所描述的架構中，因為它們具有對此有利的形狀參數，即特別是在一個方向上的延伸。
該陣列14可以包含一基板78，數個光學元件22a和22b附接或佈置在該基板78上。該基板78可以通過適當選擇的數個凹部或數種材料的手段對於 該些光通道16a和16b的光路至少部分地透明；這不排除正在執行的該些光通道的操作，例如通過佈置數個濾波器結構等。
該致動器72具有幾個要求，包含用於快速設置數個不同焦點位置56的快速可調節性，通過使用安裝空間較小的數種壓電致動器等可以實現大的力。
圖3b示出了根據一個實施例的一裝置30的示意側視截面圖。該裝置30的該多孔徑成像裝置可包含例如數個致動器，例如一個以上、兩個以上或不同數量>0。例如，數個致動器721至725可以被佈置，其可以用於不同目的，例如用於調節焦點位置和/或改變該光束偏轉器18的位置或方位，用於設置該多孔徑成像裝置的觀看方向和/或通過該光束偏轉器18的旋轉運動和/或該陣列14的平移運動來提供光學圖像穩定。
該些致動器721至725可以至少部分地佈置在兩個平面68a和68b之間這樣的方式佈置，這兩個平面被該虛擬長方體69的該些側面69a和69b涵蓋。該長方體69的該些側面69a和69b可以彼此相平行並且平行於該陣列的該線延伸方向和該圖像感測器12與該光束偏轉器18之間的該些光通道的部分光束路徑相對準。該長方體69的體積最小，但仍包含該圖像感測器12、該陣列14和該光束偏轉器18以及它們的操作運動。陣列14的數個光通道具有數個光學元件22，該些光學元件22對於每個光通道可以相同或不同。
該多孔徑成像裝置的一體積在平面68a和68b之間可以具有小的或最小的安裝空間。沿著平面68a和/或68b的側面或延伸方向，該多孔徑成像裝置的安裝空間可以是大的或是任意大的。該虛擬長方體的體積受到例如該圖像感測器12、該單行陣列14和該光束偏轉器的佈置的影響，這些部件的佈置使得根據本文所述的實施例，這些組件的安裝空間沿垂直於該些平面的方向，因此，該 些平面68a和68b彼此的距離變小或變成最小。與部件的其他佈置相比，該虛擬長方體的其他側面的體積和/或距離可以被增加。
該虛擬長方體69由虛線表示。該些平面68a和68b可包含或涵蓋該虛擬長方體69的兩側。該多孔徑成像裝置的一厚度方向y可正交於平面68a和/或68b和/或平行於y方向。
該圖像感測器12、該陣列14和該光束偏轉器18可以被佈置為使得該些平面68a和68b之間沿著厚度方向y的一垂直距離最小，該垂直距離以簡化的方式(但沒有限制性影響)可以被稱為該長方體的高度，其中該體積的最小化，即，該長方體的其他尺寸的最小化。該長方體69沿y方向的延伸可以是最小的，並且基本上由些成像通道的該些光學組件(即該陣列14、該圖像感測器12和該光束偏轉器18)沿y方向的延伸預先定義。
該多孔徑成像裝置的一體積可以在平面68a和68b之間具有小的或最小的安裝空間。沿著平面68a和/或68b的側面或延伸方向，該多孔徑成像裝置的安裝空間可以是大的或任意大的。該虛擬長方體的體積受到例如該圖像感測器12、該單行陣列14和該光束偏轉器的佈置的影響，這些部件的佈置使得根據本文所述的實施例，這些組件的安裝空間沿著垂直於該些平面的方向，因此，該些平面68a和68b彼此的距離變小或變最小。與該些部件的其他多種佈置相比，該虛擬長方體的其他側面的體積和/或距離可以被增加。
該些致動器721至725可各自具有平行於方向y的一尺寸或一延伸。從兩個平面68a和68b之間的一區域開始，不超過每個致動器721至725的尺寸的50%、30%或10%的比例可以突出超出平面68a和/或68b，或者從該區域突出。這意味著該些致動器721至725(最多)不明顯地突出平面68a和/或68b。根據數個實施例，該些致動器不突出超過平面68a和68b。這樣做的優點是，該些致動器不會增加該多孔徑成像裝置沿厚度方向或方向y的延伸。
儘管此處使用的術語例如上、下、左、右、前或後是為了更清楚明白，但並不意味著具有任何限制性作用。明顯的，這些術語在空間內的旋轉或傾斜的基礎上可以相互互換。例如，從該圖像感測器12到該光束偏轉器18的x方向可以理解為在前面或在前方。例如，可以將正y方向理解為上方。沿著正或負的z方向遠離該圖像感測器12、該陣列14和/或該光束偏轉器18，或與圖像感測器12、該陣列14和/或該光束偏轉器18相距一距離的區域可以被理解為與各個組件相鄰。簡而言之，一圖像穩定器可以包含該些致動器721至725中的至少一個。該至少一個致動器可以位於一平面71內或平面68a和68b之間。
換句話說，致動器721至725可以位於該圖像感測器12、該陣列14和/或該光束偏轉器18的前面、後面或旁邊。根據數個實施例，致動器36和42佈置在平面68a和68b之間的區域之外，有一最大周長的50%，30%或10%。
圖3c示出了該多孔徑成像裝置的示意側視截面圖，其中在該光束偏轉器18的不同位置的基礎上可檢測到不同的第一全視場261和第二全視場262，因為該多孔徑成像裝置此時具有不同的觀看方向。該多孔徑成像裝置可以適用於通過一角度α改變該光束偏轉器的一傾斜，以使得替代地該光束偏轉器18的不同的主側面被佈置面對該陣列14。該多孔徑成像裝置可以包含一致動器，適用於使該光束偏轉器18圍繞旋轉軸線76傾斜。例如，該致動器可以適用於將該光束偏轉器18移動到第一位置，在該第一位置中，該光束偏轉器18使該陣列14的該些光通道的光束路徑26偏轉到正y方向。為了這個目的，該光束偏轉器18可以在第一位置具有例如一角度α大於0°和小於90°、至少10°和最多80°或至少30°和最多50°，例如45°。該致動器可適用於使光束偏轉器在一第二位置繞旋轉軸線76偏轉，使得該光束偏轉器18使該陣列14的該些光通道的該光束路徑向負y方向偏轉，該負y方向由朝向第二全視場262的觀看方向和由該光束偏轉器18的虛線表示。例 如，可以將該光束偏轉器18配置為在兩側反射，使得在該第一位置，該觀看方向指向該第一全視場261。
圖4a示出了根據一個實施例的一裝置40的示意俯視圖，其中，致動器72被形成為一壓電彎曲致動器。致動器72被配置為在x/z平面中執行一彎曲，如虛線所示。該致動器72經由一機械偏轉器82連接至該陣列14，使得當該致動器72彎曲時，該陣列14可沿著x方向發生一橫向位移，從而可改變焦點位置。例如，致動器72可以連接到基板78。替代地，該致動器72也可以安裝在一殼體上，該殼體容納該些光學元件22a至22d的至少一部分，以移動該殼體。其他變體也是可能的。
可選地，該裝置可以包含40另外的致動器841和842，其被配置為在該陣列14和/或該光束偏轉器18處產生運動，例如以將該光束偏轉器18放置在不同的數個位置或數個方位和/或通過該陣列14沿z方向的平移位移來穩定光學圖像和/或通過產生該光束偏轉器18圍繞該旋轉軸線76的旋轉運動。
與前面的附圖中所描述的不同，該光束偏轉器18可以具有多個間隔開但共同可移動的數個切面86a至86d，每個光通道與一個切面86a至86d相關聯。該些切面86a至86d也可以佈置成直接相鄰，即，它們之間的距離很小或沒有距離。替代地，也可以佈置一平面鏡。
通過致動該致動器72，該些光學元件22a-d中的至少一個與該圖像感測器12之間的一距離881可以從一第一值881改變為一第二值882，例如，增加或減少。
圖4b示出了裝置40的示意側向截面圖，以示出結合圖3a描述的平面68a和68b之間致動器72的佈置。例如，該致動器72完全佈置在平面68a和68b之間，如同該機械偏轉裝置82，該機械偏轉裝置82使用了幾個力傳遞元件，例如數種連接網、線、繩索等，以及數種機械軸承或偏轉元件。
用於將運動傳遞到該陣列14的該機械偏轉器或機械裝置可以佈置在該圖像感測器12遠離該陣列14的一側，即從該圖像感測器12後面的該陣列14開始。該機械裝置82可以被佈置成使得力的一通量橫向地通過該圖像感測器12這樣的方式。替代地或另外地，該致動器72或另一個致動器可以位於該光束偏轉器18的遠離該陣列14的一側，即從該陣列14位於該光束偏轉器18後面開始。該機械裝置82可以佈置成使得力的一通量橫向地通過該光束偏轉器18。
儘管僅示出了一個致動器72，但是也可以佈置更多個致動器，和/或可以將致動器72的一個以上的側連接至一機械偏轉器82。例如，可以連接一中央地安裝或支撐的致動器72在一機械偏轉器82的兩側上，其可以例如在該陣列14的兩側上起作用以實現均勻的運動。
圖5a示出了一全視場26中的數個部分視場24a和24b的一陣列的示意圖，該全視場26例如可以由本文所述的該多孔徑成像裝置(諸如該多孔徑成像裝置101、102、103、30和/或40)檢測到，並且可以例如對應於第一全視場261和/或第二全視場262。例如，可以通過使用光通道16b來將全視場26投影到該圖像感測器區域28b上。例如，光通道16a可以被配置為捕捉部分視場24a並將其投影在該圖像感測器區域28a上。另一光通道(例如光通道16c)可以被配置為檢測部分視場24b並將其投影在該圖像感測器區域28c上。這意味著可以形成數個光通道的一群組以確切地捕捉兩個部分視場24a和24b。因此，可以進行同時捕捉全視場和部分視場，這又可以一起代表全視場26。
儘管示出了具有不同的延伸以提高可區分性，但是部分視場24a和24b可沿著至少一個圖像方向B1或B2(例如圖像方向B2)具有相同的延伸或類似的數個延伸。該些部分視場24a和24b的延伸可以與沿著該圖像方向B2的全視場26的延伸相同。這意味著該些部分視場24a和24b可以沿著該圖像方向B2完全地捕捉或拾取(pick up)全視場26，並且可以僅部分地捕捉或拾取沿著另一個圖 像方向B1的全視場，該另一個圖像方向B1垂直於前者佈置並且可以以相互偏置的方式佈置，使得也沿著第二方向組合地完全捕捉全視場26。該些部分視場24a和24b可以彼此不相交或者在一重疊區域25中至多彼此不完全重疊，該重疊區域25可能在該全視場26中完全沿著該圖像方向B2延伸。包含光通道16a和16c的數個光通道的一群組可以被配置為當一起拍攝時對該全視場26進行完全成像，例如通過結合所拍攝的一全照片與所拍攝的數個部分圖照片一起對全視場進行成像。該圖像方向B1例如可以是要被提供的一圖像的一水平線。簡而言之，該些圖像方向B1和B2代表兩個不同的圖像方向，它們可以位於房間的任何位置。
圖5b示出了該些部分視場24a和24b的一佈置的示意圖，該些部分視場24a和24b沿著不同的圖像方向(圖像方向B2)以相互偏移的方式佈置並且彼此相重疊。該些部分視場24a和24b可分別完全沿著圖像方向B1且不完全沿著圖像方向B2捕捉該全視場26。該重疊區域25，例如，沿著該圖像方向B1完全佈置在該全視場26內。
圖5c示出了四個部分視場24a至24b的示意圖，其分別在兩個方向B1和B2上不完全地捕捉該全視場26。兩個相鄰的部分視場24a和24b在一重疊區域25b中相重疊。兩個重疊的部分視場24b和24c在一重疊區域25c中相重疊。類似地，部分視場24c和24d在一重疊區域25d中相重疊，以及部分視場24d在一重疊區域25a中與部分視場24a相重疊。所有的四個部分視場24a至24d可以在該全視場26的一重疊區域25e中相重疊。
類似於關於圖1a-c所描述的多孔徑成像裝置的一多孔徑成像裝置可以例如用於捕捉該全視場26和該些部分視場24a-d。該陣列14可以具有五個光學元件，其中四個用於捕捉該些部分視場24a-d，並且一個光學元件用於捕捉該全視場26。因此，就圖5a-b而言，該陣列可以配置有三個光通道。
在該些重疊區域25a至25e中，可獲得大量圖像資訊。例如，該重疊區域25b是通過該全視場26、該部分視場24a和該部分視場24b捕捉的。該全視場的一圖像格式可以對應於成像的該些部分視場的無冗餘組合，例如圖5c中的該些部分視場24a-d，其中該些重疊區域25a-e在每種情況下都只計數一次。結合圖5a和5b，這適用於該些部分視場24a和24b的無冗餘組合。
該些重疊區域25和/或25a-e中的一重疊例如可以包含各個部分圖像的最大的50%、35%或20%。
換句話說，根據第一方面，可以減少光通道的數量，這可以節省成本並減少橫向安裝空間的要求。根據第一方面，一種深度資訊獲取的形式，該深度資訊獲取的形式可以替代立體獲取，不需要另外的感測器(例如飛行時間，結構化或編碼光等)即可實現。因此，能够实现低解析度的飛行時間感測器以及具有高能量需求的結構化光感測器因此可以被避免。這兩種方法在強烈的環境光尤其是日光下仍然存在問題。在實施例中提供的相應的裝置被設計為不需要這種感測器。根據一個實施例，一壓電彎曲器用作具有低功耗的極快的聚焦參數。該多孔徑成像裝置所描述的架構允許使用這種壓電彎曲器，因為相機模組的其他立方形狀參數使得長的壓電彎曲器的利用更加困難甚至不可能。在較短的曝光時間下，這可以拍攝焦點合成，即在場景焦點略有不同的情況下，一張接一張地快速拍攝照片。數個實施例提供了場景的整個深度以有用的方式被採樣，例如從微距(macro)，最接近的可能拍攝，到無限遠，即在最大可能的距離。該些距離可以等距地佈置在物體空間中，但是較佳地佈置在圖像空間中。替代地，可以選擇不同的合理距離。例如，焦點位置的一數量是至少兩個、至少三個、至少五個、至少十個、至少二十個或任何其他數目。
可以將幾個圖像42呈現給使用者。替代地或另外地，數個實施例提供用於組合各個圖像資訊，從而可以向使用者提供已經組合的圖像資訊的一 圖像。例如，具有深度資訊的一圖像提供了數位重新聚焦的可能性。所呈現的圖像可以提供所謂的散景效果，即散焦。替代地，該圖像也可以以這樣的方式呈現，即整個圖像是人工地銳利化，這意味著比單個幀的數個部分區域中更大的距離範圍是聚焦的，例如整個圖像。在所用鏡頭的光圈值較低的情況下，在單幀中測得的清晰度或模糊度以及其他資訊(例如，堆疊的數個相鄰圖像中數個相同物體的清晰度)，聚焦致動器位置與一物距之間的聯繫，對於例如，在使用一校準查找表時，可以使用離焦掃描的一方向(對於該些幀本身)，也可以一遞歸方式從其他圖像使用，以避免模糊不清，以用於重建場景中各個元素的物距並從中創建圖像解析度的一深度圖。
根據第一方面，一個實現是可以省略用於一立體圖像的數個通道的重複，同時仍然可以創建一深度圖。這個深度圖使得能夠縫合該多孔徑成像裝置的不同部分圖像。例如，通過將光通道的數量減半，可以顯著減小橫向尺寸，例如沿著線延伸方向，因此，還可以實現降低成本。圖像處理可以提供至少與其他步驟同樣好的圖像。
圖6示出了根據關於第二方面的一個實施例的一裝置60的示意透視圖。上面描述的實施方式也容易地應用於裝置101、103、30和/或40。通過將該光束偏轉器引導到不同的位置，該裝置60或該裝置60的該多孔徑成像裝置可以捕捉兩個相互間隔開的整體視場261和262。
該裝置60被設計為例如可攜式或行動裝置，特別是平板電腦或行動電話，特別是智慧型手機(智慧型電話)。
該些視場261和262中的一個可以，例如，沿著該裝置60的一使用者方向佈置，例如在用於自拍照照片和/或視頻的情況下通常的做法。
其他全視場可以例如沿著該裝置60的一相反方向和/或一視覺方向佈置，並且可以例如沿著使用者在他/她看著該裝置60沿著使用者方向從全視 場看時所沿著的方向佈置。例如，圖1b中的該光束偏轉器18可以形成為在兩側都是反射的，並且使該些光通道16a-d的光束路徑在例如具有不同的主側面的不同位置上偏轉，例如，使得從該裝置60開始，該些第一全視場261和第二全視場262彼此相對和/或以180°的一角度佈置。
圖7a示出了說明圖像資訊461和462的處理的示意圖，其可以通過對第一全視場261和第二全視場262成像而獲得。該控制裝置被配置為分離(例如切出或隔開)該第一全視場261的圖像資訊461中的一部分92或僅複製該部分92。該控制裝置還適用於將分離或分割的部分92與該圖像資訊462相組合，即，將部分92插入該圖像資訊462中以獲得累積的圖像資訊48。在某些地方，後者顯示該第二全視場262，在某些地方，即插入部分92的地方，則顯示該圖像資訊461。應該注意的是，該累積的圖像資訊48的獲得不限於單個部分92的插入，而是可以從圖像資訊461中分割出任意數量的部分92，並且可以將這些部分中的一個、幾個或全部插入到圖像資訊462中。
可以通過該控制裝置自動確定部分92插入該第二圖像資訊462中的一方位或位置，例如通過該裝置60將部分92投影到該第二全視場262中，但是可以替代地或另外地也由使用者選擇。
根據一個實施例，該控制裝置被配置為在該第一圖像資訊461中識別和分割一人物，例如經由圖案匹配和/或邊緣檢測，但是特別是基於由該裝置本身生成的該深度圖。該控制裝置可以適用於將人的圖像插入該第二圖像資訊462中以獲得該累積的圖像資訊48。這意味著部分92可以是人，例如該裝置60的一使用者。數個實施例提供了該裝置被配置為自動識別人並將人的圖像(即部分92)自動插入到該第二圖像資訊462中。這使得可以自動創建自拍像或在該第二全視場262前或在該第二全視場262中自動創建自拍像，而不必以費時的方式定位該裝置60和/或不必以費時的方式定位該使用者。
數個實施例提供該控制裝置使用一深度圖(例如該深度圖38)來將部分92定位在該第二圖像資訊462中。該深度圖38可以具有數個或多樣的深度平面，例如根據所考慮的焦點位置的數量，或從中獲得的減少數量或從中插入的較大數量。該控制裝置可以適用於將部分92插入該第二圖像資訊462的預先決定的深度平面中以獲得該累積的圖像資訊48。該預先決定的深度平面可以基本上對應，即在±10%、±5%、±2%的誤差範圍內，分別對應於該第一全視場262距該裝置60的一距離或分割的部分92距該裝置60的一距離。這也可以被稱為以在深度方面正確的方式將部分92插入該第二圖像資訊462中。
圖7b示出了該累積的圖像資訊48中的部分92的縮放的示意圖。替代地，可以選擇不同的深度平面，為此目的，提供了實施例的各種可能性。例如，該預先決定的深度平面可以受該第二圖像資訊462中的部分92的布局的影響或由該第二圖像資訊462中的部分92的布局確定。該布局可以自動地或通過使用者輸入來進行。例如，如果使用者選擇該第二圖像資訊462內的特定方位或地點以插入部分92，則該控制裝置可以被配置為在該第二圖像資訊462中確定待被插入部分92所在的區域的一距離。知道部分92與該裝置和該第二圖像資訊462中的該些物體的距離，例如，當使用數個深度圖時，則可以通過縮放部分92來補償由使用者輸入引起的部分92的一虛擬距離變化。
因此，當部分92從該第一圖像資訊461到該第二圖像資訊462的距離增加時，部件92的一維、二維或三維尺寸94可被改變(例如，可被減少)到一尺寸96；或者當從該第一圖像資訊461到該第二圖像資訊的距離減少462時，增加)到一尺寸96。與此獨立地，但是也可以基於相關聯的使用者輸入將部分92組合地放置在該第一圖像資訊461中，該裝置可以被配置為縮放該圖像資訊461以獲得縮放的圖像資訊。該縮放的圖像資訊可以通過該控制裝置被插入到該圖像資訊462中以獲得該累積的圖像資訊48。該裝置可以被配置為確定一物體相對於該裝置 60的一距離，該物體代表部分92並且被成像在該第一圖像資訊461中。該裝置可以在所確定的距離與在該第二圖像資訊462中的該預先決定的深度平面的一比較來縮放該圖像資訊461或其部分92。如果在短時間內捕捉了圖像資訊461和462的两項是有利的。如果在不超過30毫秒、不超過10毫秒、不超過5毫秒或不超過1毫秒的一時間間隔內時間的距離是大約0.1毫秒是有利的。這個時間可以例如用於光束偏轉器的轉換或重新定位，並且可以至少部分地由該過程的一持續時間確定。
該累積的圖像資訊48可以作為單個幀被獲得，替代地或另外地也作為一視頻數據流，例如作為大量的單個幀。
根據一個實施例，根據第二方面形成一種裝置，使得該第一圖像資訊461包含一使用者的一圖像，及該第二圖像資訊462包含該裝置的一視覺視野(world view)。該控制裝置被配置為從該第一圖像資訊461中分割該使用者的一圖像並將其插入到該視覺視野中。例如，該裝置可以被配置為以正確的深度將該使用者的該圖像插入到該視覺視野中。
換句話說，在第二方面的背景下，拍攝一自拍圖像或拍攝一視頻可以包含一深度基礎的準同步(quasi-simultaneous)拍照與一前置相機/視野和一裝置(尤其是手機)的主相機/視野的組合。該自拍照(selfie)的前景(即自拍像(self-portrait))可以被傳輸到由該主相機拍攝的照片的前景。通過改變該光束偏轉器的位置，可以在前後拍照之間進行非常快速的切換，從而允許使用相同的圖像感測器對視覺側和使用者側的相機圖像進行上述的準同步捕捉。儘管根據第二方面也可以使用單通道成像裝置，但是第二方面尤其在該多孔徑成像裝置方面具有優勢，因為它們已經可以創建或使用一深度圖來合併該些幀。這個深度圖還可以用於確定深度資訊，以合成該累積的圖像資訊48。可以進行以下可行的程序的描述：
1.使用自拍照的深度圖以便分割前景，即一人物/數個人從背景拍攝自己的一張照片/數張照片；2.使用視覺側的照片的深度圖以從中識別一前景和一背景，即分離深度資訊；以及3.從自拍照插入前景(即一人物/數個人拍攝自己的一張照片/數張照片)到視覺側畫面的照片中，尤其是到其前景中。
這樣做的好處是，自拍照的畫面可以與視覺側的照片作為背景結合使用，而不必像其他情況下必須將手機旋轉180°才能在這個場景前拍攝自己的一照片。替代地或另外地，避免了你以向後的方向拍攝自己的照片，這需要記住手機的方向必須始終相對於場景鏡面相反。該深度圖本身也可以根據第二方面生成，如結合第一方面所描述的那樣，以便可以省去飛行時間感測器或結構光感測器的另外佈置。
在下文中，將參考該多孔徑成像裝置的一些有利的實施方式來解釋本發明的優點。
圖8示出了可以在第一和/或第二方面的發明裝置中使用的一多孔徑成像裝置80的數個部分，其中未示出用於實現光學圖像穩定的一可能的聚焦裝置和/或致動器，但可以容易地實現。
圖8的該多孔徑成像裝置80包含相鄰佈置的數個光通道16a-d的一陣列14，其以多行或較佳地以一行形成。每個光通道16a-d包含數個光學元件22a-d，用於對一全視場26的相應部分視場24a-d或可能的一全視場成像，如結合圖5所述。該多孔徑成像裝置80上示出的視場被投影在一圖像感測器12的各自相關聯的圖像感測器區域28a-d上。
該些圖像感測器區域28a-d例如可以各自由一晶片形成，該晶片包含一對應的像素陣列；該些晶片可以被安裝在一共同基板(substrate)或板(board) 98上，如圖8所示。替代地，當然也可以使該些圖像感測器區域28a-d中的每一個由在該些圖像感測器區域28a-d上連續延伸或中斷的一公共像素陣列的部分形成，例如在單個晶片上形成公共像素陣列。例如，然後將僅讀取該些圖像感測器區域28a-d中的該公共像素陣列的數個像素值。當然，這些替代方案的不同混合也是可能的，例如存在用於兩個或更多個通道的晶片，以及用於其他通道等的又一晶片。在該圖像感測器12的多個晶片的情況下，它們可以被安裝在例如一塊或多塊板上，例如全部或成組等。
在圖8的示例中，四個光通道16a-d在該陣列14的線延伸方向上彼此相鄰的排成一行，但是數字4僅是示例性的，並且可以是任何其他大於1的數字，即可以配置N>1的N個光通道。另外，該陣列14還可以具有沿線延伸方向延伸的更多線。數個光通道16a-d的一陣列14應被理解為該些光通道的組合或其空間分組。光學元件22a-d可以各自具有透鏡，但是也可以具有透鏡綜合體(compound)或透鏡堆疊，以及數個成像光學元件和其他光學元件的組合，包含數個濾光器、數個孔徑、數個反射或衍射元件等。陣列14可以以該些光學元件22a-d以通道特定的方式成組或全部合併在一起佈置，固定或安裝在該基板78上這樣的方式設計。這意味著可以佈置單個基板78，其幾個部分或不佈置基板78，例如如果該些光學元件22a-d安裝在其他地方。
根據一個示例，該些光通道16a-d的光軸或光束路徑102a-d可以在該些圖像感測器區域28a-d和該些光學元件22a-d之間彼此平行地延伸。為此，該些圖像感測器區域28a-d被佈置在一個共同平面中，例如，如同該些光學元件22a-d的光學中心一樣。兩個平面彼此平行，即，平行於該些圖像感測器區域28a-d的該共同平面。另外，在垂直於該些圖像感測器區域28a-d的該平面的一投影中，該些光學元件22a-d的光學中心與該些圖像感測器區域28a-d的數個中心相重合。 換句話說，在這些平行平面中，一方面，該些光學元件22a-d和該些圖像感測器區域28a-d沿線延伸方向以相同的間距被佈置。
數個圖像感測器區域28a-d與相關聯的數個光學元件22a-d之間的一圖像側距離被設置為使得該些圖像感測器區域28a-d上的該些圖像被設置為一期望的物距。例如，距離是(liis)在等於或大於數個光學元件22a-d的焦距的一範圍內，或者在數個光學元件22a-d的焦距和雙倍焦距之間的一範圍內，兩者都包括在內。在該些圖像感測器區域28a-d和該些光學元件22a-d之間沿著該些光軸102a-d的該圖像側距離也可以是可設置的，例如，例如由一使用者手動和/或通過一聚焦裝置或自動聚焦控制自動設置。
在沒有任何附加測量的情況下，該些光通道16a-d的該些部分視場24a-d基本上由於該些光束路徑或光軸102a-d的平行性而完全重疊。該光束偏轉器18被提供以覆蓋較大的全視場26，使得該些部分視場24a-d僅在空間上部分重疊。該光束偏轉器18使該些光束路徑102a-d或光軸偏轉，例如通過一通道特定的偏離(deviation)進入一全視場方向104。例如，該全視場方向104與垂直於該陣列14的該線延伸方向的一平面平行延伸，並且在光束偏轉之前或沒有光束偏轉的情況下，平行於光軸102a-d的路線(course)。例如，該些光軸102a-d的該全視場方向104是通過使該線延伸方向圍繞大於0°且小於180°的一角度旋轉而獲得的，該角度例如在80°與100°之間，例如可以為90°。因此，與該些部分視場24a-d的總覆蓋率相對應的該多孔徑成像裝置80的該全視場26不位於該圖像感測器12與該陣列14沿該些光軸102a-d方向串聯連接的一延伸的方向上，但是由於光束偏轉，該全視野在測量該多孔徑成像裝置80的安裝高度的方向(即垂直於該線延伸方向的橫向方向上)位於橫向於該圖像感測器12和陣列14。
然而，此外，該光束偏轉器18使例如每個光束路徑或每個光通道16a-d的光束路徑以具有通道特定的偏離從剛剛提到的一個偏轉到指向方向104。 用於每個通道16a-d的該光束偏轉器18包含例如一單獨安裝的元件，例如一反射的切面86-d和/或一反射表面。這些彼此略有傾斜。該些切面86a-d的相互傾斜的選擇以這樣的方式使得當光束被該光束偏轉器18偏轉時，該些部分視場24a-d具有輕微的發散，這樣使得該些部分視場24a-d僅部分重疊。如圖8中示例性地示出的，還可以以這樣的方式實現個別偏轉，即，該些部分視場24a-d以二維方式覆蓋該全視場26，即它們在該全視場26中以二維方式分佈。
根據另一示例，可以建立一光通道的該些光學元件22a-d以完全或部分地在該些光束路徑102a-d中產生發散，這使得可以完全或部分地消除各個切面86a-d之間的傾斜。例如，如果發散完全由光學元件22a-d提供，則該光束偏轉器也可以形成為平面鏡。
應當注意的是，到目前為止已經被描述的關於該多孔徑成像裝置80的許多細節僅被選擇為示例。例如，上述數量的光通道就是這種情況。該光束偏轉器18也可以不同於先前描述的方式形成。例如，該光束偏轉器18不一定是反射的。因此，它也可以設計成不同於切面鏡(facetted mirror)形式的設計，例如。透明棱鏡光楔(wedges)的形式。在這種情況下，例如，平均光束偏轉可以是0°，即，方向104例如可以在光束偏轉之前或沒有光束偏轉情況下平行於該些光束路徑102a-d，或者換句話說，該多孔徑成像裝置80仍可能“直視前方”即使有該光束偏轉器18。由該光束偏轉器18的通道特定的偏轉將再次導致該些部分視場24a-d僅彼此稍微重疊，例如與該些部分視場24a-d的立體角範圍<10%的相關的成對重疊。
同樣，該些光束路徑102a-d或該些光軸可能會偏離所描述的平行度，然而，對於該些部分視場，該些光通道的該些光束路徑的平行度可能仍然足夠明顯，它們被各自的通道16a-N覆蓋和/或投影在相應的圖像感測器區域28a-d上，如果不採取任何其他措施，例如光束偏轉，將大大地重疊，因此，為了通過 該多孔徑成像裝置80覆蓋更大的全視場，該光束偏轉器18為該些光束路徑提供了額外的發散，使得N個光學通道16a-N的該些部分視場彼此相重疊較少。該光束偏轉器18例如確保該全視場具有該些光通道16a-N的各自的部分視場的孔徑角大於1.5倍的一孔徑角。利用該些光束路徑102a-d的一種預發散，例如也可能不是所有的切面傾角都不同，而是某些數個通道的數個群組例如具有相同傾角的切面。後者然後可以形成為一件，或者使得它們連續地彼此合併，幾乎為一個切面，該切面與在該線延伸方向上相鄰的數個通道的該組相關聯。
這些通道16a-d的該些光軸102a-d的發散可能源自這些光軸102a-d的發散，這是通過該些光學元件22a-d的數個光學中心與該些通道16a-d的數個圖像感測器區域28a-d或數個棱鏡結構或數個偏心的透鏡部分之間的橫向偏移實現的。例如，預發散可能限於一個平面。例如，該光軸102a-d可以在任何光束偏轉18之前或沒有光束偏轉18的情況下在一共同平面內延伸，但是可以以發散的方式在該平面內延伸，並且該些切面86a-d僅在另一橫向平面內引起額外的發散，即它們全部平行於該線延伸方向傾斜並且以僅關於該些光軸102a-d的上述的共同平面不同的方式相互傾斜；又或，幾個切面86a-d可能表現出相同的傾斜度，或者通常與數個光軸不同的數個通道的一群組相關聯，例如，在上述該些光軸的共同平面中在光束偏轉之前或沒有光束偏轉的情況下成對。
如果省略該光束偏轉器18，或者如果該光束偏轉器18設計為平面鏡等，則整體的發散也可以通過該些光學元件22a-d的該些光學中心(一方面，該些圖像感測器區域28a-d的數個中心)之間的橫向偏移來實現，另一方面，或者通過數個棱鏡結構或數個偏心透鏡部分。
上述的預發散可能存在可以實現，例如，將數個光學元件22a-d的數個光學中心沿線延伸方向放置在一直線上，而數個圖像感測器區域28a-d的數個中心被佈置成偏離該些光學中心沿該些圖像感測器區域28a-d的一平面的一法 線投影在該圖像感測器平面內的一直線上的數個點上，例如，在沿著該線延伸方向和/或沿著垂直於該線延伸方向和該圖像感測器的法線的方向以通道特定的方式偏離該圖像感測器平面內的上述直線上的該些點的數個點處。替代地，可以通過將該些圖像感測器28a-d的該些中心沿該線延伸方向放置在一直線上來實現預發散，而該些光學元件22a-d的該些中心被佈置成偏離該些圖像感測器的該些光學中心沿著該些光學元件22a-d的該些光學中心的平面的法線的投影在該光學中心平面內的一直線的數個點上，例如，以一通道特定的方式沿著該線延伸方向和/或沿著垂直於該線延伸方向和該光學中心平面的法線的方向偏離在該光學中心平面中的上述直線上的該些點的數個點處。
較佳的是，上述與各個投影的通道特定的偏離僅在該線延伸方向上發生，即，如果該些光軸102a-d僅位於一個共同平面內並且設置有一預發散。數個光學中心和數個圖像感測器區域中心然後都將位於平行於該線延伸方向的一直線上，但具有不同的分段距離。另一方面，數個透鏡和數個圖像感測器之間在垂直於該線延伸方向和橫向於該線延伸方向的方向上的一橫向偏移導致安裝高度的增加。在該線延伸方向的一純粹平面內偏移不會變更該安裝高度，但是可能會導致較少的切面，和/或該些切面可能僅在角度取向上傾斜，從而簡化了架構。
儘管已經結合裝置描述了一些方面，但是應當理解，這些方面也代表了對相應方法的描述，因此，裝置的方框或組件也應被理解為相應的方法步驟或方法步驟的特徵。類似地，結合方法步驟或作為方法步驟描述的方面也代表對相應裝置的相應方框或細節或特徵的描述。
上述實施例僅是本發明原理的說明。不言而喻，本文描述的佈置和細節的修改和變化對於本領域具有通常知識者將是顯而易見的。因此，意圖是 本發明僅由下面的專利權利要求的範圍來限制，而不是由借助於在此的實施例的描述和解釋所呈現的具體細節來限制。
102:多孔徑成像裝置
12:圖像感測器
14:陣列
16a-16d:光通道
18:光束偏轉器
181:第一位置
182:第二位置
261:第一全視場
262:第二全視場
44:控制裝置
461:第一圖像資訊
462:第二圖像資訊
48:累積的圖像資訊
52:訊號

Claims (18)

  1. 一種裝置，包含：一種多孔徑成像裝置，包含：一圖像感測器(12)；相鄰佈置的數個光通道(16a-d)的一陣列(14)，每個光通道(16a-d)包含數個光學元件(22a-d)，用於投影一第一全視場(261)、一第二全視場(262)的至少一部分視場(24a-d)在該圖像感測器(12)的一圖像感測器區域(28a-d)上；一光束偏轉器(18)，用於偏轉該些光通道(16a-d)的一光束路徑(104)，其中該光束偏轉器(18)的一相對方位可在一第一位置和一第二位置之間切換，從而在該第一位置，該光束路徑(104)朝向該第一全視場(261)偏轉；在該第二位置，該光束路徑(104)朝著該第二全視場(262)偏轉；該裝置還包含：數個控制裝置(44、54)適用於控制該光束偏轉器(18)以移動到該第一位置，以從該圖像感測器(12)獲得該第一全視場(261)的第一圖像資訊(461)；及控制該光束偏轉器(18)以移動到該第二位置，以從該圖像感測器(12)獲得該第二全視場(262)的第二圖像資訊(462)；以及將該第一圖像資訊(461)的一部分(92)插入到該第二圖像資訊(462)中，以便獲得數個部分表示該第一全視場(261)及數個部分表示該第二全視場(262)的累積的圖像資訊(48)， 其中該裝置適用於為該第二圖像資訊(462)創建具有數個深度平面的一深度圖(38)，及將該第一圖像資訊(461)插入該第二圖像資訊(462)的一預先決定的深度平面中，以獲得該累積的圖像資訊。
  2. 如請求項1所述的裝置，其中該控制裝置(44、54)被配置用以以該第一圖像資訊(461)的該部份(92)取代該第二圖像資訊(462)的一部份。
  3. 如請求項1或2所述的裝置，其中該第二全視場(262)與該第一全視場(261)不相交。
  4. 如請求項1所述的裝置，其中該第一全視場(261)沿著該裝置的一使用者裝置或者沿著該裝置的一相對地佈置的視覺方向來佈置。
  5. 如請求項4所述的裝置，其中該第二全視場(262)沿著與該第一全視場(261)相對的一方向來佈置。
  6. 如請求項1所述的裝置，其中該些控制裝置(44、54)適用於識別和分割在該第一圖像資訊(461)中的一人物，及將該人物的一圖像插入到該第二圖像資訊(462)中，以便獲得該累積的圖像資訊(48)。
  7. 如請求項6所述的裝置，該裝置適用於自動地識別該人物及將該人物的該圖像自動地插入到該第二圖像資訊(462)中。
  8. 如請求項6所述的裝置，該裝置適用於在識別和/或分割該部分(92)同時使用由該裝置從該第一圖像資訊(461)生成的該深度圖(38)。
  9. 如請求項1所述的裝置，其中該預先定義的深度平面在10%的一容限範圍內對應於從該裝置到該第一全視場(261)的一距離。
  10. 如請求項8所述的裝置，其中該預先定義的深度平面是基於與在該第二圖像資訊(462)中的該第一圖像資訊(461)的一佈局相關聯的一使用者輸入。
  11. 如請求項8所述的裝置，該裝置適用於縮放該第一圖像資訊(461)以獲得縮放的第一圖像資訊，及將該縮放的第一圖像資訊插入到該第二圖像資訊(462)中，以獲得該累積的圖像資訊(48)。
  12. 如請求項11所述的裝置，該裝置適用於確定在該第一圖像資訊(461)中相對於該裝置成像的一物體的一距離，以及在該第二圖像資訊(462)中該預先決定的深度平面與一確定的距離的比較的基礎上來縮放該第一圖像資訊(461)。
  13. 如請求項1所述的裝置，該裝置適用於在最多30毫秒的一時間間隔內檢測該第一全視場(261)和該第二全視場(262)。
  14. 如請求項1所述的裝置，該裝置適用於獲得該累積的圖像資訊(48)作為一視頻數據流。
  15. 如請求項1所述的裝置，該裝置適用於獲得該累積的圖像資訊(48)作為單個幀。
  16. 如請求項1所述的裝置，其中該第一圖像資訊(461)包含一使用者的一圖像，及該第二圖像資訊(462)包含該裝置的一視覺視野，其中該些控制裝置(44、54)被配置為從該第一圖像資訊(461)分割該使用者的一圖像，及將其插入到該視覺視野中。
  17. 如請求項16所述的裝置，該裝置適用於以在深度方面正確的方式將該使用者的該圖像插入到該視覺視野中。
  18. 如請求項1所述的裝置，該裝置適用於檢測具有數個不同焦點位置的該第一全視場(261)和/或該第二全視場(262)的數個圖像的一序列，及適用於從該些圖像的該序列創建對於該第一全視場(261)和/或該第二全視場(262)的一深度圖(38)。
TW108147029A 2018-12-21 2019-12-20 包含用於累積圖像資訊的多孔徑成像裝置的裝置 TWI794571B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018222861.2A DE102018222861A1 (de) 2018-12-21 2018-12-21 Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation
DE102018222861.2 2018-12-21

Publications (2)

Publication Number Publication Date
TW202043842A TW202043842A (zh) 2020-12-01
TWI794571B true TWI794571B (zh) 2023-03-01

Family

ID=69024266

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108147029A TWI794571B (zh) 2018-12-21 2019-12-20 包含用於累積圖像資訊的多孔徑成像裝置的裝置

Country Status (8)

Country Link
US (1) US11330161B2 (zh)
EP (1) EP3900318B1 (zh)
JP (1) JP2022514766A (zh)
KR (1) KR20210103555A (zh)
CN (1) CN113330730B (zh)
DE (1) DE102018222861A1 (zh)
TW (1) TWI794571B (zh)
WO (1) WO2020127748A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019204075B4 (de) 2019-03-25 2022-03-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
US11343424B1 (en) * 2021-07-09 2022-05-24 Viewsonic International Corporation Image capturing method and electronic device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150296153A1 (en) * 2013-10-18 2015-10-15 The Lightco Inc. Methods and apparatus for controlling sensors to capture images in a synchronized manner

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP2005094741A (ja) * 2003-08-14 2005-04-07 Fuji Photo Film Co Ltd 撮像装置及び画像合成方法
KR100836616B1 (ko) * 2006-11-14 2008-06-10 (주)케이티에프테크놀로지스 영상 합성 기능을 가지는 휴대용 단말기 및 휴대용단말기의 영상 합성 방법
JP2011087183A (ja) * 2009-10-16 2011-04-28 Olympus Imaging Corp 撮影装置、画像処理装置、およびプログラム
JP6128928B2 (ja) * 2013-04-17 2017-05-17 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
KR102127351B1 (ko) * 2013-07-23 2020-06-26 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
CN109120823B (zh) * 2013-08-01 2020-07-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
DE102013222780B3 (de) 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
US20150130800A1 (en) 2013-11-12 2015-05-14 Fyusion, Inc. Segmentation of surround view data
DE102013226789B4 (de) * 2013-12-19 2017-02-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mehrkanaloptik-Bildaufnahmevorrichtung und Mehrkanaloptik-Bildaufnahmeverfahren
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
CA2941306C (en) * 2014-03-03 2020-04-28 Eyeway Vision Ltd. Eye projection system
DE102014212104A1 (de) * 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
DE102014213371B3 (de) 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
US9350924B2 (en) * 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing
US20160198097A1 (en) * 2015-01-05 2016-07-07 GenMe, Inc. System and method for inserting objects into an image or sequence of images
US10600169B2 (en) * 2015-03-26 2020-03-24 Sony Corporation Image processing system and image processing method
DE102015215840B4 (de) * 2015-08-19 2017-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102015215837A1 (de) 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Verfahren zum Herstellen derselben und Abbildungssystem
DE102015215841B4 (de) 2015-08-19 2017-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multikanalabbildungsvorrichtung und Verfahren zum Herstellen derselben
DE102015215844B4 (de) 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, tragbare Vorrichtung und Verfahren zum Herstellen einer Multiaperturabbildungsvorrichtung
DE102015215836B4 (de) 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit einer reflektierende Facetten aufweisenden Strahlumlenkvorrichtung
DE102015215845B4 (de) 2015-08-19 2017-06-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit
DE102015215833A1 (de) 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit Optiksubstrat
DE102015216140A1 (de) 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
DE102015220566B4 (de) 2015-10-21 2021-03-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung, Verfahren zum Bereitstellen derselben und Verfahren zum Erfassen eines Gesamtgesichtsfeldes
DE102016200287A1 (de) * 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
DE102016204148A1 (de) * 2016-03-14 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
DE102016208210A1 (de) * 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
US20180035031A1 (en) * 2016-07-27 2018-02-01 Samsung Electro-Mechanics Co., Ltd. Camera module and portable electronic device including the same
DE102017206442B4 (de) * 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150296153A1 (en) * 2013-10-18 2015-10-15 The Lightco Inc. Methods and apparatus for controlling sensors to capture images in a synchronized manner

Also Published As

Publication number Publication date
WO2020127748A1 (de) 2020-06-25
JP2022514766A (ja) 2022-02-15
EP3900318A1 (de) 2021-10-27
KR20210103555A (ko) 2021-08-23
US20210314471A1 (en) 2021-10-07
TW202043842A (zh) 2020-12-01
EP3900318B1 (de) 2024-01-17
US11330161B2 (en) 2022-05-10
DE102018222861A1 (de) 2020-06-25
CN113330730B (zh) 2023-05-12
CN113330730A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
US8305425B2 (en) Solid-state panoramic image capture apparatus
US10606152B2 (en) Multi-aperture imaging device, imaging system and method for capturing an object area
TWI687099B (zh) 用於成像局部視場的裝置、多孔徑成像裝置及其提供方法
US11924395B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
EP2618585B1 (en) Monocular 3d-imaging device, shading correction method for monocular 3d-imaging device, and program for monocular 3d-imaging device
US11785322B2 (en) Forming combined image by imaging system with rotatable reflector
JP2018533751A (ja) チャネル特有の調整可能性を有するマルチ開口撮像装置
JPH06194758A (ja) 奥行画像形成方法及び装置
US10996460B2 (en) Multi-aperture imaging device, imaging system and method of providing a multi-aperture imaging device
TWI794571B (zh) 包含用於累積圖像資訊的多孔徑成像裝置的裝置
JP2024028856A (ja) 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス
JP4693727B2 (ja) 三次元光線入力装置
US12007680B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
JP3875660B2 (ja) マルチ静電カメラモジュール
JPH1198532A (ja) 立体撮像装置および立体表示装置
JP4740477B2 (ja) 立体画像撮影用アダプタレンズ及び立体画像撮影システム
JP2002010294A (ja) 立体画像生成装置
JP2006126852A (ja) ミラースキャン機能を有する電子撮像装置