TW202043844A - 用以產生深度圖之包含多光圈影像裝置之裝置 - Google Patents

用以產生深度圖之包含多光圈影像裝置之裝置 Download PDF

Info

Publication number
TW202043844A
TW202043844A TW109110085A TW109110085A TW202043844A TW 202043844 A TW202043844 A TW 202043844A TW 109110085 A TW109110085 A TW 109110085A TW 109110085 A TW109110085 A TW 109110085A TW 202043844 A TW202043844 A TW 202043844A
Authority
TW
Taiwan
Prior art keywords
optical
view
image sensor
configuration
beam deflecting
Prior art date
Application number
TW109110085A
Other languages
English (en)
Other versions
TWI754907B (zh
Inventor
法蘭克 懷柏曼
賈奎斯 杜柏瑞
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202043844A publication Critical patent/TW202043844A/zh
Application granted granted Critical
Publication of TWI754907B publication Critical patent/TWI754907B/zh

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/02Stereoscopic photography by sequential recording
    • G03B35/04Stereoscopic photography by sequential recording with movement of beam-selecting members in a system defining two or more viewpoints
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/023Multi-image cameras
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/117Adjustment of the optical path length

Abstract

一種本發明裝置包括一多光圈成像裝置,其包含一影像感測器;鄰近地配置之光學通道的一陣列,各光學通道包括用於將一全視場之至少一個部分視場投影至影像感測器配置之一影像感測器區域上的一光學件;用於偏轉該等光學通道之一光學路徑的一光束偏轉構件;及用於設定該多光圈成像裝置之一焦點位置的一聚焦構件。該裝置進一步包含經組配以控制該聚焦構件並自該影像感測器接收影像資訊之一控制構件;該控制構件經組配以控制該多光圈成像裝置處於一焦點位置序列,以便捕獲該全視場之一對應影像資訊序列,並自該影像資訊序列產生所捕獲全視場之一深度圖。

Description

用以產生深度圖之包含多光圈影像裝置之裝置
發明領域
本發明涉及外殼內部包含多光圈成像裝置之裝置,特定而言涉及包含較小通路區域之裝置,特定而言,所述通路區域較窄,或對於光學路徑以表面積方面有效的方式配置(所謂的檢視窗或出射窗)。
發明背景
基於視場之逐通道劃分原理操作的多光圈相機使用反射鏡刻面作為光束偏轉元件。在通過反射鏡刻面的各別區域之情況下,個別光學路徑穿過外殼中可被稱為出射窗之開口。
展現此等窗之低區域耗用及/或不以干擾之方式利用區域耗用之裝置將係合乎需要的。
因此,本發明之目標為提供展現用於多光圈成像裝置之出射窗的低及/或無干擾區域耗用之裝置。
發明概要
此目標藉由獨立申請專利範圍之標的物來達成。
本發明之一個發現在於可利用多光圈成像裝置之本發明設置,使得光學通道之個別組件或個別組件整體沿著軸向方向之通道特定局部配置可用於獲得不同相對位置,以便使用於允許光學路徑通過至外殼中(其等效於光學路徑離開外殼)的所需通路開口大小保持為最小,從而使得外殼中之較小窗大小係可能的,在至少一個外殼側的由顯示器(顯示構件)覆蓋之一部分儘可能大或以儘可能區域有效方式利用的行動裝置中此情況係尤其有利的。
根據實施例,一種裝置包括具有兩個相對定位之主側的外殼,該等主側經由至少一個邊緣側彼此連接。裝置包括配置於外殼之內部中的多光圈成像裝置,且該多光圈成像裝置包含:影像感測器配置;鄰近地配置之光學通道的陣列,各光學通道包括用於將全視場之至少一個部分視場投影至影像感測器配置之影像感測器區域上的光學件;及用於偏轉光學通道之光學路徑的光束偏轉構件,光束偏轉構件包含多個刻面,各光學通道具有與其相關聯之刻面。主側中的一者包含具有至少一個通路區域之通路區域配置,通路區域配置設置成允許光學路徑穿過。相對於通路區域配置且沿著沿著影像感測器配置與光束偏轉構件之間的光學通道之光學路徑的線路之軸向方向,光學通道包含以下中的至少一者的通道特定相對位置:影像感測器區域;光學件;及與光學通道相關聯之刻面的反射表面。
將在附屬申請專利範圍中定義本發明之另外有利實施。
較佳實施例之詳細說明
在下文將參考圖式更詳細地解釋本發明之實施例之前,應注意,相同、功能相同或動作相同之元件、物件及/或結構在不同圖中將具備相同附圖標記,從而使得在不同實施例中提供的該等元件之描述可互換及/或可相互適用。
本文中所描述的實施例中之一些涉及包含光學通道陣列之多光圈成像裝置的光學通道之組件的通道特定相對位置。應理解,陣列為至少且較佳地由沿著行方向彼此緊鄰的一行光學通道組成之配置。多行陣列可包含多於一行的數目,各行可沿著同一行方向配置,且其中個別行可沿著列(column)方向相互偏移。即使光學通道可理解為整個光束之線路,該線路仍可至少部分地由與各別通道相關聯之光學元件(例如,鏡頭)之配置來判定,從而使得對於光學通道陣列,將光學元件彼此緊鄰地配置可係等效的。
因此,不同的相對位置涉及光學通道內之不同實施且可忽略光學通道中之橫向移位。不同的相對位置可涉及個別組件相對於彼此或在同一光學通道內之不同距離及/或相對傾斜/定向;由於有刻面光束偏轉構件之刻面可能已以通道特定方式傾斜,因此不考慮其刻面之不同傾斜/定向。特定而言,此處應考慮光學通道之光學路徑的線路之彼區域,該線路位於與光學通道相關聯之影像感測器區域與相關聯於光學通道且由反射或鏡像處理引起之光束偏轉之間。結合本文中所描述之實施例,影像感測器區域與光束偏轉之間的方向可理解為軸向方向,儘管光學通道之間可能存在方向發散度,但軸向方向在品質上可係相等的。
所解釋發散度可經組配成使得共用平面內之光學通道並不平行,以便獲得初步發散度,該發散度可任擇地藉由光束偏轉放大(或替代地僅藉由光束偏轉引起),以便朝向不同視場引導光學路徑。共用平面可例如藉由沿著軸向方向之向量及沿著行延伸方向之向量而張開,從而使得在共用平面內(平面內)可發生發散度。替代地或另外,在本發明實施例中,獲得此平面外部(平面外)發散度。
光學通道之光學路徑的上文所提及光束偏轉可由光束偏轉構件引起,該構件包含一或多個反射區域,例如每通道或通道群組一個刻面,以在個別光學通道或群組之間實施不同設定角度。
光學通道之上文所提及視場可為全視場或部分視場。部分視場可能包含目標區域之較小場角或視角,亦即相比全視場,其可覆蓋目標區域之相對較小區域。此可藉由例如藉助於拼接來接合部分視場之部分影像以形成全視場之總影像來達成。光學通道之視場亦可描述為全視場。此全視場可例如藉助於不同於對部分視場進行成像之光學件的光學件來捕獲,且除了對藉由部分視場整體獲得之全視場進行成像之外,該光學件可實現捕獲全視場,但此全視場亦可描述相對於多光圈成像裝置在大小及/或位置方面不同之全視場。
一些實施例涉及包含至少一個多光圈成像裝置且配置在外殼內部,並且通過一或多個通路區域自內部通向外部之裝置。此為在描述多光圈成像裝置在裝置內之本發明配置之前將首先解釋多光圈成像裝置之潛在但非限制性實施的原因。
圖1a展示根據實施例之裝置101 的示意性透視圖。裝置101 包括多光圈成像裝置,其包含影像感測器12及鄰近地配置之光學通道16a至16e之陣列14。多光圈成像裝置進一步包括用於偏轉光學通道16a至16d之光學路徑的光束偏轉構件18。以此方式,光學通道16a至16d之光學路徑可由陣列14之光學件22a至22d在影像感測器12朝向光束偏轉構件18之間的橫向線路朝向非橫向線路之間偏轉。總體上,不同光學通道16a至16d經偏轉,使得各光學通道16a至16d將全視場26之部分視場24a至24d投影至影像感測器12之影像感測器區域28a至28d上。部分視場24a至24d可以一維或二維方式分佈於空間內;基於光學件22a至22d之不同焦寬,其亦可以三維方式進行分佈。為進一步理解,將在下文描述全視場26,使得部分視場24a至24d展現二維分佈,相互鄰近之部分視場24a至24d可能彼此重疊。部分視場之總區域產生全視場26。
多光圈成像裝置包括用於設定多光圈成像裝置之焦點位置的可選聚焦構件32。此設定可藉由改變影像感測器12與陣列14之間的相對方位或位置來實現;聚焦構件32可經組配以改變影像感測器12之位置及/或陣列14之位置,以便獲得影像感測器12與陣列14之間的可變相對位置,以便設定多光圈成像裝置之焦點位置。
可以通道特定方式、針對光學通道群組或以針對所有通道全域的方式實現相對位置之設定。例如,可移動單個光學件22a至22d,一起移動光學件22a至22d的群組或所有光學件22a至22d。上述情況適用於影像感測器12。
裝置可包括經組配以控制聚焦構件32之光學控制構件34。另外,控制構件34經組配以自影像感測器12接收影像資訊36。該影像資訊36可例如為投影至影像感測器區域28a至28d上之部分視場24a至24d,及/或對應於該等影像之資訊或資料。此接收並不排除對影像資訊36之中間處理,例如關於濾波、平滑化等方面。
控制構件34可經組配以控制多光圈成像裝置採取焦點位置序列,以便捕獲全視場26之影像資訊的對應序列。控制構件34經組配以自影像資訊序列創建全視場26之深度圖38。可經由對應信號提供深度圖38。控制構件34可基於由於影像感測器12與陣列14之間的不同相對位置而獲得之不同焦點位置來捕獲同一視場26之不同影像,及/或該視場的與部分視場24a至24d之分割對應的不同聚焦之部分影像。
深度圖可用於不同目的,例如用於影像處理,以及用於影像接合(拼接)。例如,在使用深度圖38時,控制構件34可經組配以接合所獲得的影像感測器區域28a至28d之個別影像(圖框),以便獲得顯現全視場26之影像,亦即總影像的影像資訊42。對於接合部分影像之此等方法(亦稱為拼接),利用深度圖係尤其有利的。
在使用深度圖時,控制構件34可經組配以拼接部分影像群組之部分影像以形成總影像。此意謂可自自身待拼接之部分影像產生用於拼接之深度圖。例如,可基於影像資訊序列產生顯現全視場之總影像序列。各總影像可係基於具有相同焦點位置之部分影像的組合。替代地或另外,可組合該序列之至少兩個、若干個或所有總影像,以便獲得包含擴展資訊之總影像,例如以創建焦外成像效果。替代地或另外,亦可將影像表示成使得整個影像經人工銳化,亦即相比個別影像之情況,較多部分區域,例如整個影像被聚焦。
根據實施例,裝置101 經組配以將全視場之影像創建為單影像,並自單影像序列創建深度圖38。即使亦可能對全視場26進行多次掃描,裝置10仍可自僅一個單影像創建深度圖,該單影像可保存例如在藉由同一裝置或藉助於額外光學通道之冗餘配置使用多次捕獲時取自不同檢視方向的額外圖像。
多光圈成像裝置101 亦可經組配為不具有聚焦構件32及/或控制構件34,結果多光圈成像裝置101 可例如經組配為圖1之多光圈成像裝置。代替控制構件34,可提供不同構件以自影像感測器12獲得影像資訊,或控制構件34可用作具有該功能,但可省去對聚焦構件之控制。
多光圈成像裝置之所描繪實施應被理解為係例示性的。在本文中所描述之實施例中,將解釋本發明多光圈成像裝置之有利組配。描繪若干圖式,例如圖1a,使得具有若干影像感測器區域之影像感測器、具有一個共用基體之光學通道陣列及/或光束偏轉構件經組配為共用組件,然而,此並不與稍後將解釋之相對位置的本發明通道特定實施衝突,此係由於就此而言圖式僅僅為示意性的。不具任何限制性,本文中所描述之所有實施例涉及在若干個別路徑形式中組配影像感測器、光學通道陣列及/或光束偏轉構件,該等路徑相對於彼此不同地定位及/或沿著光學路徑之軸向方向,及/或涉及代替所描繪平坦或平面實施,實施該等組件之垂直於軸向方向的相關構形組配,例如具有影像感測器區域之不同相對位置的傾斜及/或階梯式影像感測器、包含光學件之不同相對位置的傾斜及/或階梯式陣列,及/或具有光束偏轉區域或刻面之不同相對位置的傾斜或階梯式光束偏轉構件。
圖1b展示根據實施例之裝置102 的示意性透視圖。相比於裝置101 ,代替控制構件34,裝置102 包含經組配以控制光束偏轉構件採取不同位置181 及182 之控制構件44。在不同位置181 及182 中,光束偏轉構件18包含相互不同的相對位置,從而使得在不同的位置中,由於光學通道16a至16d之光學路徑被引導為採取受不同位置181 及182 影響之不同方向,因此能獲得不同的全視場261 及262 之成像資訊。作為控制構件34之替代或補充,裝置102 包含經組配以控制光束偏轉構件採取第一位置181 ,以便自影像感測器12獲得第一全視場261 之成像資訊的控制構件44。在此之前或之後,控制構件44經組配以控制光束偏轉構件18採取第二位置182 ,以便自影像感測器12獲得第二全視場262 之成像資訊。控制構件44經組配以將第一成像資訊461 的部分插入第二成像資訊462 中,以便獲得共用或所累積影像資訊48。所累積影像資訊48可部分顯現第一全視場261 ,且部分顯現第二全視場262 ,此亦涉及影像操縱或影像處理步驟。此意謂所累積影像資訊48在某些地方係基於全視場261 之成像,而在其他地方係基於全視場262 之成像。
控制構件44可經組配以提供包含且再現所累積影像資訊48之信號52。任擇地,影像資訊461 及/或462 亦可由信號52輸出。
圖1c展示根據實施例之裝置103 的示意圖,代替圖1a之控制構件34且代替圖1b之控制構件44,該裝置包含組合控制構件34及控制構件44之功能性,且經組配以基於裝置103 之可變焦點位置創建深度圖38並提供圖1b之所累積影像資訊48的控制構件54。
圖2a展示不同焦點位置561 至565 之示意圖,根據本文中描述之實施例,例如裝置101 及裝置102 之裝置可經控制以採取該等焦點位置。不同焦點位置561 至565 可被理解為其中所捕獲全視場內之物件被以聚焦方式投影至影像感測器12上之位置或距離581 至585 。在此上下文中,焦點位置56之數目可係任意的且展現大於1之數目。
鄰近焦點位置之間的距離621 至624 可涉及影像空間內之距離;亦可能將解釋實施或轉移為物空間內之距離。然而,考慮影像空間之有利之處在於,考慮了成像多光圈成像裝置之性質,尤其係關於最小及/或最大物距。控制構件34及/或54可經組配以控制多光圈成像裝置,使得成像裝置包含兩個或較高數目個焦點位置561 至565 。在各別焦點位置中,可根據所捕獲部分視場24之數目捕獲個別影像641 及642 。基於瞭解設定成焦點位置561 至565 中之哪一個以獲得各別部分影像461 及462 ,控制構件可藉由在哪些影像部分被聚焦成像方面分析影像資訊來判定以銳緣方式成像之此等物件相對於裝置的配置距離。關於距離之該資訊可用於深度圖38。此意謂控制構件可經組配以在焦點位置561 至565 之序列中感測對應數目個部分影像群組,各部分影像與所成像部分視場相關聯。部分影像群組可因此對應於在已設定之焦點位置中對全視場進行成像之彼等部分影像。
控制構件可經組配以自部分影像中之局部影像清晰度資訊的比較創建深度圖。局部清晰度資訊可指定物件在影像之哪些區域中被聚焦成像,或在預定義容限範圍內被聚焦成像。例如,藉由判定邊緣模糊函數且藉由偵測邊緣延伸跨越之距離,吾人可判定對應影像區域、對應物件或其部分在影像感測器上被聚焦成像還是被以模糊方式成像。另外,點像或線條模糊函數可用作影像內容之清晰度的品質準則。替代地或另外,例如,可使用諸如已知調變轉移函數(MTF)之任何已知光學清晰度度量。替代地或另外,可使用相同物件可用於堆疊之鄰近影像中的清晰度、經由經校準查找表的聚焦致動器位置與物距之關聯及/或跨焦掃描之方向,以便以部分遞歸方式自堆疊之鄰近影像獲得深度資訊並避免不明確性。因此,當吾人已知明確地與清晰地成像之物距相關的所設定焦點位置時,吾人可因此自瞭解到物件至少在先前所定義容限範圍內被清晰地成像而推斷出可為深度圖38之基礎的影像、物件或其部分之區域的距離。
在使用深度圖時,控制構件可經組配以拼接部分影像群組之部分影像以形成總影像。此意謂可自自身待拼接之部分影像產生用於拼接之深度圖。
裝置可經組配以控制聚焦構件32,使得焦點位置561 至565 之序列在最小焦點位置與最大焦點位置之間的影像空間內在±25%、±15%或±5%,較佳為儘可能接近0%的容限範圍內等距地分佈。為了節約設定焦點位置之時間,以增大或降低之距離依序一個接一個地控制焦點位置561 至565 係有用但非必要的。實際上,所設定焦點位置561 至565 之次序係任意的。
圖2b展示深度圖38之利用及其產生之示意性表示。由於在各情況下,可相對於其距離準確地判定個別影像641 及642 中清晰地描繪之物件,因此部分影像641 及642 可各自用於自各別焦點位置561 至565 獲得深度圖38之部分資訊381 至385 。在焦點位置561 與565 之間,亦可使用內插方法,從而使得即使在略微模糊之物件的情況下,吾人仍可獲得用於深度圖38之充分精確資訊。部分資訊381 至385 中所包含之距離資訊可由控制構件組合以形成深度圖38。深度圖38可用於組合來自不同焦點位置561 至565 之圖框641 及642 ,以形成對應數目個總影像421 至425
圖3a展示根據實施例之裝置30的示意性透視圖。影像感測器12、陣列14及光束偏轉構件18在空間內可跨越長方體。長方體亦可被理解為虛擬長方體,且可例如包含最小體積,且特定而言包含沿著平行於厚度方向y之方向的最小垂直延伸部,該方向平行於行延伸方向66。行延伸方向66例如沿著z方向,且垂直於平行於影像感測器12與陣列14之間的光學路徑之線路配置的x方向延伸。方向x、y及z可跨越笛卡爾座標系統。長方體之最小體積及/或其最小垂直延伸部可使得虛擬長方體仍包括影像感測器12、陣列14及光束偏轉構件18。最小體積亦可被理解為意謂其描述藉由配置及/或以可操作方式移動影像感測器12、陣列14及/或光束偏轉構件18所跨越之長方體。行延伸方向66可經組配成使得沿著行延伸方向66,光學通道16a及16b配置成可能彼此平行地彼此緊鄰。行延伸方向66可經配置以在空間內係固定的。
虛擬長方體可包含相互相對且平行、平行於陣列14之行延伸方向66,且平行於光學通道16a及16b之光學路徑在影像感測器12與光束偏轉構件18之間的部分的兩個側面。以簡化術語而言但不具限制效應,該等側面可例如為虛擬長方體之上側及下側。兩個側面可跨越第一平面68a及第二平面68b。此意謂長方體之兩個側面可各自為平面68a及/或68b之部分。多光圈成像裝置之另外組件可經配置以完全但至少部分地位於定位於平面68a與68b之間的區域內,從而使得對多光圈成像裝置沿著平行於平面68a及/或68b之表面法線的y方向之安裝空間要求可較小,此係有利的。多光圈成像裝置之體積可包含平面68a與68b之間的較小或最小安裝空間。沿著平面68a及/或68b之側面或延伸方向,多光圈成像裝置之安裝空間可較大或為任何大小。虛擬長方體之體積受例如影像感測器12、陣列14及光束偏轉構件18之配置的影響;根據本文中所描述之實施例,該等組件之配置可實現成使得該等組件沿著垂直於平面之方向的安裝空間,且因此平面68a與68b的相互距離變得較小或最小。相比於組件之其他配置,虛擬長方體之體積及/或其他側面之距離可增大。
裝置30包括用於產生影像感測器12、單行陣列14與光束偏轉構件18之間的相對移動之致動器72。此產生相對移動可包括例如致動光束偏轉構件18以用於在結合圖1b所描述之位置之間進行切換。替代地或另外,致動器72可經組配以執行結合圖1a所解釋之相對移動,以用於改變影像感測器12與陣列14之間的相對位置。致動器72至少部分地配置於平面68a與68b之間。致動器72可經組配以移動影像感測器12、單行陣列14及光束偏轉構件18中之至少一者,此移動可包括沿著一或多個方向之旋轉及/或平移移動。此移動之實例為各別光學通道16之影像感測器區域28之間的相對位置、各別光學通道16之光學件22以及光束偏轉構件18及/或對應分段或刻面之通道特定改變,及/或與各別光學通道之光學路徑偏轉相關的分段/刻面之光學性質的通道特定改變。替代地或另外,致動器72可至少部分地實施自動聚焦及/或光學影像穩定。
致動器72可為聚焦構件32之部分,且可經組配以提供光學通道16a及16b中之至少一者的至少一個光學件與影像感測器12之間的相對移動。光學件22a及/或22b與影像感測器12之間的相對移動可由聚焦構件32控制,使得光束偏轉構件18執行同步移動。當減小光學件22a及/或22b與影像感測器之間的距離時,光束偏轉構件18與影像感測器12之間的距離可相應地減小,從而使得陣列14及/或光學件22a及/或22b與光束偏轉構件18之間的相對距離基本上保持不變。此情況使得光束偏轉構件18能夠實施有較小光束偏轉面,此係由於可藉由維持與光束偏轉構件18之距離來補償光線錐由於陣列14與光束偏轉構件18之間的距離增長而產生的增長。
聚焦構件32及/或致動器72經配置以自位於平面68a與68b之間的區域突出最大50%。致動器72可具有平行於厚度方向y之尺寸或延伸部74。尺寸74之最大50%、最大30%或最大10%之一部分可自位於平面68a與68b之間的區域開始突出平面68a及/或68b外,且可因此在虛擬長方體外突出。此意謂致動器72至多在邊緣處突出平面68a及/或68b外。根據實施例,致動器72並不突出平面68a及68b外。此情況之有利之處在於多光圈成像裝置沿著厚度方向y之延伸部並不由致動器72增大。
即使光束偏轉構件18描繪為可繞旋轉軸線76旋轉安裝,但致動器72可替代地或另外亦產生沿著一或多個空間方向之平移移動。致動器72可包括可能以可個別控制方式產生不同個別移動之一或多個單個致動器。致動器72或其至少單個致動器可例如被實施為或可包括結合圖4更詳細地描述之壓電致動器,特定而言壓電式彎曲致動器。壓電彎曲機實現快速且可再現地改變位置。此特徵有利於在短時間內在若干或許多影像之意義上捕獲聚焦堆疊。特定而言,壓電彎曲機作為經組配以沿著一個維度或方向較長之致動器可被有利地用於所描述架構中,此係由於其包含對此目的有利的外觀尺寸,亦即尤其在一個方向上的延伸部。
陣列14可包括附接或配置有光學件22a及22b之基體78。基體78可藉助於凹部或藉助於合適選定之材料至少部分地對光學通道16a及16b之光學路徑透明,此情況並不排除可例如藉由配置濾光片結構等來執行對光學通道之操縱。
在致動器72具有包括快速設定不同焦點位置56之快速可調性的若干要求之情況下,可藉由使用壓電致動器來滿足較大力以及在安裝空間方面之較小要求等。
圖3b展示根據實施例之裝置30的示意性截面側視圖。裝置30之多光圈成像裝置可包含例如多個致動器,例如多於一個、多於兩個或>0之一不同數目。例如,可配置可用於不同目的之致動器721 至725 ,例如用於調適焦點位置及/或改變光束偏轉構件18之方位或位置以用於設定多光圈成像裝置之檢視方向,及/或用於藉助於光束偏轉構件18之旋轉移動及/或陣列14之平移移動來提供光學影像穩定。
致動器721 至725 可經配置以至少部分地配置於由虛擬長方體69之側面69a及69b跨越的兩個平面68a與68b之間。長方體69之側面69a及69b可彼此平行對準,且平行於陣列之行延伸方向及光學通道之光學路徑在影像感測器12與光束偏轉構件18之間的部分。長方體69之體積最小,但仍包括影像感測器12、陣列14及光束偏轉構件18以及其操作移動。陣列14之光學通道包含光學件22,光學件可經組配以對於各光學通道相同或可不同。
多光圈成像裝置之體積可在平面68a與68b之間包含較小或最小安裝空間。沿著平面68a及/或68b之側面或延伸方向,多光圈成像裝置之安裝空間可較大或為任何大小。虛擬長方體之體積受例如影像感測器12、單行陣列14及光束偏轉構件之配置的影響;根據本文中所描述之實施例,此等組件之配置可使得該等組件沿著垂直於平面之方向的安裝空間,且因此平面68a與68b彼此的距離變得較小或最小。相比於組件之其他配置,虛擬長方體之體積及/或其他側面之距離可增大。
虛擬長方體69由虛線描繪。平面68a及68b可包括或由虛擬長方體69之兩個側面跨越。多光圈成像裝置之厚度方向y可經配置以垂直於平面68a及/或68b及/或平行於y方向。
影像感測器12、陣列14及光束偏轉構件18可經配置成使得平面68a與68b之間沿著厚度方向y之垂直距離最小,以簡化術語而言但不具限制性,該距離可被稱作長方體之高度;可省去最小化體積,亦即最小化長方體之其他尺寸。長方體69沿著方向y之延伸部可最小,且可基本上由成像通道之光學組件,亦即陣列14、影像感測器12及光束偏轉構件18,沿著方向y之延伸部判定。
多光圈成像裝置之體積可在平面68a與68b之間包含較小或最小安裝空間。沿著平面68a及/或68b之側面或延伸方向,多光圈成像裝置之安裝空間可較大或為任何大小。虛擬長方體之體積受例如影像感測器12、單行陣列14及光束偏轉構件之配置的影響;根據本文中所描述之實施例,此等組件之配置可使得該等組件沿著垂直於平面之方向的安裝空間,且因此平面68a與68b彼此的距離變得較小或最小。相比於組件之其他配置,虛擬長方體之體積及/或其他側面之距離可增大。
致動器721 至725 可各自包含平行於厚度方向y之尺寸或延伸部。各別致動器721 至725 之尺寸的最大50%、最大30%或最大10%之一部分可自位於平面68a與68b之間的區域開始突出平面68a及/或68b外或可自該區域突出。此意謂致動器721 至725 至多在邊緣處突出平面68a及/或68b外。根據實施例,致動器並不突出平面68a及68b外。此情況之有利之處在於多光圈成像裝置沿著厚度方向或方向y之延伸部並不由致動器增大。
即使此處使用的諸如頂部、底部、左側、右側、前方或後方之術語係用於改良清晰性,但此等術語並不具有任何限制效應。應理解,該等術語可基於空間內之旋轉或傾斜互換。例如,自影像感測器12至光束偏轉構件18之x方向可經理解為意謂在前方或向前。例如,正y方向可經理解為在頂部處。沿著正或負z方向遠離影像感測器12、陣列14及/或光束偏轉構件18或與其鄰近的區域可經理解為緊鄰各別組件定位。以簡化術語而言,影像穩定器可包括致動器721 至725 中之至少一者。該至少一個致動器可配置於平面71內或平面68a與68b之間。
換言之,致動器721 至725 可配置於影像感測器12、陣列14及/或光束偏轉構件18前方、後方或緊鄰該等裝置。根據實施例,具有50%、30%或10%之最大圓周的致動器36及42配置於位於平面68a與68b之間的區域外部。
圖3c展示多光圈成像裝置之示意性截面側視圖,其中可基於光束偏轉構件18之不同位置捕獲不同的全視場261 及262 ,此係由於多光圈成像裝置接著展現不同檢視方向。多光圈成像裝置可經組配以角度α改變光束偏轉構件之傾斜,從而使得光束偏轉構件18之不同主側交替地配置成面向陣列14。多光圈成像裝置可包括經組配以藉由旋轉軸線76傾斜光束偏轉構件18之致動器。例如,致動器可經組配以將光束偏轉構件18移動至第一位置,在該位置中光束偏轉構件18將陣列14之光學通道的光學路徑26偏轉至正y方向。出於此目的,光束偏轉構件18可在第一位置中展現例如>0°且<90°、至少10°且至多80°或至少30°且至多50°之角度α,例如45°。致動器可經組配以在第二位置中繞旋轉軸線76偏轉光束偏轉構件,使得光束偏轉構件18將陣列14之光學通道的光學路徑朝向負y方向偏轉,該負y方向如由朝向全視場262 之檢視方向及光束偏轉構件18之虛線表示所描繪。例如,光束偏轉構件18可經組配以在兩側上皆具反射性,從而使得在第一位置中,檢視方向指向全視場261
圖4a展示根據實施例之裝置40的示意性俯視圖,其中致動器72經組配為壓電式彎曲致動器。致動器72經組配以在x/z平面中執行如由虛線所描繪之彎曲。致動器72經由機械偏轉構件82連接至陣列14,從而使得在致動器72彎曲時可發生陣列14沿著x方向之橫向移位,從而使得焦點位置可改變。例如,致動器72可連接至基體78。替代地,致動器72亦可配置在容納光學件22a至22d中之至少一些之外殼處,以便移動外殼。其他變型亦係可能的。
任擇地,裝置40可包含經組配以在陣列14及/或光束偏轉構件18處產生移動之另外致動器841 及842 ,例如以將光束偏轉構件18置放在不同位置中,及/或用於藉由陣列14沿著z方向之平移移位及/或藉由產生光束偏轉構件18繞旋轉軸線76之旋轉移動來實現光學影像穩定。
不同於前圖中給出之描述,光束偏轉構件18可包含彼此間隔開但可一起移動之若干刻面86a至86d,各光學通道與一刻面86a至86d相關聯。刻面86a至86d亦可直接彼此鄰近,亦即彼此間可配置有極小距離或無距離。替代地,亦可配置平坦反射鏡。
藉由致動致動器72,可將光學件22a至22d中之至少一者與影像感測器12之間的距離881 自第一值881 改變為第二值882 ,例如增大或減小。
圖4b展示裝置40之示意性截面側視圖,以說明致動器72在結合圖3a所描述之平面68a與68b之間的配置。致動器72例如完全配置在平面68a與68b之間,正如機械偏轉構件82,其可包含例如連接橋、接線、繩索等若干力傳輸元件及機械軸承或偏轉元件。
機械偏轉構件及/或用於將移動傳輸至陣列14之機械構件可配置在影像感測器12的背離陣列14之一側上,亦即在自陣列14開始時在影像感測器12後方。機械構件82可配置成使得力通量橫向地通過影像感測器12。替代地或另外,致動器72或不同致動器可配置於光束偏轉構件18的背離陣列14之一側上,亦即在自陣列14開始時在光束偏轉構件18後方。機械構件82可配置成使得力通量橫向地通過光束偏轉構件18。
即使僅描繪一個致動器72,但亦可配置較大數目個致動器,及/或致動器72之多於一側可連接至機械偏轉構件82。例如,中心地安裝或支撐之致動器72可在兩側上分別連接至一個機械偏轉構件82,且可例如在陣列14之兩側上起作用以便使得能夠均勻移動。
圖5a展示部分視場24a及24b之配置在全視場26內之示意性表示,該全視場可例如由例如多光圈成像裝置101 、102 、103 、30及/或40的本文中所描述之多光圈成像裝置捕獲,且可對應於例如全視場261 及/或262 。例如,可將包含光學通道16b之全視場26投影在影像感測器區域28b上。例如,光學通道16a可經組配以捕獲部分視場24a並將其投影在影像感測器區域28a上。例如光學通道16c之不同光學通道可經組配以捕獲部分視場24b並將其投影在影像感測器區域28c上。此意謂光學通道群組可經組配以捕獲恰好兩個部分視場24a及24b。因此,可進行全視場及部分視場之同步捕獲,該等視場繼而一起對全視場26進行成像。
即使以不同的延伸部描繪以改良可區分性,但部分視場24a及24b仍可具有沿著至少一個影像方向B1 或B2 ,例如沿著影像方向B2 之相同延伸部或類似延伸部。部分視場24a及24b沿著影像方向B2 之延伸部可相同於全視場26之延伸部。此意謂部分視場24a及24b可沿著影像方向B2 完全捕獲全視場26,或可僅沿著配置成垂直於前一方向之不同影像方向B1 部分捕獲全視場26,且部分視場可配置成相互偏移,從而使得亦沿著第二方向以組合方式完全捕獲全視場26。在此上下文中,部分視場24a及24b可相互不相交或可至多在重疊區域25中以不完全方式相互重疊,該重疊區域可能在全視場26中完全沿著影像方向B2 延伸。包括光學通道16a及16c之光學通道群組可經組配以共同對全視場26進行完全成像,例如藉助於組合完全捕獲與對全視場進行共同成像之部分捕獲。影像方向B1 例如可為待提供影像之水平線。以簡化術語而言,影像方向B1 及B2 表示在空間內具有任何任意對準的兩個不同影像方向。
圖5b展示部分視場24a及24b之配置的示意性表示,該等部分視場沿著不同的影像方向--影像方向B2 以相互偏移方式配置且相互重疊。部分視場24a及24b可沿著影像方向B1 以完全方式捕獲全視場26且沿著影像方向B2 以不完全方式捕獲全視場。重疊區域25沿著影像方向B1 完全配置在全視場26內。
圖5c展示四個部分視場24a至24b之示意性表示,其在各情況下在兩方向B1 及B2 上以不完全方式捕獲全視場26。兩個鄰近部分視場24a及24b在重疊區域25b內重疊。兩個重疊部分視場24b及24c在重疊區域25c內重疊。類似地,部分視場24c及24d在重疊區域25d內重疊,且部分視場24d與部分視場24a在重疊區域25a內重疊。所有四個部分視場24a至24d可在全視場26之重疊區域25e內重疊。
為捕獲全視場26及部分視場24a至24d,可以類似於結合圖1a至圖1c描述之方式的方式組配多光圈成像裝置,其中陣列14可包含五個光學件,例如四個光學件用於捕獲部分視場24a至24d且一個光學件用於捕獲全視場26。因此,陣列可經組配有結合圖5a至圖5b之三個光學通道。
在重疊區域25a至25e內存在大量可用影像資訊。例如,經由全視場26、部分視場24a及部分視場24b捕獲重疊區域25b。全視場之影像格式可對應於例如圖5c中之部分視場24a至24d的所成像部分視場之無冗餘組合,重疊區域25a至25e在各情況下僅計數一次。結合圖5a及圖5b,此情況適用於部分視場24a及24b之無冗餘組合。
重疊區域25及/或25a至25e內之重疊可例如包括各別部分影像之最大50%、最大35%或最大20%。
換言之,根據本文中描述的實施例,可獲得光學通道數目減小,此情況使得能夠節約成本及減小橫向安裝空間要求。根據本文中描述的實施例,可能進行為立體捕獲之替代例的一種形式之深度資訊擷取,而無需諸如飛行時間、結構化或譯碼光等之對應額外感測器。因此可避免實現低解析度之飛行時間感測器以及展現高能量要求之結構化光感測器。兩方法在強烈的環境光,尤其在日光下進一步展現問題。實施例提供組配成並無此等感測器之對應裝置。根據實施例,壓電彎曲機充當具有低功耗之極其快速聚焦因素。多光圈成像裝置之所描述架構使得能夠利用此等壓電彎曲機,此係由於相機模組之其他立方外觀尺寸阻礙或甚至不可能利用長壓電彎曲機。在短曝光時間情況下,此情況使得能夠捕獲聚焦堆疊,亦即在場景聚焦略有不同的情況下,一張接一張地快速捕獲的眾多影像。實施例提供以有用方式對場景之整個深度進行掃描,例如自為可能最接近捕獲方式之近拍至意謂最遠可能距離之無窮遠。該等距離可等距地配置在物空間內,但較佳地配置在影像空間內。替代地,可選擇不同的可感測距離。例如,焦點位置之數目為至少兩個、至少三個、至少五個、至少十個、至少20個或任何其他隨機數目。
然而,其他實施例提供布建經組配以在待捕獲全視場之方向上發射在人眼不可見之波長範圍內的照明信號之照明源,亦即在小於約380 nm及/或多於約700 nm之波長內,較佳為至少0.7 µm且至多1,000 µm之紅外波長範圍,且尤其較佳為至少0.75 µm且至多3 µm之近紅外波長範圍。多光圈成像裝置可經組配以在使用之不可見光波長範圍內對全視場進行成像。為此目的,特定而言,可使影像感測器適於由照明源使用之波長。
若干影像42可經呈現給使用者。替代地或另外,實施例提供組合個別影像資訊,從而使得使用者可呈現有包含經組合影像資訊之影像。例如,包含深度資訊之影像,其例如提供數位重新聚焦之可能性。所呈現影像可提供所謂的焦外成像效應-設定成誘發模糊。替代地,影像亦可呈現成使得整個影像經人工聚焦,此意謂相比部分區域之個別影像中之情況,較大距離範圍,例如整個影像被聚焦。在所用物件之較小f數的情況下,可重構場景之個別元素的物距,且可基於在個別影像中量測之清晰度及/或模糊度及另外資訊,例如相同物件在堆疊之鄰近影像中的清晰度、例如在使用經校準查找表時聚焦致動器位置與物距之關聯、焦點位置(跨焦掃描)之序列的方向自身自此物距,且亦以遞歸方式自其他影像以影像解析度創建深度圖,以便避免任何不明確性。
根據本文中描述的實施例,吾人達成可省去用於立體成像之通道重複,同時仍可創建深度圖。該深度圖實現對多光圈成像裝置之不同部分影像進行影像拼接。例如,藉由減半光學通道之數目,吾人可獲得例如沿著行延伸方向之橫向尺寸的顯著減小,且因此吾人亦可達成價格減小。藉助於其他步驟,影像處理可提供至少一樣好之影像。
可在陣列14內沿著行延伸方向配置用於捕獲部分視場24a及24b與全視場26兩者之三個光學通道。行延伸方向可配置成平行於影像方向B1 ,例如從而使得全視場之部分視場配置在平行於陣列之行延伸方向(圖5a)或與之垂直(圖5b)的方向上。
圖6展示根據實施例之裝置60的示意性透視圖。所描述實施亦易於應用於裝置101 、103 、30及/或40。藉由將光束偏轉構件控制為進入不同位置,裝置60或裝置60之多光圈成像裝置可捕獲兩個相互隔開之全視場261 及262
裝置60例如經組配為攜帶型或行動裝置,特定而言平板電腦或行動電話,特定而言智慧型電話。
例如在自拍照片及/或視訊之上下文內,正如常見的做法,視場261 及262 中之一者可例如沿著裝置60之使用者方向配置。
另一全視場可例如沿著裝置60之相反方向及/或世界方向配置,且可例如沿著使用者在其沿著使用者方向自全視場注視裝置60時所沿彼注視方向配置。例如,圖1b中之光束偏轉構件18可形成為在兩側上具反射性且可藉由不同主側以不同位置偏轉光學通道16a至16d之光學路徑,例如從而使得自裝置60開始,全視場261 及262 配置成相互相對及/或成180°之角度。
圖7a展示用以說明對可藉由對全視場261 及262 進行成像所獲得的影像資訊461 及462 進行處理的示意圖。控制構件經組配以分離(例如切掉)或隔離視場261 之成像資訊461 的部分92或專門複製該部分92。另外,控制構件經組配以組合所分離或分割之部分92與成像資訊462 ,亦即將部分92插入成像資訊462 中以便獲得所累積影像資訊48。該影像資訊48部分包含全視場262 ,且在插入部分92處部分包含影像資訊461 。應注意,獲得所累積影像資訊48不限於插入單個部分92,而是可自影像資訊461 分割任何數目個部分92,且一個、若干個或所有該等部分皆可插入至影像資訊462 中。
部分92插入至第二成像資訊462 中之方位或位置可由控制構件自動地判定,例如藉由通過裝置60將部分92投影至第二視場262 中,但可替代地或另外亦由使用者選定。
根據實施例,控制構件經組配以例如經由圖案比較及/或邊緣偵測,但特定而言基於由裝置自身創建之深度圖來識別及分割第一成像資訊461 中之人。該控制構件可經組配以將人之影像插入第二成像資訊462 中以獲得所累積影像資訊48。此意謂部分92可為人,諸如裝置60之使用者。實施例提供裝置經組配以自動地識別人並自動地將人,亦即部分92之影像插入第二成像資訊462 中。此使得能夠自動地創建自畫像或在第二全視場262 的前方或中創建自拍,而不必在定位裝置60及/或使用者方面耗費大量精力。
實施例提供控制構件使用例如深度圖38之深度圖,以便將部分92定位於第二成像資訊462 中。深度圖38可例如根據考慮的焦點位置之數目或自其獲得的減小數目或自其內插的較大數目而包含多個或眾多深度平面。控制構件可經組配以將部分92插入第二成像資訊462 之預定深度平面內,以便獲得所累積影像資訊48。預定深度平面可基本上,亦即在±10%、±5%或±2%之容限範圍內對應於第一全視場262 距裝置60之距離及/或所分割部分92距裝置60之距離。此亦可被稱為以深度方面正確之方式將部分92插入至第二成像資訊462 中。
圖7b展示在所累積影像資訊48中縮放部分92之示意性表示。替代地,吾人亦可選定不同深度平面,為此目的,提供實施例之各種可能性。例如,預定深度平面可由部分92在第二成像資訊462 中之置放影響或判定。該置放可自動地實現或可由使用者輸入實現。例如,若使用者在第二成像資訊462 內選定用於插入部分92之特定地方或方位,則控制構件可經組配以在第二成像資訊462 中判定待插入部分92之彼區域的距離。例如在使用深度圖時瞭解到部分92距裝置及第二成像資訊462 中之物件的距離的情況下,可藉由縮放部分92補償由使用者輸入引起的部分92之虛擬距離改變。
因此,當部分92之距離自第一成像資訊461 至第二成像資訊462 增大時,部分92之一維、二維或三維大小94可改變,例如可減小為大小96,或當距離自第一成像資訊461 至第二成像資訊462 減小時,該大小可增大。在獨立地將部分92置放在第一成像資訊461 中,以及基於相關聯使用者輸入組合地進行置放的情況下,裝置可經組配以縮放成像資訊461 ,以便獲得經縮放成像資訊。此經縮放成像資訊可由控制構件插入至成像資訊462 中,以便獲得所累積影像資訊48。裝置可經組配以判定表示部分92且在第一成像資訊461 中成像的物件相對於裝置60之距離。裝置可基於所判定距離與第二成像資訊462 中之預定深度平面的比較來縮放成像資訊461 及/或其部分92。在短時滯內捕獲到成像資訊461 及462 之兩個項目係有利的。有利地,時間間隔內的此時滯至多為30 ms、至多為10 ms、至多為5 ms或至多為1 ms,例如為0.1 ms。此時間可用於例如切換或重新定位光束偏轉構件且可至少部分地藉由該過程之持續時間來判定。
所累積影像資訊48可作為個別影像而獲得;然而,替代地或另外,其可作為視訊資料串流,例如眾多個別影像而獲得。
根據實施例,裝置經組配成使得第一成像資訊461 包括使用者之影像且第二成像資訊462 包括裝置之世界視圖。控制構件經組配以自第一成像資訊461 分割使用者之影像並將其插入世界視圖中。例如,裝置可經組配以將使用者之影像以在深度方面正確之方式插入世界視圖中。
換言之,結合本文中所描述之實施例,拍攝自拍圖像或拍攝自拍視訊可包括藉由裝置,特定而言行動電話之前置相機/視圖及後側相機/視圖(主相機/視圖)拍攝的準同步圖像之基於深度的組合。在此上下文中,自拍圖像之前景,亦即自畫像可經轉移至由主相機拍攝的圖像之前景。藉由改變光束偏轉構件之位置進行前側及主側圖像拍攝之間的極快切換使得能夠藉由同一影像感測器進行該準同步捕獲世界側及使用者側相機影像。即使根據本文中描述的實施例,亦可使用單通道成像裝置,但本文中所描述之實施例尤其提供關於多光圈成像裝置之優勢,此係由於其可已創建或使用深度圖以便接合(拼接)個別影像。該深度圖亦可用以判定用於合成所累積成像資訊48之深度資訊。可能進行可如下描述之事件序列: 1.   使用自拍圖像之深度圖以便自背景分割前景,亦即給自身拍攝圖像之人; 2.   使用世界側圖像之深度圖以便自其確定前景及背景,亦即分離深度資訊;及 3.   將來自自拍圖像之前景,亦即給自身拍攝圖像之人插入世界側圖像之影像中,尤其為插入其前景中。
此序列之有利之處在於自拍圖像可與作為背景之世界側圖像組合,而不必如其他情況下所需般將電話轉180°以便在該場景前方給自身拍攝圖像。替代地或另外,吾人避免了經過自身以後向方式拍攝圖像,此需要吾人記住電話之對準必須始終相對於場景成鏡面倒轉。有可能創建深度圖自身,如結合本文中所描述之實施例所描述,從而使得可省去飛行時間感測器或結構化光感測器之額外配置。
在下文中,將闡述多光圈成像裝置之若干有利實施以便說明本發明優勢。
圖8展示可用於本發明裝置中的多光圈成像裝置80之部分;並未描繪但可容易地實施可能聚焦構件及/或用於實施光學影像穩定之致動元件。
圖8之多光圈成像裝置80包括鄰近地配置之光學通道16a至16d的陣列14,其以若干行形成或較佳地以單行形成。各光學通道16a至16d包括用於對全視場26之各別部分視場24a至24d,可能亦對全視場進行成像的光學件22a至22d,如結合圖5所描述。多光圈成像裝置80之成像視場投影在影像感測器12之分別相關聯影像感測器區域28a至28d上。
影像感測器區域28a至28d例如可由包括對應像素陣列之晶片形成;晶片可安裝在共用基體或電路板98上,如圖8中所指示。替代地,例如影像感測器區域28a至28d亦可能分別由跨越影像感測器區域28a至28d以連續方式或間斷地延伸之共用像素陣列的部分形成,共用像素陣列例如形成於單個晶片上。例如,接著將僅讀出影像感測器區域28a至28d中之共用像素陣列的像素值。該等替代例之各種組合當然亦係可能的,例如存在用於兩個或更多個通道之一個晶片及用於再其他通道之又一晶片等。在影像感測器12之若干晶片的情況下,該等晶片可例如全部一起或以群組等安裝在例如一或多個電路板上。
在圖8之實施例中,四個光學通道16a至16d在陣列14之行延伸方向上以單行方式彼此緊鄰地配置;但數目「四個」僅為例示性的且亦可為大於一之任何數目,亦即可配置N個光學通道,其中N>1。另外,陣列14亦可包含沿著行延伸方向延伸之另外行。光學通道16a至16d之陣列14應理解為意謂光學通道或其空間分組之組合。光學件22a至22d可各自包含鏡頭,或鏡頭群組或鏡頭堆疊,以及成像光學件與另外光學元件之組合,包括濾光片、光闌、反射或繞射元件等。陣列14可經組配成使得光學件22a至22d以通道特定方式、以群組或以針對所有通道全域,亦即所有通道一起的方式配置、固定或安裝在基體78上。此意謂例如在光學件22a至22d緊固在不同方位處時,可配置單個基體78、其若干部分或甚至不配置基體78。
根據實例,光學通道16a至16d之光軸及/或光學路徑102a至102d可在影像感測器區域28a至28d與光學件22a至22d之間彼此平行地延伸。為此目的,影像感測器區域28a至28d配置於共用平面內,例如正如光學件22a至22d之光學中心般。兩平面彼此平行,亦即平行於影像感測器區域28a至28d之共用平面。另外,在垂直於影像感測器區域28a至28d之平面的投影的情況下,光學件22a至22d之光學中心與影像感測器區域28a至28d之中心重合。換言之,一方面,該等平行平面中配置有光學件22a至22d,且具有以相同間距配置於行延伸方向上的影像感測器區域28a至28d。
影像感測器區域28a至28d與相關聯光學件22a至22d之間的像側距離經設定成使得影像感測器區域28a至28d上之影像設定成所要物距。距離較佳地處於等於或大於光學件22a至22d之焦寬的範圍內,或例如處於光學件22a至22d之焦寬與兩倍焦寬之間的範圍內,包括兩端值。影像感測器區域28a至28d與光學件22a至22d之間沿著光軸102a至102d的像側距離亦可係可例如由使用者手動地設定及/或經由聚焦構件及/或自動聚焦控制自動地設定的。
在無需任何額外量測的情況下,由於光學路徑及/或光軸102a至102d之平行性,光學通道16a至16d之部分視場24a至24d基本上完全重疊。提供光束偏轉構件18,以覆蓋較大全視場26且以便使得部分視場24a至24d僅在空間方面部分重疊。光束偏轉構件18例如藉由通道特定偏差將光學路徑102a至102d及/或光軸偏轉至全視場方向104。例如,全視場方向104平行於垂直於陣列14之行延伸方向,且平行於光軸102a至102d在光束偏轉之前或並無光束偏轉情況下的線路的平面延伸。例如,藉由繞行延伸方向以>0°且<180°之角度旋轉來獲得光軸102a至102d之全視場方向104,且該角度較佳地處於80與100°之間的範圍且例如可為90°。多光圈成像裝置80的對應於部分視場24a至24d之總覆蓋範圍的全視場26因此並不位於影像感測器12及陣列14在光軸102a至102d之方向上的串聯連接之延伸方向上,但由於光束偏轉,全視場在量測多光圈成像裝置80之安裝高度的方向上,亦即垂直於行延伸方向的橫向方向上橫向地定位至影像感測器12及陣列14。
然而,另外,光束偏轉構件18藉由通道特定偏差將例如各光學路徑或各光學通道16a至16d之光學路徑自剛提及之偏轉偏轉至通向方向104。為此目的,用於各通道16a至16d之光束偏轉構件18包括例如個別地設置之元件,例如反射刻面86a至86d及/或反射表面。此等刻面或表面相互略微傾斜。刻面86a至86d之該相互傾斜經選定成使得在光束由光束偏轉構件18偏轉時,部分視場24a至24d具備微小發散度,使得部分視場24a至24d將僅部分重疊。如藉助於圖8中之實例所指示,該個別偏轉亦可使得部分視場24a至24d以二維方式覆蓋全視場26,亦即配置在全視場26內,使得其呈二維分佈式。
根據另一實施例,光學通道之光學件22a至22d可設置成完全或部分產生光學路徑102a至102d之發散度,此情況使得能夠完全或部分地省去個別刻面86a至86d之間的傾斜。若例如由光學件22a至22d完全地提供發散度,則光束偏轉構件亦可形成為平坦反射鏡。
應注意,到目前為止已描述的關於多光圈成像裝置80之許多細節僅被選定為例示性的。例如上文所提及之光學通道數目即為此情況。光束偏轉構件18亦可形成為與到目前為止所描述的不同。例如,光束偏轉構件18未必以反射性方式起作用。其亦可配置成不同於刻面反射鏡之形式,例如呈透明楔形稜鏡形式。在此情況下,例如,平均光束偏轉可為0°,亦即方向104可例如平行於甚至在任何光束偏轉之前或並無任何光束偏轉情況下的光學路徑102a至102d,或換言之,儘管存在光束偏轉構件18,多光圈成像裝置18仍可繼續「看起來筆直向前」。由光束偏轉構件18進行之通道特定偏轉將又導致部分視場24a至24d僅略微重疊,例如以相對於部分視場24a至24d之立體角範圍,每對重疊<10%之形式重疊。
又,光學路徑102a至102d或光軸可偏離所描述平行性,且儘管如此,光學通道之光學路徑的平行性仍可充分明顯,從而使得由個別通道16a至16N覆蓋及/或投影至各別影像感測器區域28a至28d上之部分視場在未進行諸如具體而言光束偏轉之任何進一步量測時將很大程度上重疊,從而使得為了由多光圈成像裝置80覆蓋較大全視場,光束偏轉構件18提供具有額外發散度之光學路徑,使得N個光學通道16a至16N之部分視場展現較少相互重疊。光束偏轉構件18例如提供全視場包含為光學通道16a至16N之個別部分視場的光圈角度之1.5倍的光圈角度。在光學路徑102a至102d具有某種預發散度的情況下,將亦可能的為例如並非所有刻面傾斜彼此不同,而是一些通道群組例如包含具相同傾斜之刻面。刻面接著可形成為一體及/或可形成為連續地合併至彼此中,形成為如與在行延伸方向上鄰近之此通道群組相關聯的刻面。
該等通道16a至16d之光軸102a至102d的發散度接著可來源於如藉由通道16a至16d或稜鏡結構或偏心鏡頭區段之光學件22a至22d之光學中心與影像感測器區域28a至28d之間的橫向偏移達成的此等光軸102a至102d之發散度。例如,預發散度可限於一個平面。例如,光軸102a至102d可在任何光束偏轉18之前或並無任何光束偏轉之情況下在共用平面內延伸,但可在該平面內以發散方式延伸,且刻面86a至86d僅導致另一橫向平面內之額外發散度,亦即刻面全部平行於行延伸方向且僅以不同於光軸102a至102d之上文所提及共用平面的方式相互傾斜;同樣,在任何光束偏轉之前或並無任何光束偏轉之情況下,若干刻面86a至86d可具有相同傾斜及/或可共同與光軸以成對方式不同的通道群組相關聯(例如,早在在光軸之先前所提及共用平面中)。
在省去光束偏轉構件18或光束偏轉構件經組配為平坦反射鏡等時,可藉由光學件22a至22d之光學中心(一方面)與影像感測器區域28a至28d之中心(另一方面)之間的橫向偏移或藉由稜鏡結構或偏心鏡頭區段實現總發散度。
例如,可達成可能存在的上文所提及預發散度,因為光學件22a至22d之光學中心位於沿著行延伸方向的直線上,而影像感測器區域28a至28d之中心經配置以偏離光學中心沿著影像感測器區域28a至28d之法線平面至位於影像感測器平面內之直線上之點上的投影,該等點例如偏離在以通道特定方式沿著行延伸方向及/或沿著垂直於行延伸方向及影像感測器法線兩者之方向位於影像感測器平面內之上文所提及直線上之點的點。替代地,例如可達成預發散度,因為影像感測器28a至28d之中心位於沿著行延伸方向之直線上,而光學件22a至22d之中心經配置以偏離影像感測器之光學中心沿著光學件22a至22d之光學中心之法線平面至位於光學中心平面內之直線上之點上的投影,該等點例如偏離以通道特定方式沿著行延伸方向及/或沿著垂直於行延伸方向及光學中心平面之法線兩者的方向位於光學中心平面內之上文所提及直線上的點的點。
較佳的,上文所提及的與各別投影之通道特定偏差僅在行延伸方向上發生,亦即光軸102a至102d僅位於一個共用平面內、具備預發散度。光學中心及影像感測器區域中心兩者接著將各自位於平行於行延伸方向之直線上,但具有不同中間距離。相比之下,鏡頭與影像感測器之間在垂直且橫向於行延伸方向之方向上的橫向偏移將導致安裝高度增大。行延伸方向上之純平面內偏移不會改變安裝高度,但可能將導致較少刻面及/或刻面將僅展現一個角度定向上之傾斜,此情況簡化架構。
將參考圖9a至圖9f描述光束偏轉構件18之有利實施。該解釋呈現可個別地或以任何組合實現之數個優勢,但並不具有限制效應。特定而言,將清楚,可藉助於通道特定定位,藉助於可穩固地配置之個別刻面的通道特定軸向定位,或可經由個別軸線及/或經由扭接或彎曲共用軸線進行共同移動來獲得通道特定相對位置。
圖9a展示如可用於本文中所描述之光束偏轉構件,例如光束偏轉構件18的光束偏轉元件172之示意性截面側視圖。例如,光束偏轉元件172為刻面86。光束偏轉元件172可經操作用於一個、多個或所有光學通道16a至16d,且可包含多邊形鏈類型之橫截面。即使展示了三角形橫截面,該橫截面亦可為任何其他多邊形。替代地或另外,橫截面亦可包含至少一個彎曲表面;特定而言具有反射表面,具有至少部分平坦以便避免像差之實施可能係有利的。
例如,光束偏轉元件172包含第一側174a、第二側174b及第三側174c。至少兩個側面,例如側面174a及174b經組配以具反射性,從而使得光束偏轉元件172形成為在兩側上具反射性。側面174a及174b可為光束偏轉元件172之主側,亦即表面區域大於側面174c之側面。例如,側面174c可係彎曲的,亦即可自軸線176開始凸出,從而使得由於曲率,元件將適於旋轉,此將使得能夠甚至更接近外殼之邊緣側定位側面174c,此情況有利於通路區域配置之位置。
換言之,光束偏轉元件172可呈楔形形狀且可形成為在兩側上具反射性。面174c可具有與其相對配置,亦即在面174a與174b之間的又一面,然而,該又一面大體上小於面174c。換言之,由面174a、174b及174c形成之楔形並不以任何隨機方式逐漸變窄,而是在尖端側具備面且因此被截斷。
當省去檢視方向之切換時,亦有可能配置僅具有一個反射側之稜鏡或通道特定反射鏡。
圖9b展示光束偏轉元件172之示意性截面側視圖,其中描述了光束偏轉元件172之懸置或移位軸線176。光束偏轉元件172可在光束偏轉構件18內旋轉及/或平移移動所繞的移位軸線176可相對於橫截面之質心178偏心地移位。質心可替代地亦為描述光束偏轉元件172沿著厚度方向182及沿著垂直於該方向之方向184之一半尺寸的點。
移位軸線可(例如)沿著厚度方向182不變且可在垂直於該方向之方向上包含任何偏移。替代地,亦可設想到沿著厚度方向182之偏移。移位可實現成例如使得在光束偏轉元件172繞移位軸線176旋轉時,相比繞質心178之旋轉,獲得較長調整行進。因此,在給定相同旋轉角度情況下,相比於繞質心178之旋轉,由於移位軸線176之移位,側面174a與174b之間的邊緣在旋轉時移動之距離可增大。較佳地,光束偏轉元件172經配置成使得側面174a與174b之間的邊緣,亦即楔形橫截面之尖端側面向影像感測器。因此,藉助於較小旋轉移動,各別其他側面174a或174b可使光學通道之光學路徑偏轉。此處,將清楚,旋轉可執行成使得光束偏轉構件沿著厚度方向182之空間要求較小,此係由於並不需要以某種方式移動光束偏轉元件172,使得主側垂直於影像感測器。
側面174c亦可被稱作次側或後側。若干光束偏轉元件可彼此連接成使得連接元件配置於側面174c上,或延伸穿過光束偏轉元件之橫截面,亦即配置在光束偏轉元件內部,例如移位軸線176之區域中。特定而言,固持元件可經配置以免突出,或僅較小程度地沿著方向182突出光束偏轉元件172外最大50%、最大30%或最大10%,從而使得固持元件未增大或判定整個設置沿著方向182之延伸部。替代地,厚度方向182中之延伸部可由光學通道之鏡頭判定,亦即,該等鏡頭具有定義最小厚度之尺寸。
光束偏轉元件172可由玻璃、陶瓷、玻璃陶瓷、塑膠、金屬或該等材料及/或另外材料之組合形成。
換言之,光束偏轉元件172可配置成使得尖端,亦即主側174a與174b之間的邊緣指向影像感測器。光束偏轉元件之姿態可使得其僅在後側上或光束偏轉元件,亦即主側內部實現未被覆蓋。共用固持或連接元件可跨越後側174c延伸。光束偏轉元件172之旋轉軸線可配置為偏心的。
圖9c展示包括影像感測器12及鄰近地配置之光學通道16a至16d之單行陣列14的多光圈成像裝置190之示意性透視圖。光束偏轉構件18包括數個光束偏轉元件172a至172d,該數目可對應於光學通道之數目。替代地,可配置較少數目個光束偏轉元件,例如在至少一個光束偏轉元件由兩個光學通道使用時。替代地,例如在藉由平移移動實現光束偏轉構件18之偏轉方向的切換時,亦可能配置較大數目個光束偏轉元件。各光束偏轉元件172a至172d可與光學通道16a至16d相關聯。光束偏轉元件172a至172d可成像為根據圖11之眾多元件172。替代地,至少兩個、若干或所有光束偏轉元件172a至172d可形成為彼此成為整體。
圖9d展示光束偏轉元件172之示意性截面側視圖,其橫截面形成為自由形式之表面。因此,側面174c可包含使得能夠附接固持元件之凹部186;凹部186亦可形成為突出元件,例如滑鍵接合系統之鍵。另外,橫截面包含第四側174d,其包含比主側174a及174b小之區域延伸部且將兩主側彼此連接。
圖9e展示第一光束偏轉元件172a及在表示方向上位於前者後方之第二光束偏轉元件172b的示意性截面側視圖。凹部186a及186b可經配置以基本上疊合,從而使得有可能在凹部中配置連接元件。
圖9f展示光束偏轉構件18之示意性透視圖,其包含例如連接至連接元件188之四個光束偏轉元件172a至172d。連接元件188可用於藉由致動器平移及/或旋轉移動。連接元件188可經組配以成一體,且可跨越延伸方向,例如y方向在光束偏轉元件172a至172d處或內延伸。替代地,例如在光束偏轉元件172a至172d形成為一體時,連接元件188可僅連接至光束偏轉構件18之至少一側。替代地,亦可以任何其他方式,例如藉助於結合、扭絞或焊接實現至致動器之連接及/或光束偏轉元件172a至172d之連接。連接元件188亦可能展現扭接或曲率,以便相對於參考位置(例如,距邊緣側或影像感測器之距離)設定光束偏轉元件172a至172d之不同相對位置。
將參考以下實施例更詳細地解釋本發明實施。
圖10展示根據實施例之裝置100的示意性透視圖。裝置100包括完全或部分圍封或容納內部體積之外殼108。外殼108包括兩個相對定位之主側108A及108B,其由一或多個次側108C彼此間隔開。在藉助於實例描繪的長方形外殼108之情況下,例如四個次側108C至108F可經配置以連接並隔開主側108A及108B。然而,實施例不限於長方形外殼,而是亦可包含不同形狀,例如可帶來一個個別次側之圓柱形類型、具有三個次側之三角形或具有隨機數目個邊緣側之不同多邊形鏈。
裝置100包括多光圈成像裝置112,其配置在外殼108內部且可經組配以符合本文中所描述之多光圈成像裝置,且其包括包含影像感測器區域之影像感測器配置,影像感測器區域與各別光學通道相關聯。為此目的,多光圈成像裝置112包括鄰近地配置之光學通道的陣列,各光學通道包括用於將全視場之至少一個部分視場投影至影像感測器配置之影像感測器區域上的光學件。多光圈成像裝置112進一步包括用於偏轉光學通道之光學路徑102的光束偏轉構件,光束偏轉構件包含多個刻面,且各光學通道具有與其相關聯之刻面。
主側108A及/或108B中之至少一者包含通路區域配置114。通路區域配置114包括一或多個通路區域114i ,其中i ≥ 1。藉助於實例描繪單個通路區域1141 之配置。通路區域配置114經組配以允許光學路徑102通過。因此,通路區域114可至少部分地透明,例如對於與多光圈成像裝置112相關之波長透明。此意謂由於通路區域配置114,通過外殼108可看到多光圈成像裝置112,否則外殼可形成為不透明的。總體上,此並不排除在通路區域1141 或通路區域配置114內配置光闌、濾光片或其他光學有效元件。
根據本發明,達成了主側108A中之通路區域配置114的空間要求,較佳為在主側108A之平面內且垂直於行延伸方向66的空間要求較小,從而使得例如平行於x方向之尺寸116較小。替代地或另外,近側邊緣122相對於邊緣側108E之距離118及/或遠側邊緣126相對於該邊緣側之距離124可較小,以便在主側108A的用於其他目的(例如,用於配置顯示器或顯示構件)之表面區域方面提供儘可能大之量測或儘可能大之比例。在此上下文中,近側邊緣122及遠側邊緣126與在大約相同於與其相關之邊緣側(此處例如為108E)之方向上延伸的邊緣相關,且不同於垂直於其延伸之邊緣。
為此目的,根據本發明,多光圈成像裝置112經組配成使得相對於通路區域配置114且沿著影像感測器配置與光束偏轉構件之間的光學通道之光學路徑的線路的例如平行於x方向之軸向方向,光學通道包含光學通道之影像感測器區域、光學通道之光學件的通道特定相對位置,及/或與光學通道相關聯之刻面的反射表面的位置。
下文將更詳細地解釋本發明之若干有利實施例。
圖11a展示裝置100之實施的示意性俯視圖,其中藉助於實例,外殼108之主側108A包含兩個通路區域1141 及1142 。通路區域1141 及1142 中之每一者可對至少一個,以及若干或所有光學通道有效,例如藉由再分通道而實現,從而使得吾人同時查看通路區域1141 及1142 中之至少兩者(或另外可能通路區域)。替代地,亦有可能將不同通路區域1141 及1142 與不同檢視方向或圖像拍攝模式相關聯,從而使得在一個時間點處若干或所有光學通道僅穿過所有通路區域114i 之子集,例如單個通路區域。
通路區域1141 及1142 可包含相同尺寸116,但亦可例如在可針對通路區域1141 或1142 中的一個實施較小尺寸時,可視需要形成為彼此不同,而不限制多光圈成像裝置之視覺範圍。例如,尺寸124大於尺寸116,從而使得通路區域1141 及1142 可展現距邊緣側108E之距離。
圖11b展示裝置100之替代性實施的示意性俯視圖,其中通路區域配置包含僅單個通路區域1141 ,其例如配置成居中且鄰近於邊緣側108E。此處,同樣,邊緣側108E與遠側邊緣126之間的距離124可大於通路區域1141 之尺寸116。
應注意,外殼108描繪為例如長方體,從而使得至少一個邊緣側108C至108F亦可注入為筆直的。替代性實施包含彎曲的邊緣側108C至108F,例如相對於外殼108以凸出方式彎曲,亦即朝向外部彎曲之邊緣側。在此情況下,距離118及124與主側108A之邊緣或末端相關,而與俯視圖藉由凸出彎曲之邊緣側增大多少無關。
相比於圖11a中之實施,通路區域1141 可經組配以沿著z方向,亦即行延伸方向大於圖11a中之通路區域1141 及1142 ,例如以便允許較大數目個光學通道同時通過。
圖11c展示裝置100之另外替代性實施的示意性俯視圖,其中不同於圖11b中,整個通路區域1141 並不居中配置,而是自邊緣側108F偏移。根據另外替代性實施,在吾人以圖11b之組配作為基礎時,一通路區域或若干通路區域可朝向任一邊緣側移位。較佳地,距離124保持為較小,且距邊緣側108F或邊緣側108D之另外額外距離較小或相對於邊緣側108D及108F對稱。此情況使得主側108A之剩餘表面區域能夠對稱或很大程度上不間斷,在該剩餘表面區域用作顯示器時此會帶來大量可呈現資訊。
此意謂被稱為凹口之顯示凹部的效果可保持為較小,且可移位至顯示器之拐角或可至少對稱地配置在邊緣側處。
應進一步注意,亦可視需要切換或轉向邊緣側108C及108E小於邊緣側108D及108F之實施。
圖12a至圖12c展示等效或至少類似於圖11a至圖11c之彼等裝置的裝置100之實施;通路區域1141 及/或1142 之尺寸116可等於距離124,此意謂窗完全朝向主側108A之邊緣移位,此移位可能但未必實施成使得通路區域1141 及/或1142 中的至少一者延伸至邊緣側108E中。
換言之,圖12a至圖12c展示智慧型電話之顯示器及窗在組配中之位置,其中通路區域鄰近邊緣。
圖11a、圖11b、圖11c、圖12a、圖12b及圖12c各自展示主側108A之視圖。根據實施例,多光圈成像裝置之檢視方向係不變的。
根據其他實施例,多光圈成像裝置之檢視方向可基於光束偏轉構件例如朝向相反方向之移動而變化。因此,實施例涉及提供圖11a、圖11b、圖11c、圖12a、圖12b及圖12c中未描繪之主側,其中通路區域相同或至少類似,以便實現對應檢視方向。可因此在第一位置與第二位置之間切換光束偏轉構件之相對方位。在第一位置中,光學路徑可朝向第一全視場偏轉,且在第二位置中,其可朝向第二全視場偏轉;在各情況下光學路徑皆穿過可能在外殼之不同主側中的不同通路區域配置。可能有利的為,提供具有光闌之通路區域配置,亦即通路窗。各別未使用通路區域,亦即光學路徑在當前所捕獲圖像中未被引導通過的彼等通路區域配置可經設定成完全或部分不透明,亦即其可由光闌及相關聯控制構件光學閉合。為此目的,機械及/或電致變色光闌可係合適的。在處於第一操作狀態的光束偏轉構件偏轉光學路徑,使得其穿過第一通路區域配置時,第二光闌可將第二通路區域配置光學設定成至少部分不透明。在第二操作狀態中,光束偏轉構件可偏轉成像裝置之光學路徑,使得該光學路徑延伸穿過第二通路區域配置。第一光闌接著可將第一通路區域配置光學設定成至少部分不透明,而交替地將第二通路區域配置設定為透明。
在下文中,應參考多光圈成像裝置之通道特定實施。
為此目的,圖13a展示裝置100之例示性示意截面側視圖,其包含主側108A及108B之區段以描繪外殼108之內部127。圖13a在所描繪截面平面中展示第一光學通道,例如包含光學件22a之光學通道16a的表示,其中距離88提供於影像感測器12與光學件22a之間。
圖13b展示與圖13a中所示之裝置100的實施相同,但在不同截面平面內,亦即沿著z軸具有值z2 而非z1 之平面內的示意性截面側視圖。光學通道16b配置有光學件22b。相比於光學通道16b在光學件22b與刻面86b之間的距離128b,光學通道16a與16b在光學件22a與刻面86a之間的距離128a方面不同。距離128可參考光學件22與刻面86之反射表面之間的各別距離,而傾角Φ可參考平行於主側108A之平面,例如x/y平面。光學通道藉助於通道特定相對位置之通道特定實施可包括位於影像感測器區域配置與光束偏轉構件之間的區域中之光學路徑相對於平行於主側之平面的通道特定傾角,亦即光學通道之平面外線路。通道特定應理解為意謂至少兩個通道、若干通道或所有通道在相對位置方面不同於至少一個其他光學通道、若干光學通道或所有光學通道。
例如,距離128b可大於,替代地小於距離128a。替代地或另外,光學通道16a之設定角度Φ1可不同於光學通道16b之設定角度Φ2,例如其可較大。結果,彼此平行延伸或至少在同一x/z平面內延伸的光學路徑102a及102b可在不同方向上偏轉。影像感測器12及/或各別相關聯影像感測器區域距邊緣側108E之距離132在光學通道16a及16b中可相同,此等效於各別影像感測器區域沿著軸向方向x之相同相對位置。代替參考邊緣側108E,該相同位置可參考近側邊緣122或遠側邊緣126。
換言之,本發明之實施例涉及光學通道之個別設計,從而使得帶來最小窗大小及/或面向光學件之窗邊緣(遠側邊緣126)距智慧型電話或其顯示器之邊緣的最小距離。此情況被達成,例如因為根據智慧型電話之顯示器的厚度134,反射刻面86相對於光學件22之軸向距離128及設定角度Φ被選定成使得最小窗大小(尺寸116)及/或面向光學件之窗邊緣126距智慧型電話或其顯示器之邊緣的最小距離124尤其帶來一距離。光學件距影像感測器之距離及光學件對於所有通道可相同。
圖14a至圖14c展示裝置100之不同實施的示意性俯視圖,該裝置一方面包括結合圖13a及圖13b提及的光學件22a與刻面86a之間的不同距離128a,且另一方面包括光學件22b與刻面86b之間的不同距離128b。此情況得以獲得,因為例如光學件22a及22b配置在相同軸向位置處,亦即具有相同x座標。替代地或另外,影像感測器區域28a及28b亦可配置於相同軸向位置處。
雖然在圖14a中,影像感測器區域28a及28b被實施為彼此直接鄰近的不同晶片,然而,可根據圖14c中所示之組配使用共用影像感測器12,亦即構造間隙可或可不配置於影像感測器區域28a與28b之間。根據影像感測器區域之距離或直接相鄰,光學件22a及22b亦可配置成彼此接近,如圖14a中所描繪,或可配置成相互距一距離,例如如圖14b及圖14c中所解釋。任擇地,光學通道陣列可包含共用基體78,其例如係透明的且具有穿過其中的光學路徑。
刻面86a及86b亦可配置成彼此直接鄰近,如圖14a中所描繪,或可彼此間隔開,如圖14b及圖14c中所描繪。
可以任何所要方式組合根據圖14a的由影像感測器、光學件及刻面組成之模組的表示、圖14b中之個別通道之間的距離及圖14c中之連續影像感測器及共用光學件陣列。
在保持光學件與影像感測器區域之間的距離時,不同距離128a及128b可由例如在焦寬方面不同地形成之光學件補償,從而使得可實施使光學件適於不同距離或反過來。
圖15a及圖15b展示根據實施例之裝置100的組配之示意性截面側視圖,其中不同光學通道16a及16b之影像感測器區域28、光學件22及相關聯刻面86的組合,亦即總組配在位於包含影像感測器區域28a及28b之影像感測器配置與光束偏轉構件之間的區域中沿著光學路徑102a及102b之方向的不同軸向位置提供通道特定相對位置。
此意謂距離88以及距離128在光學通道16a及16b中可相同,如圖15c中亦可見,該圖展示圖15a及圖15b中在z軸之不同平面內描繪的組配之示意性俯視圖。光學通道16a及16b可因此形成為例如在組件之間隔方面相同,但可作為群組整體沿著x方向相互偏移,從而使得帶來刻面86a及86b與邊緣側108E之間的不同距離136a及136b。
即使影像感測器區域28a及28b被描繪為相互不同之晶片,此情況將並不妨礙影像感測器區域28a及28b組配於共用基體內,例如藉由實施階形等。同樣地,在使用共用基體時,光學件22a可連接至光學件22b。
此實施例使得能夠以相同方式實施光學件22a及22b,例如具有相同焦寬及/或相同捕獲範圍。然而,亦有可能組合此實施例與結合圖13a、圖13b、圖14a、圖14b及圖14c描述之不同距離。替代地或另外,例如僅刻面沿著光學路徑102之方向的一個軸向位置在位於影像感測器12與光束偏轉構件之間的區域中可不同,及/或可調適各別光學件22與影像感測器之間的距離。
換言之,替代地或另外,由影像感測器、光學件及偏轉刻面組成之整體的軸向位置可不同地形成,亦即個別通道可包含相同光學件或距離,但在共用平面內可不包含影像感測器,例如無共用連續影像感測器。
圖16a及圖16b展示裝置100之組配在x/y平面之不同平面z1 及z2 內的示意性截面側視圖,其中影像感測器區域28a及28b包含距邊緣側108E之不同距離1321 及1322 。另外,光學件22a及/或22b具有距各別相關聯影像感測器區域28a及28b之不同距離881 及882
替代地或另外,光學件22a與刻面86a之間的距離1281 及/或光學件22b與刻面86b之間的距離1282 可彼此不同,以便實施光學通道16a及16b之成像性質的對應調適。替代地或另外,例如在使用具有不同性質之光學件22a及22b時,光學件22a及22b沿著x方向之可能呈現的不同尺寸可由不同距離補償。
換言之,光學件、軸向光學件位置及/或軸向影像感測器位置可個別針對於或特定針對於所有通道。
可利用個別性或特異性,因為不同光學通道之光束138a及138b至共用x/y平面之投影,亦即沿著行延伸方向及/或z方向之投影在很大程度上重疊,特定而言重疊程度大於針對所有通道之全域實施,亦即即使刻面之設定角度可不同,影像感測器區域、光學件及刻面之軸向位置仍相同的實施。由於大量重疊,所需窗大小--尺寸116可較小,此特定而言有利於較大顯示器之情況,或表面在很大程度上用作顯示器時。此意謂可使通路區域配置適於所獲得之經增大重疊--特定而言,該區域之大小可減小。通路區域配置可經組配成使得以不變方式實現光學路徑之不受阻礙通路。
圖17a展示裝置100之組配的示意性俯視圖,其中光學件22a及22b各自形成為在沿著x方向之不同平面內連接至一或多個基體781 及/或782 的鏡頭堆疊。基於刻面86a及86b之不同距離136a及136b,可實現將影像感測器區域配置於共用x平面內,可能配置為共用影像感測器12;此處,可例如在其焦寬及/或距刻面及/或距影像感測器之所獲得距離方面個別地設計光學件22a及22b。例如,光學件22a及22b之個別鏡頭142i可具有不同大小及/或焦寬。結果,在組合若干個別鏡頭之情況下,可獲得整個光學件22a及22b之適於相互不同之距離136a及136b的任何所要光學性質。
換言之,光學件可包含共用連續基體781 及782 ;配置於基體上之個別通道的鏡頭142i可以通道特定方式經組配且亦可包含距影像感測器12之不同距離。基體781 及782 可垂直於光軸而配置,此意謂垂直於軸向方向x。
圖17b展示一組配之示意性俯視圖,其中相比於圖17a中所示的以垂直於軸向方向的方式進行垂直配置,基體781 及/或782 傾斜,且還實現使個別光學通道之光學路徑分別適於光學件22a及22b之間的不同通道之相互不同距離,分別適於相關聯刻面86a及86b,及/或適於各別相關聯影像感測器區域或影像感測器12。光學件在經組配時可包含非旋轉對稱之主體,使得光學件22a及22b之鏡頭142i的表面輪廓可描述為繞平行於x方向之方向旋轉對稱,亦即相對於光學通道之光軸旋轉對稱。此情況可例如藉由藉助於楔形形狀144來補償藉助於基體781 及782 之傾斜而獲得,由於該楔形形狀獲得非旋轉對稱之主體,然而在與傾斜基體781 及/或782 組合時該主體可產生旋轉對稱之光學件。
相反地,可執行根據圖17a之調適或通道特定實施,使得光學件22a及22b形成為彼此不同且沿著x方向沿著不同軸向位置配置,以便使個別通道之光學路徑適於光學件之間的相互不同距離、相關聯刻面及/或各別相關聯影像感測器區域。
換言之,如圖17b中所描繪,基體可以非垂直方式相對於光軸配置,且光學件之鏡頭可經組配以包含楔角,從而使得鏡頭之表面形成為相對於通道之光軸旋轉對稱。
雖然圖17a展示連續影像感測器、具有連續基體之共用光學件陣列,但圖17b展示不同實施例之組合。
實施例實現所有通道之共用出射窗(通路區域配置114)之最小寬度,以用於改良表面利用且最大化顯示區域。此亦可涉及改良美觀性。實施例可用於包含線性通道編碼及最小安裝大小之多光圈成像系統中,特定而言用於智慧型電話的在面向使用者方向上之相機中。根據實施例,顯示構件或顯示器配置於主側上,顯示器覆蓋至少90%、至少93%或至少95%之主側108A且至少部分地圍封通路區域配置。例如,通路區域配置僅在面向邊緣側108E之側面上未由顯示器圍封。
如可例如在圖14a、圖14b、圖14c、圖15c、圖17a及圖17b中容易地看出,多光圈成像裝置可經組配成使得形成沿著軸向方向x之末端之刻面86跨越通路區域配置114的重疊較小或不需要該重疊。因此,實施例實現將光束偏轉構件配置成鄰近於邊緣側108E,且儘管通路區域配置之大小極小,亦將通路區域配置配置成鄰近於邊緣側。相對於邊緣側在遠側的邊緣126距邊緣側108E可存在距離,該距離受若干裝置性質影響,包括: ˙  a:在光學通道之光學件的側面上,所使用孔徑光闌之大小,例如直徑; ˙  b:出射窗之厚度,參見例如圖13a至圖13b、圖15a至圖15b及圖16a至圖16b中沿著y之尺寸; ˙  c:全視場沿著外殼之最長側的總視角 ˙  d:沿著外殼之此最長側捕獲的部分影像之數目; ˙  e:可選之超解析度因數。
遠側邊緣之距離可為:
Figure 02_image002
或更小,其亦可表示為光學件之孔徑光闌之直徑的三倍,與窗厚度之四倍乘以角度之正切的乘積之總和,該角度對應於沿著外殼之最長側的一半視角除以在外殼之最長側方向上的部分影像之數目,再乘以超解析度之因數,加上除以超解析度之因數減去一再乘以5°的在外殼之最長側方向上的影像數目。
如圖12a至圖12c中所示,近側邊緣122可接近於邊緣側108E,從而使得距離至多包含孔徑光闌之雙倍直徑的值。可尤其較佳的為近側邊緣達到或重疊邊緣側。
在其他較佳實施例中,近側邊緣122距邊緣側108E之距離至多為孔徑光闌之雙倍直徑。
即使本文中所描述之實施例可經組配成使得可在不複製通道以用於立體捕獲之情況下實施多光圈成像裝置,其他實施例仍設想提供至少一個第二多光圈成像裝置以用於至少以立體方式捕獲全視場。替代地或另外,多光圈成像裝置或至少兩個多光圈成像裝置之組合可經組配成使得第一光學通道群組設置成用於捕獲第一部分視場或全視場,而第二光學通道群組設置成用於捕獲第二部分視場或全視場。在使用對應控制單元時,裝置可經組配以接合第一群組及/或第二群組之影像感測器區域的影像資訊以用於增大解析度。代替或除了產生深度圖之外,吾人可因此獲得在超解析度意義上之解析度增大。
光束偏轉構件之位置可判定多光圈成像裝置至少沿著一個方向之大小,例如沿著軸向方向x在影像感測器配置12與光束偏轉構件18之間的大小。光束偏轉構件可配置成鄰近於邊緣側,此使得能夠將通路區域配置配置成亦鄰近於邊緣側。替代地或除了通道特定實施之外,可進行此配置,從而使得實施例參考包含具有兩個相對主側之外殼的裝置,主側經由至少一個邊緣側彼此連接。
裝置包括例如多光圈成像裝置,其配置在外殼內部且包含具有至少兩個影像感測器區域之影像感測器配置,鄰近地配置之光學通道的陣列,各光學通道包括用於將全視場之至少一個部分視場投影至影像感測器配置之影像感測器區域上的光學件。多光圈成像裝置包括用於偏轉光學通道之光學路徑的光束偏轉構件,光束偏轉構件包含多個刻面,各光學通道具有與其相關聯之刻面。裝置經組配成使得主側中的至少一者包含具有至少一個通路區域之通路區域配置,通路區域配置設置成用於允許光學路徑穿過。光束偏轉構件之位置至少部分地判定多光圈成像裝置沿著軸向方向在影像感測器配置與光束偏轉構件之間的大小。光束偏轉構件配置成鄰近於邊緣側。通路區域配置配置於主側的鄰近於邊緣側之邊緣區域中。該實施可容易地與通路區域、其近側及遠側邊緣之大小及/或配置組合。
提供裝置之本發明方法包括提供包含兩個相對定位之主側的外殼,該等主側經由至少一個邊緣側彼此連接,從而使得主側中的一者包含具有至少一個通路區域之通路區域配置,通路區域配置設置成用於允許光學路徑通過。該方法包括將多光圈成像裝置配置於外殼之內部中,該經配置多光圈成像裝置包含:影像感測器配置;鄰近地配置之光學通道之陣列,各光學通道包括用於將全視場之至少一個部分視場投影至影像感測器配置之影像感測器區域上的光學件;及用於偏轉光學通道之光學路徑的光束偏轉構件,光束偏轉構件包含多個刻面,各光學通道具有與其相關聯之刻面。在一個實施例中,該方法經執行成使得相對於通路區域配置且沿著軸向方向,該軸向方向沿著影像感測器配置與光束偏轉構件之間的光學通道之光學路徑之線路,光學通道包含以下中的至少一者之通道特定相對位置:影像感測器區域、光學件,及與光學通道相關聯之刻面的反射表面。根據另外實施例,該方法可替代地或另外經執行成使得光束偏轉構件之位置判定多光圈成像裝置沿著軸向方向在影像感測器配置與光束偏轉構件之間的大小,且光束偏轉構件配置成鄰近於邊緣側。通路區域配置配置於主側的鄰近於邊緣側之邊緣區域內。
根據實施例,出射窗可設計成較窄及/或可經配置以接近於外殼側之表面邊緣,從而使得顯示器可經配置以具有較大表面區域,可省去其間斷區段,且大量表面可用於顯示器。尤其在相機在面向使用者之方向上(在與世界側相對定位之使用者側上)用於智慧型電話中時,實施例係有利的,此係由於出射窗儘可能窄及/或經配置為儘可能接近智慧型電話之邊緣,從而使得整體上產生具有儘可能少之間斷區段(所謂的凹口)的儘可能大之顯示區域。窗可包含多光圈相機之一個、若干或所有光學路徑,亦即存在一個或若干個窗。
包含線性通道配置之多光圈相機包含彼此緊鄰配置且在各情況下轉移全視場之部分或部分視場的若干光學通道。有利地,成像鏡頭可具有可用於光束偏轉且有助於減小安裝高度的安裝於成像鏡頭前方之反射鏡。
本發明之一個態樣涉及將組件設計成使得成像通道之出射窗儘可能窄,尤其在位於成像光學件與光束偏轉構件之間的區域中沿著光軸之方向較窄。另外,組件亦可經配置成使得窗之配置成最接近光學件之彼邊緣距智慧型電話之邊緣的距離變得儘可能小。窗之組配可有用於已描述或衍生的多光圈相機之所有變型,亦即可能但未必拼接由個別通道所成像且部分重疊之部分視場以形成全視場。藉由產生深度圖/深度資訊/面部深度輪廓(結合合適的(結構化)照明),作為相機(在近紅外領域)用於面部辨識或面部識別(面部ID)。部分影像未必需要經拼接(以基於深度之方式)以形成全視場,而是亦可個別地用於計算各別(部分)深度圖,可能在稍後時間點處拼接總深度圖。在給定充分指定、有限且已知之工作距離(例如,面部距智慧型電話之距離)之情況下,基於視差之影像拼接無論如何皆非必要的,或僅在很小的程度上係必要的,但可針對此僅一個對應物距,拼接部分影像以形成總影像。
可存在若干通道或模組,從而使得可將全視場掃描若干次,從而使得可產生立體、三重、四重以及甚至更頻繁重複的掃描配置。
關於上文所提及架構之通道的光學件相比可藉由使用用於通道中之影像感測器的像素解析的空間解析度可達成較高空間解析度,從而使得產生混疊效果。藉由將全視場掃描若干次,可因此使用超解析度之方法,且可達成經改良的空間解析度。
個別通道群組之全視場可大小不同且可完全重疊。替代地或另外,通道及部分視場之配置的一維向量可垂直及/或平行配置。
即使結合裝置描述一些態樣,但應理解,該等態樣亦表示對應方法之描述,從而使得裝置之區塊或組件亦被理解為對應方法步驟或方法步驟之特徵。類似地,結合或作為方法步驟描述之態樣亦表示對應區塊或細節或對應裝置之特徵的描述。
上文所描述之實施例僅表示本發明之原理之說明。應理解,其他熟習此項技術者將顯而易見對本文中所描述之配置及細節的修改及變型。預期本發明僅由以下申請專利範圍之範疇,而非由本文中藉助於實施例之描述及說明呈現的特定細節限制。
101,102,103,30,40,60,100:裝置 12:影像感測器 14:陣列 16a-e:光學通道 18:光束偏轉構件 181:第一位置 182:第二位置 22a-d:光學件 24a-d:部分視場 25,25a-e:重疊區域 26:全視場,光學路徑 261:第一全視場 262:第二全視場 28,28a-d:影像感測器區域 32:聚焦構件 34:光學控制構件 36,42:影像資訊 38:深度圖 381-5:部分資訊 421-5:總影像 44,54:控制構件 461:第一成像資訊,各別部分影像 462:第二成像資訊,各別部分影像 48:共用或所累積影像資訊 52:信號 561-5:不同焦點位置 581-5:位置或距離 621 4,88,881,882,118,124,128,1281,1282,128a,128b,132,1321,1322,136a,136b:距離 641,642:個別影像,圖框 66:行延伸方向 68a:第一平面 68b:第二平面 69:虛擬長方體 69a,69b:側面 71:平面 72,721-5,841,842:致動器 74:尺寸,延伸部 76:旋轉軸線 78,781,782:基體 80,112,190:多光圈成像裝置 82:機械偏轉構件 86a-d:刻面 881:第一值,距離 882:第二值 92:部分 94,96:大小 98:共用基體,電路板 102,102a-d:光學路徑,光軸 104:全視場方向 108:外殼 108A,108B:主側 108C-F:次側,邊緣側 114,1141,1142:通路區域配置 116:尺寸 122:近側邊緣 126:遠側邊緣 127:內部 134:厚度 138a,138b:光束 142i:鏡頭 144:楔形形狀 172,172a-d:光束偏轉元件 174a:第一側,面 174b:第二側,面 174c:第三側,面 174d:第四側 176:移位軸線 178:質心 182,y:厚度方向 184,x,z:方向 186,186a:凹部 188:連接元件 α:角度 B1,B2:影像方向 Φ:傾角
參考附圖,下文將解釋本發明之較佳實施例,其中: 圖1a 展示根據實施例之裝置的示意性透視圖; 圖1b 展示根據實施例之裝置的示意性透視圖; 圖1c 展示組合圖1a及圖1b之特徵的根據實施例之裝置的示意性透視圖; 圖2a 展示根據實施例之不同焦點位置的示意圖,根據實施例之裝置可經控制以採取該等焦點位置; 圖2b 展示根據實施例的自不同焦點位置創建深度圖之利用以及其產生之示意性表示; 圖3a 展示根據實施例之裝置的示意性透視圖,其中影像感測器跨越光學通道陣列,且光束偏轉構件在空間中跨越長方體; 圖3b 展示根據實施例的圖3a之裝置的示意性截面側視圖,其中多光圈成像裝置包含多個致動器; 圖3c 展示圖3a及/或圖3b之多光圈成像裝置的示意性截面側視圖,其中可基於光束偏轉構件之不同位置捕獲不同全視場; 圖4a 展示根據實施例之裝置的示意性俯視圖,其中致動器形成為壓電式彎曲致動器; 圖4b 展示圖4a之裝置的示意性截面側視圖,其用於說明致動器配置於結合圖3a描述的長方體之層級之間; 圖5a至圖5c   展示根據實施例的部分視場在全視場內之配置的示意性表示; 圖6 展示根據實施例之裝置的示意性透視圖; 圖7a 展示用於說明根據實施例的對可藉由對全視場進行成像所獲得之影像資訊進行處理的示意圖; 圖7b 展示根據實施例的對累積影像資訊中之部分成像資訊進行縮放的示意性表示; 圖8 展示可用於本發明裝置中的根據實施例之多光圈成像裝置之部分; 圖9a至圖9f   展示根據實施例之光束偏轉構件的有利實施; 圖10 展示根據實施例之裝置的示意性透視圖; 圖11a   展示根據實施例的圖10之裝置的實施之示意性俯視圖,其中藉助於實例,外殼之主側包含兩個通路區域; 圖11b   展示根據實施例的圖10之裝置的替代性實施之示意性俯視圖,其中通路區域配置包含例如以居中方式且鄰近於邊緣側配置的僅單個通路區域。 圖11c   展示根據實施例的圖10之裝置的另外替代性實施之示意性俯視圖,其中不同於圖11b中,整個通路區域不居中而是自邊緣側偏移; 圖12a至圖12c  展示根據實施例的圖10之裝置的等效或至少類似於圖11a至圖11c之實施,通路區域之窗尺寸可等於距外邊緣之距離; 圖13a   展示根據實施例的圖10之裝置的例示性示意截面側視圖,其包含主側之區段以便說明外殼之內部; 圖13b   展示與圖13a中的裝置實施相同但在不同截面平面內之示意性截面側視圖; 圖14a至圖14c  展示圖10之裝置的不同實施之示意性俯視圖,其中光學件與刻面之間存在圖13a及圖13b之上下文中提及的不同距離; 圖15a至圖15b  展示根據實施例的圖10之裝置的組配之示意性截面側視圖,其中影像感測器區域、光學件與不同光學通道之相關聯刻面之組合的軸向位置在位於包含影像感測器區域之影像感測器配置與光束偏轉構件之間的區域中提供沿著光學路徑之方向的通道特定相對位置; 圖15c   展示圖15a及圖15b之組配的示意性俯視圖; 圖16a至圖16b  展示根據實施例的圖10之裝置之組配在x/y平面之不同平面z1 及z2 內的示意性截面側視圖; 圖17a   展示根據實施例的圖10之裝置的組配之示意性俯視圖,其中光學件在各情況下形成為鏡頭之堆疊;且 圖17b   展示一組配之示意性俯視圖,其中相比於圖17a中所示之垂直配置,光學通道陣列之基體以垂直於軸向方向之方式傾斜。
101:裝置
12:影像感測器
14:陣列
16a-d:光學通道
18:光束偏轉構件
22a-d:光學件
24a-d:部分視場
26:全視場
28a-d:影像感測器區域
32:聚焦構件
34:光學控制構件
36,42:影像資訊
38:深度圖

Claims (26)

  1. 一種裝置,其包含: 一外殼,其具有兩個相對定位之主側,該等主側經由至少一個邊緣側彼此連接; 一多光圈成像裝置,其配置於該外殼之一內部中且包含: 一影像感測器配置; 鄰近地配置之光學通道的一陣列,各光學通道包括用於將一全視場之至少一個部分視場投影至該影像感測器配置之一影像感測器區域上的一光學件,以及 一光束偏轉構件,其用於偏轉該等光學通道之一光學路徑,該光束偏轉構件包含多個刻面,各光學通道具有與其相關聯之一刻面; 其中該等主側中的一者包含具有至少一個通路區域之一通路區域配置,該通路區域配置設置成允許該等光學路徑通過; 其中相對於該通路區域配置且沿著一軸向方向(x),沿著該影像感測器配置與該光束偏轉構件之間的該等光學通道之該光學路徑之一線路,該等光學通道包含以下中的至少一者之一通道特定相對位置: 該影像感測器區域; 該光學件; 與該光學通道相關聯之一刻面的一反射表面。
  2. 如請求項1之裝置,其中相比於對所有該等通道為全域之一相對位置,該通路區域配置減小該通路區域配置沿著該軸向方向(x)之一所需大小,儘管如此該配置仍實現該等光學路徑之不受阻礙通路。
  3. 如請求項1或2之裝置,其中相比於對所有該等通道為全域之一相對位置,該通道特定相對位置增大該等光學路徑之光束在該通路區域配置之一區域內的投影重疊,且使該通路區域配置之一大小適於重疊增大,該等投影為沿著該陣列之一行延伸方向的投影。
  4. 如任一前述請求項之裝置,其中該通道特定相對位置包括以下中之至少一者: 該光學件與相關聯刻面之該反射表面之間的一距離; 位於該影像感測器與該光束偏轉構件之間的區域中之該光學路徑相對於平行於該主側之一平面的一傾角(ϕ); 該影像感測器區域與該光學件之間的一距離; 該影像感測器區域、該光學件及該相關聯刻面在位於該影像感測器與該光束偏轉構件之間的一區域內沿著該光學路徑之一方向(x)之一軸向位置;以及 該刻面在位於該影像感測器與該光束偏轉構件之間的一區域內沿著該光學路徑之該方向(x)的一軸向位置。
  5. 如任一前述請求項之裝置,其中光學通道之該陣列包含一共用基體,該基體對至少兩個光學通道有效,支撐各別光學通道之該等光學件的至少部分,且其中一第一光學通道之一第一刻面包含沿著該軸向方向(x)之一第一軸向位置;且其中一第二光學通道之一第二刻面包含沿著該軸向方向(x)的不同於該第一軸向位置之一第二軸向位置; 其中該基體配置成垂直於該軸向方向(x),且該第一光學通道及該第二光學通道之該等光學件形成為彼此不同且可沿著不同軸向位置配置,以便使個別通道之該等光學路徑適於該等光學件、該等相關聯刻面及/或各別相關聯影像感測器區域之間的相互不同距離;且/或 其中該基體相對於垂直於該軸向方向(x)之一配置傾斜,以便使該等個別通道之該等光學路徑適於位於該等光學件、該等相關聯刻面及/或該各別相關聯影像感測器區域之間的不同通道之該等相互不同距離。
  6. 如請求項5之裝置,其中該基體相對於垂直配置傾斜,且該等光學件包含旋轉非對稱主體,並且該等光學件之鏡頭的表面輪廓可描述為與該等光學通道之光軸旋轉對稱。
  7. 如請求項5或6之裝置,其中該基體形成為透明的且具有穿過其中的該等光學路徑。
  8. 如任一前述請求項之裝置,其中該光束偏轉構件配置成鄰近於該邊緣側,且該通路區域配置係配置於鄰近於該邊緣側之該主側的一邊緣區域內,其中相對於該邊緣側,該至少一個通路區域包含一近側邊緣及一遠側邊緣,其中該遠側邊緣包含距該邊緣側之一距離,該距離至多對應於該光學件之孔徑光闌之直徑的三倍,與窗厚度之四倍乘以角度之正切的乘積之總和,該角度對應於沿著該外殼之最長側的一半視角除以在該外殼之該最長側的方向上的部分影像數目,再乘以超解析度之因數,加上除以該超解析度之該因數的在該外殼之該最長側的該方向上的該影像數目,減去一,再乘以5°。
  9. 如請求項8之裝置,其中該近側邊緣展現距該邊緣側之一距離,該距離至多對應於該等光學件之該孔徑光闌之該直徑的雙倍且尤其較佳地達到該邊緣側。
  10. 如任一前述請求項之裝置,其中該光束偏轉構件配置成鄰近於該邊緣側,且該通路區域配置係配置於鄰近於該邊緣側之該主側的一邊緣區域內,其中相對於該邊緣側,該至少一個通路區域包含一近側邊緣及一遠側邊緣,其中該近側邊緣展現距該邊緣側之一距離,該距離至多對應於該等光學件之該孔徑光闌之該直徑的雙倍。
  11. 如任一前述請求項之裝置,其進一步包含: 一聚焦構件,其用於設定該多光圈成像裝置之一焦點位置;以及 一控制構件,其經組配以控制該聚焦構件並自該影像感測器配置接收影像資訊;該控制構件經組配以控制該多光圈成像裝置處於一焦點位置序列,以便捕獲該全視場之一對應影像資訊序列並自該影像資訊序列產生所捕獲全視場之一深度圖。
  12. 如任一前述請求項之裝置,其進一步包含經組配以在該全視場之方向上向外發送在人眼不可見之一波長範圍內,較佳地在一紅外範圍,且尤其較佳地在一近紅外範圍內的一照明信號之一照明源,該多光圈成像裝置經組配以在該不可見範圍內對該全視場進行成像。
  13. 如任一前述請求項之裝置,其中該全視場為一第一全視場,其中該通路區域配置為一第一通路區域配置且配置於一第一主側中;該裝置包含在一第二主側中的一第二通路區域配置; 其中該光束偏轉構件之一相對方位可在一第一位置與一第二位置之間切換,從而使得在該第一位置中,該光學路徑朝向該第一全視場偏轉,且在該第二位置中,該光學路徑通過該第二通路區域配置朝向一第二全視場偏轉。
  14. 如請求項13之裝置,其中該第一通路區域配置包含一第一光闌,且該第二通路區域配置包含一第二光闌,在一第一操作狀態中,該光束偏轉構件將該光學路徑偏轉成使得其穿過該第一通路區域配置,且該第二光闌將該第二通路區域配置設定成至少部分地光學不透明;且 其中在第二操作狀態中,該光束偏轉構件將該成像裝置之該光學路徑偏轉成使得該光學路徑穿過該第二通路區域配置,且該第一光闌將該第一通路區域配置設定成至少部分地光學不透明。
  15. 如任一前述請求項之裝置,其中該陣列之一第一光學通道經組配以對該全視場之一第一部分視場進行成像,其中該陣列之一第二光學通道經組配以對該全視場之一第二部分視場進行成像,且其中一第三光學通道經組配以對該全視場進行完全成像。
  16. 如任一前述請求項之裝置,其中該全視場之該等部分視場配置在垂直或平行於該陣列之一行延伸方向(z)的一方向上,該等光學通道沿著該行延伸方向鄰近地配置成一行。
  17. 如任一前述請求項之裝置,其中該多光圈成像裝置為一第一多光圈成像裝置,且該裝置進一步包含至少一個第二多光圈成像裝置且設置成至少立體地捕獲該全視場。
  18. 如任一前述請求項之裝置,其中光學通道之一第一群組設置成用於捕獲一第一部分視場或該全視場,而光學通道之一第二群組設置成用於捕獲一第二部分視場或該全視場,該裝置包含一控制單元構件,其經組配以接合該第一群組及/或該第二群組之影像感測器區域的影像資訊以用於增大解析度。
  19. 如任一前述請求項之裝置,其中該主側包含一顯示構件,其覆蓋該主側之至少90%且至少部分地圍封該通路區域配置。
  20. 如任一前述請求項之裝置,其中該光束偏轉構件之一位置判定該多光圈成像裝置沿著該軸向方向(x)在該影像感測器配置與該光束偏轉構件之間的一大小,且該光束偏轉構件配置成鄰近於該邊緣側。
  21. 一種裝置,其包含: 一外殼,其具有兩個相對定位之主側,該等主側經由至少一個邊緣側彼此連接; 一多光圈成像裝置,其配置於該外殼之一內部中且包含: 一影像感測器配置; 鄰近地配置之光學通道的一陣列,各光學通道包括用於將一全視場之至少一個部分視場投影至該影像感測器配置之一影像感測器區域上的一光學件, 一光束偏轉構件,其用於偏轉該等光學通道之一光學路徑,該光束偏轉構件包含多個刻面,各光學通道具有與其相關聯之一刻面; 其中該等主側中的一者包含具有至少一個通路區域之一通路區域配置,該通路區域配置係設置成允許該等光學路徑通過; 其中該光束偏轉構件之一位置判定該多光圈成像裝置沿著一軸向方向(x)在該影像感測器配置與該光束偏轉構件之間的一大小,且該光束偏轉構件配置成鄰近於該邊緣側;且 其中該通路區域配置係配置於鄰近於該邊緣側之該主側的一邊緣區域內。
  22. 如請求項21之裝置,其中相對於該邊緣側,該至少一個通路區域包含一近側邊緣及一遠側邊緣,其中該遠側邊緣包含距該邊緣側之一距離,該距離至多對應於該光學件之孔徑光闌之直徑的三倍,與窗厚度之四倍乘以角度之正切的乘積之總和,該角度對應於沿著該外殼之最長側的一半視角除以在該外殼之該最長側的方向上的部分影像數目,再乘以超解析度之因數,加上除以該超解析度之該因數的在該外殼之該最長側的該方向上的該影像數目,減去一,再乘以5°。
  23. 如請求項22之裝置,其中該近側邊緣展現距該邊緣側之一距離,該距離至多對應於該孔徑光闌之該直徑的雙倍且尤其較佳地達到該邊緣側。
  24. 如請求項21至23中任一項之裝置,其中相對於該邊緣側,該至少一個通路區域包含一近側邊緣及一遠側邊緣,其中該近側邊緣展現距該邊緣側之一距離,該距離至多對應於該孔徑光闌之該直徑的雙倍。
  25. 一種提供裝置之方法,其包含: 提供一外殼,該外殼包含兩個相對定位之主側,該等主側經由至少一個邊緣側彼此連接,從而使得該等主側中的一者包含具有至少一個通路區域之一通路區域配置,該通路區域配置係設置成用於允許光學路徑通過; 在該外殼之一內部中配置一多光圈成像裝置,該經配置多光圈成像裝置包含: 一影像感測器配置; 鄰近地配置之光學通道的一陣列,各光學通道包括用於將一全視場之至少一個部分視場投影至該影像感測器配置之一影像感測器區域上的一光學件, 一光束偏轉構件,其用於偏轉該等光學通道之一光學路徑,該光束偏轉構件包含多個刻面,各光學通道具有與其相關聯之一刻面; 從而使得相對於該通路區域配置且沿著一軸向方向(x),沿著該影像感測器配置與該光束偏轉構件之間的該等光學通道之該光學路徑之一線路,該等光學通道包含以下中的至少一者之一通道特定相對位置: 該影像感測器區域; 該光學件; 與該光學通道相關聯之一刻面的一反射表面。
  26. 一種提供裝置之方法,其包含: 提供一外殼,該外殼包含兩個相對定位之主側,該等主側經由至少一個邊緣側彼此連接,從而使得該等主側中的一者包含具有至少一個通路區域之一通路區域配置,該通路區域配置設置成用於允許光學路徑通過; 在該外殼之一內部中配置一多光圈成像裝置,該經配置多光圈成像裝置包含: 一影像感測器配置; 鄰近地配置之光學通道的一陣列,各光學通道包括用於將一全視場之至少一個部分視場投影至該影像感測器配置之一影像感測器區域上的一光學件, 一光束偏轉構件,其用於偏轉該等光學通道之一光學路徑,該光束偏轉構件包含多個刻面,各光學通道具有與其相關聯之一刻面; 從而使得該光束偏轉構件之一位置判定該多光圈成像裝置沿著一軸向方向(x)在該影像感測器配置與該光束偏轉構件之間的一大小,且該光束偏轉構件配置成鄰近於該邊緣側;且 從而使得該通路區域配置配置於鄰近於該邊緣側之該主側的一邊緣區域內。
TW109110085A 2019-03-25 2020-03-25 用以產生深度圖之包含多光圈影像裝置之裝置 TWI754907B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019204075.6A DE102019204075B4 (de) 2019-03-25 2019-03-25 Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
DE102019204075.6 2019-03-25

Publications (2)

Publication Number Publication Date
TW202043844A true TW202043844A (zh) 2020-12-01
TWI754907B TWI754907B (zh) 2022-02-11

Family

ID=70008515

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109110085A TWI754907B (zh) 2019-03-25 2020-03-25 用以產生深度圖之包含多光圈影像裝置之裝置

Country Status (6)

Country Link
US (1) US20220011661A1 (zh)
EP (1) EP3948389A1 (zh)
CN (1) CN113853543A (zh)
DE (1) DE102019204075B4 (zh)
TW (1) TWI754907B (zh)
WO (1) WO2020193581A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024088640A1 (en) * 2022-10-28 2024-05-02 Ams International Ag Miniaturized 3d-sensing camera system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495751B2 (en) * 2010-02-19 2016-11-15 Dual Aperture International Co. Ltd. Processing multi-aperture image data
JP5848889B2 (ja) * 2011-05-26 2016-01-27 株式会社沖データ レンズユニット、ledヘッド、露光装置、画像形成装置、および読取装置
US9204121B1 (en) * 2012-11-26 2015-12-01 Amazon Technologies, Inc. Reflector-based depth mapping of a scene
DE102015215840B4 (de) * 2015-08-19 2017-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102015215836B4 (de) 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit einer reflektierende Facetten aufweisenden Strahlumlenkvorrichtung
DE102015215845B4 (de) * 2015-08-19 2017-06-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit
DE102015215837A1 (de) * 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Verfahren zum Herstellen derselben und Abbildungssystem
DE102015220566B4 (de) * 2015-10-21 2021-03-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung, Verfahren zum Bereitstellen derselben und Verfahren zum Erfassen eines Gesamtgesichtsfeldes
DE102016200287A1 (de) * 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
DE102016204148A1 (de) * 2016-03-14 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
DE102017206429A1 (de) * 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017208709B3 (de) * 2017-05-23 2018-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrrichtung und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
CN109375355A (zh) * 2018-10-19 2019-02-22 上海市计量测试技术研究院 共聚焦三维测量装置及其多孔径尼普科夫圆盘

Also Published As

Publication number Publication date
DE102019204075B4 (de) 2022-03-31
DE102019204075A1 (de) 2020-10-01
CN113853543A (zh) 2021-12-28
WO2020193581A1 (de) 2020-10-01
TWI754907B (zh) 2022-02-11
EP3948389A1 (de) 2022-02-09
US20220011661A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
US10606152B2 (en) Multi-aperture imaging device, imaging system and method for capturing an object area
JP6700345B2 (ja) フォールデッドオプティクスを用いたマルチカメラシステム
TWI631374B (zh) 包含多通道成像器件之裝置及其製造方法
TWI631370B (zh) 多孔徑成像裝置、可攜式裝置、及製造多孔徑成像裝置之方法
TWI686623B (zh) 多孔徑成像裝置、成像系統和提供多孔徑成像裝置的方法
JP7361088B2 (ja) 多開口撮像装置、撮像システム、および多開口撮像装置を利用可能にする方法
WO2007134137A2 (en) High resolution imaging system
JPH06194758A (ja) 奥行画像形成方法及び装置
JP2018533751A (ja) チャネル特有の調整可能性を有するマルチ開口撮像装置
TW202043844A (zh) 用以產生深度圖之包含多光圈影像裝置之裝置
JP7399989B2 (ja) 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス
JP2020525851A (ja) 低迷光感度の多開口撮像装置、撮像システム、および多開口撮像装置を提供するための方法
TWI745805B (zh) 包含用以產生深度圖的多光圈成像裝置之裝置
US11330161B2 (en) Device comprising a multi-aperture imaging device for accumulating image information
JP2000056412A (ja) 立体画像撮影用アタッチメント
JP2015043085A (ja) コンパクトな立体画の撮影方法