TWI577171B - 用於獲得影像深度資訊之系統及方法 - Google Patents

用於獲得影像深度資訊之系統及方法 Download PDF

Info

Publication number
TWI577171B
TWI577171B TW104116293A TW104116293A TWI577171B TW I577171 B TWI577171 B TW I577171B TW 104116293 A TW104116293 A TW 104116293A TW 104116293 A TW104116293 A TW 104116293A TW I577171 B TWI577171 B TW I577171B
Authority
TW
Taiwan
Prior art keywords
image
pixel
imaging
pixels
electronic
Prior art date
Application number
TW104116293A
Other languages
English (en)
Other versions
TW201608872A (zh
Inventor
進寶 彭
李海豐
慶偉 單
劉關松
單繼章
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201608872A publication Critical patent/TW201608872A/zh
Application granted granted Critical
Publication of TWI577171B publication Critical patent/TWI577171B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

用於獲得影像深度資訊之系統及方法
使用成像系統以獲取有關一個場景的深度資訊正變得越來越普遍。傳統上，這種系統利用包括兩個獨立成像系統的立體相機，以捕獲一場景的一對影像。在這對影像中的每個影像代表從兩個不同角度觀察到的場景。這模仿了人類如何使用一雙眼睛來實現深度知覺。從某一個獨立成像系統中所捕獲的物體影像與另一個獨立成像系統中所捕獲的物體影像之間的相對位移，立體相機可以推導出在一場景中與此物體的距離。這個方法所利用的三角分析法是基於此相對位移、這兩個獨立成像系統之間的距離以及此成像系統的焦距特性。
立體相機是用於，例如在汽車中作為一安全部件以決定相對於附近物體的距離，以避免與這些物體碰撞。其他應用包括機器視覺和立體攝影。
在一個實施例中，一種系統，用於獲得至少一物體在一場景中的影像的一深度資訊，此系統包括(a)一成像物鏡，其具有用於形成此場景的一第一光學影像的一第一部分和用於形成此場景的一第二光學影像的一第二部分，且第一部分與第二部分不同，(b)一影像感測器，其用於捕捉此第一光學影像和第二光學影像，並從其產生相應的一第一電子影像和一第二電子影像，以及(c)一處理模組，其用於處理此第一電子影像和第二電子影像，以決定此深度資訊。
在一個實施例中，一種方法，用於獲得至少一物體在一場景中的影像的一深度資訊，此方法包括：在單個影像感測器上使用一成像物鏡各別的第一部分和第二部分，以形成此場景的第一影像和第二影像，並從第一影像和第二影像之間的空間移位(spatial shift)決定此深度資訊。
100‧‧‧相機
110‧‧‧成像物鏡
120‧‧‧影像感測器
130‧‧‧場景
141、142、143‧‧‧物體
151、152、153‧‧‧距離
160‧‧‧輸出
162‧‧‧深度資訊
164‧‧‧影像
200‧‧‧簡圖
201、202、203‧‧‧距離
210‧‧‧成像物鏡
211、212‧‧‧部分
213‧‧‧光軸
220‧‧‧影像感測器
230‧‧‧物體
235‧‧‧影像
251、252‧‧‧光線
300‧‧‧簡圖
302、303、304‧‧‧距離
330‧‧‧物體
331‧‧‧點
332、333‧‧‧影像
351、352‧‧‧光線
400‧‧‧簡圖
403、404、405‧‧‧距離
430‧‧‧物體
431‧‧‧點
432、433‧‧‧影像
451、452‧‧‧光線
500‧‧‧成像系統
510‧‧‧成像物鏡
511、512‧‧‧部分
515、516‧‧‧光學影像
520‧‧‧影像感測器
521‧‧‧角度選擇性像素陣列
525、535‧‧‧電子影像
530‧‧‧處理/控制模組
535‧‧‧控制設置
540‧‧‧處理器
545‧‧‧深度資訊
550‧‧‧記憶體
552‧‧‧指令
554‧‧‧校準數據
555‧‧‧訊號
556‧‧‧透鏡數據
560‧‧‧影像數據儲存器
562‧‧‧2D數據儲存器
564‧‧‧深度數據儲存器
580‧‧‧介面
585‧‧‧電源
590‧‧‧外殼
600‧‧‧方法
610、620、630、640、650、660‧‧‧步驟
700‧‧‧方法
710、715、720、725、730、740、741、742、743、750、760、765、770‧‧‧步驟
800‧‧‧角度選擇性像素陣列
810‧‧‧角度選擇性像素
811、812‧‧‧子像素
815‧‧‧透鏡
821、822‧‧‧光線
890‧‧‧方向
900‧‧‧方法
910、915、916、917、920、925、926、927‧‧‧步驟
1000‧‧‧角度選擇性像素陣列
1001、1002‧‧‧角度選擇性像素
1011、1012‧‧‧子像素
1015‧‧‧透鏡
1030‧‧‧遮罩
1100‧‧‧方法
1110、1115、1116、1117、1118、1119、1120、1125、1126、1127、1128、1129‧‧‧步驟
1210、1220、1230、1240、1250‧‧‧成像物鏡
1211、1212、1221、1222、1231、1232、1241、1242、1251、1252‧‧‧部分
1215、1225、1235、1245、1255‧‧‧光軸
1300‧‧‧方法
1310、1320、1330‧‧‧步驟
1401、1402、1403‧‧‧物體
1410‧‧‧影像
1411、1412、1413‧‧‧線
1421、1422、1423‧‧‧圖表
1431、1441、1432、1442、1433、1443‧‧‧譜線輪廓
1451、1453‧‧‧空間移位
1480‧‧‧亮度
1490‧‧‧方向
圖1為根據一實施例繪示的一種用於獲得關於一場景的影像深度資訊的系統。
圖2A、2B分別為根據一實施例圖解顯示一物體由用於獲得影像深度資訊的一成像系統進行成像的立體圖和剖視圖，其中此物體位於焦點。
圖3A、3B分別為根據一實施例圖解顯示一物體由用於獲得影像深度資訊的一成像系統進行成像的立體圖和剖視圖，其中此物體比焦點更遠於成像系統。
圖4A、4B分別為根據一實施例圖解顯示一物體由用於獲得影像深度資訊的一成像系統進行成像的立體圖和剖視圖，其中此物體比焦點更近於成像系統。
圖5為根據一實施例繪示的一種用於獲得影像深度資訊的成像系統。
圖6為根據一實施例繪示的一種用於獲得影像深度資訊的方法。
圖7為根據一實施例繪示的一種用於獲得影像深度資訊的方法，其為圖6的方法的一個實施例。
圖8A、8B分別為根據一實施例繪示的一個可用於獲得影像深度資訊的角度選擇性像素陣列的俯視圖和側面剖視圖。
圖9為根據一實施例繪示的一種方法，其使用圖8A和8B的角度選擇性像素陣列來產生與光學影像相關聯的兩個電子影像，而此光學影像是由成像物鏡的兩個不同部分形成。
圖10A、10B分分別為根據一實施例繪示的一個可用於獲得影像深度資訊的角度選擇性像素陣列的俯視圖和側面剖視圖。
圖11為根據一實施例繪示的一種方法，其使用圖10A和10B的角度選擇性像素陣列來產生與光學影像相關聯的兩個電子影像，而此光學影像是由成像物鏡的兩個不同部分形成。
圖12為根據一實施例繪示的一個示例性的成像物鏡，每一個成像物鏡具有兩個不同的部分，用於形成兩個相應的光學影像，而可用於獲得影像深度資訊。
圖13為根據一實施例繪示的一種用於決定一場景的兩個電子影像之間的空間移位的方法，其中兩個電子影像是使用一成像物鏡的兩個不同的部分來產生。
圖14顯示使用圖5的一個實施例產生的一個電子影像和相關的空間移位的數據，而圖5包括圖8的角度選擇性像素陣列的一個實施例。
本文揭露了使用單個影像感測器和單個成像物鏡獲得影像深度資訊的系統和方法。此影像感測器利用角度選擇性的像素，以選擇性地檢測源自此成像物鏡兩個不同部分的光。此影像感測器從而產生兩個影像，每一個影像對應於兩個成像物體部分中相應的一個。關於一場景的深度資訊是從由影像感測器所生成的場景的兩個影像之間的影像空間移位所獲得。本發明揭露的用於獲得影像深度資訊的系統和方法可以進一步通過利用例如最小化兩個影像之間的空間移位來聚焦一成像系統，或通過組合這兩個影像來提供一高動態範圍的影像。
圖1繪示了一個示例性的成像系統：用於獲得關於一場景130的影像深度資訊的相機100。相機100包括一成像物鏡110和一影像感測器120。成像物鏡110將場景130成像於影像感測器120上。在圖1所繪示的示範性場景中，場景130包括位於與相機100相隔一距離151的一物體141、位於與相機100相隔一距離152的一物體142，和位於與相機100相隔一距離153的一物體143。相機100可以產生包括關於場景130的深度資訊162的一輸出160。藉由捕捉和處理形成在影像感測器120上的兩個影像，深度資訊162包括由相機100決定的距離151、152、153，而兩個影像是由成像物鏡110的兩個相應的部分所形成。相機100可輸出距離151、152、153作為屬於物體141、142、143的個別的數值。可選擇地，相機100可以輸出場景130的深度圖，或其包括物體141、142、143的一部分，其包括從相機100到場景130中的所有拍攝影像上可見的點的距離。距離151、152、153可以從這樣的深度圖中提取。值得注意的是，相機100使用單個影像感測器120和單個成像物鏡110來決定關於場景130的絕對深度資訊。任選地，輸出160更包括場景130的一影像164。
圖2A和2B顯示繪示了當物體處於焦點，一物體由一個用於獲得影像深度資訊的示例性成像系統進行成像的簡圖200。圖2A顯示簡圖200的立體圖，而圖2B顯示簡圖200的剖視圖。圖2A和2B最好一起觀看。成像物鏡210的示例性部分211、212是位於成像物鏡210的光軸213相對的兩側。部分211、212是定義從一物體230向影像感測器220傳播的兩個光線或光線束 251、252。光線251從物體230通過成像物鏡210的部分211傳播到影像感測器220。同樣地，光線252從物體230通過成像物鏡210的部分212傳播到影像感測器220。雖然圖2A和2B繪示了物體230是位於光軸213上，物體230也可位於遠離光軸213處，而不偏離本發明的範圍。
成像物鏡210具有一焦距f。假設成像物鏡210為一薄透鏡，則薄透鏡公式規定 其中D 0 是從物體到成像物鏡210的距離202，而D 1 是從成像物鏡210到物體的聚焦影像的距離203。在簡圖200中，成像物鏡210是在距離影像感測器220距離201處，表示為L，其中L=D 1 。因此，物體230是在由成像物鏡210和影像感測器220所形成的成像系統的焦點，並且在影像感測器220上由部分211和212所形成的影像重合，以得到一個單一的影像235。
圖3A和3B顯示繪示了由圖2A和2B的成像系統進行物體330的成像的簡圖300，其中物體330比焦點更遠於此成像系統。圖3A顯示簡圖300的立體圖，而圖3B顯示簡圖300的剖視圖。圖3A和3B最好一起觀看。物體330是在距離成像物鏡210(圖2A和2B)距離302處，其中距離302大於距離202。雖然圖3A、3B繪示了物體330是位於光軸213上，物體330也可位於遠離光軸213處，而不偏離本發明的範圍。分別從物體330通過成像物鏡的部分211、212(圖2A、2B)而傳播到影像感測器220的光線351、352相交於點331。根據方程式1，由於距離302(D 0 )大於距離202，距離303(D 1 )小於距離203，因此，點331是位於成像物鏡210和影像感測器220之間，而與影像感測器220距離304處，以△D表示。因此，如光線351、352所繪示，成像物鏡的部分211、212在影像感測器220上各自形成影像332、333。影像332、333彼此相距一距離305，以空間移位△S表示。
空間移位△S，即距離305，表示從物體330到成像物鏡210的距離302，由以下方程式表示： 其中γ為光軸213到部分211、212中任一者的距離。方程式2是從方程式1使用方程式3的幾何關係所導出： 在方程式2的推導中，假定部分211、212到光軸213的距離為等距。在不偏離本發明範圍的情況下，部分211、212到光軸213的距離可以是不同的，而方程式2也會相應地修改。在這兩種情況下，方程式2繪示了從物體330到成像物鏡210的距離可以從空間移位△S使用由成像物鏡210和影像感測器220形成的成像系統的特性的已知值來推導。
圖4A、4B顯示繪示了由圖2A、2B的成像系統進行物體430的成像的簡圖400，其中物體430比焦點更近於此成像系統。圖4A顯示簡圖400的立體圖，而圖4B顯示簡圖400的剖視圖。圖4A、4B最好一起觀看。物體430是在距離成像物鏡210(圖2A和2B)的距離402處，其中距離402大於距離202。雖然圖4A、4B繪示了物體430為位於光軸213上，物體430也可位於遠離光軸213處，而不偏離本發明的範圍。分別從物體430通過成像物鏡的部分211、212(圖2A和2B)傳播到影像感測器220的光線451、452相交於點431。根據方程式1，由於距離402(D 0 )小於距離202，距離403(D 1 )大於距離203，因此，點431是位於影像感測器220之外與影像感測器220的光敏表面距離404處，以△D表示。因此，如光線451、452所繪示，成像物鏡的部分211、212在影像感測器220上各自形成影像432、433。影像432、433彼此相距一距離405，以空間移位△S表示。
相較於圖3A、3B的影像332、333，影像432、433是顛倒的，以使影像432、433與各別形成影像432、433的部分211、212位於光軸213的同一側。方程式2在此仍然適用。然而空間移位和△S距離△D則取其負值。
簡圖200(圖2A、2B)、簡圖300(圖3A、3B)和簡圖400(圖4A、4B)繪示了從成像系統到一物體的距離可以由影像感測器上形成的兩個影像之間的空間移位來決定，其中成像系統是由單個影像感測器和單個成像物鏡所形成，而此兩個影像是通過成像物鏡的兩個各別部分形成。雖然成像物鏡210(圖2A、2B、3A、3B、4A、4B)被假定為一薄透鏡，成像物鏡210也可能偏離薄透鏡的近似範圍，而不脫離本發明的範圍。例如，成像物鏡210可以是一厚 透鏡或是包括複數個光學元件的一透鏡系統。在一般情況下，方程式1中的D 0 是從物體到成像物鏡210的前節點(front nodal point)的距離，而方程式1中的D 1 是從成像物鏡210的背面結點(back nonal point)到物體的聚焦影像的距離。
圖5繪示了用於獲得影像深度資訊的一個示例性的成像系統500。成像系統500包括一成像物鏡510、具有角度選擇性像素陣列521的一影像感測器520、一處理/控制模組530和一介面580。影像感測器520可以是例如一電荷耦合元件(CCD)影像感測器或互補金屬氧化物半導體(CMOS)影像感測器，以用於產生單色或彩色影像。成像系統500可選擇性地包括一電源585，以用於提供電力給一或多個成像物鏡510、影像感測器520、處理/控制模組530和介面580。在一個實施例中，成像系統500更包括一個外殼590，用於至少部分包圍成像物鏡510的、影像感測器520、處理/控制模組530、介面580和可選的電源585。圖1中的相機100是成像系統500的一個實施例。
成像物鏡510具有一部分511(部分A)和一部分512(部分B)，用於在角度選擇性像素陣列521上形成一場景各別的光學影像515、516。角度選擇性像素陣列521被配置為區分對應於來自部分511的角度傳播的光和對應於來自部分512的角度傳播的光。因此，影像感測器520從光學影像515產生一電子影像525以及從光學影像516產生另一電子影像525，並將電子影像525傳送至處理/控制模組530。在某些實施例中，對應於光學影像515、516的兩個電子影像被整合在一個單一的影像中。處理/控制模組530包括處理器540和記憶體550。記憶體550包括儲存在記憶體550非揮發性部分的機器可讀指令552。處理/控制模組530根據指令552處理電子影像525，以獲得影像深度資訊545和任選的其它影像數據。處理/控制模組將影像深度資訊545以及任選的其它影像數據傳送到介面580。介面580可以通過有線或無線連接與用戶和/或外部電腦直接通信。
在一個實施例中，記憶體550包括一影像數據儲存器560，其用於儲存由處理/控制模組530從影像感測器520接收的電子影像525和/或從電子影像525導出的數據。例如，影像數據儲存器560包括一個二維(2D)數據儲存器562，用於儲存二維影像，例如電子影像525，和/或影像深度數據儲存器564，用於儲存從電子影像525導出的深度資訊。
在一個實施例中，相對於影像感測器520，成像物鏡510具有固 定的焦距和固定的位置。在此實施例中，記憶體550可以包括透鏡數據556，例如成像物鏡510的焦距、部分511、512相對於成像物鏡510或影像感測器520的位置以及成像物鏡510相對於影像感測器520的位置。處理器540可利用透鏡數據556來處理電子影像525，如結合圖2A至圖4B所做的討論，以獲得以成像系統500成像的場景的影像深度資訊545。
在另一個實施例中，成像物鏡510具有可變的聚焦設置，例如可變焦距和/或到影像感測器520的可變距離。例如成像物鏡510可以被配置為使成像系統500能自動對焦。記憶體550包括校準數據554，以特定光學影像515、516之間的所觀察到的空間移位之間的對應，而如電子影像525、535、焦點設置565以及影像深度所代表。在本實施例中，處理/控制模組530可發送到成像物鏡510和/或從成像物鏡510接收一或多個定義成像物鏡510的焦點設置的焦點參數565。處理器540依照指令552使用校準數據554和焦點設置565處理電子影像525，以由成像系統500獲得場景的深度資訊545。
處理/控制模組530可任選地將控制設置535傳送到影像感測器520，以控制影像感測器520的至少一部分功能，如曝光時間、白平衡、影像捕獲的時間或頻率、或增益。處理/控制模組530還可以從介面580接收訊號555。例如，一用戶可以將一個所需的聚焦設置565或一個控制設置535通過介面580傳送到處理/控制模組530。
在一個未顯示於圖5的替代的實施例中，處理/控制模組530的至少一部分功能被結合到影像感測器520。在另一個替代實施例中，處理/控制模組530的至少一部分功能是位於可選的外殼590以外。
圖6繪示了用於獲得影像深度資訊的一個示例性方法600。方法600是由例如成像系統500(圖5)執行。在步驟610中，一場景的一第一光學影像是使用成像物鏡的一第一部分，而形成在一影像感測器的一個角度選擇性像素陣列上。例如，成像物鏡510(圖5)的部分511(圖5)在影像感測器520(圖5)的角度選擇性像素陣列521(圖5)上形成光學影像515(圖5)。在步驟620中，一場景的一第二光學影像是使用成像物鏡的一第二部分，而形成在一影像感測器的一個角度選擇性像素陣列上。例如，成像物鏡510(圖5)的部分512(圖5)在影像感測器520(圖5)的角度選擇性像素陣列521(圖5)上形成光學影像516(圖5)。在一個實施例中，步驟610、620是同時進行的。在另一個 實施例中，步驟610、620串聯執行，或者彼此在時間上錯開。
在步驟630中，決定第一光學影像和第二光學影像之間的空間移位。例如，處理器530(圖5)處理從光學影像515(圖5)和光學影像516(圖5)產生的電子影像525(圖5)，再根據指令552(圖5)來決定光學影像515、516之間的空間移位。處理器540可以將這樣的空間移位儲存到影像數據儲存器560上。在步驟640中，從在步驟630中決定的空間移位決定至少一部分被成像場景的影像深度資訊。例如，處理器540(圖5)根據指令552(圖5)處理在步驟630中決定的空間移位，以決定至少一部分被成像的場景的深度資訊。
在一可選的步驟650中，影像的深度資訊被輸出。例如，處理/控制模組530(圖5)將影像深度資訊545(圖5)通過介面580(圖5)傳送到一用戶或一外部電腦。在另一個可選的步驟660中，表示在步驟610中形成的第一光學影像的一電子影像以及表示在步驟620中形成的第二光學影像的一電子影像中的一或兩者被輸出。例如，處理/控制模組530(圖5)使用介面580(圖5)將一個對應於光學影像515(圖5)和光學影像516(圖5)的電子影像輸出到一用戶或一外部電腦。
圖7繪示了用於獲得影像深度資訊的一個示例性方法700。方法700是圖6的方法600的一個實施例。方法700是由例如圖5的成像系統500所執行。在步驟710中，方法700執行方法600(圖6)的步驟610。在一隨後的步驟715中，一第一電子影像是從在步驟710中形成的第一光學影像產生。例如，影像感測器520(圖5)從在角度選擇性像素陣列521(圖5)上由成像物鏡部分511形成的光學影像515(圖5)產生一電子影像525(圖5)。在步驟720中，方法700執行方法600(圖6)的步驟620。在一隨後的步驟725中，一第二電子影像是從在步驟720中形成的第二光學影像產生。例如，影像感測器520(圖5)從在角度選擇性像素陣列521(圖5)上由成像物鏡部分512形成的光學影像516(圖5)產生一電子影像525(圖5)。在一個實施例中，步驟710、720是同時進行的。在另一個實施例中，步驟715、725是同時進行的。步驟715、725可以結合在一單一步驟中，其中一個單一的電子影像包括形成在步驟710、720中與兩個光學影像相關聯的電子影像。
在步驟730中，第一電子影像和第二電子影像之間的空間移位被決定。例如，處理器540(圖5)處理與光學影像515(圖5)和光學影像516 (圖5)相關聯的一對電子影像525(圖5)，以決定空間移位。步驟715、725、730是步驟630(圖3)的一個實施例。
在步驟740中，至少一部分被成像場景的影像深度資訊是從在步驟730中決定的空間移位來決定。在一個實施例中，對於在第一電子影像和第二電子影像中的一者的每個像素，場景和成像系統(或其部件之一)之間的距離被決定。在另一個實施例中，在場景中的一或多個特定物體被識別，並且從這些物體到成像系統(或其部件之一)之間的距離被決定。例如，處理器540(圖5)根據指令552處理在步驟730中決定的空間移位，以決定成像物鏡510(圖5)和被成像的場景的至少一部分之間的距離。
在一個實施例中，步驟740包括一步驟741，其利用透鏡數據，例如成像物鏡的焦距、第一成像物鏡和第二成像物鏡部分的位置以及成像物鏡和影像感測器之間的距離，以從空間移位獲得深度資訊。例如，在成像系統500(圖5)的一個實施例中，其中成像物鏡510(圖5)具有固定的焦距和相對於影像感測器520(圖5)的固定位置，處理器540(圖5)從透鏡數據556(圖5)中提取成像物鏡510(圖5)的焦距、部分511(圖5)和部分512(圖5)的位置以及成像物鏡510(圖5)相對於影像感測器520(圖5)的位置。然後處理器540(圖5)根據指令552(圖5)使用這些參數來處理在步驟730中決定的空間移位，例如，如結合圖2A至圖4B所討論的。
在另一個實施例中，步驟740包括一步驟742，其通過利用成像物鏡的聚焦設置之間的校準對應、第一電子影像和第二電子影像之間的空間移位以及影像的深度，來決定至少一部分被成像場景的影像深度資訊。例如，處理器540(圖5)接收聚焦設置565，並提取一在步驟730中決定的空間移位之間的校準對應、聚焦設置565(圖5)和來自校準數據554(圖5)的影像深度。然後處理器540(圖5)根據指令552(圖5)使用此資訊，以處理在步驟730決定的空間移位，並決定至少一部分被成像的場景的影像深度資訊。
步驟740可以進一步包括一步驟743，其解釋了空間移位對角度選擇性像素陣列中的像素位置的依賴性。這是相關的，例如，在成像系統中，其中角度選擇性的像素選擇的成像物鏡部分依賴於角度選擇性像素在角度選擇性像素陣列中的位置。例如，校準數據554(圖5)可以包括空間移位之間的校準對應、聚焦設置565(圖5)和來自校準數據554(圖5)的影像深度，其解 釋了部分511(圖5)和部分512(圖5)為角度選擇性像素位於角度選擇性像素陣列521(圖5)內的位置的函數。
在一個實施例中，方法700包括在步驟740之後執行的一步驟750，其中，方法700執行方法600的步驟650(圖6)。任選地，在步驟715、725中產生的電子影像中的一或兩者的被輸出。例如，處理/控制模組530(圖5)可將電子影像525(圖5)經由介面580輸出到一用戶或一外部電腦(圖5)。
在某些實施例中，方法700包括一步驟770，其執行於步驟730之後，其中此成像物鏡的聚焦設置根據在步驟730決定的空間移位進行調整。步驟710、715、720、725、730、770可被執行若干次以盡量將化空間移位減至最小，其相當於改進聚焦。例如，處理/控制模組530(圖5)可以將進行新的聚焦設置565(圖5)傳送到成像物鏡510(圖5)。在其它實施例中，步驟770於步驟740之後接續執行。在這些實施例中，步驟770可利用此成像物鏡的一個校準對應聚焦設置和最佳聚焦的影像深度，以從所決定的影像深度來計算改進的聚焦設置。例如，處理器540(圖5)根據指令552(圖5)處理在步驟740決定的一影像深度，並使用儲存在校準數據554(圖5)的一個成像物鏡的校準對應聚焦設置和最佳聚焦的影像深度，來決定改進的聚焦設置565。然後處理/控制模組530(圖5)將改進的聚焦設置565傳送到成像物鏡510。
在一個實施例中，方法700包括一步驟760，其中一個或多個電子影像被輸出，例如第一電子影像和/或第二電子影像。在某些實施例中，步驟760包括一步驟765，用於產生並輸出高動態範圍影像，即一個具有比第一電子影像更高動態範圍和比第二電子影像更高動態範圍的影像。在方法700的這個實施例中，第一電子影像和第二電子影像具有不同的亮度。這可以通過例如在步驟715、725中使用不同的曝光時間和/或增益以捕獲第一電子影像和第二電子影像的來實現。可替換地或可與之組合的，不同的亮度可以通過使用較大的、因此較敏感的角度選擇性像素來捕獲第一電子影像和第二電子影像中的一個，以及較小的、因此較不敏感的角度選擇性像素來捕獲第一電子影像和第二電子影像中的另一個來實現。在另一個方法中，用於步驟710、720中的成像物鏡的第一部分和第二部分分別具有不同的尺寸和/或穿透率，使得來自第一部分和第二部分中的每一者的不同量的光能被檢測。這種方法可以與一或多個上面提到的其它方法組合。不論所選擇用於產生不同的亮度的第一電子影像和第二電子 影像的具體方法為何，步驟765使用例如在本領域中已知的方法結合第一電子影像和第二電子影像，以形成一個單一的更高動態範圍的電子影像。在一個例子中，處理器540(圖5)根據指令552(圖5)結合由影像感測器520(圖5)從光學影像515(圖5)和光學影像516(圖5)產生的一對電子影像525(圖5)，以形成更高動態範圍的電子影像，其中這對電子影像具有不同的亮度。
圖8A和8B繪示了一個可用於獲得影像深度資訊的示例性的角度選擇性像素陣列800。角度選擇性像素陣列800是成像系統500(圖5)的角度選擇性像素陣列521的一個實施例。圖8A、8B分別顯示了角度選擇性像素陣列800的俯視圖和側面剖視圖。圖8A、8B最好一起觀看。角度選擇性像素陣列800包括複數個角度選擇性像素810。每一個角度選擇性像素810包括一透鏡815和兩個子像素811、812。在一個實施例中，透鏡815是一個微透鏡。在一個實施例中，子像素811、812是光電二極體。子像素811、812分別位於沿著一個方向890的不同的位置。為了清楚地說明，不是所有的角度選擇性像素810、透鏡815和子像素811、812皆被標記在圖8A、8B中。
光線821、822代表以兩個不同的角度入射選擇性像素陣列800的光。光線821代表以向下的角度入射角度選擇性像素陣列800的光，亦即光線821在方向890上具有行進的負分量。雖然光線821可入射角度選擇性像素陣列800的所有角度選擇性像素，或包括複數個角度選擇性像素810的角度選擇性像素陣列800的一部分，為了清楚地說明，光線821只指向一個單一的角度選擇性的像素810。透鏡815將光線821導向子像素811上。光線822代表以向上的角度入射角度選擇性像素陣列800的光，亦即光線822在方向890上具有行進的正分量。雖然光線822可入射角度選擇性像素陣列800的所有角度選擇性像素，或包括複數個角度選擇性像素810的角度選擇性像素陣列800的一部分，為了清楚地說明，光線822只指向一個單一的角度選擇性的像素810。透鏡815將光線822導向子像素812上。子像素811、812響應入射到其上的光而產生獨立的電子訊號。由子像素811響應入射光而產生的電子訊號是與光線821相關聯。同樣地，由子像素812響應入射光而產生的電子訊號是與光線822相關聯。因此，角度選擇性像素810輸出與兩個不同傳播方向的入射光相關聯的兩個電子訊號。雖然圖8B繪示了光線821、822各以平行光線組成，光線821和光線822各自可以代表在一個角度範圍內傳播的光，而不脫離本發明的範圍。 同樣地，光線821、822可以分別包括向下和向上以外的其他傳播角度，而不脫離本發明的範圍。
角度選擇性像素陣列800可以在成像系統500(圖5)中以角度選擇性像素陣列521來實現，使得光線821、822分別代表來自成像物鏡部分511、512的光線。因此，每個子像素811選擇性地檢測出光來自部分511、512中的一者，也就是各個子像素811選擇性地檢測出光學影像515、516中的一者。同樣地，每個子像素812選擇性地檢測光學影像515、516中的另一者。因此，角度選擇性像素陣列800是能夠在維度890上提供表示空間移位的電子訊號。角度選擇性像素陣列800可在圖2A至圖4B的影像感測器220中實現，以使方向890平行於空間移位△S的方向(圖3B中的方向305和圖4B中的方向405)。
在一個實施例中，子像素811、812具有不同的尺寸。此實施例對產生高動態範圍的影像是有用的，如結合步驟765(圖7)所討論的。在某些實施例中，角度選擇性像素陣列800更包括一個濾色器陣列，用於產生彩色影像，其中每個角度選擇像素810被配置成用於檢測光的某種顏色。例如，一彩色像素可由四個角度選擇性像素810組成，包括用於檢測紅光的一角度選擇性像素810、用於檢測藍光的一角度選擇性像素810和用於檢測綠光的兩個角度選擇性像素810。角度選擇性像素陣列800可以使用CCD或CMOS技術來製造。
圖9繪示了一個示例性方法900，其用於產生與由成像物鏡兩個不同的部分形成的光學影像相關聯的兩個電子影像。方法900是方法700(圖7)的步驟710、715、720、725的一個實施例，而方法900的步驟910、915、920、925分別是步驟710、715、720、725(圖7)的實施例。方法900是由例如成像系統500(圖5)的成像物鏡510和影像感測器520及實施為角度選擇性像素陣列521的角度選擇性像素陣列800來執行。
在步驟910中，一第一光學影像是使用一成像物鏡的第一部分而形成於角度選擇性像素陣列上。例如，部分511(圖1)在實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列800(圖8)上形成光學影像515(圖5)。在步驟915中，一第一電子影像從在步驟910中形成的第一光學影像中產生。例如，實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列800(圖8)從光學影像515(圖5)產生一第一電子影像525(圖5)。步驟915包括步驟916、917。在步驟916中，每個角度選擇性像素將來自成像物鏡的第一部 分的光線導向一第一子像素。例如，藉由實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列800(圖8)，每個角度選擇性像素810(圖8)的透鏡815(圖8)將來自部分511(圖5)的光線821(圖8)導向子像素811(圖8)。在步驟917中，一第一電子影像是使用第一子像素從在步驟910中形成的第一光學影像中產生。例如，搭配實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列800(圖8)，影像感測器520(圖5)處理由子像素811(圖8)響應光線821(圖8)而產生的電子訊號，以產生第一電子影像。
步驟920、925類似於步驟910、915，並與其並列或串聯執行。在步驟920中，一第二光學影像係使用一成像物鏡的第二部分而形成於一角度選擇性像素陣列上。例如，部分512(圖1)在實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列800(圖8)上形成光學影像516(圖5)。在步驟925中，一第二電子影像從在步驟920中形成的第二光學影像產生。例如，實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列800(圖8)從光學影像516(圖5)產生一第二電子影像525(圖5)。步驟925包括步驟926、927。在步驟926中，每個角度選擇性像素將來自成像物鏡的第二部分的光線導向第二子像素。例如，藉由實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列800(圖8)，每個角度選擇性像素810(圖8)的透鏡815(圖8)將來自部分512(圖5)的光線822(圖8)導向子像素812(圖8)。在步驟927中，一第二電子影像是使用第二子像素從在步驟910中形成的第二光學影像中產生。例如，搭配實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列800(圖8)，影像感測器520(圖5)處理由子像素812(圖8)響應光線822(圖8)而產生的電子訊號，以產生第二電子影像。
圖10A、10B繪示了一個可用於獲得影像深度資訊的示例性的角度選擇性像素陣列1000。角度選擇性像素陣列1000是成像系統500(圖5)的角度選擇性像素陣列521的一個實施例。圖10A、10B分別顯示了角度選擇性像素陣列1000的俯視圖和側面剖視圖。圖10A、10B最好一起觀看。角度選擇性像素陣列1000包括複數個角度選擇性像素1001和複數個角度選擇性像素1002。角度選擇性像素1001、1002中的每一個包括一透鏡1015、兩個像素部分1011、1012及一個遮罩1030的一部分。在一個實施例中，透鏡1015是一微透鏡。像素部分1011、1012表示單一光敏元件的兩部分，如光電二極體。像素部 分1011、1012分別位於沿方向890上的不同位置(圖8)。為了清楚地說明，不是所有的角度選擇性像素1001、1002、透鏡1015、像素部分1011、1012和部分遮罩1030皆被標記在圖10A、10B中。
圖8的光線821、822入射到角度選擇性像素陣列1000上。雖然光線821可入射角度選擇性像素陣列1000的所有角度選擇性像素，或包括複數個角度選擇性像素1011的角度選擇性像素陣列1000的一部分，為了清楚地說明，光線821只指向一個單一的角度選擇性的像素1011。雖然光線822可入射角度選擇性像素陣列1000的所有角度選擇性像素，或包括複數個角度選擇性像素1012的角度選擇性像素陣列1000的一部分，同樣為了清楚地說明，光線822只指向一個單一的角度選擇性的像素1012。透鏡1015將光線821導向像素部分1011上。而透鏡1015將光線822導向像素部分1012上。角度選擇性像素1001、1002中的每一者響應入射在像素部分1011、1012的光而產生一單一的電子訊號。這與在圖8中的子像素811、812的功能相反。
在每一個角度選擇性像素1001中，遮罩1030的部分被定位以傳送向像素部分1011傳播的光線821的至少一部份，並阻擋向像素部分1012傳播的光線822。因此，由角度選擇性像素1001響應入射光所產生的電子訊號是與光線821相關聯。同樣地，在每一個角度選擇性像素1002中，遮罩1030的部分被定位以阻擋向像素部分1011傳播的光線821，並傳送向像素部分1012傳播的光線822的至少一部分。因此，由角度選擇性像素1002響應入射光所產生的電子訊號是與光線822相關聯。
角度選擇性像素陣列1000可以在成像系統500(圖5)中以角度選擇性像素陣列521來實現，使得光線821、822分別代表來自成像物鏡部分511、512的光線。因此，每個角度選擇性像素1001選擇性地檢測出光來自部分511、512中的一者，也就是各個角度選擇性像素1001選擇性地檢測出光學影像515、516中的一者。同樣地，角度選擇性像素1012選擇性地檢測光學影像515、516中的另一者。因此，角度選擇性像素陣列1000是能夠在維度890上提供表示空間移位的電子訊號。角度選擇性像素陣列1000可在圖2A至圖4B的影像感測器220中實現，以使方向890平行於空間移位△S的方向(圖3B中的方向305和圖4B中的方向405)。
雖然圖10繪示了遮罩1030為具有一棋盤圖案，以使角度選擇性 像素1001、1002在兩個維度上交替，但遮罩1030可具有不同的配置，而不脫離本發明的範圍。例如，遮罩1030可被配置以產生角度選擇性像素陣列，其中的角度選擇性像素1001列與角度選擇性的像素1002列交替。此外，遮罩1030可以被配置為使得角度選擇性像素數1001的數目不同於角度選擇性像素1002的數目。
在一個實施例中，像素部分1011、1012具有不同的尺寸，而遮罩1030如以上所討論的為了傳送和阻擋光線被修改。如結合步驟765(圖7)所討論的，這個實施例對產生高動態範圍的影像是有用的。
在某些實施例中，角度選擇性像素陣列1000更包括一個濾色器陣列，用於產生彩色影像，其中每個角度選擇性像素1001、1002被配置成用於檢測光的某種顏色。例如，一彩色像素可由四個角度選擇性像素1001(或1002)組成，包括用於檢測紅光的一角度選擇性像素1001(或1002)、用於檢測藍光的一角度選擇性像素1001(或1002)和用於檢測綠光的兩個角度選擇性像素1001(或1002)。角度選擇性像素陣列1000可以使用CCD或CMOS技術來製造。
圖11繪示了一個示例性方法1100，用於產生與由成像物鏡兩個不同的部分形成的光學影像相關聯的兩個電子影像。方法1100是方法700(圖7)的步驟710、715、720、725的一個實施例，而方法1100的步驟1110、1115、1120、1125分別是步驟710、715、720、725(圖7)的實施例。方法1100是由例如成像系統500(圖5)的成像物鏡510和影像感測器520及實施為角度選擇性像素陣列521的角度選擇性像素陣列1000來執行。
在步驟1110中，方法1100執行方法900(圖9)的步驟910。例如，部分511(圖1)在實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列1000(圖10)上形成光學影像515(圖5)。在步驟1115中，一第一電子影像從在步驟1110中形成的第一光學影像中產生。例如，實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列1000(圖10)從光學影像515(圖5)產生一第一電子影像525(圖5)。步驟1115包括步驟1116、1119。在步驟1116中，來自成像物鏡的第一部分的光線由一第一複數個角度選擇性像素檢測。步驟1116包括步驟1117、1118。在步驟1117中，角度選擇性像素陣列的每個角度選擇性像素將來自成像物鏡的第一部分的光線導向一第一像素部分，即感光元件的一部分。例如，藉由實施為角度選擇性像素陣列521(圖5)的角 度選擇性像素陣列1000(圖10)，每個角度選擇性像素1001、1002(圖10)的透鏡1015(圖10)將來自部分511(圖5)的光線821(圖8和圖10)導向像素部分1011(圖10)。在步驟1118中，與來自第一部分的光線不同，對於在第一複數個角度選擇性像素中的每個角度選擇性像素而言，來自一成像物鏡的第二部分的光線被阻擋。例如，藉由實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列1000(圖10)，遮罩1030的一部分(圖10)對於所有角度選擇性的像素1001(圖10)阻擋來自部分512(圖5)的光線822(圖8和圖10)。遮罩1030(圖10)對於所有角度選擇性像素1001(圖10)傳送來自部分511(圖5)的光線821(圖8和圖10)的至少一部分。在步驟1119中，一第一電子影像是使用第一複數個角度選擇性像素而從在步驟1110中形成的第一光學影像中產生。例如，搭配實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列1000(圖10)，影像感測器520(圖5)處理由角度選擇性像素1001(圖10)響應光線821(圖8和圖10)而產生的電子訊號，以產生第一電子影像。
步驟1120、1125類似於步驟1110、1115，並與其並列或串聯執行。在步驟1120中，方法1100執行方法900(圖9)的步驟920。例如，部分511(圖1)於實現為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列1000(圖10)上形成光學影像516(圖5)。在步驟1125中，一第二電子影像從在步驟1120中形成的第二光學影像產生。例如，實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列1000(圖10)從光學影像515(圖5)產生一第二電子影像525(圖5)。步驟1125包括步驟1126、1129。在步驟1126中，來自成像物鏡的第二部分的光線被一第二複數個角度選擇性像素檢測。步驟1126包括步驟1127、1128。在步驟1127中，角度選擇性像素陣列的每個角度選擇性像素將來自成像物鏡的第二部分的光線導向第二像素部分，即感光元件的一部分。例如，藉由實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列1000(圖10)，每個角度選擇性像素1001、1002(圖10)的透鏡1015(圖10)將來自部分511(圖5)的光線821(圖8和圖10)導向像素部分1011(圖10)。在步驟1128中，對於在第二複數個角度選擇性像素中的每個角度選擇性像素而言，來自成像物鏡的第一部分的光線被阻擋。例如，藉由實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列1000(圖10)，遮罩1030的一部分(圖10)對於所有角度選擇性的像素1002(圖10)阻擋來自部分511(圖5)的 光線821(圖8和圖10)。遮罩1030(圖10)對於所有角度選擇性像素1002(圖10)傳送來自部分512(圖5)的光線822(圖8和圖10)的至少一部分。在步驟1129中，一第二電子影像是使用第二複數個角度選擇性像素而從在步驟1120中形成的第二光學影像中產生。例如，搭配實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列1000(圖10)，影像感測器520(圖5)處理由角度選擇性像素1002(圖10)響應光線822(圖8和圖10)而產生的電子訊號，以產生第二電子影像。
圖12繪示了示例性的成像物鏡1210、1220、1230、1240、1250，其每一個具有兩個不同的部分，用於形成兩個相應的光學影像，而可用於獲得影像深度資訊。圖12繪示了成像物鏡1210、1220、1230、1240、1250的側面剖視圖，其中橫截面垂直於成像物鏡的光軸。
成像物鏡1210包括兩個部分1211、1212，而與成像物鏡1210的一第一半部和一第二半部相一致。部分1211、1212位於成像物鏡1220的光軸1215的相對的兩側。成像物鏡1220包括兩個部分1221、1222，而為成像物鏡的末端部分。部分1221、1222是位於成像物鏡1220的光軸1225的相對的兩側。成像物鏡1230包括兩個帶狀部分1231、1232，其位於成像物鏡1230的光軸1235的相對的兩側。成像物鏡1240包括兩個部分1241、1242，位於成像物鏡1240相對的末端的橢圓區域。部分1241、1242位於成像物鏡1240的光軸1245的相對的兩側。成像物鏡1250包括兩部分1251、1252，其為位於成像物鏡1250的光軸1255的相對兩側上的橢圓區域。
成像物鏡的兩個部分可以配置成與圖12所繪示的形態不同，而不脫離本發明的範圍。例如，這兩個部分可以具有不同於圖12所繪示的形狀和尺寸。同樣地，這兩個部分可以具有與彼此不同的形狀和/或尺寸。此外，這兩個部分可以不位於光軸的相對的兩側。更進一步地，這兩個部分可以具有某種程度的重疊。這種重疊可導致兩個光學影像之間的串擾。然而，串擾可能夠小以使影像的深度資訊可被獲得。此成像物鏡的這兩個部分可以部分地通過遮蔽成像物鏡的其他部分來形成。用於執行這種遮蔽的遮罩可以被整合在成像物鏡中或與其分離。
圖13繪示了用於決定一個場景的兩個電子影像之間的空間移位的一個示例性方法1300，其中此兩個電子影像是使用成像物鏡的兩個不同的部 分而產生。方法1300是圖7的步驟730的一個實施例，並且可以通過處理/控制成像系統500(圖5)的模組530來執行。
在步驟1310中，產生一個第一電子影像的第一譜線輪廓。第一譜線輪廓沿著一個維度被記錄，其中在此維度上的空間移位將被決定。例如，此譜線輪廓沿著對應於方向305(圖3)、方向405(圖4)或方向890(圖8和圖10)的維度被記錄。步驟1310是由例如處理器540(圖5)根據指令554(圖5)來執行。處理器540(圖5)從光學影像515(圖5)產生的光學影像525(圖5)沿著空間移位被決定的維度產生一譜線輪廓。同樣地，在步驟1320中，一第二電子影像的第二譜線輪廓被產生。此第二譜線輪廓是沿著一個維度被記錄，其中在此維度上的空間移位將被決定。例如，此譜線輪廓沿著對應於方向305(圖3)、方向405(圖4)或方向890(圖8和圖10)的維度被記錄。步驟1310是由例如處理器540(圖5)根據指令554(圖5)來執行。處理器540(圖5)從光學影像516(圖5)產生的光學影像525(圖5)沿著空間移位被決定的維度產生一譜線輪廓。對於這兩個步驟1310、1320，此譜線輪廓可表示在某一維度上的一個有限的影像範圍的平均值，而此維度是正交於在空間移位上被決定的維度。例如，一個電子影像的矩形部分可以被投影到在空間移位上被決定的維度上，並從此投影產生一譜線輪廓。
在步驟1330中，比較分別在步驟1310、1320產生的第一譜線輪廓和第二譜線輪廓，以決定第一電子影像和第二電子影像之間的空間移位。在一個實施例中，沿著譜線輪廓的每個像素位置上的空間移位被決定。可選擇地，這包括可觀測的空間移位的位置之間的內插。例如，與一均勻明亮的物體或一均勻有色的物體的內部位置相關聯的空間移位可以通過在物體的邊界之間內插來決定。在另一個實施例中，只對能產生可觀測的空間移位的物體或影像部分決定空間移位。步驟1330是由例如處理器540(圖5)根據指令552(圖5)來執行。
可對於第一電子影像和第二電子影像的複數個部分重複執行方法1300，以在正交於用於決定空間移位維度的這個維度中，決定用於不同位置的影像部分的空間移位。
圖14顯示使用圖5具有實施為角度選擇性像素陣列521(圖5)的角度選擇性像素陣列800(圖8)的成像系統500的一個實施例所產生的一電 子影像和相關聯的空間移位數據。影像1410是根據方法900(圖9)由圖5中的成像系統500使用成像物鏡510的一第一部分(即部分511)和一第二部分(即部分512)所產生的一個場景的第一電子影像和第二電子影像中的一者。此場景包括三個相同的物體1401、1402、1403位於三個距成像系統500不同距離處。方向1490是決定空間移位的方向。方向1490相當於圖8的方向890。空間移位是使用圖13的方法1300從此兩個電子影像來決定。所得的空間移位數據示於圖表1421、1422、1423。譜線輪廓是以亮度1480繪製，其為沿方向1490上的位置的一函數。
圖表1421顯示對此第一電子影像和第二電子影像中的每一者，沿著如影像1410所繪示的線1411記錄的譜線輪廓1431、1441。線1411穿過三個相同的物體中距離最遠的物體1401。物體1401位於比在焦點上的物體更遠離成像系統500(圖5)處。其相當於由圖3的簡圖300所繪示的情況。在譜線輪廓1431、1441之間的空間移位1451表示物體1401的上邊界的空間移位。到物體1401的距離可以由相位移1451決定，例如如結合圖2A至圖4B所討論的。
圖表1422顯示對此第一電子影像和第二電子影像中的每一者，沿著如影像1410所繪示的線1412記錄的譜線輪廓1432、1442。線1412穿過在成像系統500(圖5)的焦點上的物體1402。其相當於由圖2的簡圖200所繪示的情況。沒有任何與物體1402相關聯的可觀測的空間移位，並且可以由此推斷物體1402是位在成像系統500(圖5)的焦點距離上。
圖表1423顯示對此第一電子影像和第二電子影像中的每一者，沿著如影像1410所繪示的線1413記錄的譜線輪廓1433、1443。線1413穿過三個相同的物體中距離最小的物體1403。物體1403位於比在焦點上的物體更靠近成像系統500(圖5)處。其相當於由圖4的簡圖400所繪示的情況。在譜線輪廓1433、1443之間的空間移位1453表示物體1403的上邊界的空間移位。到物體1403的距離可以由相位移1453決定，例如如結合圖2A至圖4B所討論的。
在圖14中呈現的數據繪示了即使當與空間移位相關聯的物體不在聚焦點，空間移位仍可被決定。在某些實施例中，成像系統500被用來決定在此成像系統的景深之外的物體的影像深度。
特點組合
如上所述之特性以及以下權利要求可以以各種方式組合，而不脫 離本發明的範圍。例如，它可以被理解為，本文所述的一種用於獲得影像深度資訊的系統或方法的特徵可與本文所述的另一種用於獲得影像深度資訊的系統或方法的特徵互相結合或交換。下列實施例說明上述實施例可能的、非限制性的組合。應了解的是，對本文的方法和裝置可以進行許多其他的變化和修改而不脫離本發明的精神和範圍：
(A)一種系統，用於獲得至少一物體在一場景中的影像的一深度資訊，此系統可包括(i)一成像物鏡，包括用於形成此場景的一第一光學影像的一第一部分和用於形成此場景的一第二光學影像的一第二部分，且第一部分與第二部分不同，以及(ii)一影像感測器，用於捕捉第一光學影像和第二光學影像，並從其產生相應的一第一電子影像和一第二電子影像。
(B)如(A)所示的系統可更包括一處理模組，用於處理此第一電子影像和第二電子影像，以決定此深度資訊。
(C)如在(B)所示的系統中，此處理模組可包括指令，用於從第一電子影像和第二電子影像之間的空間移位，以決定此深度資訊。
(D)如在(C)所示的系統中，此處理模組可更包括校準數據，其包括在空間移位之間的一對應、成像物鏡的一聚焦設置以及此深度資訊。
(E)如在(D)所示的系統中，此指令可更包括利用校準數據，以從第一電子影像和第二電子影像之間的空間移位決定深度資訊。
(F)如在(A)到(E)所示的系統中，此成像物鏡可具有一光軸，且成像物鏡的第一部分和第二部分被定位在此光軸相對的兩側。
(G)如在(A)到(F)所示的系統中，此影像感測器可包括複數個具有角度選擇性的像素，以使被影像感測器檢測到的光與成像物鏡的第一部分和第二部分中已知的一者相關聯。
(H)如在(G)所示的系統中，每個像素可包括：一第一子像素以用於產生第一電子影像的一部分、一第二子像素以用於產生第二電子影像的一部分，以及一透鏡以用於將從成像物鏡的第一部分和第二部分向像素傳播的光，分別導向第一子像素和第二子像素。
(I)如在(H)所示的系統中，第一子像素和第二子像素可具有不同的靈敏度。
(J)如在(G)到(I)所示的系統中，每個像素可檢測來自成 像物鏡的第一部分和第二部分中選定的一者的光。
(K)如在(A)到(F)所示的系統中，每個像素可包括(i)一透鏡，用於將從成像物鏡的第一部分和第二部分向像素傳播的光，分別導向像素的第三部分和第四部分，以及(ii)一遮罩，用於阻擋來自成像物鏡的第一部分和第二部分中非選定的一者的光。
(L)如在(A)到(K)所示的系統中，此成像物鏡可具有可調節的焦距。
(M)如在(A)到(K)所示的系統中，此成像物鏡可具有固定的焦距。
(N)如在(A)到(M)所示的系統中，此成像物鏡相對於影像感測器可具有固定的位置。
(O)如在(A)到(N)所示的系統中，此深度資訊可包括從系統到至少一物體的距離。
(P)一種方法，用於獲得至少一物體在一場景中的影像的一深度資訊，此方法可包括在單一影像感測器上使用一成像物鏡各別的一第一部分和一第二部分，以形成此場景的一第一影像和一第二影像。
(Q)如(P)所示的方法可更包括從第一影像和第二影像之間的一空間移位，決定此深度資訊。
(R)如(P)和(Q)所示的方法中，形成的步驟可包括：在單個影像感測器上使用成像物鏡各別的第一部分和第二部分，以同時形成場景的第一影像和第二影像。
(S)如(P)到(R)所示的方法可更包括從第一影像和第二影像產生相應的一第一電子影像和一第二電子影像。
(T)如(S)所示的方法可更包括從第一電子影像和第二電子影像之間的空間移位決定此深度資訊。
(U)如在(P)到(T)所示的方法中，單個影像感測器可包括複數個像素，其具有各自的複數個第一子像素和各自的複數個第二子像素。
(V)如在(S)和(T)所示的方法中，單個影像感測器可包括複數個像素，其具有各自的複數個第一子像素和各自的複數個第二子像素的像素，而產生的步驟可更包括(a)將來自第一部分的光導向第一子像素並將來自 第二部分的光導向第二子像素和(b)利用來自第一子像素和第二子像素的電子訊號來產生第一電子影像和第二電子影像。
(W)如在(S)和(T)所示的方法中，單個影像感測器可包括複數個像素，而產生的步驟可更包括(a)對於每個像素，將來自成像物鏡的第一部分和第二部分的光分別導向像素的一第三部分和一第四部分，(b)對於這些像素中的一第一子集，阻擋來自成像物鏡的第二部分的光，(c)對於這些像素中的一第二子集，阻擋來自成像物鏡的第一部分的光，和(d)分別從來自在第一子集和第二子集中的這些像素的電子訊號，來產生第一電子影像和第二電子影像。
(X)如(P)到(W)所示的方法可更包括：通過利用在空間移位之間校準的一對應、成像物鏡的一聚焦設置以及深度資訊，以決定深度資訊。
(Y)如在(X)所示的方法中，聚焦設置可包括一參數值，以控制成像物鏡的可調節聚焦特性。
(Z)如(P)到(Y)所示的方法可更包括調整成像物鏡的聚焦特性，而使場景的至少一部分在景深以內。
(AA)如在(P)到(Z)所示的方法中，形成的步驟可包括：分別位於在單個影像感測器上使用成像物鏡各別第一部分和第二部分，以形成場景的第一影像和第二影像，其中第一部分和第二部分被定位在成像物鏡的光軸的相對兩側。
(AB)如在(P)到(AA)所示的方法中，從第一影像和第二影像產生的第一電子影像和第二電子影像可具有不同的靈敏度。
(AC)如(AB)所示的方法可更包括組合第一電子影像和第二電子影像，以產生具有比第一電子影像和第二電子影像中的每一者更高動態範圍的一第三電子影像。
(AD)如(P)到(AC)所示的方法可更包括：基於第一影像和第二影像之間的空間移位，調整一透鏡參數以改善影像的焦點。
(AE)如在(P)到(AD)所示的方法中，深度資訊可包括從系統到至少一個物體的距離。
在不脫離本發明的範圍的情況下可以在上述的系統和方法中作 出改變。因此，應當注意的是，包含在上述說明並繪示在附圖中的內容應當被解釋為說明性的而非限制性的。以下權利要求旨在覆蓋本文中所描述的一般的和具體的特徵，而本發明的方法和系統的範圍的所有陳述，其中，因為語言的關係，亦可以說是落入其間的範圍。
100‧‧‧相機
110‧‧‧成像物鏡
120‧‧‧影像感測器
130‧‧‧場景
141、142、143‧‧‧物體
151、152、153‧‧‧距離
160‧‧‧輸出
162‧‧‧深度資訊
164‧‧‧影像

Claims (24)

  1. 一種成像系統，用於獲得至少一物體在一場景中的影像的一深度資訊，該成像系統包括：一成像物鏡，包括用於形成該場景的一第一光學影像的一第一部分和用於形成該場景的一第二光學影像的一第二部分，且該第一部分與該第二部分不同；一影像感測器，用於捕捉該第一光學影像和該第二光學影像，並從其產生相應的一第一電子影像和一第二電子影像，該影像感測器包括複數個像素所形成之一陣列，該陣列含有該影像感測器上的所有感光像素，各該像素包括：(a)一第一子像素或一第一像素部分，(b)一第二子像素或一第二像素部分，以及(c)一透鏡，用於將(i)從該成像物鏡的該第一部分傳播的光，導向該像素之該第一子像素或該像素之該第一像素部分，及(ii)從該成像物鏡的該第二部分傳播的光，導向該像素之該第二子像素或該像素之該第二像素部分；以及一處理模組，用於處理該第一電子影像和該第二電子影像，以決定該深度資訊。
  2. 如申請專利範圍第1項所述之成像系統，該深度資訊包括從該系統到至少一個該物體的距離。
  3. 如申請專利範圍第1項所述之成像系統，該處理模組包括指令，用於從該第一和第二電子影像之間的一空間移位，以決定該深度資訊。
  4. 如申請專利範圍第3項所述之成像系統，該處理模組更包括一校準數據，包括在該空間移位之間的一對應、該成像物鏡的一聚焦設置以及該深度資訊，且該指令還包括利用該校準數據，以從該第一電子影像和第二電子影像之間 的該空間移位決定該深度資訊。
  5. 如申請專利範圍第1項所述之成像系統，該成像物鏡具有一光軸，該成像物鏡的該第一部分和該第二部分被定位在該光軸相對的兩側。
  6. 如申請專利範圍第1項所述之成像系統，各該像素實作：該第一子像素是用於產生該第一電子影像的部分；以及該第二子像素是用於產生該第二電子影像的部分。
  7. 如申請專利範圍第6項所述之成像系統，該第一子像素和該第二子像素具有不同的靈敏度。
  8. 如申請專利範圍第1項所述之成像系統，各該像素檢測來自該成像物鏡的該第一部分和該第二部分中選定的一者的光。
  9. 如申請專利範圍第8項所述之成像系統，各該像素實作：該第一像素部分與該第二像素部分協作而形成一單一像素，以響應入射在該第一像素部分及該第二像素部分的光而產生一單一電子訊號；以及一遮罩，用於阻擋來自該成像物鏡的該第一部分和該第二部分中非選定的一者的光，朝向該第一像素部分及該第二像素部分中對應的一者傳播。
  10. 如申請專利範圍第1項所述之成像系統，該成像物鏡具有可調節的焦距。
  11. 如申請專利範圍第1項所述之成像系統，該成像物鏡具有固定的焦距。
  12. 如申請專利範圍第11項所述之成像系統，該成像物鏡相對於該影像感測器具有固定的位置。
  13. 一種成像方法，用於獲得至少一物體在一場景中的影像的一深度資訊，該成像方法包括：在單一影像感測器上使用一成像物鏡各別的一第一部分和一第二部分，以形成該場景的一第一影像和一第二影像，單個該影像感測器包括複數個像素所 形成之一陣列，該陣列含有單個該影像感測器上的所有感光像素，各該像素包括：(a)一第一子像素或一第一像素部分，(b)一第二子像素或一第二像素部分，以及(c)一透鏡，用於將(i)從該成像物鏡的該第一部分傳播的光，導向該像素之該第一子像素或該像素之該第一像素部分，及(ii)從該成像物鏡的該第二部分傳播的光，導向該像素之該第二子像素或該像素之該第二像素部分；以及從該第一影像和該第二影像之間的一空間移位，決定該深度資訊。
  14. 如申請專利範圍第13項所述之成像方法，該深度資訊包括從該成像物鏡到至少一個該物體的距離。
  15. 如申請專利範圍第13項所述之成像方法，形成的步驟包括：在單個該影像感測器上使用該成像物鏡各別的該第一部分和該第二部分，以同時形成該場景的該第一影像和該第二影像。
  16. 如申請專利範圍第13項所述之成像方法，更包括從該第一影像和該第二影像產生相應的一第一電子影像和一第二電子影像，而決定的步驟包括：從該第一電子影像和該第二電子影像之間的該空間移位決定該深度資訊。
  17. 如申請專利範圍第16項所述之成像方法，各該像素實作該第一子像素及該第二子像素；以及產生的步驟包括：分別利用來自該第一子像素和該第二子像素的電子訊號，來產生該第一電子影像和該第二電子影像。
  18. 如申請專利範圍第16項所述之成像方法，各該像素實作該第一子像素及該第二子像素協作而形成一單一像素，以響應入射在該第一像素部分及該第二像素部分的光而產生一單一電子訊號；以及 產生的步驟包括(a)對於該些像素中的一第一子集，利用各該像素之該第一像素部分，阻擋來自該成像物鏡的該第二部分的光而僅導引來自該成像物鏡的該第一部分的光，(b)對於該些像素中的一第二子集，利用各該像素之該第二像素部分，阻擋來自該成像物鏡的該第一部分的光而僅導引來自該成像物鏡的該第二部分的光，和(c)分別從來自在該第一子集和該第二子集中的該些像素的電子訊號，來產生該第一電子影像和該第二電子影像。
  19. 如申請專利範圍第13項所述之成像方法，決定的步驟包括：通過利用在該空間移位之間校準的一對應、該成像物鏡的一聚焦設置以及該深度資訊，以決定該深度資訊。
  20. 如申請專利範圍第19項所述之成像方法，該聚焦設置包括一參數值，以控制該成像物鏡的可調節聚焦特性。
  21. 如申請專利範圍第13項所述之成像方法，更包括調整該成像物鏡的聚焦特性，而使該場景的至少一部分在景深以內。
  22. 如申請專利範圍第13項所述之成像方法，形成的步驟包括：在單個該影像感測器上使用該成像物鏡各別的該第一部分和該第二部分，以形成該場景的該第一影像和該第二影像，其中該第一部分和該第二部分被定位在該成像物鏡的一光軸的相對兩側。
  23. 如申請專利範圍第16項所述之成像方法，產生的步驟更包括：以不同的靈敏度產生該第一電子影像和該第二電子影像，該成像方法更包括：組合該第一電子影像和該第二電子影像，以產生一第三電子影像，而相比該第一電子影像和該第二電子影像中的每一者，該第三電子影像具有更高的動態範圍。
  24. 如申請專利範圍第13項所述之成像方法，更包括：基於該空間移位，調整一透鏡參數以改善影像的焦點。
TW104116293A 2014-06-09 2015-05-21 用於獲得影像深度資訊之系統及方法 TWI577171B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/299,220 US9633441B2 (en) 2014-06-09 2014-06-09 Systems and methods for obtaining image depth information

Publications (2)

Publication Number Publication Date
TW201608872A TW201608872A (zh) 2016-03-01
TWI577171B true TWI577171B (zh) 2017-04-01

Family

ID=54770591

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104116293A TWI577171B (zh) 2014-06-09 2015-05-21 用於獲得影像深度資訊之系統及方法

Country Status (4)

Country Link
US (1) US9633441B2 (zh)
CN (1) CN105187815B (zh)
HK (1) HK1213119A1 (zh)
TW (1) TWI577171B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9560103B2 (en) * 2013-06-26 2017-01-31 Echostar Technologies L.L.C. Custom video content
TWI583996B (zh) * 2016-05-27 2017-05-21 致伸科技股份有限公司 影像景深測量方法以及應用該方法的影像擷取裝置
US10582178B2 (en) * 2016-11-02 2020-03-03 Omnivision Technologies, Inc. Systems and methods for active depth imager with background subtract
CN106840021B (zh) * 2017-03-30 2020-05-26 联想(北京)有限公司 控制方法及电子设备
CN107222734A (zh) * 2017-06-30 2017-09-29 联想(北京)有限公司 一种图像采集装置及电子设备
US10529084B2 (en) * 2018-02-06 2020-01-07 Htc Corporation Image processing method, electronic device, and non-transitory computer readable storage medium
DE102018202777A1 (de) * 2018-02-23 2019-08-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Farbsensor mit Mikrolinsen umfassenden winkelselektiven Strukturen
US10755426B2 (en) 2018-05-23 2020-08-25 Apple Inc. Efficient scene depth map enhancement for low power devices
US11367743B2 (en) 2019-10-28 2022-06-21 Omnivision Technologies, Inc. Image sensor with shared microlens between multiple subpixels
US11367744B2 (en) 2019-12-05 2022-06-21 Omnivision Technologies, Inc. Image sensor with shared microlens and polarization pixel
US11252381B2 (en) 2019-12-11 2022-02-15 Omnivision Technologies, Inc. Image sensor with shared microlens
US11778157B2 (en) * 2021-03-25 2023-10-03 Eys3D Microelectronics, Co. Image capture device and depth information calculation method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM410230U (en) * 2011-01-07 2011-08-21 Amchael Visual Technology Corp Optical module
TW201241547A (en) * 2011-04-14 2012-10-16 Ind Tech Res Inst System, device and method for acquiring depth image
TW201300930A (zh) * 2011-06-24 2013-01-01 Mstar Semiconductor Inc 自動對焦方法與裝置
US20130127854A1 (en) * 2010-08-11 2013-05-23 Primesense Ltd. Scanning Projectors And Image Capture Modules For 3D Mapping

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006110B2 (en) * 2003-04-15 2006-02-28 Nokia Corporation Determining a coverage mask for a pixel
US9153614B2 (en) * 2007-08-15 2015-10-06 Micron Technology, Inc. Method and apparatus for lens alignment for optically sensitive devices and systems implementing same
JP2010057067A (ja) * 2008-08-29 2010-03-11 Sony Corp 撮像装置および画像処理装置
US8287127B2 (en) * 2009-04-03 2012-10-16 Seiko Epson Corporation Aerial three-dimensional image display systems
JP5799535B2 (ja) * 2010-03-25 2015-10-28 セイコーエプソン株式会社 空中三次元画像を生成するシステムおよび空中三次元画像を生成する方法
US9197804B1 (en) * 2011-10-14 2015-11-24 Monolithic 3D Inc. Semiconductor and optoelectronic devices
JP5923755B2 (ja) * 2011-10-13 2016-05-25 パナソニックＩｐマネジメント株式会社 奥行き推定撮像装置および撮像素子
JP2013172292A (ja) * 2012-02-21 2013-09-02 Sony Corp 撮像装置及び撮像素子アレイ
WO2014107434A1 (en) * 2013-01-02 2014-07-10 California Institute Of Technology Single-sensor system for extracting depth information from image blur

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130127854A1 (en) * 2010-08-11 2013-05-23 Primesense Ltd. Scanning Projectors And Image Capture Modules For 3D Mapping
TWM410230U (en) * 2011-01-07 2011-08-21 Amchael Visual Technology Corp Optical module
TW201241547A (en) * 2011-04-14 2012-10-16 Ind Tech Res Inst System, device and method for acquiring depth image
TW201300930A (zh) * 2011-06-24 2013-01-01 Mstar Semiconductor Inc 自動對焦方法與裝置

Also Published As

Publication number Publication date
US9633441B2 (en) 2017-04-25
US20150358597A1 (en) 2015-12-10
CN105187815B (zh) 2018-05-22
CN105187815A (zh) 2015-12-23
TW201608872A (zh) 2016-03-01
HK1213119A1 (zh) 2016-06-24

Similar Documents

Publication Publication Date Title
TWI577171B (zh) 用於獲得影像深度資訊之系統及方法
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5825817B2 (ja) 固体撮像素子及び撮像装置
KR101517704B1 (ko) 이미지를 기록하기 위한 이미지 기록 장치 및 방법
US9456195B1 (en) Application programming interface for multi-aperture imaging systems
CN108432230B (zh) 一种成像设备和一种用于显示场景的图像的方法
KR102228456B1 (ko) 깊이 정보를 갖는 영상을 생성하는 영상 획득 장치 및 영상 획득 방법
US8947585B2 (en) Image capturing apparatus, image processing method, and storage medium
US9648305B2 (en) Stereoscopic imaging apparatus and stereoscopic imaging method
WO2013027504A1 (ja) 撮像装置
JP2014153509A (ja) 撮像装置及び撮像方法
US20150268392A1 (en) Filter-array-equipped microlens and solid-state imaging device
JP2017173374A (ja) 焦点検出装置および方法、および撮像装置
US10356381B2 (en) Image output apparatus, control method, image pickup apparatus, and storage medium
TWI543582B (zh) 影像編輯方法以及相關之模糊參數建立方法
JP5850648B2 (ja) 撮像装置
JP2016001853A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP2014026051A (ja) 撮像装置、画像処理装置
JP2020021126A (ja) 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム
JP5852371B2 (ja) 撮像装置及びその制御方法
JP7307592B2 (ja) 計測装置、撮像装置、制御方法及びプログラム
KR102135372B1 (ko) 구조광 시스템
KR101575964B1 (ko) 듀얼 애퍼처 카메라의 센서 어레이
US20160156867A1 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム