TWI772462B - 數位像素影像感測器 - Google Patents

數位像素影像感測器 Download PDF

Info

Publication number
TWI772462B
TWI772462B TW107124385A TW107124385A TWI772462B TW I772462 B TWI772462 B TW I772462B TW 107124385 A TW107124385 A TW 107124385A TW 107124385 A TW107124385 A TW 107124385A TW I772462 B TWI772462 B TW I772462B
Authority
TW
Taiwan
Prior art keywords
pixel
signal
digital
pixels
comparator
Prior art date
Application number
TW107124385A
Other languages
English (en)
Other versions
TW201929534A (zh
Inventor
新橋 劉
Original Assignee
美商元平台公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/847,517 external-priority patent/US10419701B2/en
Application filed by 美商元平台公司 filed Critical 美商元平台公司
Publication of TW201929534A publication Critical patent/TW201929534A/zh
Application granted granted Critical
Publication of TWI772462B publication Critical patent/TWI772462B/zh

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本文揭示數位成像的技術。一種數位像素影像感測器,其多個像素中的每一個皆包含數化器,其中數化器會利用比較器、全域參考斜坡訊號以及時脈計數器,來將來自像素的光二極體的類比輸出進行數位化。於一些實施例中,比較器可以包含預充電電路而非恆定偏壓電路,藉此降低每個數位像素的功耗。於一些實施例中,每個像素可以包含數位或類比相關性雙重取樣(CDS)電路以降低雜訊並提供更高的動態範圍。

Description

數位像素影像感測器
本發明係關於一種數位像素影像感測器,特別係關於所具有的每個像素中皆具有數化器的數位像素影像感測器。
影像感測器被使用於許多不同的應用中。舉例來說,在數位成像裝置(例如數位相機、智慧型手機等)中可以發現影像感測器,用於擷取數位影像。以另個例子來說,於人造實境系統中,像是虛擬實境(virtual reality,VR)系統、擴增實境(augmented reality,AR)系統以及混合實境(mixed reality,MR)系統,影像感測器可以用於擷取使用者所在的實體環境的影像,且所擷取的影像可以接著用於控制或影響人造實境系統的運作,像是控制或影響人造實境系統的顯示內容。對於許多所述應用(包含人造實境系統)而言,可能需要具有高速、高靈敏度、高動態範圍、低雜訊、高密度、高解析度以及低功耗的影像感測器。
本發明關係於數位像素影像感測器。更具體來說,本文所揭示的技術關係於所具有的每個像素中皆具有數化器(例如ADC)的數位像素影像感測器,其中數化器利用比較器、參考斜坡訊號以及計數器,來將來自像素的光二極體的類比輸出進行數位化。於一些實施例中,每個像素可以包含數位或類比相關性雙重取樣(CDS)電路以降低雜訊並提供更高的動態範圍。於一些實施例中,比較器可以包含預充電電路而非恆定偏壓電路,藉此降低每個數位像素的功耗。
於某些實施例中,數位像素影像感測器可以包含多個像素。每個像素包含用於產生電荷以回應光訊號的光二極體,以及用於儲存光二極體所產生的電荷的電荷儲存裝置,其中所儲存的電荷可以在電荷儲存裝置上產生電壓訊號。每個像素亦可以包含像素記憶體及數化器。數化器可以包含用於接收斜坡訊號及電壓訊號的比較器,其中斜坡訊號的電壓位準在時脈訊號的每個週期之後會增加或減少。比較器更可以用於在斜坡訊號的電壓位準達到電壓訊號的電壓位準之後,改變比較器的輸出狀態。數化器亦可以包含數位輸出產生電路,用於在比較器的輸出狀態改變時,接收一第一數量,其對應於斜坡訊號開始的時間點與比較器的輸出狀態改變的時間點之間的時脈訊號的週期總數量,並且數位輸出產生電路用於儲存所述第一數量至像素記憶體,其中第一數量對應於將電壓訊號的電壓位準進行數位化而產生的數位值。
於某些實施例中,影像感測器的數位像素可以包含用於產生電荷以回應光訊號的光二極體,以及用於儲存光二極體所產生的電荷的電荷儲存裝置,其中所儲存的電荷可以在電荷儲存裝置上產生電壓訊號。每個像素亦可以包含像素記憶體及數化器。數化器可以包含用於接收斜坡訊號及電壓訊號的比較器,其中斜坡訊號的電壓位準在時脈訊號的每個週期之後會增加或減少。比較器更可以用於在斜坡訊號的電壓位準達到電壓訊號的電壓位準之後,改變比較器的輸出狀態。數化器亦可以包含數位輸出產生電路,用於在比較器的輸出狀態改變時,接收一第一數量,其對應於斜坡訊號開始的時間點與比較器的輸出狀態改變的時間點之間的時脈訊號的週期總數量,並且數位輸出產生電路用於儲存所述第一數量至像素記憶體,其中第一數量對應於基於電壓訊號的電壓位準的數位化的數位值。
於某些實施例中,揭示了數位成像的方法。此方法可以包含在曝光期期間,藉由影像感測器中的像素的光二極體來接收光訊號,並藉由像素將光訊號轉換為在像素的電荷儲存裝置上的電壓訊號。此方法更可以包含啟動時脈計數器來計算時脈訊號的時脈週期數量,且藉由像素的比較器來比較電壓訊號及斜坡訊號,其中斜坡訊號的電壓位準會隨著時脈週期數量線性地增加或減少。所述方法亦可以包含藉由比較器以在斜坡訊號的電壓位準達到電壓訊號的電壓位準時改變比較器的輸出狀態,以及在比較器的輸出狀態改變時,儲存對應於此時時脈週期數量的第一數量至像素的像素記憶體,以作為電壓訊號的第一數位值。
本發明內容既不旨在標識所要求保護的標的之關鍵或必要特徵,也不旨在單獨使用以確定所要求保護的標的之範圍。應透過參考本揭示整個說明書、任何或所有附圖及每個權利要求的適當部分以理解所述標的。以下將於說明書、權利要求及附圖中更詳細地描述前述內容以及其他特徵與示例。
本文揭示了高速、高解析度、高動態範圍、高靈敏度及低功耗的影像感測器。於多種實施例中,每個像素包含一數化器的數位像素影像感測器可以用於達成所期望的性能。於一些實施例中,數位像素影像感測器中的每個數位像素可以包含光二極體、轉移閘、類比儲存裝置(例如顯式或寄生電容)、數化器(例如ADC)以及數位記憶體。光二極體可以將光訊號轉換為電訊號。轉移閘可以用於將電訊號(例如累積的電荷)從光二極體轉移至類比儲存裝置,且數化器可以將在類比儲存裝置的電訊號轉換為數位位元。數位記憶體可以在數位位元被讀取之前,儲存數位位元。於一例子中,每個數位像素中的數化器可以包含比較器。所述比較器可以將在類比儲存裝置的電訊號與參考斜坡訊號作比較。所述參考斜坡訊號可以係例如由DAC所產生的全域訊號(global signal)。時脈計數器(例如全域時脈計數器)可以在每個影像訊框中持續地計算時脈週期的數量。當參考斜坡訊號達到在類比儲存裝置的電訊號的位準時,數位像素中的比較器的輸出狀態可以改變(例如翻轉、切換或斜線上升/下降)。在數位像素中的比較器的輸出改變狀態的時間點時的計數值可以接著藉由比較器的輸出的切換以被鎖存於數位像素的記憶體中。
於一些實施例中,數位像素可以包含相關性雙重取樣(correlated double sampling,CDS)電路(例如數位CDS電路)以降低隨機雜訊(例如電容上的1/f雜訊、熱kT/C雜訊)以及固定圖像雜訊(fixed pattern noise,FPN)(例如由像素間的比較器閾值的不匹配所造成)。CDS電路可以數位化在類比儲存裝置的重置位準(例如至m位元)以及從光二極體轉移來的在類比儲存裝置的電訊號的位準(例如至n位元)。所述二被數位化的數值可以被儲存於(n+m)位元的像素記憶體中。所述二被數位值之間的差值可以用以作為一影像訊框的數位像素的數位輸出。
於一實施方式中,對每個影像訊框來說,光二極體可以先曝光於光訊號並啟動以集成(積分)被轉換的電訊號。在曝光期(或積分期)結束或接近結束(例如約100微秒前)時,類比儲存裝置可以重置。重置位準可以藉由數化器來數位化。在曝光期之後,被集成的電訊號可以被從光二極體轉移到類比儲存裝置,且被數化器來數位化。因此,在訊框週期(例如33毫秒)的大部分時間(例如95%、99%或更多),數位像素可以在低功率模式(例如積分模式)下工作。
於一些實施例中,數化器的比較器可以包含能夠最小化靜態(直流)功耗的電路。舉例來說,預充電電路可以用於在執行數位化前,將比較器的內部節點預充電至例如一低位準,而不是使用直流偏壓電路來將比較器設定至工作狀態。所述預充電可以維持一小段時間,例如幾微秒。在訊框週期的剩餘時間期間,比較器可以具有很少的靜態功耗或是沒有靜態功耗。因此,可以顯著地降低比較器的總功耗。
於以下敘述中,出於解釋的目的,闡述了具體細節以便提供對本揭示的示例的深入理解。然而,顯而易見的是,各種示例可以在沒有這些具體細節的情況下實施。舉例來說,裝置、系統、結構、組件、方法及其他元件可以用方塊的形式來呈現,以避免因不必要的細節而模糊示例。於其他例子中,眾所周知的裝置、過程、系統、結構及技術的必要細節未呈現出來,以避免模糊示例。附圖及敘述之旨不在於限制本揭示。已經在本揭示中使用的術語及表達方式係作為描述的術語而非為限制,且並無意圖使用這些術語和表達方式來排除任何與所示及所述特徵的等同物或其部分。
影像感測器可以包含一陣列的光感測器。每個光感測器可以係光二極體,其可以藉由利用一些光電材料的光電效應來將光子轉換為電荷(例如電子或電洞)以感測入射光。光感測器也可以包含類比儲存裝置,像是電容裝置(例如寄生電容),以在曝光期期間收集(例如累積或積分)光二極體所產生的電荷。所收集的電荷可以在電容裝置造成電壓變化。反應了在曝光期內儲存在電容裝置的電荷數量的電壓變化可能與入射光的強度相關。電容裝置的電壓位準可以被緩衝且饋送至類比數位轉換器(ADC)或其他數化器,其可以將電壓位準轉換成表示入射光強度的數位值。影像訊框可以依據一陣列的光感測器所提供的強度資料而產生,其中每個光感測器形成影像感測器的像素,其對應於影像訊框的像素。影像感測器的像素陣列可以排列為多列及多行,其中每個像素產生表示在影像中的特定位置像素的強度的電壓。所述陣列中所包含的多個像素可以決定所產生的影像訊框的解析度。
於此所揭示的影像感測器的實施例可以人造實境系統,或與其一起實施。人造實境係一種在呈現給使用者之前已經以某種方式進行調整的實境的形式,可以包含例如虛擬實境(virtual reality,VR)、擴增實境(augmented reality,AR)、混合實境(mixed reality,MR)或它們的一些組合及/或衍生物。人造實境內容可以包含僅有電腦生成的內容或是電腦生成的內容結合於擷取的內容(例如真實世界的物體的影像)。人造實境內容可以包含錄像、音頻、觸覺反饋或它們的一些組合,且其中任一者可以在單通道或多通道中呈現(例如產生三維效果的立體錄像給觀眾)。此外,於一些實施例中,人造實境可以連結於應用程式、產品、配件、服務或它們的一些組合,其例如用於在人造實境中創建內容且/或於人造實境中以其他方式使用(例如執行其中的活動)。提供人造實境內容的人造實境系統可以在各種平台上實行,包含連接至主電腦系統的頭戴式顯示器(head-mounted display,HMD)、獨立式HMD、移位式裝置或電腦系統,或任何其他可以提供人造實境內容給一或多個觀眾的硬體平台。
圖1A係依據某些實施例所繪示的包含多種感測器的簡化示例的近眼顯示器100的透視圖。圖1B係依據某些實施例所繪示的包含多種感測器100的簡化示例的近眼顯示器的剖面圖。由近眼顯示器100所呈現的媒體的例子包含一或多個影像、錄像、音頻,或它們的一些組合。於一些實施例,音頻係透過外部裝置來呈現(例如喇叭及/或耳機),其自近眼顯示器100、控制台(console)或所述兩者,且依據音頻資訊來呈現音頻資料。近眼顯示器100可以用於作為虛擬實境(VR)顯示器來操作。於一些實施例中,近眼顯示器100可以用於作為擴充實境(AR)顯示器及/或混合實境(MR)顯示器來操作。
近眼顯示器100可以包含框架105及顯示器110。一或多個光學元件可以被耦合或嵌入框架105中。顯示器110可以用於供使用者觀看近眼顯示器100所呈現的內容。顯示器110可以包含電子顯示器及/或光學顯示器。舉例來說,於一些實施方案中,顯示器110可以包含波導顯示組件以將來自一或多個生成的或真實的影像的光引導至使用者的眼睛。
近眼顯示器100可以包含一或多個影像感測器120a、120b、120c及120d。每個影像感測器120a、120b、120c及120d可以包含一像素陣列用於產生表示在不同方向上的不同視場的影像資料。舉例來說,影像感測器120a及120b可以用於提供表示沿著Z軸的方向A上的兩個視場的影像資料,而影像感測器120c可以用於提供表示沿著X軸的方向B上的視場的影像資料,且影像感測器120d可以用於表示沿著X軸的方向C上的視場的影像資料。
於一些實施例中,影像感測器120a~120d可以配置為輸入裝置以控制或影響近眼顯示器100的顯示內容,以提供互動式VR/AR/MR體驗給近眼顯示器100的使用者。舉例來說,影像感測器120a~120d可以產生使用者所在的實體環境的實體影像資料。實體影像資料可以被提供至區位追蹤系統以追蹤實體環境中的使用者的位置及/或移動路徑。系統可以接著依據像是使用者的位置或是走向來更新提供至顯示器110的影像資料,以提供互動式體驗。於一些實施例中,區位追蹤系統可以執行同步定位與地圖建構(simultaneous localization and mapping,SLAM)演算法,以在使用者於實體環境內移動時追蹤實體環境中以及使用者的視場內的一組物體。區位追蹤系統可以依據上述的該組物體建構且更新實體環境的地圖,並追蹤地圖內使用者的位置。藉由提供對應於多種視場的影像資料,影像感測器120a~120d可以提供更全面的實體環境給區位追蹤系統,其可以使得地圖的構建及更新中包含更多物體。利用這種布置,可以提升追蹤實體環境裡使用者的位置的準確性及有效性。
近眼顯示器100可以進一步包含一或多個照明器130以投射光至實體環境。所投射的光可以關連於不同頻譜(例如可見光、紅外光、紫外光等),且可以提供多種用途。舉例來說,照明器130可以在黑暗環境中(或於低強度的紅外光、紫外光等環境中)投射光以輔助影像感測器120a~120d擷取黑暗環境中不同物體的影像,進而例如能夠執行使用者的區位追蹤。照明器130可以投射某些標誌(例如結構光圖案)至環境內的物體上,以輔助區位追蹤系統進行用於地圖建構或更新的物體辨識。
於一些實施例中,照明器130也可以執行立體成像。舉例來說,一或多個影像感測器120a及120b可以包含用於可見光感測的第一像素陣列以及用於紅外(IR)光感測的第二像素陣列。第一像素陣列可以由彩色濾光片(例如拜爾濾色鏡)覆蓋,其中第一像素陣列的每個像素用於量測關連於一特定顏色(例如紅、綠或藍色)的光強度。第二像素陣列(用於IR光感測)亦可以由濾光片覆蓋以僅供IR光穿過,其中第二像素陣列的每個像素用於量測IR光的強度。像素陣列可以產生物體的RGB影像及IR影像,其中IR影像的每個像素會映射到RGB影像的每個像素。照明器130可以將一組IR標誌投射至物體上,其圖像可以由IR像素陣列來擷取。依據影像中所示的物體的IR標誌的分布,系統可以估計物體的不同部分與IR像素陣列之間的距離,並依據所述距離產生物體的三維(3D)影像。依據物體的3D影像,系統可以判斷例如物體與使用者的相對方位,且可以依據所述相對方位更新提供至近眼顯示器100的影像資料以提供互動式體驗。
如上所述,近眼顯示器100可以操作於關連於相當寬廣範圍的光強度的環境。舉例來說,近眼顯示器100可以操作於室內環境或戶外環境中,且/或一天中的不同時間。近眼顯示器100也可以開啟或不開啟照明器130的情況下操作。如此一來,影像感測器120a~120d可能需要具有寬廣的動態範圍、高靈敏度及低雜訊水平以能夠在與不同的近眼顯示器100操作環境相關的寬廣範圍中的各種光強度下正常操作(例如產生與入射光的強度相關的輸出)。
此外,影像感測器120a~120d可能需要能夠以高速產生輸出以追蹤眼球的運動。舉例來說,使用者的眼球可以非常快速的運動(例如跳視運動),可以從一個眼球方位快速跳躍至另個眼球方位。為了追蹤使用者眼球的快速運動,影像感測器120a~120d可能需要高速地產生眼球的影像。舉例來說,影像感測器產生影像訊框的速率(訊框速率)需要至少符合眼球的運動速度。高訊框速率需要參與生成影像訊框的所有影像感測器像素的總曝光時間短,亦需要高速度以將感測器輸出值轉換為用於影像生成的數位值。此外,影像感測器也可能需要能夠以低功耗操作。
圖2A係依據某些實施例所繪示的包含多種感測器的簡化示例的近眼顯示器200的前視圖。圖2B係依據某些實施例所繪示的包含多種感測器的簡化示例的近眼顯示器200的剖面圖。近眼顯示器200可以近似於近眼顯示器100,且可以包含框架205及顯示器210。一或多個影像感測器250a及250b可以耦接至或埋設於框架205中。圖2A繪示近眼顯示器200的一側,其面向近眼顯示器200的使用者的眼球235。如圖2A及2B所示,近眼顯示器200可以包含多個照明器240a、240b、240c、240d、240e及240f。近眼顯示器200可以更包含多個影像感測器250a及250b。照明器240a、240b及240c可以在方向D(與圖1A及1B的方向A相反)上發出特定頻率範圍(例如NIR)中的光。所發出的光可以關連於特定圖案,且可以被使用者的左眼球所反射。影像感測器250a可以包含像素陣列以接收被反射的光且產生被反射的圖案的影像。類似地,照明器240d、240e及240f可以發出帶有特定圖案的NIR光。所述NIR光可以被使用者的右眼球反射,且由影像感測器250b接收。影像感測器250b也可以包含像素陣列以產生被反射的圖案的影像。依據來自影像感測器250a及250b的被反射圖案的影像,系統可以決定使用者的視覺停留點,並依據所決定的視覺停留點來更新提供至近眼顯示器200的影像資料,以提供互動式體驗給使用者。
為了避免傷害到使用者的眼球,照明器240a、240b、240c、240d、240e及240f通常用於以非常低的強度來發光。在影像感測器250a及250b包含相同的感測裝置像是影像感測器120a~120d的情況下,影像感測器250a及250b可能需要能夠在入射光的強度非常弱時產生與入射光強度相關的輸出,其可能進一步地增加影像感測器的動態範圍要求。
圖3係具有類比像素的示例的影像感測器300的簡化方塊圖。於一些實施方案中,影像感測器300可以係主動像素感測器(APS)。影像感測器300可以包含像素陣列310、ADC介面320、數位類比轉換(DAC)與支持電路330,以及控制電路340。像素陣列310可以包含多個AOS像素。像素陣列310中的每個像素可以包含光感測器,例如光偵測器或光二極體,其可以產生與照射像素的光訊號的強度對應的電壓或電流訊號。舉例來說,每個像素可以將像素上的光訊號轉換為電流。像素陣列310中的每個像素也可以包含類比儲存裝置,像是電容裝置可以集成電流以產生並儲存電壓訊號,其可以被稱為表示像素的灰度/顏色資訊的類比偵測訊號。
控制電路340可以包含在像素陣列310的邊緣的列解碼器與驅動電路及/或行解碼器與驅動電路,用於選擇性地致能一或多個像素(例如一列像素)以發送所述類比偵測訊號至ADC介面320。
ADC介面320可以包含多個ADC裝置。於一些實施方案中,ADC裝置可以個別對應於一行像素,且可以用於一次一列地將來自像素的類比偵測訊號轉換成數位影像資料。每個ADC裝置可以包含兩個輸入端,一個給參考訊號且另一個給類比偵測訊號。所述參考訊號可以由例如數位類比轉換(DAC)與支持電路330來產生。ADC裝置可以依據所述參考訊號將來自每個像素的類比偵測訊號轉換為數位資料。來自每列像素的數位資料可以被儲存為數位影像資料檔案以形成影像訊框。
於一些實施例中,每個ADC可以包含內部偏移校正電路以及相關性雙重取樣(correlated double sampling,CDS)電路用於降低噪音,像是像素與像素之間的參數差異所造成的定型雜訊(fixed pattern noise,FPN)。CDS電路可以係ADC介面320之外的獨立單元。舉例來說,CDS操作可以藉由採樣並保持參考或重置訊號;採樣並保持類比偵測訊號;以及從類比偵測訊號減去所述參考訊號以產生相關類比偵測訊號來完成。ADC可以接著將所述相關類比偵測訊號轉換成數位影像資料。
於一些實施例中,像素陣列310中的每個像素可以包含例如四電晶體(4T)APS像素或三電晶體(3T)APS像素。舉例來說,像素陣列中的每個3T像素可以包含光偵測器(例如固定式光二極體)、重置閘、選擇閘、源極隨耦放大電晶體以及電容裝置(例如位於所述源極隨耦放大電晶體的閘極的寄生電容)。重置閘可以被導通以清除儲存於電容裝置上的電荷。在曝光期間,光偵測器所產生的電荷可以被儲存於電容裝置上以產生類比偵測訊號(例如電壓訊號)。當藉由使用例如列選擇訊號來啟動對應的選擇閘以選擇像素時,在電容裝置的類比偵測訊號會由源極隨耦放大電晶體放大,且被傳送至讀取匯流排(readout bus)例如行線路(column line),以藉由ADC轉換成數位影像資料給對應的行。於一些實施方案中,多個像素可以共享一些閘極以降低影像感測器所使用的閘極總數量。
圖4繪示CMOS主動像素感測器(active pixel sensor,APS)中的示例性的四電晶體(4T)主動像素400。4T主動像素400可以包含光偵測器(例如固定式光二極體(PD)410)、轉移閘420、電容儲存裝置(例如浮動擴散(FD)電容430)、重置閘440、源極隨耦放大電晶體450以及選擇閘460。固定式光二極體410可以將光訊號轉換為電訊號並將所述電訊號儲存為電荷於電容裝置,例如位在固定式光二極體410的寄生電容412。儲存的電荷可以透過轉移閘420轉移至FD電容430。重置閘440可以用於重置FD電容430至已知的電壓位準。選擇閘460的閘極可以受控於選擇訊號,像是列選擇訊號,以選擇性地將FD電容430透過可以放大在FD電容430的電壓訊號的源極隨耦放大電晶體450耦接至讀取匯流排(例如行線路480)。
在主動像素400操作的期間,在每條像素曝光前,可以使用例如快門訊號來清除或放出儲存於寄生電容412的電荷,且重置閘440可以被關斷以清除儲存於FD電容430上的電荷。選擇性地,重置之後的FD電容430上的電壓位準(即重置位準)可以被讀取出來。在曝光期間,光偵測器所產生的電荷可以被儲存於位在光二極體410的寄生電容412上。在曝光結束時,所述電荷可以被透過轉移閘420轉移至FD電容430。固定式光二極體410可以具有低暗電流(暗電流)以及良好的藍色響應,且當耦接於轉移閘時,可以允許從固定式光二極體410到FD電容430的完全電荷轉移。所述電荷可以造成FD電容430的電壓變化。當像素藉由致能對應的選擇閘460而被選擇時,位在FD電容430的電壓訊號(即類比偵測訊號)可以被源極隨耦放大電晶體450給放大,並被傳送至行線路480。連接至行線路480的ADC可以接著將被放大的電壓訊號轉換成數位影像資料。於一些實施方案中,使用從光偵測器轉移至浮動擴散電容的像素內電荷可以藉由致能相關性雙重取樣(correlated double sampling,CDS)來降低噪音。
於許多影像感測器中,由於影像感測器中的ADC的數量因如晶片尺寸及/或功率的限制而有限,影像感測器中的像素需輪流訪問(acess)ADC以產生數位影像資料,例如一次一列像素。通常而言,一組ADC(例如每行像素一個)可以用於同時將一列中的像素所產生的電壓訊號轉換為數位影像資料。但是鄰近列的像素單元可能需要輪流訪問該組ADC。於一例子中,滾動電子快門可以被使用於CMOS影像感測器上,其中像素列依序地暴露於入射光以產生電荷,且一次可以選擇並讀取影像感測器中的一列像素,使得影像感測器的像素可以逐列地被選擇及讀取以產生影像訊框。於一實施方案中,影像感測器的每列像素可以個別被暴露於入射光一曝光期的時間。在曝光期期間,列中的像素可以各依據光二極體產生的電荷產生一電壓訊號,並將所述電壓訊號傳送至對應的行的ADC。所有行的ADC可以產生表示那行像素所接收的入射光強度的一組數位影像資料。在接下來的曝光期中,下一列的像素可以暴露於入射光以產生另一組數位影像資料,直到所有列的像素皆已暴露於入射光且已輸出一影像訊框的數位影像資料。於另一例子中,鄰近像素列的曝光時間可以有一些重疊,但每列的像素仍可能需要輪流將光電荷所產生的電壓訊號轉換成數位影像資料。影像訊框可以依據影像感測器中的各列像素的數位影像資料來產生。
圖5A繪示在第一時間瞬間使用滾動快門的影像感測器510中的不同列的像素的示例狀態。在第一時間瞬間,影像感測器510的列520上的像素可以被重置,單個或多個列530上的像素可以被暴露於光訊號以在每個像素上累積電荷,且來自列540上的像素的電壓訊號可以由一組ADC讀出且轉換成數位訊號。影像感測器510中的像素的重置可以在第一時間的瞬間停用,且不會消耗任何電能。包含被重置的像素列(例如列520)、被暴露於VLC光訊號的像素單列或多列(例如列530)以及被讀取的像素列(例如列540)的窗口可以一次向下移動一列以產生影像訊框。
圖5B繪示在第二時間瞬間使用滾動快門的影像感測器510中的不同列的像素的示例狀態。第二時間瞬間晚於第一時間瞬間。於圖5B中,相較於圖5A所示的第一時間瞬間的位置,被重置的像素列(例如列520)、被暴露於光訊號的像素單列或多列(例如列530)以及被讀取的像素列(例如列540)可以向下移動。
如上所述,具有高速(例如高訊框速率)、高靈敏度、高動態範圍、高解析度且低耗能的影像感測器係諸如虛擬實境或擴增實境裝置的應用所期望的。然而,由於不同列上的像素所共享的ADC的數量有限,且給每列像素的曝光期有限,因此上述使用滾動快門的影像感測器的速度及靈敏度可能有限。
於一些實施例中,可以使用具有給各個像素的數化器的數位像素影像感測器來達到高訊框速率。數位像素影像感測器中的每個數位像素可以包含光偵測器(例如光二極體)、轉移閘、類比儲存裝置(例如顯式或寄生電容)、數化器(例如ADC)以及數位記憶體。光二極體可以將光訊號轉換為電訊號(例如電荷或電流)及/或將電訊號積分。轉移閘可以用於將(積分的)電訊號從光二極體轉移至類比儲存裝置,且數化器可以將在類比儲存裝置的電訊號轉換為數位位元。數位記憶體可以在數位位元被從各個像素讀取出來之前,儲存數位位元。由於數位像素影像感測器中的每個像素具有自己的ADC,數位像素影像感測器的所有像素可以在影像訊框的相同曝光時間內暴露於光訊號,且來自數位像素影像感測器的所有像素的電壓訊號可以同時被轉換成數位影像資料。因此,全域快門可以用於控制影像感測器中的所有像素的曝光,且影像感測器的訊框速率相較於前述之滾動快門影像感測器可以顯著地提升。
圖6係依據某些實施例所繪示的示例的全域快門數位像素影像感測器600的簡化方塊圖。數位像素影像感測器600可以包含數位像素陣列610及其他支持電路,像是列驅動與全域訊號驅動電路620、全域計數器630、一或多個計數緩衝器640以及斜坡產生與緩衝電路650。數位像素影像感測器600可以包含感測放大器660、感測放大偏壓電路670以及線存儲器680,用於自每列數位像素讀取出數位資料以形成數位影像。數位像素影像感測器600亦可以包含其他電路,像是數位區塊690、功率調節電路695及/或行動產業處理器接口(mobile industry processor interface,MIPI)電路698。
數位像素陣列610可以包含像素的二維陣列。每個像素可以包含光偵測器(例如光二極體)及數化器。藉由光二極體聚集電荷而產生以回應入射光訊號的類比電壓訊號可以由數化器於各像素的內部進行轉換。藉此,每個像素可以輸出數位資料而非類比電壓訊號,其對應於入射光的強度及/或顏色。此外,數位像素陣列610的所有像素上的類比電壓訊號可以同時地被轉換,允許全域快門操作,而無需使用像素中額外的屏蔽類比儲存節點來儲存類比電壓訊號。列驅動與全域訊號驅動電路620可以控制像素的操作,包含電荷積分、比較器操作、數位寫入、數位輸出等。
全域計數器630可以用於提供全域計數值至數位像素陣列610的所有像素。一或多個計數緩衝器640可以傳送來自全域計數器630的全域計數值至每個像素。斜坡產生與緩衝電路650可以產生全域參考訊號給所有像素,像是斜坡訊號(向上或向下傾斜)或三角訊號。各像素中的數化器可以利用全域計數值及全域參考訊號來判斷對應於像素所產生的類比電壓訊號的數位資料。
於一些實施方案中,表示像素內數位位元的電壓可以不用軌對軌(rail-to-rail)地擺動,因此感測放大器可以用於重新產生數位值(像素內數位位元)。感測放大器660可以將由類比轉數位轉換所產生的像素中的數位值(表示像素內數位位元的電壓)讀取出來。感測放大器660可以一次將一列像素中的數位值(電壓)讀取出來。每個感測放大器660可以連接於像素數位輸出線以將一列中的每個像素中的數位資料讀取出來。感測放大偏壓電路670可以用於提供偏壓電壓及電流至感測放大器660。線存儲器680可以暫時持有從一列像素讀取出來的數位資料。
數位區塊690可以包含邏輯電路控制影像感測器的操作,包含影像感測器的擇時。功率調節電路695可以產生不同級(例如3.3伏特、1.8伏特及1.2伏特)的類比功率及電壓源給影像感測器,且管理影像感測器的電源,包含啟動或關閉各模塊的電源。MIPI電路698可以用於傳送MIPI輸出格式的數位資料至記憶體。
藉由提供每個像素中的數化器(例如ADC),像素陣列的多個像素可以被暴露於入射光且同時產生所述多個像素分別所接收到的入射光的強度的數位表示,以提供全域快門操作。對於高速運動擷取來說,全域快門係有利的,因為其可以避免運動失真的問題,其中運動失真問題關連於多列的像素在不同時間擷取移動中的物體的不同部分的影像所造成的滾動快門操作。進一步來說, 於多列的像素輪流被曝光以產生表示光強度的影像資料的方法,可以減少使用像素來產生影像訊框的整體時間。因此,本揭示之技術可以增加影像感測器的操作速度。此外,由於所有像素同時被曝光,比起使用滾動快門,本揭示之每個像素的平均曝光時間可以增加。藉此,影像感測器的靈敏度亦可有所提升。
圖7係依據某些實施例所繪示的示例的全域快門數位像素影像感測器的示例數位像素700的簡化方塊圖。數位像素700可以係數位像素影像感測器中的部分數位像素陣列,像係數位像素影像感測器600中的數位像素陣列610。數位像素700可以產生數位影像資料,對應於影像訊框中的一像素的強度。如圖7所示,數位像素700可以包含光二極體702、積分電容703、轉移閘704、重置開關718、量測電容706、光學緩衝器710以及像素數化器750。於一些實施例中,數位像素700可以包含受全域快門訊號所控的快門開關726。
於一些實施例中,光二極體702可以包含PN二極體或PIN二極體。快門開關726、轉移閘704及重置開關718中的每一個可以包含有電晶體。舉例來說,所述電晶體可以包含金氧半場效電晶體(metal-oxide-semiconductor field-effect transistor,MOSFET)、雙極性電晶體(bipolar junction transistor,BJT)等。快門開關726可以作為電子快門以控制數位像素700的曝光期。在曝光期之前,快門開關726可以被致能(被導通)以重置積分電容703。在曝光期期間,可以用曝光致能訊號724使快門開關726失去能力(被關斷),其可以使得光二極體702所產生的電荷移動至積分電容703及/或量測電容706。重置開關718可以因重置訊號720而失去能力(被關斷),其可以使得量測電容706儲存光二極體702所產生的電荷並形成關係於所儲存電荷量的電壓訊號。量測電容706的電壓訊號可以接著被轉換成數位資料。在電壓訊號於量測電容的轉換完成時,重置開關718可以被致能以清空儲存於量測電容706的電荷至電荷槽722,以使量測電容706可用於下次的量測。
積分電容703可以係光二極體702的寄生電容及連接於光二極體702的其他電路,且可以儲存光二極體702所產生的電荷。舉例來說,積分電容703可以包含位於P-N二極體接合界面的接合電容,或連接於光二極體702的其他寄生電容。由於積分電容703鄰近於光二極體702,光二極體702所產生的電荷可以累積在積分電容703。量測電容706可以係位於浮動擴散節點的寄生電容(例如轉移閘704的浮動端)、金屬電容、MOS電容,或其任何組合。量測電容706可以用於儲存電荷量,其可以由像素數化器750來量測以提供表示入射光強度的數位輸出。儲存於量測電容706的電荷可以係從積分電容703透過轉移閘704傳送而來的電荷。轉移閘704可以受量測控制訊號708控制以控制電荷從積分電容703傳送至量測電容706。累積於積分電容703及/或量測電容706的電荷總量可以反應光二極體702在曝光期期間所產生的總電荷,其反應在曝光期期間入射於光二極體702上的光的強度。
儲存於量測電容706的電荷可以由選擇感測放大器或光學緩衝器710來感測,以在類比輸出節點712產生類比電壓訊號的拷貝(但具有較大的驅動強度)。在類比輸出節點712產生的類比電壓訊號可以被像素數化器750轉換成一組數位資料(例如包含邏輯1及0)。在曝光期之後,可以對形成於量測電容706的類比電壓訊號可以進行取樣,並可以產生數位輸出。
像素數化器750可以包含比較器754以及數位輸出產生器760,數位輸出產生器760可以包含像素記憶體764。像素數化器750可以使用時脈計數器762所產生的計數值,其中時脈計數器762可以係數位像素影像感測器中用於所有像素的全域時脈計數器。時脈計數器762可以基於時脈訊號780產生一組計數值。於一些實施方案中,時脈計數器762亦可以用於藉由參考訊號產生器770產生全域參考訊號,其中參考訊號產生器770可以包含能夠產生任意參考訊號的數位類比轉換器(digital-to-analog converter,DAC),或是包含使用計數值的斜坡或三角波形產生器。舉例來說,在數位化開始之後,DAC772可以被編程以產生對應於來自時脈計數器762的計數輸出766的斜坡參考訊號752,其可以依據實施狀態而向上傾斜或向下傾斜。比較器754可以將來自緩衝器710的類比電壓訊號與來自於參考訊號產生器770的參考訊號752進行比較。當來自緩衝器710的類比電壓訊號與參考訊號752彼此交叉時,比較器754的輸出可以改變狀態。數位輸出產生器760可以使用比較器754的輸出以將計數輸出766的當前值從時脈計數器762鎖存至像素記憶體764。當前的計數輸出766可以對應於用於數位化類比電壓訊號的量化階的總數量,其量化誤差小於表示量化階(quantization step)的電壓位準(亦稱為最低有效位元(least significant bit,LSB))。因此,計數輸出766係在儲存於量測電容706的電荷量的數位表示以及入射光強度的數位表示。像素記憶體764中的數位資料可以透過一組像素輸出匯流排790讀取至例如線存儲器680或外部記憶體,以儲存數位影像訊框。
數位像素700亦可以包含或連接於其他控制電路系統(未繪示於圖7)以控制曝光致能訊號724、量測控制訊號708及重置訊號720的時序及強度,以控制積分電容703及量測電容706中的電荷累積操作,用於光強度的測定。應理解的是,這些控制電路系統可以係外接於數位像素700且可以例如是圖6的列驅動與全域訊號驅動電路620及/或數位區塊690的一部分。
圖8依據某些實施例繪示示例的全域快門數位像素影像感測器的示例數位像素(例如數位像素700)的示例操作。於圖8所示的例子中,量化過程可以利用一致的量化階來執行,其中參考訊號(例如圖7的參考訊號752)對於時脈訊號(例如時脈訊號780)的每個時脈週期會上升(或下降)相同的量。參考訊號上升(或下降)的量可以對應於量化階(即LSB)。如上所述,參考訊號752連接至比較器的一個輸入端,而欲量化的類比電壓訊號會連接至比較器的另個輸入端。當時脈週期的數量增加時,參考訊號可以增加並達到類比電壓訊號的一量化階內,此時比較器的輸出可以改變狀態,例如從低位準翻轉到高位準。比較器輸出的翻轉可以將當前計數值鎖存至像素記憶體作為數位資料,其表示在像素的類比電壓訊號。
圖8顯示在兩個像素的類比電壓訊號,即在像素1的類比電壓訊號810與在像素2的類比電壓訊號820。圖8亦顯示時脈訊號860及時脈計數器的時脈計數值870,所述時脈計數器計算時脈訊號860的週期數量。在時間點t0時(當數位化開始時),時脈計數器可以開始計算時脈訊號860的週期數量。舉例來說,時脈計數值870可以在時脈訊號860的每個週期後增加1。如上所述,時脈計數器可以係多個像素所共享的全域時脈計數器,藉此可以縮小每個像素的尺寸。當時脈計數值增加時,參考訊號830的電壓位準可以增加。舉例來說,參考訊號830可以由DAC基於時脈計數值870來產生。由於參考訊號830低於在像素1的類比電壓訊號810以及在像素2的類比電壓訊號820,像素1中的比較器的輸出840以及像素2中的比較器的輸出850可以處於一低(或高)位準。
在時間點t1時,參考訊號830可以達到在像素1的類比電壓訊號810(例如於其一個LSB內),且像素1中的比較器的輸出840可以從低位準翻轉到高位準。像素1中的比較器的輸出840的翻轉可以在時間點t1時形成具有數位值D1的時脈計數值870以儲存至像素1的像素記憶體。時脈計數器可以繼續計算時脈訊號860的週期數量,且參考訊號830的電壓位準可以繼續增加。於時間點t2時,參考訊號830可以達到在像素2的類比電壓訊號820(例如於其一個LSB內),藉此像素2中的比較器的輸出850可以從低位準翻轉到高位準。像素2中的比較器的輸出850的翻轉可以在時間點t2時形成具有數位值D2的時脈計數值870以儲存至像素2的像素記憶體。
以此方式,在不同像素像素的類比電壓訊號可以藉由每個像素中的比較器使用全域時脈計數值以及全域參考訊號830(例如斜坡訊號)同時轉換成數位值,其表示位於不同像素的光強度,而不是藉由每個像素或每行像素中的複雜ADC。因此,可以顯著地下降數位像素的尺寸以及數位像素的耗能,其使得影像感測器可以具有更高的解析度、更高的密度、更小的尺寸以及低功耗。
各種雜訊或誤差可能影響影像感測器之可測量的光強度下限(通常被稱為最小可解析訊號位準)。舉例來說,在浮動節點所收集的電荷可能包含與光強度無關的雜訊電荷。雜訊電荷的其中一來源係暗電流,其可以係由於例如晶體缺陷(crystallographic defects)而於連接一電容的光二極體的PN接面及其他半導體裝置(例如電晶體)的PN界面產生的漏電流。所述暗電流可能流進所述電容而造成與入射光強度無關的電壓變化。在光二極體產生的暗電流通常小於在其他半導體裝置產生的暗電流。有些雜訊電荷可能係由與其他電路系統的電容耦合所造成。舉例來說,當數化器執行讀取操作以判定儲存於浮動節點中的電荷量時,數化器可能透過電容耦合而將雜訊電荷引入浮動節點中。
除了雜訊電荷,數化器亦可能在判定電荷量時引起量測誤差。所述量測誤差可能會降低數位數出與入射光強度之間的相關程度。量測誤差的其中一來源係量化誤差。在量化過程中,可以使用一組離散的位準來表示一組連續的電壓訊號,其中每個位準各表示一個電壓訊號位準的預定範圍。因此,當由量化位準所表示的電壓位準與近似於量化位準的輸入類比電壓之間有所差異時,就可能會產生量化誤差。圖7所示的數化器的量化誤差可以藉由使用較小的量化階大小(例如在每階或每個時脈週期中的參考訊號830的增加或減少)及/或快速的時脈訊號來降低。量測誤差的其他來源包含例如隨機雜訊(例如電容上的熱kT/C雜訊)、裝置雜訊(例如ADC電路系統的裝置雜訊)以及比較器偏移,其在儲存於電容中的電荷量的量測上添加了不確定性。
所述雜訊電荷及數化器量測誤差可以決定影像感測器之可測量的光強度下限(靈敏度)。影像感測器之可測量的光強度上限則可以由會造成光二極體於單位時間內所產生的電荷(即光電流)達到飽和的光強度所決定。上限及下限之間的比例通常可以稱為動態範圍,其可以決定影像感測器的操作光強度的範圍。
於一些情況中,比較器中非預期的偏移以及數位像素的其他元件或參數的變化可能會造成定型雜訊(fixed pattern noise,FPN)。於一些實施例中,數位像素影像感測器中的數位像素可以包含相關性雙重取樣(correlated double sampling,CDS)電路以減少偏移誤差,從而減少FPN。CDS電路可以量測在類比儲存裝置(例如量測電容806)的重置位準以及於曝光之後在類比儲存裝置的類比電壓訊號的訊號位準,並利用所測得的訊號位準及重置位準之間的差值來決定像素的實際訊號值。由於所測得的訊號位準包含重置位準分量(其係由影像感測器的像素之中的其他參數或裝置的不同差異或變化所造成),所測得的訊號位準與重置位準之間的差值可以更準確地表示因像素的光照射而產生的電荷所引起的實際電壓變化。
圖9係依據某些實施例所繪示的包含類比相關性雙重取樣(correlated double sampling,CDS)電路的示例數位像素900的簡化方塊圖。數位像素900可以包含固定式光二極體910、受控於控制訊號TX的轉移閘920、浮動擴散節點930、受控於控制訊號RST的重置閘940、受控於控制訊號SEL的選擇閘950、包含電晶體942及952的像素內源極隨耦緩衝級,以及選擇閘950,以確保高像素轉換增益。數位像素900可以包含比較器970及像素記憶體980。這些電路的操作可以相同於上述之主動像素400或數位像素700的操作。
如圖9所示,數位像素900可以更包含類比CDS電路960。於一些實施方案中,類比CDS電路960可以包含二個CDS電容、二個閘以及差動放大器。在量測電容(即FD節點930)經重置後的類比電壓位準(即重置位準)可以透過一閘來儲存於一CDS電容,且在量測電容經電荷轉移之後的類比電壓位準(即訊號位準)可以透過另一個閘儲存於另一個CDS電容。所述二類比電壓位準之間的差異可以使用差動放大器來產生,且可以接著由比較器970數位化。類比CDS的一些其他實施方案亦可利用。舉例來說,於一些實施方案中,類比CDS電路960的一些電路簡化可以應用於減少電晶體的總數量。然而,為了使電容的熱雜訊(kT/C雜訊)符合影像感測器的需求,類比CDS可能要使用相對大的區域給一或多個像素內建CDS電容。此外,使用源極隨耦緩衝級來驅動所述一或多個類比CDS電容以及CDS電容的區域可能會限制縮小數位像素的能力且亦可能增加數位像素的功耗。
圖10係依據某些實施例所繪示的包含數位CDS電路的示例數位像素1000的簡化方塊圖。數位像素1000可以包含如上所述的3T或4T光感測器、比較器1050以及像素記憶區塊。光感測器可以包含固定式光二極體1010、轉移閘1020、重置閘1040以及浮動擴散電容1030。
在數位像素1000曝光期間或之前,浮動擴散電容1030可以藉由利用重置訊號RST來導通重置閘1040以重置至重置位準(例如0伏特或其他直流位準)。在浮動擴散電容1030的電壓位準可以被數位化並儲存至像素記憶體的m位元記憶體塊1060。由於重置位準通常是低的,上述使用數化器執行的數位化的時間可以短,且重置位準可以數位化成可由少數量的位元來表示的小數值。
在數位像素1000曝光之後,固定式光二極體1010所產生以及累積於光二極體1010的電荷可以藉由利用轉移控制訊號TX導通轉移閘1020以轉移至浮動擴散電容1030。在浮動擴散電容1030的電壓位準可以被數位化並儲存至像素記憶體的n位元記憶體塊1070,其中n可以大於m。由於在浮動擴散電容1030經電荷轉移後的電壓位準可以高於重置位準,上述使用數化器執行的數位化的時間可能較長,且電壓位準可以數位化成可由較大數量的位元來表示的較大數值。
表示重置位準的m位元資料以及表示訊號位準的n位元資料可以被讀取出來,且n位元資料與m位元資料之間的差異可以表示偵測到的由光電流或電荷所產生的電壓訊號,藉此表示在像素所偵測到的光強度。以此方法,可以減少數位影像資料中因像素的裝置或參數的不匹配或變化所引起的誤差或雜訊(例如偏差誤差、比較器閾值不匹配、電容不匹配等)。於一些實施方案中,在讀取出像素的輸出之前,可以在像素位準執行n位元資料與m位元資料的減法,因此像素讀取到的數位位元的總數量可以很小。
由於在數位CDS中不會使用額外的CDS電容或差動放大器,包含數位CDS電路的數位像素可以比利用類比CDS電路的數位像素使用明顯較少的矽面積及功率。
圖11依據某些實施例繪示包含數位CDS電路的示例數位像素1100。數位像素1100可以係數位像素1000的一示例的實施方案。數位像素1100可以包含光感測器1105,其包含固定式光二極體1110、轉移閘1120、重置閘1140及浮動擴散電容1130。數位像素1100亦可以包含比較器1150,像是比較器754,以執行類比電壓位準數位化。
數位像素1100可以更包含寫入邏輯閘,其可以包含及閘(或反及閘)1160。及閘(或反及閘)1160的輸入端可以連接於比較器1150的輸出端以及重置致能訊號ENABLE_RST(例如用於導通重置閘1140的重置訊號或與重置訊號同步的訊號)。及閘(或反及閘)1160的輸出端可以連接至m位元格1180(例如D型正反器)的寫入致能輸入端WR。當重置位準數位化時,重置致能訊號ENABLE_RST可以被設立(asserted)(例如設定至高位準)。當比較器1150的輸出改變狀態時,像是在參考訊號(例如斜坡訊號)達到重置位準時從「0」變「1」的時候,及閘(或反及閘)1160會從「0」翻轉成「1」,其可以使得例如來自全域時脈計數器的當前計數值被鎖定至m位元格1180,其在之後可以被讀取出來。
數位像素1100的寫入邏輯閘可以更包含及閘(或反及閘)1170。及閘(或反及閘)1170的輸入端可以連接於比較器1150的輸出端以及重置致能訊號ENABLE_RST(例如用於選擇像素的選擇訊號)。及閘(或反及閘)1170的輸出端可以連接至n位元格1190(例如D型正反器)的寫入致能輸入端WR。當像素訊號位準數位化時,讀取致能訊號ENABLE_SIG可以被設立(asserted)(例如設定至高位準)。當參考訊號(例如斜坡訊號RAMP)達到像素訊號位準時,比較器1150的輸出可能會翻轉,像是從「0」變「1」,因此及閘(或反及閘)1170的輸出可能會從「0」翻轉成「1」,其可以使得來自全域時脈計數器的當前計數值被鎖定至n位元格1190,其在之後可以被讀取出來。
藉此方式,可以減少數位影像資料中因像素的裝置及參數中的不匹配以及變化所引起的誤差或雜訊(例如偏差誤差、比較器閾值不匹配、電容不匹配等)。相較於可能不包含數位CDS電路的數位像素,數位像素1100可以使用m個額外的位元格,例如D型正反器,其為數位電路且可以使用較小的面積。如上所數,藉由使用數位像素,影像感測器可以操作全域快門以提高訊框速率以及靈敏度(例如由於每個像素的曝光時間較長)。在影像訊框的時間週期期間,數位像素的重置位準可以在不同時間被數位化。
圖12A依據某些實施例繪示全域快門數位像素感測器的操作期間的示例時序週期,所述全域快門數位像素感測器的每個像素具有數位CDS電路。數位像素感測器中的所有像素可以同時以相同的方式操作。對於數位像素而言,用於輸出一訊框影像的一組輸出資料的時間週期1200可以包含快門時期1210、積分時期1212、重置時期1214、重置位準轉換時期1216、電荷轉移時期1218、訊號位準轉換時期1220以及資料輸出時期1222。
對於數位像素而言,用於產生一影像訊框的一組輸出資料的時間週期可以起始於快門時期1210,於其期間可以重置光二極體的電壓位準且可以設定用於像素積分的時間週期。在快門時期1210結束時,每個數位像素可以開始在積分時期1212中執行訊號積分(例如電荷累積),在積分時期1212期間,數位像素的光二極體的寄生電容(例如積分電容703,其可以包含光二極體702的寄生電容及其他連接於光二極體702的電路)可以收集電荷(例如光電子),其係由光二極體產生以回應在數位像素的入射光。在積分時期1212結束前的一短暫的時段(例如小於100微秒),每個像素的量測電容(例如量測電容706或浮動擴散電容1130)可以在重置時期(RST)1214中被重置,接著在重置位準轉換時期1216期間,對重置電壓位準(V_RST)執行類比至數位的轉換(AtoD)。數位化的像素重置位準可以儲存於像素記憶體中,像是m位元格1180中。在轉換像素重置位準之後,在電荷轉移時期(TG)1218期間,在每個像素的光二極體的積分電容中所累積的電荷可以被轉移至量測電容(例如重新分配於光二極體的積分電容以及量測電容之間),接著在訊號位準轉換時期1220期間,對像素訊號位準(V_SIG)(即在電荷轉移之後量測電容上的電壓位準)執行類比至數位的轉換(AtoD)。每個像素的數位化像素訊號位準可以儲存於像素記憶體中,像是n位元格1190中。在將數位化像素重置位準及訊號位準儲存於像素記憶體中後,可以開始資料輸出時期1222,且每個像素的像素重置位準及訊號位準的數位值可以自像素陣列被一列列地讀取出來。這些數位值比起類比電壓可以更加快速地被讀取出來。
由於在先前所累積的電荷被轉移至量測電容之後,數位像素可以開始累積下個影像訊框的電荷,數位影像感測器的訊框影像週期T_Frame可以等於快門時期1210(T_Shutter)、積分時期1212(T_Int)、重置時期1214(RST)與重置位準轉換時期1216(合稱為T_Rst)以及電荷轉移時期1218(TG)的總和。如上所數,重置位準通常係低位準,因此用於將重置位準數位化的時間可以較短。相較於積分時期,電荷轉移時期1218、訊號位準轉換時期1220以及資料輸出時期1222也可以較短。因此,在訊框時間週期內的訊框積分經常性開支(非積分時間)可以較小。於一例子中,訊框時間週期可以約為33毫秒(即訊框速率為每秒30幀),且訊框積分經常性開支(可以包含重置時期1214、重置位準轉換時期1216、電荷轉移時期1218,且於一些實施方案中,可以更包含訊號位準轉換時期1220以及資料輸出時期1222)可以約為100微秒。因此,在訊框時間週期中大部分(例如約95%、99%或更多)的時間期間,數位像素可以於低功耗模式(例如積分模式)運作。由於在快門時期1210及積分時期1212期間,數位像素可以在低功率模式下消耗極低的功率,快門時期1210及積分時期1212期間又佔據了大部分的訊框時間週期,因此數位像素的整體功耗可以非常地低。
圖12B係依據某些實施例所繪示的在全域快門數位像素影像感測器中具有數位CDS電路的數位像素的操作的時序圖。於圖12B中,重置訊號1250的第一重置脈衝1252以及轉移控制訊號1260的第一轉移控制脈衝1262可以同時產生(例如在快門時期像是快門時期1210結束時),因此可以將積分電容及量測電容重置或放電。在第一重置脈衝1252及第一轉移控制脈衝1262之後,可以開始像素的積分。在積分時期結束時,第二重置脈衝1254可以將量測電容(例如浮動擴散電容)重置至重置位準,像是0伏特或其他直流位準。量測電容的重置位準可以利用比較器、時脈計數器及斜坡訊號1270來數位化。如上所述,在重置位準位的數位化期間,斜坡訊號1270可以逐漸地增加或減少,如斜坡1272所示。時脈計數器可以計算時脈週期的數量。當斜坡訊號1270到達重置位準時的時脈計數值1280可以在像素記憶體(例如m位元重置位準記憶體)中儲存為重置計數值1282。接著,第二轉移控制脈衝1264可以被設立(asserted)以將電荷從光二極體的積分電容轉移至量測電容。量測電容上的電壓位準(稱作訊號位準)可以如上所述地利用比較器、斜坡訊號1270以及時脈計數器來數位化。在訊號位準數位化的期間,斜坡訊號1270可以逐漸地增加或減少,如斜坡1274所示。當斜坡訊號1270到達重置位準時的時脈計數值1280可以在像素記憶體(例如n位元訊號位準記憶體)中儲存為訊號計數值1284。重置計數值1282與訊號計數值1284可以被從數位像素記憶體讀取出來,並在MIPI介面1290上作為MIPI格式的輸出資料1292發送出去。由於量測電容的重置數值通常較小,因此代表重置位準的重置計數值可以佔用比代表訊號位準的訊號計數值還少的位元。
圖12A及12B顯示重置位準係在積分時期結束時所量測。於一些實施方案中,可以在其他時間量測重置位準。舉例來說,由於量測電容與積分電容可以藉由轉移閘來隔離,因此可以在快門時期期間、積分時期的開始或積分時期的中間時段來量測並數位化重置位準。圖12A及12B所示的例子相較於其他種的數位像素的操作及時序組成,在降低數位像素的雜訊(像是暗電流所致的雜訊及1/f雜訊)方面可以具有較好的表現。
舉例來說,如圖12A及12B所示,由於量測電容就在電荷轉移及訊號位準數位化之前重置,暗電流在訊號位準數位化前於量測電容上聚集電荷的時間會滿短的,因此暗電流所造成的雜訊或誤差會較小。相較之下,若量測電容係在積分時期的一開始或是在快門時期期間重置的話,暗電流於量測電容上聚集電荷的時間會持續整個或大部分的積分時期,因此暗電流所造成的雜訊或誤差便會較大。
此外,由於量測電容就在電荷轉移及訊號位準數位化之前重置,CDS電路會因為量測電容的重置與電荷轉移之間的時間短而可以在高頻中執行有效的切換。因此,數位像素的1/f雜訊(即閃變雜訊或粉紅雜訊)能夠因較高的操作頻率而降低。相反地,若量測電容例如係在積分時期一開始時重置,則由於量測電容的重置與電荷轉移之間的時間較長,CDS電路在低頻中才能夠有效地切換。因此,在這樣的資料轉換過程中,1/f雜訊所造成的雜訊或誤差較大。
如上所述,由於每個數位像素皆包含數化器,當所有像素並行地運作時,數位像素影像感測器的整體功耗會很高。舉例來說,若每個數化器會消耗1微瓦,則具有一百萬個數位像素的影像感測器便會消耗至少1瓦,這可能不適合於行動裝置或像是HMD的穿戴式裝置。因此,會有降低數位像素中的數化器、緩衝器及其他電路的功耗的需求。於上述之一些例子例如關於圖7的例子中,數化器可以利用比較器來比較訊號位準與一參考位準,並將時脈計數值鎖存至像素記憶體。由於鎖存及像素記憶體可以消耗較少的功率,降低比較器的功耗可以更有效地降低數化器及數位像素的功耗。
圖13繪示了包含直流偏壓電路的示例比較器1300。比較器1300可以包含差動放大器,差動放大器可以包含P通道電晶體1310及1320、N通道電晶體1330、1340及1350。來自量測電容的類比電壓訊號VFD可以連接至電晶體1330與電晶體1340中的一者的閘極,同時來自參考訊號產生器(例如參考訊號產生器770)的斜坡訊號VRAMP可以連接至電晶體1330與電晶體1340中的另一者的閘極。斜坡訊號VRAMP與來自量測電容的類比電壓訊號VFD之間的差可以使得通過電晶體1310、1320、1330及1340的電流有所不同。因此,在節點1325的電壓位準會取決於斜坡訊號VRAMP與來自量測電容的類比電壓訊號VFD之間的差。連接於節點1325的反向器1360可以將在節點1325的電壓位準轉換為「高」或「低」訊號。
於比較器1300中,電晶體1350可以施加偏壓於差動放大器的電晶體以至電晶體適於DC操作的位準。在比較器的操作期間,通過電晶體1330的電流的下降可以對應於通過電晶體1340的電流的增加,且通過電晶體1350的DC偏壓電流可以維持定值。因此,比較器1300的差動放大器可以消耗DC功率以施加偏壓於電晶體。如上所述,若用於施加偏壓的DC功率為每像素1微瓦,則具有一百萬個數位像素的影像感測器將消耗至少1瓦。
圖14依據某些實施例繪示包含預充電電路的示例比較器1400。於比較器1400中,來自量測電容的類比電壓訊號VFD可以連接至電晶體1410的閘極,同時參考訊號VRAMP可以連接至電晶體1410的源極或(汲極)。於一些實施方案中,電晶體1410可以係p通道金屬-氧化物-半導體(PMOS)電晶體,且不用使用直流偏壓電路來對電晶體1410施加偏壓。反而,會使用包含預充電電晶體1420的預充電電路以在類比電壓訊號VFD的數位化開始之前對比較器的輸出節點COMP進行預先充電。在數位化期間,可以將預充電電晶體1420關斷而不會有電流流經預充電電晶體1420。藉此,可以降低或最小化DC偏壓電流以及靜態功耗。
比較器1400也可以包含一或多個反向器。舉例來說,如圖14所示,第一反向器可以包含電晶體1430及1440以產生寫入訊號Write,且第二反向器可以包含電晶體1450及1460以產生寫入b訊號Writeb。寫入訊號Write以及寫入b訊號Writeb可以用於將時脈計數值鎖存至像素記憶體中。於一些實施方案中,電晶體1410及1420可以具有厚閘極氧化物且操作於3.3伏特,而上述二反向器中的一或二者可以包含具有薄閘極氧化物且操作於較低電壓(例如1.8伏特或1.2伏特)的電晶體,使得寫入訊號Write及/或寫入b訊號Writeb的切換邊界可以是鋒利的,且寫入訊號Write及/或寫入b訊號Writeb的位準可以更符合包含邏輯閘組合(例如及閘1160與1170)以及記憶體裝置的數位電路的操作電壓。使用薄氧化物電晶體的動機之一在於,相較於厚氧化物電晶體,薄氧化物電晶體在像素中所佔用的面積可以較小,且亦具有較低的功耗。
圖15係依據某些實施例所繪示的圖14的示例比較器(例如圖14中所示的比較器1400)的操作的時序圖1500。圖15呈現用於控制預充電電晶體1420的預充電訊號1510、用於連接至p通道電晶體1410的源極的斜坡訊號1520、可以驅動電晶體1410的閘極的電壓訊號1530、電晶體1410的汲極的電壓訊號(即節點COMP的電壓訊號)1540、在比較器1400的第一反向器的輸出端的寫入訊號1550以及在比較器1400的第二反向器的輸出端的寫入b訊號1560。如圖15所示,在數位化操作開始前,會施加高位準的脈衝至預充電電晶體1420的閘極以導通預充電電晶體1420,藉此可以將節點COMP預先充電至一低位準(例如Vss)。在預充電操作之後,可以將預充電訊號1510設定為低位準以使預充電電晶體1420關斷,且可以開始類比至數位之轉換。在類比至數位之轉換期間,斜坡訊號1520可以逐漸增加。當斜坡訊號1520小於電壓訊號1530與電晶體1410的閾值電壓Vtp的總和時,電晶體1410可能會關斷且節點COMP的電壓訊號1540可能會處於低位準。因此,在第一反向器的輸出端的寫入訊號1550可能會處於高位準,且在第二反向器的輸出端的寫入b訊號1560可能會處於低位準。在時間t1時,斜坡訊號1520變得大於電壓訊號1530與電晶體1410的閾值電壓Vtp的總和,此時電晶體1410可能會導通以對節點COMP充電,因此節點COMP的電壓訊號1540可能會增加至高位準而可以引發第一反向器翻轉。如此一來,在一閘極延遲(gate delay)後,在第一反向器的輸出端的寫入訊號1550可能會變成低位準,且在第二反向器的輸出端的寫入b訊號1560可能會變成高位準。
如圖15所示,在量測電容的類比電壓訊號的數位化之前,預充電電晶體僅會導通一小段時間(例如約1微秒)。在訊框時間週期的其餘時間內,比較器所消耗的靜態功率可以極少甚至是沒有。因此,比較器所產生的靜態(DC)功耗可以被降低或最小化。如此一來,數位像素影像感測器的整體功耗可以被降低或最小化。
因此,於此所揭示的技術可以藉由使用全域快門及每個像素的數化器,以及讀取數位值而非每個像素的類比訊號,以提升訊框速率。於此所揭示的技術亦可以使用CDS電路來減少隨機及固定的雜訊(例如偏移誤差、暗電流以及1/f雜訊),藉此提升影像感測器的靈敏度、訊雜比(SNR)、動態範圍等。於此所揭示的技術亦可以藉由使用比較器(而非複雜ADC)以及數位CDS以降低每個數位像素的尺寸,藉此可以增加數位像素影像感測器的密度以及解析度。於此所揭示的技術亦可以藉由減少數位像素操作於高功率模式的時間週期,並藉由降低數位像素的數化器中的比較器所產生的靜態(DC)功耗以降低數位像素的功耗。
圖16係依據某些實施例所繪示的示例的數位成像方法的流程圖。舉例來說,此方法可以由數位像素影像感測器600及/或數位像素700、900、1000或1100來執行。此方法可以用於以高訊框速率來擷取數位影像訊框,且具有高靈敏度、低雜訊程度以及低功耗。數位像素影像感測器中的所有數位像素可以並行地執行所述方法。
於方塊1610中,影像感測器中的像素的光二極體可以在曝光期期間接收光訊號。於一些實施方案中,在接收到光訊號時或之前,可以藉由例如電子快門訊號來重置像素的光二極體,電子快門訊號會控制影像感測器中的所有像素的重置。因此,影像感測器中的所有像素的光二極體可以同時由同樣的電子快門訊號(即全域電子快門)來重置。光二極體可以被重置至一直流電壓位準(例如0伏特),以將光二極體所連帶的寄生電容上的所有電荷排出。於一些實施方案中,也可以重置像是外在或寄生電容(例如浮動擴散節點)的電荷儲存裝置(即量測電容)。於一些實施方案中,可以透過重置開關(例如重置開關718或重置閘1040)以及轉移閘(例如轉移閘704或1020),以重置訊號(例如圖10中的重置訊號720或RST訊號)以及轉移閘控制訊號(例如圖10中的量測控制訊號708或TX訊號)來重置像素的光二極體。
於方塊1620中,像素可以將光訊號於電荷儲存裝置(例如FD節點)上轉換為電壓位準。在曝光期期間,光二極體可以例如藉由關斷轉移閘以從電荷儲存裝置斷開連接。光二極體可以產生電荷(例如光電子或電洞)或光電流以回應光訊號的接收。舉例來說,對於較亮的光訊號來說,光二極體可以產生較大的光電流,從而產生較多的電荷。光二極體在曝光期期間所產生的電荷可以在積分電容上聚集,或由積分電容來集成(積分)。於一些實施方案中,積分電容可以係光二極體所連帶的寄生電容及/或連接至光二極體的電路光二極體。在曝光期之後,電荷儲存裝置可以例如藉由導通轉移閘以連接至光二極體,從而將至少一部分或全部的累積電荷從積分電容轉移至電荷儲存裝置。於一些實施方案中,可以在曝光期結束之前將電荷儲存裝置重置,像是在曝光期結束前100微秒時。被轉移的電荷可以使電荷儲存裝置(例如量測電容706或FD電容1030)上的電壓訊號(或電壓位準電荷)有所成長。電壓訊號位準可與儲存在電荷儲存裝置上的電荷量有關,因此也可與光訊號的亮度或強度有關。電壓訊號位準亦可取決於電荷儲存裝置的電容值。在電荷轉移之後,電荷儲存裝置可以例如藉由關斷轉移閘以從光二極體斷開連接。
於方塊1630中,像素(詳細來說為像素的數化器中的比較器)可以從時脈計數器接收一計數值,時脈計數器會計算時脈訊號的時脈週期的數量。時脈計數器可以係全域時脈計數器,其提供多個計數值給影像感測器的多個或全部的像素。時脈計數器可以在數位化時期開始時開始進行時脈週期的計數,且可以在數位化時期開始前或是在數位化時期結束後重置至一預設值(例如0或大於0的數值)。
於方塊1640中,像素的比較器可以將電荷儲存裝置上的電壓位準與斜坡訊號進行比對。隨著時脈週期的數量增加,斜坡訊號的電壓位準可以線性地上升(即向上傾斜)或下降(即向下傾斜)。於一些實施例中,斜坡訊號可以係由全域參考訊號產生器所產生。舉例來說,於一些實施方案中,DAC可以使用時脈計數器的計數值(所計算的時脈週期數量)作為輸入以產生斜坡訊號,且影像感測器的多個或全部像素的比較器可以使用此斜坡訊號作為參考訊號。在電荷儲存裝置上的電壓位準被傳送至比較器之前,可以例如使用選擇訊號來感測此電壓位準,並例如藉由前述之源極隨耦放大器或緩衝器來將此電壓位準放大。當斜坡訊號低於(或對於下坡訊號來說係高於)從電荷儲存裝置所感測到(及放大)的電壓位準時,比較器的輸出會處於低位準(或在一些實施方案中係高位準)。隨著時脈週期的數量增加,斜坡訊號可以逐漸地上升(或對於向下坡訊號來說係下降)。
於方塊1650中,當斜坡訊號達到等於或大於(或對於向下坡訊號來說係低於)從電荷儲存裝置所感測到的電壓位準(例如相差一個電晶體的閾值電壓)時,比較器的輸出可能會改變狀態,像是從低位準翻轉或切換至高位準。
於方塊1660中,在比較器的輸出狀態改變(例如翻轉或切換)的時間點時的時脈計數器的計數值可以被儲存為第一數位值,例如存於像素記憶體中的n位元區塊之中。第一數位值可以對應於在像素的光訊號的強度。影像感測器的每個像素的第一數位值可以逐行地讀取出來以形成數位影像訊框。
於一些實施方案中,在電荷儲存裝置於曝光期結束前的時間點重置之後,可以利用比較器、時脈計數器以及參考訊號產生器所產生的第二斜坡訊號,以類似於將與光訊號關連的電壓位準數位化的方式,來將電荷儲存裝置的電壓位準數位化至第二數位值。第一數位值與第二數位值之間的差值可以更準確地表示在像素處的光訊號的強度。
本發明的多個實施例可以包含人造實境系統或與其一起實施。係一種在呈現給使用者之前已經以某種方式進行調整的實境的形式,可以包含例如虛擬實境(VR)、擴增實境(AR)、混合實境(MR或hybrid reality)或它們的一些組合及/或衍生物。人造實境內容可以包含完全被生成的內容或是被生成的內容結合於所擷取的內容(例如從真實世界擷取)。人造實境內容可以包含錄像、音頻、觸覺反饋或它們的一些組合,且其中任一者可以在單通道或多通道中呈現(例如產生三維效果的立體錄像給觀眾)。此外,於一些實施例中,人造實境可以連結於應用程式、產品、配件、服務或它們的一些組合,其例如用於在人造實境中創建內容且/或於人造實境中以其他方式使用(例如執行其中的活動)。提供人造實境內容的人造實境系統可以實行於各種平台上,包含連接至主機系統的頭戴式顯示器(HMD)、獨立式HMD、行動裝置或計算系統,或是其他任何能夠提供人造實境內容給一或多個觀看者的硬體平台。
圖17係依據某些實施例所繪示的包含近眼顯示器1720的示例人造實境系統環境1700的簡化方塊圖。圖17中所示的人造實境系統環境1700可以包含近眼顯示器1720、外部成像裝置1750以及輸入輸出介面1740,其中上述元件各耦接至控制台1710。儘管圖17所顯示的示例人造實境系統環境1700包含一個近眼顯示器1720、一個外部成像裝置1750及一個輸入輸出介面1740,人造實境系統環境1700可以包含任何數量的上述元件,或者可以省略任何的上述元件。舉例來說,與控制台1710通訊的一或多個外部成像裝置1750可以監控多個近眼顯示器1720。於替代的配置方案中,人造實境系統環境1700中可以包含與上述不同或額外的元件。
近眼顯示器1720可以係頭戴式顯示器(head-mounted display,HMD)呈現內容給使用者。由近眼顯示器1720所呈現的媒體的例子包含影像、錄像、音頻中的一或多個,或它們的一些組合。於一些實施例中,音頻可以透過外部裝置來呈現(例如喇叭及/或耳機),其自近眼顯示器1720、控制台(console)1710或所述兩者接收音頻資訊,且依據音頻資訊來呈現音頻資料。近眼顯示器1720可以包含一或多個剛體,可以剛性地或非剛性地耦接於彼此。多個剛體間的剛性耦接可以使得這些耦接的剛體作為一個單一的剛性實體。多個剛體間的非剛性耦接可以使得這些剛體能夠彼此相對移動。於各種實施例中,近眼顯示器1720可以由任何合適的形式來實施,包括一副眼鏡的形式。近眼顯示器1720的某些實施例將於後佐圖2及3以進一步說明。此外,於各種實施例中,於此所述的功能性可以使用於耳機中,其光學地或電子地結合近眼顯示器1720外部的環境影像與從控制台1710或者從其他任何產生並提供內容至使用者的控制台所接收到的內容。因此,近眼顯示器1720可以用所產生的內容(例如影像、錄像、聲音等)來擴增近眼顯示器1720外部的實體、真實世界環境的影像,以呈現擴增實境給使用者。
於各種實施例中,近眼顯示器1720可以包含顯示電子元件1722、顯示光學元件1724、一或多個定位物1726、一或多個位置感測器1728、眼動追蹤單元1730以及慣性量測單元(inertial measurement unit,IMU)1732之中的一或多者。於各種實施例中,近眼顯示器1720可以省略任何這些元件,或包含額外的元件。此外,於一些實施例中,近眼顯示器1720可以包含組合圖17所示的各種元件的功能的元件。
顯示電子元件1722可以依據從控制台1710接收到的資料來顯示影像給使用者。於各種實施例中,顯示電子元件1722可以包含用於產生虛擬或真實物體的影像的電路,及/或用於驅動顯示光學元件1724的某些元件(像是詳述如後的電子控向鏡(electrically steerable mirror))的電路。於一些實施例中,顯示電子元件1722可以包含一或多個顯示面板,像是液晶顯示器(LCD)、液晶覆矽(LCOS)顯示器、有機發光二極體(OLED)顯示器、微發光二極體(mLED)顯示器、主動矩陣有機發光二極體顯示器(AMOLED)、穿透式有機發光二極體顯示器(TOLED)、數位微型反射鏡裝置(DMD)或一些其他的顯示器。於近眼顯示器1720的一實施方案中,顯示電子元件1722可以包含TOLED面板,其可以包含子像素以發出主色光,例如紅、綠、藍、白或黃。於一些實施方案中,顯示電子元件1722可以透過二維面板產生的立體效應來顯示3D影像,以創建影像深度的主觀認知(subjective perception)。舉例來說,顯示電子元件1722可以包含分別位於使用者的左眼及右眼前方的左顯示器及右顯示器。所述左顯示器及右顯示器可以呈現彼此相對平移的影像複本,以產生立體效果。
於某種實施例中,顯示光學元件1724可以光學地顯示影像內容(例如利用光波導器與耦合器),或是將從顯示電子元件1722接收到的影像光放大,校正與影像光相關的光學誤差,結合來自顯示電子元件1722的影像光與環境,並將校正且結合過的影像光呈現給近眼顯示器1720的使用者。於各種實施例中,顯示光學元件1724可以包含一或多個光學元件。光學元件的例子可以包含基板、光波導器(optical waveguide)、光圈(aperture)、菲涅耳透鏡(Fresenel len)、凸透鏡、凹透鏡、濾光器、繞射光學元件,或會影響來自顯示電子元件1722以及環境的影像光的任何其他適合的光學元件。顯示光學元件1724可以包含不同光學元件的組合以及機械耦合,以保持組合中的光學元件的相對間隔及指向。顯示光學元件1724中的一或多個光學元件可以具有光學塗層,像是抗反射塗層、反射塗層、濾波塗層或是不同光學塗層的組合。
顯示光學元件1724所執行的影像光的放大可以使得顯示電子元件1722相較於大型顯示器來說具有更小的體積、更輕的重量以及更少的功耗。此外,放大處理可以提升顯示內容的視場。於一些實施例中,顯示光學元件1724的有效焦距可以大於顯示光學元件1724與顯示電子元件1722之間的間隔,以將顯示電子元件1722所投射的影像光放大。藉由從顯示光學元件1724增加或移除光學元件,可以調整顯示光學元件1724對影像光的放大程度。
顯示光學元件1724可以被設計以校正一或多個光學誤差,像是二維光學誤差、三維光學誤差或其組合。二維誤差可以包含發生於二維度中的光學像差。二維誤差的示例類型可以包含桶型失真(barrel distortion)、針墊失真(pincushion distortion)、縱向色像差(longitudinal chromatic aberration)以及橫向色相差(transverse chromatic aberration)。三維誤差可以包含發生於三維度中的光學像差。三維誤差的示例類型可以包含球形像差(spherical aberration)、彗形像差(comatic aberration)、視場彎曲像差(field curvature)以及散光(astigmatism)。於一些實施例中,提供至顯示電子元件1722以顯示的內容可能會預先有所失真,而顯示光學元件1724可以在從顯示電子元件1722接收到依據預先失真的內容所產生的影像光時,對失真的部分進行校正。
多個定位物1726可以係彼此相對並相對於近眼顯示器1720上的參考點地設置於近眼顯示器1720上多個特定位置的物體。控制台1710可以辨識由外部成像裝置1750所擷取的影像中的定位物1726,以判斷人造實境的耳機位置、指向或所述二者。定位物1726可以係發光二極體(LED)、直角反射器(corner cube reflector)、反射標誌、與近眼顯示器1720運作的環境形成對比的光源,或某些這些元件的組合。於定位物1726為主動式元件(例如LED或其他類型的發光裝置)的實施例中,定位物1726所發出的光可以在可視光波段(例如約380奈米至750奈米)、紅外(IR)光波段(例如約750奈米至17奈米)、紫外光波段(例如約170奈米至約380奈米)、電磁波譜的其他部分波段或是電磁波譜的多個部分波段的任何組合中。
外部成像裝置1750可以基於從控制台1710所接收的校正參數來產生慢校正資料。慢校正資料可以包含一或多個影像,顯示可以藉由外部成像裝置1750來偵測的定位物1726的被觀測位置。外部成像裝置1750可以包含一或多個照相機、一或多個攝相機、任何其他能夠擷取包含一或多個定位物1726的影像的裝置,或上述元件的某些組合。此外,外部成像裝置1750可以包含一或多個濾波器(例如用於提高訊雜比)。外部成像裝置1750可以用於偵測在外部成像裝置1750的視場中定位物1726所發出或反射的光。於定位物1726包含被動式元件像是回反射器(retroreflector)的實施例中,外部成像裝置1750可以包含照射一些或所有定位物1726的光源,定位物1726可以將光回反射至外部成像裝置1750中的光源。慢校正資料可以從外部成像裝置1750傳送至控制台1710,且外部成像裝置1750可以從控制台1710接收一或多個校正參數以調整一或多個成像參數(例如焦距、焦點、訊框速率、感測器溫度、快門速度、光圈等)。
位置感測器1728可以產生一或多個量測訊號以回應近眼顯示器1720的動作。位置感測器1728的例子可以包含加速器、陀螺儀、磁力計、其他動作偵測或誤差校正感測器,或上述元件的某些組合。舉例來說,於一些實施例中,位置感測器1728可以包含多個加速器以量測平移動作(例如向前/向後/向上/向下/向左/向右)以及多個陀螺儀以量測旋轉動作(例如俯仰、偏航或滾動)。於一些實施例中,各種位置感測器可以彼此正交定向。
IMU1732可以係基於從一或多個位置感測器1728接收到的量測訊號來產生快校正資料的電子裝置。位置感測器1728可以設置於IMU1732外、IMU1732內,或其某組合。基於來自一或多個位置感測器1728的一或多個量測訊號,IMU1732可以產生快校正資料,快校正資料表示近眼顯示器1720相對於其初始位置的估計位置。舉例來說,IMU1732可以將從加速器接收到的量測訊號隨時間積分以估計速率向量,且可以將速率向量隨時間積分以決定近眼顯示器1720上的參考點的估計位置。此外,IMU1732可以將採樣的量測訊號提供至控制台1710,控制台1710可以決定快校正資料。雖然通常可以將參考點定義為空間中的一點,於各種實施例中,也可以將參考點定義為近眼顯示器1720內的一點(例如IMU1732的中心)。
眼動追蹤單元1730可以包含一或多個眼動追蹤系統。眼動追蹤系統可以包含成像系統以形成一或多個眼睛的影像,且可以選擇性地包含發光器,發光器可以產生指向眼睛的光,使得由眼睛反射的光可以被成像系統擷取。舉例來說,眼動追蹤單元1730可以包含所發射的光係在可見光譜或紅外光譜中的同調光源(例如雷射二極體)以及會擷取使用者的眼睛所反射的光的鏡頭。以另一例子來說,眼動追蹤單元1730可以擷取經反射的無線電波,其中無線電波係由微型雷達單元所發出。眼動追蹤單元1730可以使用低功率發光器,以不會傷害眼睛或造成身體不適的頻率極強度來發光。眼動追蹤單元1730可以被設置以增加由眼動追蹤單元1730所擷取的眼睛影像中的對比度,同時減少眼動追蹤單元1730所消耗的總功率(例如降低眼動追蹤單元1730中包含的發光器及成像系統所消耗的功率)。舉例來說,於一些實施方案中,眼動追蹤單元1730可以消耗少於1700毫瓦的功率。
眼動追蹤單元1730可以用於估計使用者眼睛的指向。眼睛的指向可以對應於使用者在近眼顯示器1720內的注視方向。使用者眼睛的指向可以定義為中央窩軸(foveal axis)的方向,中央窩軸為在中央窩(fovea,在眼睛的視網膜上具有最高濃度的感光體的區域)以及眼睛瞳孔中心之間的軸。一般而言,當使用者的眼睛固視於一點時,使用者的兩隻眼睛的中央窩軸會與此點相交。眼睛的瞳孔軸(pupillary axis)可以定義為通過瞳孔中心且垂直於角膜平面的軸。一般而言,即使瞳孔軸與中央窩軸相交於瞳孔的中心,瞳孔軸也可能不會直接與中央窩軸對齊。於某些眼動追蹤的實施例中,由於中央窩軸係依據位於眼睛後部的中央窩而定義,可能難以或不可能直接量測中央窩軸。因此,於一些實施例中,瞳孔軸的指向可以偵測得到,而中央窩軸則可能要基於偵測到的瞳孔軸來估量。
舉例來說,近眼顯示器1720可以利用眼睛的指向以判斷使用者的瞳距(inter-pupillary distance,IPD);判斷注視方向;引入深度線索(例如將使用者主要視線之外的影像模糊化);收集人造實境媒介中的使用者互動上的啟發式演算法(heuristics)(例如花費在作為暴露刺激物的功能的任何特定的主體、客體或訊框上的時間)、部分基於使用者的至少一隻眼睛的指向的一些其他功能,或它們的某組合。由於眼動追蹤單元1730可以判斷使用者的兩隻眼睛的指向,因此其能夠判斷使用者看向何處。舉例來說,使用者的注視方向的判斷可以包含基於已判定的使用者的左眼及右眼的指向來判斷一會聚點。會聚點可以係使用者眼睛的兩個中央窩軸的交點(或兩軸之間的最近點)。使用者的注視方向可以係通過會聚點以及使用者眼睛的瞳孔之間的中間點的線的方向。
輸入輸出介面1740可以係供使用者來發送動作要求至控制台1710的裝置。動作要求可以係執行特定動作的要求。舉例來說,動作要求可以係開始或結束一應用程式,或執行應用程式內的特定動作。輸入輸出介面1740可以包含一或多個輸入裝置。示例的輸入裝置可以包含鍵盤、滑鼠、遊戲控制器、手套、按鈕、觸控螢幕,或是用於接收動作要求並將接收的動作要求傳送至控制台1710的任何其它合適的裝置。輸入輸出介面1740所接收的動作要求可以被傳送至控制台1710,控制台1710可以執行對應於所要求動作的動作。於一些實施例中,輸入輸出介面1740可以依據從控制台1710接收到的指令來提供觸覺反饋給使用者。舉例來說,當動作要求被接受時,或者控制台1710已經執行所要求的動作並傳送指令至輸入輸出介面1740時,輸入輸出介面1740可以提供觸覺反饋。
控制台1710可以依據從外部成像裝置1750、近眼顯示器1720及輸入輸出介面1740之中的一或多者所接收到的資訊,來提供用於呈現給使用者的內容至近眼顯示器1720。於圖17所示的例子中,控制台1710可以包含應用程式商店1712、耳機追蹤模組1714、人造實境發動機1716以及眼動追蹤模組1718。控制台1710的一些實施例可以包含與圖17所描述的不同或額外的模組。以下所進一步描述的功能可以透過與本文所描述的方式不同的方式分佈在控制台1710的元件之間。
於一些實施例中,控制台1710可以包含處理器及非暫態電腦可讀取儲存媒體,其中非暫態電腦可讀取儲存媒體儲存有多個可由處理器執行的指令。處理器可以包含多個處理單元並行地執行指令。電腦可讀取儲存媒體可以係任何記憶體,像是硬碟驅動裝置、可移動式記憶體或固態硬碟(例如快閃記憶體或動態隨機存取記憶體(DRAM))。於各種實施例中,結合圖17以描述的控制台1710的模組可以被編碼為於非暫態電腦可讀取儲存媒體中的指令,當所述指令由處理器來執行時,其會使得處理器執行以下進一步描述之功能。
應用程式商店1712可以儲存一或多個應用程式供控制台1710來執行。一個應用程式可以包含一組指令,其在由處理器來執行時,會產生內容以呈現給使用者。應用程式所產生的內容可以回應於從使用者端,透過使用者的眼睛運動,所接收到的輸入,或是從輸入輸出介面1740接收到的輸入。應用程式的例子可以包含遊戲應用程式、會議應用程式、影像回放應用程式或其他合適的應用程式。
耳機追蹤模組1714可以利用來自外部成像裝置1750的慢或快校正資料來追蹤近眼顯示器1720的移動。舉例來說,耳機追蹤模組1714可以利用來自慢校正資料的觀測定位物以及近眼顯示器1720的模型來判斷近眼顯示器1720的參考點的位置。耳機追蹤模組1714可以利用來自快校正資料的位置資訊來判斷近眼顯示器1720的參考點的位置。此外,於一些實施例中,耳機追蹤模組1714可以使用部分的快校正資料、慢校正資料或二者之某些組合,來預測近眼顯示器1720的未來位置。耳機追蹤模組1714可以提供近眼顯示器1720的估計或預測的未來位置至人造實境發動機1716。
耳機追蹤模組1714可以使用一或多個校正參數來校正人造實境系統環境1700,且可以調整一或多個校正參數以降低判斷近眼顯示器1720位置的誤差。舉例來說,耳機追蹤模組1714可以調整外部成像裝置1750的焦點以取得觀測定位物在近眼顯示器1720上更精準的位置。此外,耳機追蹤模組1714所執行的校正亦可以考量從IMU1732所接收的資訊。另外,若近眼顯示器1720的追蹤迷失時(例如外部成像裝置1750遺失至少閾值數量的定位物1726的視線),耳機追蹤模組1714可以重新校正一些或全部的校正參數。
人造實境發動機1716可以執行人造實境系統環境1700內的應用程式,並從耳機追蹤模組1714接收近眼顯示器1720的位置資訊、近眼顯示器1720的加速度資訊、近眼顯示器1720的速度資訊、近眼顯示器1720的預測未來位置,或上述資訊中的一些組合。人造實境發動機1716也可以從眼動追蹤模組1718接收估測的眼睛位置及指向資訊。基於所接收到的資訊,人造實境發動機1716可以決定提供給近眼顯示器1720以呈現給使用者的內容。舉例來說,若所接收到的資訊指示使用者看向左邊,則人造實境發動機1716可以產生給近眼顯示器1720的內容,其在虛擬環境中鏡向於使用者的眼睛運動。此外,為了回應於從輸入輸出介面1740所接收到的動作要求,人造實境發動機1716可以執行應用程式內的動作,其中應用程式執行於控制台1710上,且人造實境發動機1716可以提供反饋至使用者,表示動作已被執行。所述反饋可以係透過近眼顯示器1720的視覺或聽覺的反饋,或是透過輸入輸出介面1740的觸覺反饋。
眼動追蹤模組1718可以自眼動追蹤單元1730接收眼動追蹤資料,並依據所述眼動追蹤資料判斷使用者的眼睛位置。眼睛位置(position)可以包含眼睛相對於近眼顯示器1720或其任何元件的指向(orientation)、區位(location)或所述二者。由於眼睛的旋轉軸會根據眼睛在眼窩中的區位而有所改變,判斷眼睛在眼窩中的區位可以使得眼動追蹤模組1718更精準地判斷眼睛的指向。
於一些實施例中,眼動追蹤單元1730可以輸出包含眼睛的影像的眼動追蹤資料,且眼動追蹤模組1718可以依據這些影像判斷眼睛的位置。舉例來說,眼動追蹤模組1718可以儲存眼動追蹤單元1730所擷取到的多個影像與多個眼睛位置之間的對應關係,以從眼動追蹤單元1730擷取到的一影像來決定一參考眼睛位置。可選地或另外地,眼動追蹤模組1718可以藉由將決定參考眼睛位置的影像與欲從之判斷更新眼睛位置的影像進行比較,以判斷相對於參考眼睛位置的更新眼睛位置。眼動追蹤模組1718可以利用來自不同成像裝置或其他感測器的測量來判斷眼睛位置。舉例來說,如上所述,眼動追蹤模組1718可以利用來自慢眼動追蹤系統的量測以決定參考眼睛位置,接著從快眼動追蹤系統判斷相對於參考眼睛位置的更新眼睛位置,直至基於來自慢眼動追蹤系統的量測而決定下一個參考眼睛位置。
上述之方法、系統及裝置皆為示例。各種實施例可以適當地省略、替換或添加各種流程或元件。舉例來說,在替代配置方案中,所描述的方法可以用與所描述順序不同的順序來執行,並且/或者可以添加、省略和/或組合各種階段。此外,關於某些實施例所描述的特徵可以在各種其他實施例中組合起來。實施例的不同方面和元件可以用類似的方式組合起來。此外,由於技術持續發展,因此所述之許多元件皆為示例,並非限制本揭示的範圍僅於那些特定的示例中。
上述內容中的具體細節提供了實施例的深入解釋。然而,實施例仍可以在沒有這些具體細節的情況下實施。舉例來說,眾所周知的電路、過程、系統、結構及技術的非必要細節並未呈現出來,以避免模糊實施例。本說明書僅提供示例性的實施例,並非意圖限制本發明的範圍、適用性或配置。另外,前述實施例的描述將為本領域技術人員提供一種實施說明,用於實施各種實施例。在不脫離本揭示的精神和範圍的情況下,可以對元件的功能和佈置進行各種改變。
此外,有些實施例被描述為過程,這些過程被描繪為流程圖或方塊圖。儘管每個實施例將多個操作描述為依序的過程,但是許多操作係可以並行或同時執行的。此外,這些操作的順序可以重新排列。過程可以具有未包括在圖中的附加步驟。另外,方法的實施例可以通過硬體、軟體、韌體、中介軟體、微代碼、硬體描述語言或其任何組合來實行。當以軟體、韌體、中介軟體或微代碼實施時,可以將用於執行相關任務的程式碼或代碼段儲存在像是儲存媒體的電腦可讀取媒體中。處理器可以執行相關聯的任務。
對於本領域技術人員來說顯而易見的是,可以根據具體要求進行實質性的變化。舉例來說,亦可以使用專門或具特述用途的硬體,並且/或者可以用硬體、軟體(包含可攜式軟體,像是小型應用程式等)或所述二者來實行特定的元件或兩者。此外,可以採用與其他計算裝置像是網絡輸入輸出設備的連接。
參照附圖,可以包含記憶體的元件可以包含非暫態機器可讀取媒體。本文所使用之術語「機器可讀取媒體」及「電腦可讀取媒體」係指參與提供資料使得機器以特定方式操作的任何儲存媒介。於上文所提供的實施例中,各種機器可讀取媒體可以涉及提供指令/代碼至處理單元及/或其他裝置以供執行。額外地或替代地,機器可讀取媒體可以用於儲存及/或乘載指令/代碼。於許多實施方案中,電腦可讀取媒體係實體及/或有形的儲存媒介。這種媒介可以採用多種形式,包含但不限於非揮發性媒體、揮發性媒體及傳輸媒體。舉例來說,常見的電腦可讀取媒體的形式包含磁性及/或光學性媒體,諸如光碟(compact disk,CD)或數位多功能光碟(digital versatile disk,DVD)、打孔卡片(punch card)、紙帶、任何其他具有孔洞圖案的實體媒介、隨機存取記憶體(random access memory,RAM)、可程式化唯讀記憶體(programmable read-only memory,PROM)、可抹除可程式化唯獨記憶體(erasable programmable read-only memory,EPROM)、快閃可抹除可程式化唯獨記憶體(FLASH-EPROM)、任何其他記憶晶片或卡閘、如後述之載波,或是電腦可在其中讀取指令及/或代碼的任何其他媒介。電腦程式產物可以包含代碼及/或機器可執行指令,其表示一個流程、函式、子程式、程式、常式(routine)、應用程式(App)、子常式、模組、套裝軟體、類別(class),或多個指令、資料結構或程式敘述的任何組合。
本領域技術人員將理解能夠使用各種不同科技及技術中的任何一種來表示用於傳達本文所述訊息的資訊和訊號。舉例來說,在整個上列描述中可以參考的資料、指令、命令、資訊、訊號、位元、符號及晶片,可以由電壓、電流、電磁波,磁場或磁粒子、光場或光粒子,或其任何組合來表示。
本文所使用的術語「及」與「或」可以包含多種含義,這些含義也預期至少部分地取決於使用這些術語的上下文。一般而言,如果「或」係用於聯合一列表,像是A、B或C,則其意指A、B與C,這理係以包含性的意義來使用,亦意指A、B或C,這裡則係以排除性的意義來使用。此外,本文所使用的術語「一或多個」可以用於以單數形式描述任何特徵、結構或特性,或可以用於描述多個I特徵、結構或特性的某種組合。然而,需注意的是這僅為說明性的示例,且所要求保護的標的並不限於此示例。此外,如果使用術語「至少一」以聯合一列表,像是A、B或C,則可以解釋為表示A、B及/或C的任何組合,如A、AB、AC、BC、AA、ABC、AAB、AABBCCC等。
進一步來說,雖然某些實施例中使用了特定組合的硬體及軟體來描述,但應理解的是其他種硬體及軟體的組合也是可能的。某些實施例可以僅於硬體中、僅於軟體中,或使用其組合來實行。於一例子中,軟體可以用包含電腦程式碼或指令的電腦程式產物來實行,電腦程式碼或指令可由一或多個處理器來執行以進行本揭示所述的任何或全部的步驟、操作或過程,其中電腦程式可以儲存在非暫態電腦可讀取媒體上。本文所描述的各種過程可以任何組合於同一個處理器或是不同處理器上來實行。
在將裝置、系統、元件或模塊描述為用於執行某些操作或功能的情況下,例如藉由設計電子電路以執行操作、藉由編程可編程電子電路(諸如微處理器)以像是透過運行電腦指令或代碼來執行操作,或是編程處理器或核心以運行儲存於非暫態記憶體媒介上的代碼或指令,或是上述之任何組合。多個行程可以使用各種技術進行通訊,包含但不限於行程間通訊(inter-process communication)之習知技術,且不同的行程對可以使用不同的技術,或者同一對行程可以在不同時間使用不同的技術。
因此,本說明書與圖式應被視為說明性而非限制性的。然而,顯而易見的是,在不脫離更廣泛的精神和範圍的情況下,係可以對其進行添加,減少,刪除和其他修改和改變。因此,儘管本文描述了特定的實施例,但這些並非意圖產生限制。各種修改和等同物都在後列之權利要求的範圍之內。
100、200‧‧‧近眼顯示器105、205‧‧‧框架110、210‧‧‧顯示器120a~120d、250a、250b‧‧‧影像感測器130、240a~240f‧‧‧照明器A~D‧‧‧方向235‧‧‧眼球300‧‧‧影像感測器310‧‧‧像素陣列320‧‧‧類比數位轉換介面330‧‧‧數位類比轉換與支持電路340‧‧‧控制電路400‧‧‧主動像素410‧‧‧固定式光二極體412‧‧‧寄生電420‧‧‧轉移閘430‧‧‧浮動擴散電容440‧‧‧重置閘450‧‧‧源極隨耦放大電晶體460‧‧‧選擇閘480‧‧‧行線路510‧‧‧影像感測器520、530、540‧‧‧列600‧‧‧數位像素影像感測器610‧‧‧數位像素陣列620‧‧‧列驅動與全域訊號驅動電路630‧‧‧全域計數器640‧‧‧計數緩衝器650‧‧‧斜坡產生與緩衝電路660‧‧‧感測放大器670‧‧‧放大偏壓電路680‧‧‧線存儲器690‧‧‧數位區塊695‧‧‧功率調節電路698‧‧‧行動產業處理器接口電路700‧‧‧數位像素702‧‧‧光二極體703‧‧‧積分電容704‧‧‧轉移閘706‧‧‧量測電容708‧‧‧量測控制訊號710‧‧‧光學緩衝器712‧‧‧類比輸出節點718‧‧‧重置開關720‧‧‧重置訊號722‧‧‧電荷槽724‧‧‧曝光致能訊號726‧‧‧快門開關750‧‧‧像素數化器752‧‧‧參考訊號754‧‧‧比較器760‧‧‧數位輸出產生器762‧‧‧時脈計數器764‧‧‧像素記憶體766‧‧‧計數輸出770‧‧‧參考訊號產生器772‧‧‧數位類比轉換器780‧‧‧時脈訊號790‧‧‧像素輸出匯流排810‧‧‧在像素1的類比電壓訊號820‧‧‧在像素2的類比電壓訊號830‧‧‧參考訊號840‧‧‧像素1中的比較器的輸出850‧‧‧像素2中的比較器的輸出860‧‧‧時脈訊號870‧‧‧時脈計數值D1、D2‧‧‧數位值t0、t1、t2‧‧‧時間點900‧‧‧數位像素910‧‧‧固定式光二極體920‧‧‧轉移閘930‧‧‧浮動擴散節點940‧‧‧重置閘950‧‧‧選擇閘942、952‧‧‧電晶體960‧‧‧類比相關性雙重取樣電路970‧‧‧比較器980‧‧‧像素記憶體RST、SEL、TX‧‧‧控制訊號1000‧‧‧數位像素1010‧‧‧固定式光二極體1020‧‧‧轉移閘1030‧‧‧浮動擴散電容1040‧‧‧重置閘1050‧‧‧比較器1060‧‧‧m位元記憶體塊1070‧‧‧n位元記憶體塊1100‧‧‧數位像素1105‧‧‧光感測器1110‧‧‧固定式光二極體1120‧‧‧轉移閘1130‧‧‧浮動擴散電容1140‧‧‧重置閘1150‧‧‧比較器1160‧‧‧及閘1170‧‧‧及閘1180‧‧‧m位元格1190‧‧‧n位元格RAMP‧‧‧斜坡訊號ENABLE_RST‧‧‧重置致能訊號ENABLE_SIG‧‧‧讀取致能訊號WR‧‧‧寫入致能輸入端1200‧‧‧時間週期1210‧‧‧快門時期1212‧‧‧積分時期1214‧‧‧重置時期1216‧‧‧重置位準轉換時期1218‧‧‧電荷轉移時期1220‧‧‧訊號位準轉換時期1222‧‧‧資料輸出時期T_Frame‧‧‧訊框影像週期1250‧‧‧重置訊號1252‧‧‧第一重置脈衝1254‧‧‧第二重置脈衝1260‧‧‧轉移控制訊號1262‧‧‧第一轉移控制脈衝1264‧‧‧第二轉移控制脈衝1270‧‧‧斜坡訊號1272、1274‧‧‧斜坡1280‧‧‧時脈計數值1282‧‧‧重置計數值1284‧‧‧訊號計數值1290‧‧‧行動產業處理器接口介面1292‧‧‧輸出資料1300‧‧‧比較器1310、1320‧‧‧P通道電晶體1325‧‧‧節點1330、1340、1350‧‧‧N通道電晶體1360‧‧‧反向器VFD‧‧‧電壓訊號VRAMP‧‧‧斜坡訊號1400‧‧‧比較器1410、1430~1460‧‧‧電晶體1420‧‧‧預充電電晶體COMP‧‧‧節點Write‧‧‧寫入訊號Writeb‧‧‧寫入b訊號1500‧‧‧時序圖1510‧‧‧預充電訊號1520‧‧‧斜坡訊號1530‧‧‧電壓訊號1540‧‧‧節點COMP的電壓訊號1550‧‧‧寫入訊號1560‧‧‧寫入b訊號Vtp‧‧‧閾值電壓t1‧‧‧時間1700‧‧‧人造實境系統環境1710‧‧‧控制台1712‧‧‧應用程式商店1714‧‧‧耳機追蹤模組1716‧‧‧人造實境發動機1718‧‧‧眼動追蹤模組1720‧‧‧近眼顯示器1722‧‧‧顯示電子元件1724‧‧‧顯示光學元件1726‧‧‧定位器1728‧‧‧位置感測器1730‧‧‧眼動追蹤單元1732‧‧‧慣性量測單元1740‧‧‧輸入輸出介面1750‧‧‧外部成像裝置
於後之說明性實施例的詳細描述係參考下列圖式: 圖1A係依據某些實施例所繪示的包含多種感測器的簡化示例的近眼顯示器的透視圖。 圖1B係依據某些實施例所繪示的包含多種感測器的簡化示例的近眼顯示器的剖面圖。 圖2A係依據某些實施例所繪示的包含多種感測器的簡化示例的近眼顯示器的前視圖。 圖2B係依據某些實施例所繪示的包含多種感測器的簡化示例的近眼顯示器的剖面圖。 圖3係具有類比像素的示例的影像感測器的簡化方塊圖。 圖4繪示主動像素感測器(active pixel sensor,APS)的示例的三電晶體的主動像素。 圖5A繪示在第一時間時使用滾動快門的影像感測器中的不同列的像素的示例狀態。 圖5B繪示在第二時間時使用滾動快門的影像感測器中的不同列的像素的示例狀態。 圖6係依據某些實施例所繪示的示例的全域快門數位像素影像感測器的簡化方塊圖。 圖7係依據某些實施例所繪示的示例的全域快門數位像素影像感測器的示例數位像素的簡化方塊圖。 圖8依據某些實施例繪示示例的全域快門數位像素影像感測器的示例數位像素的示例操作。 圖9係依據某些實施例所繪示的包含類比相關性雙重取樣(correlated double sampling,CDS)電路的示例數位像素的簡化方塊圖。 圖10係依據某些實施例所繪示的包含數位CDS電路的示例數位像素的簡化方塊圖。 圖11依據某些實施例繪示包含數位CDS電路的示例數位像素。 圖12A依據某些實施例繪示全域快門數位像素感測器的示例時間訊框中的示例時序週期,全域快門數位像素感測器的每個像素具有數位CDS電路。 圖12B係依據某些實施例所繪示的在全域快門數位像素影像感測器中具有數位CDS電路的數位像素的操作的時序圖。 圖13繪示包含直流偏壓電路的比較器。 圖14依據某些實施例繪示包含預充電電路的示例比較器。 圖15係依據某些實施例所繪示的圖14的示例比較器的操作的時序圖。 圖16係依據某些實施例所繪示的示例的數位成像方法的流程圖。 圖17係可以實施本文揭示的一些例子的包含近眼顯示器的示例的人造實境系統環境的簡化方塊圖。

Claims (20)

  1. 一種數位像素影像感測器,包含:一單一計數器,用於產生計數值;多個像素,該多個像素中的每一個像素與該單一計數器耦接,且每一個像素包含:一光二極體,用以回應於一光訊號而產生多個電荷;一電荷儲存裝置,用於儲存該光二極體所產生的該些電荷,被儲存的該些電荷在該電荷儲存裝置上產生一電壓訊號;一像素記憶體;以及一數化器,包含:一比較器,用於:接收一斜坡訊號及一與該電壓訊號相關的輸入訊號,其中在一時脈訊號的每一週期後,該斜坡訊號的一電壓位準上升或下降;以及基於確定該斜坡訊號的該電壓位準達到該輸入訊號的一電壓位準,產生一切換輸出;以及 一數位輸出產生電路,用以回應於該比較器的該切換輸出而將接收自該單一計數器的該些計數值中的一第一計數值儲存在該像素記憶體中。
  2. 如請求項1所述的數位像素影像感測器,其中儲存在該多個像素中的每一個像素的該像素記憶體中的該第一計數值對應於在該斜坡訊號開始的時候和每一個像素中的該比較器產生該切換輸出的時候之間所經過的該時脈訊號的週期的數量;以及其中儲存在該多個像素中的至少兩個像素的各別的像素記憶體的各別的第一計數值是不同的。
  3. 如請求項2所述的數位像素影像感測器,更包含一參考訊號產生器,用於:基於來自該單一計數器的該些計數值產生該斜坡訊號;以及發送該斜坡訊號至該多個像素。
  4. 如請求項1所述的數位像素影像感測器,其中該多個像素中的每一個像素更包含:一轉移閘,耦接該光二極體及該電荷儲存裝置;其中該光二極體用於在一曝光期期間累積該些電荷; 其中該轉移閘用於:在該曝光期期間,將該光二極體從該電荷儲存裝置斷開;在該曝光期之後,連接該光二極體至該電荷儲存裝置,以將所累積的該些電荷從該光二極體轉移至該電荷儲存裝置;以及在轉移所累積的該些電荷之後,將該光二極體從該電荷儲存裝置斷開。
  5. 如請求項1所述的數位像素影像感測器,其中該多個像素中的每一個像素更包含:一重置電路,用於重置該電荷儲存裝置至一重置電壓位準。
  6. 如請求項5所述的數位像素影像感測器,其中:該斜坡訊號是第一斜坡訊號;該比較器的該切換輸出是該比較器的第一切換輸出;在該多個像素中的每一個像素之處:在該電荷儲存裝置重置之後,該比較器更用於:接收一第二斜坡訊號,其中在該時脈訊號的每一週期之後,該第二斜坡訊號的一電壓位準上升或下降;以及 基於確定該第二斜坡訊號的該電壓位準達到該重置電壓位準,產生一第二切換輸出;該數位輸出產生電路更用於:回應於該比較器的該第二切換輸出而將接收自該單一計數器的該些計數值中的一第二計數值儲存在該像素記憶體中,儲存的該第二計數值對應於該重置電壓位準的一數位值;以及儲存的該第一計數值與儲存的該第二計數值之間的差值對應於在該多個像素中的每一個像素之處所接收的該光訊號的一強度。
  7. 如請求項6所述的數位像素影像感測器,其中該像素記憶體包含:一M位元記憶體塊,用於儲存該第二計數值;以及一N位元記憶體塊,用於儲存該第一計數值,其中N大於M。
  8. 如請求項6所述的數位像素影像感測器,其中該多個像素中的每一個像素更包含:一轉移閘,耦接該光二極體及該電荷儲存裝置,該轉移閘用於: 在一曝光期期間,將該光二極體從該電荷儲存裝置斷開;在該曝光期之後,連接該光二極體至該電荷儲存裝置,以將該些電荷從該光二極體轉移至該電荷儲存裝置;以及在轉移該些電荷之後,將該光二極體從該電荷儲存裝置斷開。
  9. 如請求項8所述的數位像素影像感測器,其中該多個像素中的每一個像素的該重置電路用於在曝光期結束且該轉移閘連接該光二極體至該電荷儲存裝置之前,重置該電荷儲存裝置。
  10. 如請求項1所述的數位像素影像感測器,其中該比較器包含一預充電電路,耦接於該比較器的一輸出節點,該預充電電路用於將該比較器的該輸出節點充電至一直流位準。
  11. 如請求項10所述的數位像素影像感測器,其中該比較器更包含一P通道金氧半(PMOS)電晶體,該PMOS電晶體的一閘極耦接於該電荷儲存裝置,該PMOS電晶體的一源極用於接收該斜坡訊號,且該比較器的該輸出節點耦接於該PMOS電晶體的一汲極。
  12. 如請求項1所述的數位像素影像感測器,其中該多個像素中的每一個像素更包含一快門,該多個像素中的該些快門受控於同一曝光致能訊號。
  13. 一種數位像素影像感測器,包含:一單一計數器,用於產生計數值;多個像素,該多個像素中的每一個像素與該單一計數器耦接;其中該多個像素中的一第一像素包含:一光二極體,用於回應於一光訊號而產生多個電荷;一電荷儲存裝置,用於儲存該光二極體所產生的該些電荷,被儲存的該些電荷在該電荷儲存裝置上產生一電壓訊號;一像素記憶體;以及一數化器,包含:一比較器,用於:接收一第一斜坡訊號及該電壓訊號,其中在一時脈訊號的每一週期後,該第一斜坡訊號的一電壓位準上升或下降;以及 基於確定該第一斜坡訊號的該電壓位準達到該電壓訊號的一電壓位準,產生一第一切換輸出;以及一數位輸出產生電路,用以回應於該比較器的該第一切換輸出而將接收自該單一計數器的該些計數值中的一第一計數值儲存在該像素記憶體中,所儲存的該第一計數值對應於該電壓訊號的該電壓位準的一數位值。
  14. 如請求項13所述的數位像素影像感測器,其中該第一像素更包含:一重置閘,用於重置該電荷儲存裝置至一重置電壓位準,其中在該電荷儲存裝置重置之後,該比較器更用於:接收一第二斜坡訊號,其中在該時脈訊號的每一週期之後,該第二斜坡訊號的一電壓位準上升或下降;以及基於確定該第二斜坡訊號的該電壓位準達到該重置電壓位準,產生一第二切換輸出;其中該數位輸出產生電路更用於: 回應於該比較器的該第二切換輸出而將接收自該單一計數器的該些計數值中的一第二計數值儲存在該像素記憶體中,儲存的該第二計數值對應於該重置電壓位準的一數位值;其中儲存的該第一計數值與儲存的該第二計數值之間的差值對應於該光訊號的一強度。
  15. 一種數位成像的方法,該方法包含:起始一單一計數器,用以將計數值輸出至一影像感測器中的多個像素;在一曝光期期間,藉由一光而對該多個像素中的每一個像素的光二極體進行曝光;控制每一個像素,以將由每一個像素的該光二極體所接收的該光轉換為在每一個像素中的一電荷儲存裝置上的一電壓訊號;控制每一個像素中的一比較器,藉以比較該電壓訊號及一斜坡訊號而產生一切換輸出,其中該斜坡訊號的一電壓位準隨著時脈週期的數量線性地增加或減少,其中該切換輸出是基於該斜坡訊號的該電壓位準達到該電壓訊號的一電壓位準而產生的;以及 回應於該比較器的該切換輸出而將接收自該單一計數器的該些計數值中的一第一計數值儲存在該多個像素中的每一個像素的一像素記憶體中,其中所儲存的該第一計數值對應於該電壓訊號的該電壓位準的一數位值。
  16. 如請求項15所述的方法,更包含:重新起始該單一計數器;在該多個像素中的每一個像素之處:將該電荷儲存裝置從該光二極體斷開;重置該電荷儲存裝置至一直流電壓位準;藉由該比較器,比較該直流電壓位準及一第二斜坡訊號而產生一第二切換輸出,其中該第二斜坡訊號的一電壓位準隨著該時脈週期的數量線性地增加或減少,且其中該第二切換輸出是基於該第二斜坡訊號的該電壓位準達到該直流電壓位準而產生的;以及回應於該第二切換輸出而將接收自該單一計數器的該些計數值中的一第二計數值儲存在該像素記憶體中,以作為一第二數位值。
  17. 如請求項16所述的方法,其中重置該電荷儲存裝置至該直流電壓位準包含: 在該曝光期結束時,重置該電荷儲存裝置至該直流電壓位準。
  18. 如請求項15所述的方法,其中將該光轉換為該電荷儲存裝置上的該電壓訊號包含:斷開該電荷儲存裝置及該光二極體的連接;藉由該光二極體,在該曝光期期間回應於接收該光而產生多個電荷;在該曝光期期間,累積該些電荷於該光二極體;在該曝光期之後,連接該電荷儲存裝置至該光二極體,以將所累積的該些電荷轉移至該電荷儲存裝置,其中所累積的該些電荷在該電荷儲存裝置上產生該電壓訊號;以及斷開該電荷儲存裝置及該光二極體的連接。
  19. 如請求項15所述的方法,更包含:在該多個像素中的每一個像素之處:在該曝光期之前,重置該光二極體及該電荷儲存裝置。
  20. 如請求項15所述的方法,在比較該電壓訊號及該斜坡訊號之前更包含:在該多個像素中的每一個像素之處: 連接該比較器的一輸出節點至一直流電壓源,以將該比較器的該輸出節點預先充電;以及將該比較器的該輸出節點從該直流電壓源斷開。
TW107124385A 2017-12-19 2018-07-13 數位像素影像感測器 TWI772462B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/847,517 US10419701B2 (en) 2017-06-26 2017-12-19 Digital pixel image sensor
US15/847,517 2017-12-19

Publications (2)

Publication Number Publication Date
TW201929534A TW201929534A (zh) 2019-07-16
TWI772462B true TWI772462B (zh) 2022-08-01

Family

ID=68049221

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107124385A TWI772462B (zh) 2017-12-19 2018-07-13 數位像素影像感測器

Country Status (1)

Country Link
TW (1) TWI772462B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021236021A1 (en) * 2020-05-22 2021-11-25 Brillnics Singapore Pte. Ltd. System, method, device and data structure for digital pixel sensors
TWI752802B (zh) * 2020-08-17 2022-01-11 友達光電股份有限公司 指紋感測模組及指紋辨識裝置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080042888A1 (en) * 2006-07-21 2008-02-21 Stmicroelectronics (Research & Development) Limited Analog to digital converter having a non-linear ramp voltage
US20110254986A1 (en) * 2009-09-11 2011-10-20 Panasonic Corporation Analog-digital converter, image sensor system and camera device
US8779346B2 (en) * 2012-05-14 2014-07-15 BAE Systems Imaging Solutions Inc. Digital pixel sensor with reduced noise
US20150189209A1 (en) * 2013-12-26 2015-07-02 Han Yang Correlated double sampling circuit, analog to digital converter and image sensor including the same
US20160028974A1 (en) * 2014-07-25 2016-01-28 Rambus Inc. Low-noise, high dynamic-range image sensor
US20160100115A1 (en) * 2013-06-27 2016-04-07 Olympus Corporation Analog/digital converter and solid-state imaging device
US20160165160A1 (en) * 2014-12-05 2016-06-09 Qualcomm Incorporated Pixel readout architecture for full well capacity extension

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080042888A1 (en) * 2006-07-21 2008-02-21 Stmicroelectronics (Research & Development) Limited Analog to digital converter having a non-linear ramp voltage
US20110254986A1 (en) * 2009-09-11 2011-10-20 Panasonic Corporation Analog-digital converter, image sensor system and camera device
US8779346B2 (en) * 2012-05-14 2014-07-15 BAE Systems Imaging Solutions Inc. Digital pixel sensor with reduced noise
US20160100115A1 (en) * 2013-06-27 2016-04-07 Olympus Corporation Analog/digital converter and solid-state imaging device
US20150189209A1 (en) * 2013-12-26 2015-07-02 Han Yang Correlated double sampling circuit, analog to digital converter and image sensor including the same
US20160028974A1 (en) * 2014-07-25 2016-01-28 Rambus Inc. Low-noise, high dynamic-range image sensor
US20160165160A1 (en) * 2014-12-05 2016-06-09 Qualcomm Incorporated Pixel readout architecture for full well capacity extension

Also Published As

Publication number Publication date
TW201929534A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
KR102525828B1 (ko) 디지털 픽셀 이미지 센서
US11595598B2 (en) Global shutter image sensor
TWI815951B (zh) 具有適應性曝光時間的像素感測器
US11910119B2 (en) Digital pixel with extended dynamic range
US11956413B2 (en) Pixel sensor having multiple photodiodes and shared comparator
WO2020006174A1 (en) Pixel sensor having multiple photodiodes
JP2021525472A (ja) 拡張されたダイナミックレンジをもつデジタルピクセル
TW202020507A (zh) 影像感測器後置處理
JP2021526323A (ja) 画像センサー後処理
TWI772462B (zh) 數位像素影像感測器
US11936998B1 (en) Digital pixel sensor having extended dynamic range
TW201918060A (zh) 具有擴展動態範圍的數位像素