TWI773791B - 具有擴展動態範圍的數位像素 - Google Patents

具有擴展動態範圍的數位像素 Download PDF

Info

Publication number
TWI773791B
TWI773791B TW107124383A TW107124383A TWI773791B TW I773791 B TWI773791 B TW I773791B TW 107124383 A TW107124383 A TW 107124383A TW 107124383 A TW107124383 A TW 107124383A TW I773791 B TWI773791 B TW I773791B
Authority
TW
Taiwan
Prior art keywords
storage unit
meter
charge storage
charge
measurement
Prior art date
Application number
TW107124383A
Other languages
English (en)
Other versions
TW201918060A (zh
Inventor
新橋 劉
Original Assignee
美商元平台公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/876,061 external-priority patent/US10686996B2/en
Application filed by 美商元平台公司 filed Critical 美商元平台公司
Publication of TW201918060A publication Critical patent/TW201918060A/zh
Application granted granted Critical
Publication of TWI773791B publication Critical patent/TWI773791B/zh

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Holo Graphy (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

一範例的裝置被揭露。在一些範例中,一裝置可包含光電二極體、第一電荷儲存單元及第二電荷儲存單元,第一電荷儲存單元用於儲存此光電二極體所產生之電荷且具有第一電容量,第二電荷儲存單元用於儲存此光電二極體所產生之電荷且具有大於第一電容量的第二電容量。此裝置可更包含類比數位轉換器 (ADC)電路用以測量儲存於第一電荷儲存單元的第一電荷量以及儲存於第二電荷儲存單元內的第二電荷量,且基於代表第一電荷量的第一計量或代表第二電荷量的第二計量而產生一數位輸出,此數位輸出代表入射於光電二極體的光強度。

Description

具有擴展動態範圍的數位像素
本發明關於一種圖像感測器,特別是一種包含介面電路以決定圖像產生的光強度的像素單元結構。
一個典型的圖像感測器包含一光電二極體,用以藉由將光量子轉換為電荷(例如電子或電洞)而感測入射光。此圖像感測器更包含浮接節點配置作為一電容器以蒐集此光電二極體於曝光期內所產生的電荷。所蒐集的電荷可演變成為此電容當中的一電壓。此電壓可被緩衝並傳送至類比數位轉換器(ADC),其可將此電壓轉換為代表入射光強度的數位值。
本發明關於一種圖像感測器。特別是但不限於使用一種堆疊結構形成像素單元。本發明亦關於控制一像素單元電路而以兩個不同的測量模式量測入射光強度。
於一個例子中,提出一種裝置。此裝置可包含光電二極體、第一電荷儲存單元及第二電荷儲存單元。所述的第一電荷儲存單元與第二電荷儲存單元均用於儲存光電二極體所產生的電荷。第一電荷儲存單元具有第一電容量,而第二電荷儲存單元具有大於此第一電容量的第二電容量。此裝置可更包含類比數位轉換器(ADC)電路用以,於第一測量模式中使用第一計量器產生第一斜坡電壓;且比較第一電壓與第一斜坡電壓以產生第一決策輸出,此第一電壓代表儲存於第一電荷儲存單元的第一電荷量,第一決策輸出設定第一計量器中的第一計量。類比數位轉換器電路亦用以於第二測量模式中使用第二計量器產生第二斜坡電壓;且比較第二電壓與第二斜坡電壓以產生第二決策輸出,第二電壓代表儲存於第二電荷儲 存單元內的第二電荷量,第二決策輸出設定第二計量器中的第二計量。類比數位轉換器電路亦用以基於第一計量或第二計量而產生數位輸出,此數位輸出代表入射於光電二極體的光強度。
於一些面向中,裝置更包含轉換閘,耦接於第一電荷儲存單元與第二電荷儲存單元之間。於第二測量模式中,類比數位轉換器電路用以控制此轉換閘以避免第一電荷量通過此轉換閘移動至第二電荷儲存單元;且使用第一比較器比較形成於第二電荷儲存單元的第二電壓與第二斜坡電壓,以產生第二計量。
於一些面向中,於第一測量模式中,類比數位轉換器電路用以控制轉換閘使第一電荷量通過轉換閘移動至第二電荷儲存單元。類比數位轉換器電路亦用以使用第二比較器比較形成於第二電荷儲存單元的第一電壓與第一斜坡電壓,以產生第一計量。
於一些面向中,類比數位轉換器電路用以於第二測量模式與第一測量模式之間重置第二電荷儲存單元。
於一些面向中,類比數位轉換器電路包含第三電容器,耦接於第二電荷儲存單元與第一比較器或第二比較器至少其中一者。第三電容器用以於重置第二電荷儲存單元過程中儲存電荷,以補償以下至少一者:引入至該第二電荷儲存單元的重置雜訊或該第一比較器與該第二比較器至少其中之一的一偏移電壓。
於一些面向中,第二電荷儲存單元的第二電容量係為可配置的。類比數位轉換器電路用以減少第一測量模式中的第二電容量且增加第二測量模式中的第二電容量。
於一些面向中,類比數位轉換器電路用以於第二測量模式之後執行第一模式測量模式。類比數位轉換器電路更用以:基於第一決策輸出與第二決策輸出而決定將第一計量或第二計量儲存於記憶體中;且提供儲存於記憶體的第一計量或第二計量作為代表光強度的數位輸出。
於一些面向中,第一計量器或第二計量當中至少一者用以分別產生第一斜坡電壓或第二斜坡電壓中至少一者,以具有關於時間的一非均勻斜坡斜率(ramping slope)。
於一些面向中,類比數位轉換器電路更用以於第三測量模式中:比較第二電壓與固定門檻值以產生第三決策輸出,第三決策輸出指示第二電壓是否超過此固定門檻值;且基於第三決策輸出的時間而產生數位輸出,此數位輸出代表入射於光電二極體的光強度。於一些面向中,類比數位轉換器電路更用以於第三測量模式中:在驅使光電二極體傳送電荷至第二電荷儲存單元後,啟用第三計量器,且以第三決策輸出在第三計量器中設定第三計量。代表光強度的數位輸出可基於第三計量而產生。
於一些面向中,類比數位轉換器電路用以在第二測量模式與第一測量模式之前執行第三測量模式。類比數位轉換器電路更用以:將第三計量儲存於記憶體中;基於第三決策輸出而判斷不以記憶體中的第一計量或第二計量覆寫第三計量;以及提供儲存於記憶體的第三計量作為代表光強度的數位輸出。
於一些面向中,第一計量器可包含第二計量。第一比較器亦可包含第二比較器。
於另一個例子中,提出一種方法。此方法包含使光電二極體曝露於入射光以使光電二極體產生電荷,其中光電二極體耦接第一電荷儲存單元及第二電荷儲存單元。第一電荷儲存單元具有第一電容量且第二電荷儲存單元具有大於第一電容量的第二電容量。此方法更包含執行第一測量模式。此第一測量模式包含使用第一計量器產生第一斜坡電壓,以及比較第一電壓與第一斜坡電壓以產生第一決策輸出。此第一電壓代表儲存於第一電荷儲存單元的第一電荷量,第一決策輸出於第一計量器中設定第一計量。此方法更包含執行第二測量模式。此第二測量模式包含使用第二計量而產生第二斜坡電壓;以及比較第二電壓與第二斜坡電壓以產生第二決 策輸出。第二電壓代表儲存於第二電荷儲存單元內的第二電荷量,第二決策輸出於第二計量器中設定第二計量。此方法更包含基於第一計量或第二計量而產生代表入射光強度的數位輸出。
於一些面向中,第一電荷儲存單元透過轉換閘耦接第二電荷儲存單元,且執行第二測量模式更包含:控制轉換閘以避免第一電荷量通過轉換閘移動至第二電荷儲存單元;以及比較於第二電荷儲存單元形成的第二電壓與第二斜坡電壓,以產生第二計量。
於一些面向中,執行第一測量模式更包含:控制轉換閘而使第一電荷量通過轉換閘移動至第二電荷儲存單元;以及比較於第二電荷儲存單元內形成的第一電壓與第一斜坡電壓,以產生第一計量。
於一些面向中,第一斜坡電壓或第二斜坡電壓至少一者被產生以具有關於時間的非均勻斜坡斜率。
於一些面向中,此方法更可包含執行第三測量模式。執行此第三測量模式可包含:比較第二電壓與固定門檻值以產生第三決策輸出,此第三決策輸出指示第二電壓是否超過此固定門檻值;以及基於第三決策輸出的時間而產生代表入射於光電二極體之光強度的數位輸出。第三測量模式可在執行第一測量模式與第二測量模式之前而被執行。
100:近眼顯示器
105:構架
135、220:眼球
110:顯示器
120a~120d、150a、150b:感測器
130、140a~140f:發光體
A、B、C:方向
200、400:剖面
210:波導顯示器組件
230:出射瞳
300:波導顯示器
310:源組件
320:輸出波導器
330:控制器
340、355:圖像光
350:耦合元件
360:導向元件
365:去耦元件
370:圖像感測器
370-1:第一側
370-2:第二側
402:像素單元
404:快門
410:來源
415:光學系統
500:系統
510:控制電路系統
525:位置感測器
530:慣性感測單元
535:圖像裝置
540:輸入/輸出介面
545:應用程式商店
550:追蹤模組
555:引擎
600、1100:像素單元
602:光電二極體
603:殘餘電荷電容器
604:快門開關
606:轉換閘
607:重置開關
608:測量電容器
609:緩衝器
610:像素類比數位轉換器
611:曝光致能訊號
612:測量控制訊號
614:類比輸出節點
616:像素輸出匯流排
617:光電二極體電流槽
702、704:閾值
706:低光強度範圍
708:中光強度範圍
710:高光強度範圍
Q1~Q3:電荷量
802:閾值產生器
804:比較器
806:數位輸出產生器
808:計量器
810:記憶體
812:時脈訊號
813:數位類比轉換器
814:計量器輸出
815:參考電壓
816:決策
1110:比較器
1112:反或閘
△1、△S、△L:量化步距
PD:光電二極體
PDCAP、CEXT、COF、CC:電容器
M0~M6:電晶體
RST1、RST2、LG、TX:訊號
FLAG_1、FLAG2:旗標
VIN、VOUT:電壓
VREF:參考電壓
SHUTTER:快門訊號
OF:節點
T0~T5:時點
參照以下圖式描述示例性的實施例。
圖1A與1B係為根據一實施例所繪示的近眼顯示器的示意圖。
圖2係為根據一實施例所繪示的近眼顯示器的剖面圖。
圖3係為根據一實施例所繪示的具有單一源組件的波導顯示器之等角視圖。
圖4係為根據一實施例所繪示的波導顯示器300的剖面圖。
圖5係為根據一實施例所繪示的包含近眼顯示器的系統之 方塊圖。
圖6係為根據一實施例所繪示的像素單元的方塊圖。
圖7係根據圖6實施例所繪示之判斷不同範圍的光強度的運作。
圖8係繪示圖6的像素單元之內部元件的範例。
圖9A與9B係繪示判斷光強度的範例方法。
圖10A與10B係繪示執行量化的技術。
圖11係根據一實施例所繪示的像素單元的方塊圖。
圖12A、12B、12C與12D繪示判斷光強度的範例方法。
圖13係通過本發明的實施例可實現的一組入射光強度範圍內的信噪比示例圖。
圖14係根據一實施例所繪示的用於判斷光強度之過程的流程圖。
附圖僅出於說明的目的描繪本發明的實施例。本領域的技術人員將從以下描述中容易地認識到,在不脫離本發明的原理或所具有的好處下,可以採用所示結構和方法的可選之實施例。
在所附的圖式中,類似的組件及/或特徵可以具有相同的參考標號。此外,相同類型的各種組件可以通過用短劃線以下的參考標號和區分相似組件的第二標號來區分。如果在說明書中僅使用第一參考標號,則此描述方式適用於具有相同第一參考標號的任何一個類似組件,而與第二參考標號無關。
在以下的描述當中,出於解釋的目的,闡述了具體細節以便提供對某些發明實施例的透徹理解。然而,顯而易見的是,可以在沒有這些具體細節的情況下實踐各種實施例。附圖和描述並非是限制性的。
典型的圖像感測器包含光電二極體用以藉由將光量子轉換 為電荷(例如電子或電洞)而感測入射光。此圖像感測器更包含浮接節點配置作為電容以蒐集此光電二極體於曝光期內所產生的電荷。所蒐集的電荷可演變成為電容當中的電壓。此電壓可被緩衝並傳送至類比數位轉換器(ADC),其可將此電壓轉換為代表入射光強度的數位值。
類比數位轉換器所產生的此數位值可關聯於入射光的強度,此數位值反映出於一特定時間儲存在此浮接節點的電荷數量。然而,關聯程度會受到不同因素所影響。首先,儲存於浮接節點的電荷量係直接關聯於入射光的強度直到浮接節點達到飽和極限。超過此飽和極限,浮接節點可能會無法穩定接收光電二極體所產生的額外電荷,且該些額外電荷可能會洩漏出來而無法被儲存。此將會導致儲存於浮接節點的電荷量可能低於光電二極體實際所產生的電荷量。此飽和極限可決定圖像感測器之可量測光的強度的上限。
各種因素亦可設定圖像感測器之可量測的光強度的下限。舉例來說,在浮接節點所蒐集的電荷可包含與入射光的強度不相關聯的雜訊電荷。雜訊電荷的一個來源可以為暗電流(dark current),其可係為由於晶體缺陷(crystallographic defects)所導致在光電二極體的p-n接面或連接電容器的其他半導體裝置的p-n接面所產生之漏電流。暗電流可流入電容器且增加與入射光的強度不相關聯的電荷。一般而言,在光電二極體所產生的暗電流小於在其他半導體裝置所產生的暗電流。雜訊電荷的另一個來源可以係為與其他電路的電容耦合。舉例來說,當類比數位轉換電路執行讀取運作來判斷儲存於浮接節點的電荷量時,類比數位轉換電路可透過電容耦合而將雜訊電荷引入至浮接節點。
除了雜訊電荷之外,在判斷電荷量時,類比數位轉換亦可引入測量誤差。此測量誤差會使數位輸出與入射光強度的關聯程度下降。測量誤差的一個來源可以係為量化誤差。於量化過程中,一組離散的數量級別(quantity levels)可用於表示一組連續的電荷量,其中每個數量級別代表 預定的電荷量。類比數位轉換可將輸入電荷量與此數量級別進行比較,判斷最接近此輸入量的數量級別,且輸出所判斷的數量級別(例如以代表數量級別的數位編碼的形式)。當以數量級別所表示的電荷量與映射至此數量級別的輸入電荷量兩者不符合時,量化誤差便可能發生。可以藉由較小的量化步距減少此量化誤差(例如藉由減少相鄰的兩個數量級別的電荷量差異)。測量誤差的其他來源可例如包含使電荷量測量增加不確定性的裝置雜訊(例如類比數位轉換電路的裝置雜訊)及比較器的偏移。雜訊電荷與類比數位轉換器測量誤差可定義圖像感測器的可量測光強度的下限。上限與下限的比例定義一動態範圍,其可供圖像感測器設定一可運作光強度範圍。
可基於多個圖像感測器陣列所提供的強度資料產生圖像,其中每個圖像感測器形成對應此圖像像素的一像素單元。此像素單元的陣列可配置為多個列(rows)與行(columns),其中每個像素產生一電壓,此電壓代表關聯圖像中一特定位置的像素的強度。陣列中多個像素可決定所產生的圖像的解析度。電壓可透過類比數位轉換器而被轉換為數位強度資料,且圖像可基於每個像素的數位強度資料而被重建。利用當前的技術,多個數位單元當中的一些數位單元可能需要輪流存取類比數位轉換器以產生數位強度資料。舉例來說,一組類比數位轉換器可被提供用以同時處理一列當中的每個像素單元所產生的電壓。然而,像素單元相鄰的列可能需要輪流存取該組類比數位轉換器。於一個例子中,為了產生圖像,此像素陣列可以滾動快門方式運作,其中每個像素列被曝露於入射光以依序產生強度資料。舉例來說,圖像感測器的一像素列可於曝光期內曝露於入射光。此列當中的每個像素單元可基於光電二極體於曝光期內所產生的電荷而產生電壓,且將此電壓傳送至類比數位轉換器。此類比數位轉換器可產生代表像素列所接收之入射光的強度的一組數位資料。在產生一像素列的此組數位資料之後,下一個像素列可在隨後的曝光期內曝露於入射光以產生另一組數位強度資料,直到所有的像素列均已曝露於入射光且輸出強度資料。 於再另一個例子中,不同列像素的曝光時間可以有些許重疊,但是每個列的像素仍然需要輪流將產生自光電二極體電荷的電壓轉換為數位數據。可基於每個像素列的數位強度資料而產生圖像。
圖像感測器可作為各種不同的應用。舉一個例子來說,數位圖像裝置(例如數位相機、智能電話等)所包含的圖像感測器可提供數位圖像。在另一個例子中,圖像感測器用以配置作為輸入裝置以控制或影響裝置的運作,例如控制或影響穿戴式虛擬實境(VR)系統及/或擴增實境(AR)及/或混合實境(MR)系統內之近眼顯示器的顯示內容。舉例來說,圖像感測器可用於產生一使用者所位在之實體環境的實體圖像資料。實體圖像可被提供給位置追蹤系統以進行同步定位及地圖創建(SLAM)演算法進行追蹤,例如在實體環境中之使用者的位置、使用者的方向及/或使用者的移動路徑。圖像感測器亦可用於產生實體圖像資料,其包含用於量測在實體環境中的使用者與物件之間的距離的立體深度資訊。圖像感測器亦可用以作為近紅外線(NIR)感測器。一發光體可投射近紅外線型態的光線至使用者眼球。眼球的內部結構(例如瞳孔)可自NIR光線產生光學圖樣(reflective pattern)。圖像感測器可擷取光學圖樣的影像,且將此影像提供至系統以追蹤使用者眼球的移動,從而判斷使用者的凝視點。基於這些實體圖像資料,虛擬實境/擴增實境/混合實境系統可產生且更新虛擬圖像資料以透過近眼顯示器顯示給使用者,從而將互動體驗提供給使用者。舉例來說,虛擬實境/擴增實境/混合實境系統可基於使用者的凝視方向(可表示使用者對此物件的興趣)、使用者位置等更新此虛擬圖像資料。
穿戴式虛擬實境/擴增實境/混合實境系統可在具有大範圍光強度的環境中運作。舉例來說,穿戴式虛擬實境/擴增實境/混合實境系統能夠在室內環境或在戶外環境中運作,及/或在一天中的不同時間運作,且穿戴式虛擬實境/擴增實境/混合實境系統的運作環境之光強度實質上可能會變化。再者,穿戴式虛擬實境/擴增實境/混合實境系統亦可包含前述 的NIR眼球追蹤系統,其可能需要投射極低強度的光線至使用者眼球以避免對眼球造成傷害。因此,穿戴式虛擬實境/擴增實境/混合實境系統的圖像感測器可能需要具備寬廣的動態範圍以能夠在不同運作環境的大範圍光強度當中適當地運作(例如,產生關於入射光強度的輸出)。穿戴虛擬實境/擴增實境/混合實境系統的圖像感測器亦可能需要在足夠高的速度下產生圖像以允許使用者的位置、方向、凝視點等的追蹤。具有有限的動態範圍且以相對較低速下產生圖像的圖像感測器可能不適用於這樣的穿戴式虛擬實境/擴增實境/混合實境系統。
本發明關於一種像素單元,可提供擴增的動態範圍及改善的處理速度。此像素單元可包含光電二極體、第一電荷儲存單元、第二電荷儲存單元、介於第一電荷儲存單元與第二電荷儲存單元之間的轉換閘以及類比數位轉換器(ADC)電路。第一電荷儲存單元與第二電荷儲存單元均能夠儲存光電二極體所產生的電荷,而轉換閘可控制由第一電荷儲存單元至第二電荷儲存單元的電荷流動。舉例來說,轉換閘可受控於偏壓,使得當光電二極體因接觸入射光而產生電荷時,電荷可先累加於第一電荷儲存單元作為殘餘電荷直到形成於此第一電荷儲存單元的電壓超過此偏壓所設定的門檻值。當形成於第一電荷儲存單元的電壓超過此門檻值時,額外的電荷(由光電二極體所產生)可作為溢出電荷(溢出電荷)而通過轉換閘移動至第二電荷儲存單元。第一電荷儲存單元可以係為光電二極體的裝置電容器。第二電荷儲存單元可以係為轉換閘的裝置電容器、金屬電容器、金屬氧化物半導體(MOS)電容器或上述組合。一般來說,第二電荷儲存單元所具有的電容量相較於第一電荷儲存單元具有的電容量高出許多。
像素單元可在多個測量模式之下運作以執行光強度測量,不同測量模式係針對不同的光強度範圍。在針對第一電荷儲存單元預計不達到滿載量之低光強度範圍的第一測量模式當中,類比數位轉換器可運行以測量儲存於第一電荷儲存單元的殘餘電荷量,進而判斷光強度。在針對第 一電荷儲存單元預計達到滿載量之中光強度範圍的第二測量模式當中,類比數位轉換器可運行以測量儲存於第二電荷儲存單元的溢出電荷量,進而判斷光強度。且在針對第一電荷儲存單元與第二電荷儲存單元均預計達到滿載量之高光強度範圍的第三測量模式當中,類比數位轉換器可運行以測量第二電荷儲存單元中的溢出電荷的累加率,進而判斷光強度。
所揭露的技術可針對低光強度測量與高光強度測量的像素單元之動態範圍進行擴展,且產生代表量測的數位輸出。舉例來說,溢出電荷(針對高光強度範圍)的累加率提供相當準確的光強度之呈現,甚至在第二電荷儲存單元達到電容限制時,仍可使光強度被測量。因此,圖像感測器的可量測光強度之上限可以被提高,且動態範圍可以被擴展。
再者,針對低光強度範圍,基於測量儲存於光電二極體的裝置電容器內的殘餘電荷所進行的光強度之判斷亦可改善的光強度判斷的準確性。如上述,一般而言,相較於其他的半導體裝置,光電二極體產生較少的暗電流。因此,藉由基於測量儲存於光電二極體的裝置電容器中的殘餘電荷所進行的光強度之判斷,暗電流對於殘餘電荷測量(及光強度之判斷)的準確度所造成的影響可以減少。因此,引入較少的雜訊電荷(例如由於暗電流),這樣反而可降低圖像感測器的可量測光強度的下限且進一步地擴展動態範圍。其他技術被揭露,例如可變電荷-電壓轉換比、非均勻量化等,以進一步提升光強度判斷的精準度,特別是針對低強度光範圍。
進一步地,透過提供像素單元中的類比數位轉換器,像素陣列的每個像素單元接觸入射光且同時產生在像素單元所接到之入射光強度的數位呈現,以提供全局式快門(global shutter)運作。對於高速移動的擷取來說,全局式快門的優勢在於可避免像素單元列於不同時間擷取不同部份的影像所造成的移動失真的問題,此移動失真與滾動式快門(rolling shutter)運作相關。進一步來說,相較於像素單元列輪流曝光且產生強度數據的現行方法,使用此像素單元來產生影像的處理時間可以減少。因此, 所揭露的技術不僅可以擴展動態範圍,更可以提升像素單元的運行速度,且亦可改善倚賴像素單元之數位輸出的應用(例如虛擬實境/擴增實境/混合實境系統)的效能,以及使用者的體驗。
本發明實施例可包含或與人工實境(Artificial reality)系統結合來實施。人工實境係為一種實境型態,在呈現予使用者之前,此實境型態被以某種方式進行調整,其可包含例如虛擬實境(VR)、擴增實境(AR)、混合實境(MR)、複合實境(hybrid reality)或上述任意組合及/或其衍生物。人工實境內容可包含完整產生的內容或與所捕捉(真實世界(real-world))的內容結合的所產生之內容。人工實境內容可包含視頻、音訊、觸覺回饋(haptic feedback),或上述任意組合,且上述任一個可經由單一通道或多通道呈現(例如對觀看者產生3D效果的立體影音)。此外,於一些實施例中,人工實境亦可與應用程式、產品、配件、服務或上述任意組合相關聯,用於例如在人工實境當中創建內容及/或以其他方式在人工實境當中使用(例如執行活動)。提供人工實境內容的人工實境系統可在各種平台上實施,包含連接主電腦系統的頭戴式顯示器(HMD)、獨立的HMD、行動裝置或任何其他能夠提供人工實境內容給一或多個觀看者的硬體平台。
圖1A係為一實施例的近眼顯示器100的示意圖。近眼顯示器100呈現媒體給使用者。近眼顯示器100所呈現的媒體例如包含一或多個圖像、視頻及/或音訊。於一些實施例中,音訊係透過外部裝置(例如揚聲器及/或耳機)而呈現,此外部裝置係接收來自於近眼顯示器100、主控台或前述兩者的音訊資訊,且根據此音訊資訊而呈現音訊資料。一般來說,近眼顯示器100用以作為虛擬實境(VR)顯示器來運作。於一些實施例中,近眼顯示器100可改良作為擴增實境(AR)顯示器及/或混合實境(MR)顯示器。
近眼顯示器100包含構架105與顯示器110。構架105耦 接一或多個光學元件。顯示器110用以供使用者觀看近眼顯示器100所呈現的內容。於一些實施例中,顯示器110包含波導顯示器組件,用以將來自一或多個圖像的光線導引至使用者的眼睛。
近眼顯示器100更包含圖像感測器120a、120b、120c及120d。每個圖像感測器120a、120b、120c及120d可包含像素陣列,用以產生代表不同方向上之不同視野的圖像資料。舉例來說,感測器120a與120b可用以提供圖像資料,其代表在沿著Z軸的方向A上的兩個視野,而感測器120c可用以提供圖像資料,其代表在沿著X軸的方向B上的一個視野,感測器120d用以提供圖像資料,其代表在沿著X軸的方向C上的一個視野。
於一些實施例中,感測器120a~120d可用以作為輸入裝置以控制或影響近眼顯示器100的顯示內容,從而提供互動虛擬實境/擴增實境/混合實境體驗給穿戴有近眼顯示器100的使用者。舉例來說,感測器120a~120d可產生使用者所位在的實體環境的實體圖像資料。實體圖像資料被提供至位置追蹤系統以追蹤實體環境中使用者的位置及/或移動路徑。系統可例如基於使用者的位置及方向,對提供給顯示器100的影像數據進行更新,從而提供互動體驗。於一些實施例中,位置追蹤系統可運行一個同步定位與地圖創建(SLAM)演算法,用以當使用者在實體環境當中移動時,於實體環境及使用者的視野內追蹤一組物件。位置追蹤系統可基於該組物件而建構且更新實體環境的地圖,且在地圖中追蹤使用者的位置。透過提供對應多個視野的圖像資料,感測器120a-120d可提供更全面的實體環境之視野給此位置追蹤系統,其可讓更多的物件被包含在地圖的建構與更新當中。藉由這樣的配置,可提高在實體環境中追蹤使用者位置的準確性與可靠性。
於一些實施例中,近眼顯示器100更可包含一或多個可將光線投射至實體環境的主動發光體130。所投射的光線可關聯於不同頻譜(例 如可見光、紅外光、紫外光),且可用於各種目的。舉例來說,發光體130可在黑暗環境中投射光線(或具有低強度紅外光、紫外光等的環境)以協助感測器120a-120d擷取不同物件的影像,以能夠追蹤使用者的位置。發光體130可將特定標記投射至環境中的物件,以協助位置追蹤系統識別物件,以進行地圖建構/更新。
於一些實施例中,發光體130亦可實現立體成像。舉例來說,感測器120a或120b可包含用於感測可見光的第一像素陣列以及用於感測紅外光(IR)的第二像素陣列。此第一像素陣列可被彩色濾光片所覆蓋(例如拜爾濾色鏡(Bayer filter)),第一像素陣列的每個像素用以測量與特定顏色相關的光強度(例如紅、綠、藍其中一者)。此第二像素陣列(用於感測紅外光)亦可被濾光片所覆蓋,僅允許紅外光通過,第二像素陣列的每個像素用以測量紅外光的強度。像素陣列可產生物件的RGB圖像及IR圖像,此IR圖像的每個像素被映射至RGB圖像的每個像素。發光體130可將一組IR標記投射於物件上,此組IR標記的圖像可被IR像素陣列所擷取。基於圖像當中此物件的IR標記的分佈,系統可以預估此物件的不同部分與此IR像素陣列的距離,且基於該些距離而產生此物件的立體圖像。基於此物件的立體圖像,系統可判斷例如此物件與使用者的相對位置,且可基於此相對位置資訊更新提供給顯示器100的圖像資料,從而提供互動體驗。
如上述所討論,近眼顯示器100可在具有極寬廣的光強度範圍的環境當中運作。舉例來說,近眼顯示器100可在室內環境或室外環境、及/或在一天當中的不同時間進行運作。近眼顯示器100亦可在發光體130開啟或未開啟的情形下運作。因此,圖像感測器120a~120d可能需要具有寬廣的動態範圍才能夠在近眼顯示器100的不同操作環境中的極寬廣光強度範圍內正常地運作(例如產生與入射光強度相關的輸出)。
圖1B係為另一實施例的近眼顯示器100的示意圖。圖1B繪示近眼顯示器100面向穿戴有近眼顯示器100的使用者眼球135的一 側。如圖1B所示,近眼顯示器100更可包含多個發光體140a、140b、140c、140d、140e及140f。近眼顯示器100更包含多個圖像感測器150a及150b。發光體140a、140b及140c可朝向方向D(其相對於圖1A的方向A)發出特定頻率範圍的光線(例如近紅外光(NIR))。所發出的光線可關聯於一特定圖型(pattern),且可以被使用者左眼所反射。感測器150可包含像素陣列以接收所反射的光線且產生反射圖型的圖像。類似地,發光體140d、140e及140f可發出帶有此圖型的NIR光線。此NIR光線可被使用者右眼所反射,且可被感測器150b所接收。感測器150b亦可包含像素陣列以產生反射圖型的圖像。基於來自於感測器150a及150b的反射圖型的圖像,系統可判定使用者的凝視點,且基於所判定的凝視點而更新提供給顯示器100的圖像資料,從而將互動體驗提供給使用者。
如上述所討論,為了避免對使用者眼球造成傷害,一般來說,發光體140a、140b、140c、140d、140e及140f用以輸出強度極低的光線。在圖像感測器150a及150b與圖1A的圖像感測器120a~120d包含相同感測器裝置的情況下,當入射光強度極低時,圖像感測器120a~120d可能需要能夠產生與入射光強度相關的輸出,這可能更進一步增加圖像感測器的動態範圍需求。
此外,圖像感測器120a~120d可能需要能夠在高速下產生輸出以追蹤眼球的運動。舉例來說,使用者眼球可執行一個由一眼球位置快速跳躍至另一眼球位置之極快速的運動(例如掃視運動)。為了追蹤使用者眼球的快速運動,圖像感測器120a~120d需要在高速情形下產生眼球的圖像。舉例來說,圖像感測器產生圖像框的速率(幀率)至少需要符合眼球運動的速率。高幀率係要求所有涉及到影像框之產生的像素單元的總曝光時間必須係為短暫的,且需要快速將感測器輸出轉換為數位值以產生圖像。此外,如上述所討論,圖像感測器亦需要能夠在具有低光強度的環境中運作。
圖2係為一實施例所繪示的圖1之近眼顯示器100的剖面200。顯示器110包含至少一波導顯示器組件210。出射瞳230係為當使用者穿戴近眼顯示器100時,使用者的單一眼球220於可視區域(eyebox region)中對位的位置。出於說明之目的,圖2繪示出關聯於眼球22與單一波導顯示器組件210的剖面200,但一第二個波導顯示器組件可用於使用者的第二個眼睛。
波導顯示器組件210用以將圖像光導引至位於出射瞳230的可視區域及眼球220。波導顯示器組件210可由帶有一或多個折射率的一或多個材料(例如塑膠、玻璃等)所組成。於一些實施例中,近眼顯示器100包含介於波導顯示器組件210與眼球220之間的一或多個光學元件。
於一些實施例中,波導顯示器組件210包含一或多個波導顯示器的堆疊,其包含但不限於堆疊波導顯示器(stacked waveguide display)、變焦波導顯示器(varifocal waveguide display)等。此堆疊波導顯示器係為藉由堆疊多個波導顯示器所構成的多色顯示器(例如紅-綠-藍(RGB)顯示器),該些波導顯示器具有不同顏色之各自的單色光源。此堆疊波導顯示器亦可以係為在多個平面上投射的多色顯示器(例如多平面彩色顯示器)。於一些型態中,此堆疊波導顯示器係為在多個平面上投射的多色顯示器(例如多平面單色顯示器)。變焦波導顯示器係為可調節從波導顯示器發出的圖像光的焦點位置的顯示器。於可選的實施例中,波導顯示器組件210可包含此堆疊波導顯示器及此變焦波導顯示器。
圖3繪示一實施例的波導顯示器300的等角視圖。在一些實施例中,波導顯示器300係為近眼顯示器100的一元件(如波導顯示器組件210)。在一些實施例中,波導顯示器300係一些其他近眼顯示器或將圖像光導向特定位置的其他系統的一部分。
波導顯示器300包括源組件310,輸出波導器320及控制器330。出於說明的目的,圖3顯示關聯於單一眼球220的波導顯示器300, 但在一些實施例中,與此波導顯示器300分離或部分分離的另一波導顯示器提供圖像光到使用者的另一隻眼睛。
源組件310產生圖像光355。源組件310產生並輸出圖像光355到位於輸出波導器320的第一側370-1的一耦合元件350。輸出波導器320係輸出擴展的圖像光340到使用者一眼球220的一光學波導管。輸出波導器320在位於第一側370-1的一或多個耦合元件350接收圖像光355並將所接收的輸入圖像光355引導到一個導向元件360。在一些實施例中,耦合元件350將來自源組件310的圖像光355耦合到輸出波導器320。耦合元件350可例如是繞射光柵(differration grating)、全像光柵(holographic grating)、一或多個串接反射器(cascaded reflectors)、一或多個稜鏡表面元件,及/或全像反射器(holographic reflectors)陣列。
導向元件360將所接收到的輸出圖像光355重導向到一去耦元件365,使得所接收的輸入圖像光355經由去耦元件365在輸出波導器320外部被去耦合。導向元件360係輸出波導器320的第一側370-1的一部分,或被固定到輸出波導管320的第一側370-1。去耦元件365係輸出波導器320的第二側370-2的一部分,或被固定到輸出波導器320的第二側370-2,使得導向元件360相對於去耦元件365。導向元件360及/或去耦元件365可例如是繞射光柵、全像光柵、一或多個串接反射器、一或多個稜鏡表面元件,及/或全像反射器陣列。
第二側370-2代表沿著x維度和y維度的一平面。輸出波導器320可由促進圖像光355全內反射(total internal flection)的一或多個材料組成。輸出波導器320可以由例如矽、塑膠、玻璃和/或聚合物組成。輸出波導器320具有一相對小的形狀因素(form factor)。舉例來說,輸出波導器320沿著x維度可以是大約50公厘(mm)寬,沿著y維度是30公厘長,且沿著z維度是0.5~1公厘厚。
控制器330控制源組件310的掃描操作。控制器330決定 用於源組件310的掃描指令。在一些實施例中,輸出波導器320輸出具有大視野(field of view,FOV)的擴展圖像光340到使用者的眼球220。舉例來說,擴展圖像光340被以具有60度及/或更大及/或150度及/或更小的對角視野(在x和y維度)提供到使用者的眼球220。輸出波導器320用於提供具有長度20公厘或更長及/或等於或小於50公厘;及/或寬度10公厘或更寬及/或小於或等於50公厘的一可視區域。
此外,基於由圖像感測器370所提供的圖像資料,控制器330也控制由源組件310產生的圖像光355。圖像感測器370可以位於第一側370-1上,並且可以包含例如圖1A的圖像感測器120a-120d,以產生使用者面前的實體環境的圖像資料(例如,用於確認位置)。圖像感測器370也可以位於第二側370-2上並且可以包含圖1B的圖像感測器150a和150b,以產生使用者的眼球220的圖像數據(例如,用於確認凝視點)。圖像感測器370可以連接不位於波導顯示器300內的遠端控制台。圖像感測器370可以提供圖像資料給遠端控制台,此遠端控制台可以確認例如使用者的位置,使用者的凝視點等,並決定顯示給使用者的圖像的內容。遠端控制台可傳送與所決定的內容相關的指令給控制器330。基於指令,控制器330可以透過源組件310控制圖像光355的產生和輸出。
圖4繪示一實施例的波導顯示器300的剖面400。此剖面400包含源組件310、輸出波導器320及圖像感測器370。在圖4的範例中,圖像感測器370可以包含位於第一側370-1的一組像素單元402以產生使用者面前的實體環境的圖像。在一些實施例中,可以在這組像素單元402和實體環境之間插入機械快門404以控制這組像素單元402的曝光。在一些實施例中,機械快門404可由將在下面討論的電子快門所取代。每個像素單元402可以對應於圖像的一個像素。雖然未在圖4中示出,可以理解的是每個像素單元402也可以用濾光器覆蓋,以控制由像素單元感測的光的頻率範圍。
在收到遠端控制台的指令之後,機械快門404可在一曝光期間內打開並曝光該組像素單元402。在曝光期間內,圖像感測器370可獲得入射在該組像素單元402的光線的樣本,並且基於由該組像素單元402所偵測的入射光樣本的一強度分布產生圖像資料。圖像感測器370然後可將圖像資料提供到決定顯示內容的遠端控制台,並提供顯示內容資訊給控制器330。控制器330然後基於顯示內容資訊可決定圖像光355。
源組件310根據來自控制器330的指令產生圖像光355。源組件310包含一來源410及一光學系統415。來源410係產生同調(coherent)或部分同調光的一光源。來源410例如是雷射二極體,垂直腔面發射雷射器(vertical cavity surface emitting laser)及/或發光二極體。
光學系統415包括一或多個光學元件,光學元件調節來自來源410的光線。調節來自來源410的光線包含例如根據來自控制器330的指令進行擴展,準直(collimating)及/或調整定向。一或多個光學元件可包含一或多個鏡頭、流體鏡頭、鏡子、光圈(aperture)及/或光柵。在一些實施例中,光學系統415包含具有複數個電極的一流體鏡頭,這些電極允許具有掃描角度閾值的光束的掃描將光束移動到流體鏡頭以外的區域。從光學系統415(以及源組件310)發出的光被當作圖像光355。
輸出波導器320接收圖像光355。耦合元件350將來自源組件310的圖像光355耦合到輸出波導器320。在耦合元件350係一繞射光柵的實施例中,選擇繞射光柵的一節距(pitch)使得全內反射發生在輸出波導器320中,且圖像光355朝向去耦元件365在輸出波導器320內部地傳播(例如藉由全內反射)。
導向元件360將圖像光355朝向去耦元件365重新導向,以從輸出波導器320去耦。在導向元件360係一繞射光柵的實施例中,選擇繞射光柵的一節距導致入射的圖像光355以相對於去耦元件365表面的傾斜的角度離開輸出波導器320。
在一些實施例中,導向元件360及/或去耦元件365係結構上相似。離開輸出波導器320的擴展圖像光340沿著一或多個維度(例如,可沿著x維度延長)被擴展。在一些實施例中,波導顯示器300包含複數個源組件310及複數個輸出波導器320。每一源組件310發出對應一原色(如:紅、綠、藍)具有特定波長頻帶的單色圖像光。每一輸出波導器320可以一間隔距離被堆疊在一起以輸出多色的擴展圖像光340。
圖5係一實施例的包含近眼顯示器100的系統500的方塊圖。系統500包括近眼顯示器100,圖像裝置535,輸出/輸出介面540,以及各自耦合到一控制電路系統510的圖像感測器120a~120d及150a~150d。系統500可用以作為一頭戴式裝置、一穿戴式裝置等。
近眼顯示器100係呈現媒體給使用者的顯示器。近眼顯示器100所呈現的媒體可例如包含一或多個圖像、視頻及/或音訊。在一些實施例中,音訊由一個外部裝置(例如揚聲器及/或頭戴式耳機)呈現,此外部裝置從近眼顯示器100及/或控制電路系統510接收音訊資訊,且基於音訊資訊對使用者呈現音訊資料。在一些實施例中,近眼顯示器100也可作為AR眼鏡。在一些實施例中,近眼顯示器以電腦產生的元素(如圖像、視頻、聲音等)擴增物理上真實世界的視野。
近眼顯示器100包括一波導顯示組件210,一或多個位置感測器525及/或一慣性感測單元(inertial measurement unit,IMU)530。波導顯示組件210包含源組件310,輸出波導器320及控制器330。
IMU 530係一電子裝置,其基於從一或多個位置感測器525收到的測量訊號產生快速校正資料,此快速校正資料指示近眼顯示器100相對於近眼顯示器100初始位置的一估測位置。
圖像裝置535可產生用於多種應用的圖像資料。舉例來說,圖像裝置535可以根據從控制電路系統510接收的校正參數產生圖像資訊以提供慢速校正資料。圖像裝置535可以包含例如圖1A的圖像感測器 120a~120d以產生使用者所在的實體環境的圖像資料,藉此執行使用者的定位追蹤。圖像裝置535可進一步包含例如圖1B的圖像感測器150a~150b以產生確認使用者凝視點的的圖像資料,藉此確認使用者感興趣的物件。
輸入/輸出介面540是一個允許使用者送出動作請求到控制電路系統510的裝置。動作請求係指執行一特定動作的請求。舉例來說,一個動作請求可以是開始或結束一個應用程式或在一應用程式內執行一特定動作。
控制電路系統510根據從圖像裝置535、近眼顯示器100以及輸入/輸出介面540當中的一或多個所接收到的資訊而提供媒體到近眼顯示器100以呈現給使用者。在一些例子中,控制電路系統510可被包覆於系統500內作為一個頭戴式裝置。在一些例子中,控制電路系統510可以係為獨立的控制台裝置通訊耦接系統500的其他元件。在圖5所示的範例中,控制電路系統510包括一應用程式商店545、一追蹤模組550及一引擎555。
應用程式商店545儲存一或多個應用程式供控制電路系統510執行。應用程式係一組指令,當處理器執行這些指令時可產生內容以呈現給使用者。應用程式可例如包含:遊戲應用程式、會議應用程式、視訊回放應用程式或其他合適的應用程式。
追蹤模組550使用一或多個校正參數校正系統500並可調整一或多個校正參數以減少在確認近眼顯示器100的位置時的誤差。
追蹤模組550使用來自圖像裝置535的慢速校正資訊追蹤近眼顯示器100的移動。追蹤模組550也使用來自快速校正資訊的位置資訊確認近眼顯示器100的參考點的位置。
引擎555在系統500內執行應用程式並從追蹤模組550接收近眼顯示器100的位置資訊、加速度資訊、速度資訊及/或預測的未來位置。在一些實施例中,引擎555接收的資訊可被用來產生一訊號(例如, 顯示指令)到波導顯示器組件210,以決定呈現給使用者的內容的類型。舉例來說,為了提供一個互動體驗,引擎555基於使用者的位置(例如由追蹤模組550所提供)、使用者的凝視點(例如基於從圖像裝置535提供的圖像資料)、物件和使用者之間的距離(例如基於從圖像裝置535提供的圖像資料)可決定要呈現給使用者的內容。
圖6繪示像素單元600的一範例。像素單元600可為像素陣列的一部分且可產生對應一圖像的一像素的數位強度資料。舉例來說,像素單元600可以是圖4的多個像素單元402的一部份。如圖6所示,像素單元600可包含光二極體602、殘餘電荷電容器603、快門開關604、轉換閘606、重置開關607、測量電容器608、緩衝器609以及像素類比數位轉換器610。
於一些實施例中,光電二極體602可包含P-N二極體或P-I-N二極體。快門開關604、轉換閘606與重置開關607當中的每一個可包含電晶體。此電晶體包含例如金屬氧化物半導體場效應電晶體(MOSFET)、雙極性接面二級體(BJT)等。快門開關604作為一個電子快門閘(可取代為或結合至圖4的機械快門404)以控制像素單元600的曝光期間。在曝光期間內,快門開關604可以被曝光致能訊號611禁用(關斷),此曝光致能訊號611可允許光電二極體602所產生的電荷移動至殘餘電荷電容器603及/或測量電容器608。在曝光期間結束時,可使快門開關604將光電二極體602所產生的電荷轉向至光電二極體電流槽617。此外,重置開關607亦可被重置訊號618禁用(關斷),重置訊號618可允許測量電容器608累加電荷且形成反映所累加之電荷的一電壓。在完成一測量模式之後,重置開關607可被啟用以將儲存於測量電容器608的電荷清空至電荷槽620,使測量電容器608可進行下一次的測量。
殘餘電荷電容器603可係為光電二極體602的一裝置電容器且可儲存光電二極體602所產生的電荷。殘餘電荷電容器603可包含例 如位於P-N二極體連接介面的結合電容或連接光電二極體602的其他裝置電容器。由於殘餘電荷電容器603靠近光電二極體602,因此光電二極體602所產生的電荷可以在電容器603累加。測量電容器608可以係為位於轉換閘606、金屬電容器、MOS電容器或上述任一組合之浮接端點的一裝置電容器。測量電容器608可以用於儲存電荷量,此電荷量可以被像素類比數位轉換器610量測以提供代表入射光強度的數位輸出。儲存於測量電容器608的電荷可以係為不累加於殘餘電荷電容器603的溢出電荷(來自光電二極體602),或是從殘餘電荷電容器603所清空出來的殘餘電荷。
請參照圖7,其繪示針對不同目標光強度範圍,在殘餘電荷電容器603及測量電容器608的電荷累加的運作。圖7繪示針對不同光強度範圍相對於時間,在殘餘電荷電容器603及測量電容器608當中所累加(或預期累加)的總電荷量。此所累加的總電荷量可以反映光電二極體602在曝光期間所產生的總電荷,其亦反映在曝光期間入射於光電二極體602的光強度。當曝光期間結束時,所述的量可以被測量。閾值702與閾值704可被定義為閾值電荷量,閾值電荷量定義出入射光強度的低光強度範圍706、中光強度範圍708及高光強度範圍710。舉例來說,若總累加的電荷低於閾值702(例如Q1),則入射光強度位於低光強度範圍706內。若總累加的電荷介於閾值704與閾值702之間(例如Q2),則入射光強度位於中光強度範圍708。若總累加的電荷高於閾值704,則入射光強度位於高光強度範圍710。
閾值702及704可被設定以控制在殘餘電荷電容器603及測量電容器608當中電荷的累加,以確保當入射光強度落於低光強度範圍706或中光強度範圍708時,位於電容器的累加電荷會與入射光強度相關聯。舉例來說,閾值702及704可被設定低於殘餘電荷電容器603及測量電容器608的電容量。如上述所討論,一旦殘餘電荷電容器603及測量電容器608達到全負荷(full capacity),電容器可能開始溢出電荷,且在電容 所形成的電壓可能無法精準地代表或反映出光電二極體602在曝光期間所產生的總電荷數量。藉由將閾值702及704設定低於殘餘電荷電容器603及測量電容器608的電容量,便可避免電荷溢出所導致的測量誤差。在一些例子中,閾值702可被設定在2000e-(2000個電荷(charges)),而閾值704可被設定在63000e-(63000個電荷(charges))。
在殘餘電荷電容器603與測量電容器608內的電荷累加可由閾值702及704所控制。舉例來說,落於低光強度範圍706的入射光強度可基於累加在殘餘電荷電容器603的總電荷。假設在曝光期間結束時,殘餘電荷電容器603尚未到達全負荷,則在殘餘電荷電容器603所累加的總電荷可反映光電二極體602在曝光期間所產生的總電荷,且可用於判斷入射光強度。當在殘餘電荷電容器603所累加的總電荷量超過閾值702,光電二極體602所產生的額外電荷可被移轉到測量電容器608作為溢出電荷。假設在曝光期間結束時,測量電容器608尚未達到全負荷,則在測量電容器608所累加的總溢出電荷亦可反映光電二極體602在曝光期間內所產生的總電荷,且可用以判斷入射光強度(位於中光強度範圍708)。
另一方面,在入射光強度位於高光強度範圍710的情況下,在曝光期間結束之前,在測量電容器608所累加的總溢出電荷可能超過閾值704。當額外電荷被累加時,測量電容器608可能在曝光期間結束之前達到全負荷,且電荷溢出可能發生。為了避免測量電容器608達到全負荷所導致的測量誤差,可執行一飽和時間(time-to-saturation)測量,以測量在測量電容器608所累加的總溢出電荷達到閾值704所花費的時間。在測量電容器608的電荷累加速率係基於閾值704與飽和時間的比例所決定,且在曝光期間結束時,根據電荷累加速率的推斷,可決定在測量電容器608內已累加的推測電荷量(Q3)(假設電容器具有無限的電容量)。此推測電荷量(Q3)可提供合理精準的位於高光強度範圍710內之入射光強度的呈現。
請返回圖6,轉換閘606可受控於測量控制訊號612以針對 如上述描述的不同光強度範圍控制位於在殘餘電荷電容器603及測量電容器608的電荷累加。舉例來說,針對低光強度範圍706,轉換閘606可被控制以在部份開啟狀態(partially turned-on state)下進行操作。在曝光期間內,當在殘餘電荷電容器603的總累加電荷達到閾值702時,轉換閘606的閘極電壓可根據形成於殘餘電荷電容器603的電壓進行設定。透過這樣的安排,光電二極體602所產生的電荷將先被儲存於殘餘電荷電容器603,直至累加電荷量達到閾值702。在曝光期間結束前,轉換閘606可被控制以在完全開啟狀態(fully turned-on state)下進行操作,以將儲存於殘餘電荷電容器603的電荷移動到測量電容器608。在電荷轉移結束後,轉換閘606可被控制以在完全關閉狀態(fully turned-off state)下進行操作,以保留儲存在測量電容器608的電荷。此時,儲存於測量電容器608的電荷可代表儲存於殘餘電荷電容器603,且可用於判斷入射光強度。另一方面,針對中光強度範圍708及高光強度範圍710,當轉換閘606仍處於部份開啟狀態且儲存於殘餘電荷電容器603的電荷尚未轉移到測量電容器608時,在測量電容器608所累加的溢出電荷亦可以在曝光期間結束之前被測量。
在測量電容器608所累加的電荷可被緩衝器609感測,以在類比輸出節點614產生類比電壓(但具有較大的驅動力)的複製品(replica)。位於類比輸出節點614的類比電壓可透過像素類比數位轉換器610而被轉換為一組數位資料(例如包含邏輯1與0)。在曝光期間(例如針對中光強度範圍708及高光強度範圍710)結束之前,或曝光期間(針對低光強度範圍706)之後,形成於測量電容器608的類比電壓可被取樣且數位輸出可被產生。此數位資料可透過一組像素輸出匯流排616而被傳送至例如圖5的控制電路系統510,以代表曝光期間中的光強度。
於一些例子中,測量電容器608的電容量可被配置以針對低光強度範圍改善光強度判斷的精準度。舉例來說,當測量電容器608用以 測量儲存於殘餘電荷電容器603的殘餘電荷時,測量電容器608的電容量可以被減少。測量電容器608的電容量的減少可提升在測量電容器608的電荷電壓轉換率(charge-to-voltage conversion ratio),這樣可以讓一定的儲存電荷量形成較高的電壓。較高的電荷電壓轉換率可減少像素類比數位轉換610產生的測量誤差(例如量化誤差、比較器偏移等)對於低光強度判斷之精準度的影響。測量誤差可以對可被像素類比數位轉換610偵測及/或辨別的最小電壓差異設定一界限。藉由提升電荷電壓轉換率,對應此最小電壓差異的電荷量可以被減少,也可以減少像素單元600的可測光強度的下限且擴展動態範圍。另一方面,針對中光強度,測量電容器608的電容量可以被提升以確保測量電容器608具有足夠電容量來儲存達到例如閾值704所定義的電荷量。
圖8繪示像素類比數位轉換器610的內部元件的範例。如圖8所示,像素類比數位轉換610包含一閾值產生器802、一比較器804及一數位輸出產生器806。數位輸出產生器806更可包含一計量器(counter)808及一記憶體810。計量器808可基於自由運行時脈訊號(free-running clock signal)812而產生一組計量值(a set of count values),而記憶體810可儲存計量器808所產生的該些計量值當中的至少一些計量值(例如最新的計量值)。在一些實施例中,記憶體810可以係為計量器808的一部分。記憶體810可例如是鎖存電路(latch circuit)以基於如下所描述的局部像素值來儲存計量值。閾值產生器802包含數位類比轉換器(DAC)813,其可接受一組數位值且輸出代表此組數位值的一參考電壓(VREF)815。如以下將更詳盡地討論,閾值產生器802可接受靜態數位值以產生一固定閾值,或接受計量器808的輸出814以產生一斜坡閾值。
雖然圖8繪示數位類比轉換器813(及閾值產生器802)係為像素類比數位轉換610的一部分,但可以理解的是數位類比轉換器813(及閾值產生器802)可從不同的像素單元耦接至多個數位輸出產生器。此外, 數位輸出產生器806亦可被多個多重像素單元所共享,以產生數位值。
比較器804可比較形成於類比輸出節點614的類比電壓與閾值產生器802所提供的閾值,且基於比較結果而產生一決策816。舉例來說,若位於類比輸出節點614的類比電壓等於或超過閾值產生器802所產生的閾值,則比較器804可產生一邏輯1(logical one)作為決策816。若類比電壓低於閾值,則比較器804亦可產生邏輯0(logical zero)作為決策816。決策816可控制計量器808的計量運作及/或儲存於記憶體810的計量值,以執行前述位在類比輸出節點614的斜坡類比電壓的飽和時間(time-of-saturation)測量,以及執行位於類比輸出節點614的類比電壓的量化過程以用於進行入射光強度之判斷。
圖9A繪示像素類比數位轉換610的飽和時間測量的範例。為了執行飽和時間測量,閾值產生器802可控制數位類比轉換器813以產生固定參考電壓815。固定參考電壓815可被設定在對應電荷量閾值的一電壓,此電荷量閾值係介於中光強度範圍與高光強度範圍之間(例如圖7的閾值704)。計量器808可在曝光期間開始(例如在快門開關604被禁用後)時開始進行計量。當位於類比輸出節點614的類比電壓下降(或基於操作而上升)時,時脈訊號812保持切換(toggling)以更新位於計量器808的計量值。類比電壓可在一特定時間點達到此固定閾值,導致比較器804改變(flip)決策816。此決策816的改變(flipping)可能停止計量器808的計量,且計量器808的此計量值可代表飽和時間(time-to-saturation)。如以下將更詳盡地討論,亦可基於此持續時間來判斷位在測量電容器608的電荷累加率且可基於電荷累加率來判斷入射光強度。
圖9B繪示以像素類比數位轉換610量化類比電壓的範例。在測量開始後,數位類比轉換器813可被計量輸出714編程以產生斜坡參考電壓815,其可根據實作而上升(ramp up)(於圖9B的範例)或下降(ramp down)。在圖9B的範例中,可使用均勻的量化步階執行量化過程,伴隨著 參考電壓815在時脈訊號812的每個時脈週期增加(或減少)相同的量。參考電壓815的增加量(或減少量)對應量化步階。當參考電壓815在一量化步階內達到類比輸出節點614的類比電壓時,比較器804的決策816翻轉。決策816的翻轉可停止計量器808的計量,且此計量值可對應量化步階的總數,此量化步階的總數係在一量化步階內累加以匹配類比電壓。此計量值可成為在測量電容器608所儲存之電荷的數位表示,以及入射光強度的數位表示。如上所述,類比電壓的量化可在曝光期間中發生(例如對於中光強度範圍708)及曝光期間後(例如對於低光強度範圍706)發生。
如上述所討論,當以類比數位轉換610輸出的量級(quantity level)來代表的電荷量與被類比數位轉換610映射至此量級的實際輸入電荷量(例如以量化步階的總數量表示)之間不符合時,類比數位轉換610會引起量化誤差。可透過使用較小的量化步距來減少量化誤差。在圖9B的範例中,可藉由每一時脈週期的參考電壓815的增加(或減少)量來降低量化誤差。
雖然可使用較小的量化步距減少量化誤差,但是區域及效能速度可能會限制量化步階可以被減少多少。利用較小的量化步距,需要代表電荷量(及光強度)的特定範圍的量化步階的總數量可能增加。可能需要更大數量的資料位元以代表量化步階的增加數量(例如8位元代表255步階、7位元代表127步階等)。所述的更大數量的資料位元可能需要額外的匯流排加入到像素輸出匯流排616,然若像素單元600係用於頭戴式裝置或具有限空間的其他穿戴式裝置,則可能不具可行性。此外,使用較大量的量化步距,在找到符合的量級(具一量化步階)之前,類比數位轉換610可能需要循環通過較大數量的量化步階,這會導致處理功耗時時間的增加,以及降低產生圖像資料的速率。對於一些需要高幀率的應用(例如追蹤眼球運動的應用),此降低的速率係不可接受的。
減少量化誤差的一種方式係採用非均勻量化方案 (non-uniform quantization scheme),其量化步階在輸入範圍內係為不均勻的。圖10A繪示針對非均勻量化過程與均勻量化過程的類比數位轉換編碼(量化過程的輸出)與輸入電荷量級之間的對應關係。虛線表示非均勻量化過程的對應關係,而實線表示均勻量化過程的對應關係。針對均勻量化過程,在整個輸入電荷量範圍當中,量化步距(以△1表示)係為相同。反之,在非均勻量化過程中,量化步距根據輸入電荷量而有所不同。舉例來說,用於低輸入電荷量的量化步距(以△S表示)係小於用於高輸入電荷量的量化步距(以△L表示)。此外,針對相同的低輸入電荷量,非均勻量化過程的量化步距(△S)可小於均勻量化過程的量化步距(△1)。
採用非均勻量化方案的一個優點是可以減少用於量化低輸入電荷量的量化步驟,也可以減少用於量化低輸入電荷量的量化誤差,並且可以減少可被類比數位轉換器610辨別(differentiated)的最小輸入電荷量。因此,所減少的量化誤差可以降低圖像感測器的可測光強度的下限,並且可增加動態範圍。此外,雖然對於高輸入電荷量,量化誤差增加,然而量化誤差相較於高輸入電荷量可能保持較小。因此,可以減少引入電荷量測的總體量化誤差。另一方面,覆蓋輸入電荷量的整個體範圍的量化步階總數量可能保持相同(或甚至減少),並且相關聯於增加量化步階的數量的前述潛在問題(例如增加區域、降低處理速度等)可以被避免。
圖10B繪示像素類比數位轉換器610使用非均勻量化過程對類比電壓進行量化的範例。相較於圖9B(採用一均勻量化過程),參考電壓815隨著每個時脈週期以非線性方式增加,其最初具有較為抑制的斜率且在爾後具有較為陡峭的斜率。該些斜率的差異歸因於不均勻的量化步距。對於較低計量器數值(對應較低的輸入量範圍),量化步階變小,因此參考電壓815以較慢的速率增加。對於較高的計量器數值(對應較高的輸入量範圍),量化步階變大,因此參考電壓815以較高的速率增加。可使用不同方案引入參考電壓815的不均勻量化步階。舉例來說,如上述所討論, 數位類比轉換器813用以對不同的計量器數值(來自計量器808)輸出電壓。數位類比轉換器813可被配置使兩個相鄰的計量器計數值之間的輸出電壓差異對於不同計量器計數值是不同的。作為另一範例,計量器808亦可被配置以產生計量器計數值中的跳躍(jumps),而非透過相同計數步階而增加或減少,以生成不均勻的量化步階。在一些範例中,圖10B的非均勻量化過程可用於低光強度範圍706及中光強度範圍708的光強度判定。
請參照圖11,圖11繪示像素單元1100的一範例,此像素單元1100可以係為圖6的像素單元600的一實施例。在圖11的範例中,PD可對應光電二極體602,電晶體M0可對應快門開關604,電晶體M1可對應轉換閘606,而電晶體M2可對應重置開關607。此外,PDCAP可對應殘餘電荷電容器603,而COF及CEXT電容的組合可對應測量電容器608。測量電容器608的電容量透過訊號LG而被配置。當LG被啟用時,測量電容器608提供COF及CEXT電容器的組合電容。當LG被禁用時,CEXT電容器可從此並聯組合當中脫離,並且測量電容器608僅包含COF電容器(加上其他寄生電容)。如上述所討論,測量電容器608的電容量可被降低以提升電荷電壓轉換率用於低光強度判斷,並且測量電容器608的電容量可以被增加以提供必要的電容用於中光強度判斷。
像素單元1100更包含緩衝器609的範例及像素類比數位轉換610的範例。舉例來說,電晶體M3及M4形成一源極隨耦器,其可以係為圖6的緩衝器609用於緩衝形成於節點OF的類比電壓,此類比電壓代表儲存在電容器COF(或在電容器COF及CEXT)的電荷量。進一步地,電容器CC、比較器1110、電晶體M5、反或閘(NOR gate)1112與記憶體810一起可成為像素類比數位轉換器610的一部分,以產生代表位在OF節點的類比電壓的一數位輸出。如上述所描述,量化可基於由比較器1110所產生的形成在節點OF的類比電壓與參考電壓(VREF)之間的一比較結果(電壓VOUT)。在此,電容器CC用以產生一電壓VIN(位於比較器1110 的一輸入端),其追蹤緩衝器609的輸出,並且提供電壓VIN至比較器1110以與參考電壓(VREF)作比較。參考電壓(VREF)可以係為定電壓用於飽和時間測量(針對高光強度範圍)或斜坡電壓用於類比電壓的量化(針對低與中光強度範圍)。類比數位轉換編碼輸入(ADC code input)可透過自由運行計量器(free-running counter)(例如計量器808)而產生,且比較器1110所產生的比較結果可判斷類比數位轉換編碼輸入要儲存在記憶體810以及輸出作為入射光強度的數位表示。在一些範例中,對於低與中光強度判定的參考電壓的產生可基於非均勻量化方案,如圖10A與圖10B中所討論。
除了上述所揭露的技術,像素單元1100包含更可改善入射光強度判斷的準確度的技術。舉例來說,電容CC及電晶體M5的組合可用於補償比較器1110所引起的測量誤差(例如比較器的偏移(offset)),以及比較器1110所引起的其他誤差訊號,使得比較器1110的精準度可以被改善。雜訊可包含例如重置開關607所引起的重置雜訊電荷、因源極隨耦器閾值不相符所導致的緩衝器609的輸出雜訊等。當電晶體M2及M5均被啟用時,於重置階段內,反映比較器偏移的電荷量以及誤差訊號可被儲存在電容器CC。因所儲存的電壓的緣故,在重置階段內,電壓差也可形成在電容器CC。在測量階段內,電容器CC的電壓差保持不變,並且電容器CC可藉由減去(或加上)此電壓差以追蹤緩衝器609的輸出電壓,從而產生電壓VIN。因此,電壓VIN可針對測量誤差及誤差訊號而被補償,其可改善電壓VIN與參考電壓VREF之間比較的精準度以及隨後的量化。
在一些實施例中,像素單元1100可在三階段測量過程中被操作。此三階段當中的每個階段可對應圖7的三個光強度範圍其中之一(例如低光強度範圍706、中光強度範圍708及高光強度範圍710)。在每個階段中,像素單元1100可在以對應的光強度範圍為目標的測量模式中被操作,並且基於比較器1110的輸出判斷入射光強度是否落在對應的光強度範圍。若入射光強度落在對應的光強度範範圍,像素單元1100可將類比數位 轉換器編碼輸入(來自計量器808)鎖存至記憶體810,且對記憶體810進行鎖存(使用旗標FLAG_1及旗標FLAG_2的組合),以避免隨後的測量階段覆寫記憶體810。在三階段測量過程結束時,儲存於記憶體810的類比數位轉換器編碼輸入則可被提供作為代表入射光強度的數位輸出。
請參照圖12A~12D,其繪示在三階段測量過程中像素單元1100的控制訊號相對於時間的變化。請參照圖12A,介於時點T0與時點T1之間的時段對應第一重置階段,而介於時點T1與時點T4之間的時段對應曝光期間。在曝光期間內,介於時點T1與時點T2之間的時段對應測量高光強度範圍(例如高光強度範圍710)的第一階段,介於時點T2與時點T3之間的時段對應測量中光強度範圍(例如中光強度範圍708)的第二階段,而介於時點T3與時點T4之間的時段對應第二重置階段。此外,介於時點T4與時點T5之間的時段對應測量低光強度範圍(例如低光強度範圍706)的第三階段。像素單元1100可在時點T5提供代表入射光強度的數位輸出,然後開始下一個三階段測量過程。
如圖12A所示,介於時點T0及T1之間的時段,訊號RST1與RST2、以及訊號LG、訊號TX與快門訊號SHUTTER被致能(asserted).因此,儲存在電容器PDCAP、CEXT及COF的電荷被移除。此外,由於光電二極體PD所產生的電荷被電晶體M0轉移,因此沒有電荷加到該些電容上。進一步地,比較器1110亦處於重置階段,且電容器CC可儲存反映出電晶體M2所引入的重置雜訊、比較器偏移、緩衝器609閾值不匹配等的電荷。在此階段結束時,此TX閘(TX gate)被偏移至閾值水平,以在電容器PDCAP獲取預定數量的電荷(例如閾值702)。此閾值水平可基於對應於此預定數量電荷的電壓而被設置。
在時點T1與T2之間的時段內,快門訊號被禁能且訊號LG保持致能,可使光電二極體PD所產生的該些電荷流進電容器PDCAP,並且若形成於電容器PDCAP的電壓超過TX閘所設定的閾值水平,可使 該些電荷流進電容器COF及CEXT。圖12B繪示在此時段內的類比數位轉換610所執行的測量操作。如圖12B所示,類比數位轉換610可執行飽和時間測量,並且當計量器808係自由運行時,位在節點OF(VIN)之類比電壓的緩衝且誤差補償版本可與代表閾值704之電荷量的一閾值電壓做比較。若儲存於電容器COF及電容器CEXT的總電荷量超過閾值704(基於節點OF電壓),比較器1110將會跳閘(trip),且在跳閘時計量器808所產生的計數值可被儲存進記憶體810。比較器1110的跳閘亦可使儲存FLAG_1的寄存器儲存數值1。無論NOR閘的其他輸入係為何,此非零的FLAG_1數值可使反或閘1112的輸出保持低位,並且可鎖存此記憶體且避免之後的測量階段覆寫計量器808。另一方面,若在介於時點T1與T2之間的時段中,比較器1110從未跳閘,其代表入射光強度係低於高光強度範圍,則FLAG_1保持為零。而無論比較器1110是否跳閘,可被隨後的測量階段所更新的FLAG_2則保持為零。
在介於時點T2與T3之間對應第二測量階段的時段中,位在節點OF的類比電壓可透過類比數位轉換610而被量化。圖12C繪示在此時段內類比數位轉換610所執行的測量操作。如圖12C所示,一斜坡參考電壓VREF被提供至比較器1110,以與位在節點OF(VIN)之類比電壓的緩衝且誤差補償版本作比較。雖然圖12C示出對應一均勻量化過程的一斜坡參考電壓VREF,然而可以理解的是,如關於圖10B所述,此斜坡參考電壓VREF亦可包含對應一非均勻量化過程的一非均勻斜率。第二階段測量在時點T3結束,此時代表整體的中入射光範圍的類比數位轉換輸入編碼已循環過。若斜坡參考電壓VREF與VIN相符合(在一量化步階內),比較器1110將會跳閘,並且若記憶體810未被第一測量階段鎖存(如FLAG_1的數值0所表示),則計量器808在跳閘時所產生的此計數值可被儲存至記憶體810。若記憶體被鎖存,此計數值將不會被儲存至記憶體810。另一方面,若記憶體未被鎖存,計量器808在跳閘時所產生的此計數值可被儲 存至記憶體810,並且藉由將數值1寫入儲存有FLAG_2的寄存器中可鎖存此記憶體。
在時點T3與T4之間的時段的一開始,訊號RST1與RST2可再次被致能以進行第二重置階段。第二重置階段的目的在於重置電容器CEXT及COF,並且準備使電容器COF儲存在第三測量階段(用於低光強度範圍)當中電容器PDCAP所傳輸的電荷。此訊號LG亦可被禁能以將電容器CEXT與電容器COF的連結斷開,且減少測量電容器608的電容量。如上所述,電容量的降低係為了增加電荷電壓轉換率以改善低光強度判斷。比較器1110也進入重置狀態,此重置狀態中,電容器CC可被用於儲存由電容器CEXT與COF的重置而產生的雜訊電荷。朝向時點T4,在重置完成後,訊號RST1及RST2被禁能,而此偏置的訊號TX可增加以完全導通電晶體M1。儲存在電容器PDCAP的電荷然後可通過電晶體M1移動至電容器COF。
在介於時點T4與T5之間的時段,第三測量階段被執行,用於低光強度範圍。在此時段中,快門訊號被致能以結束此曝光期間,而訊號TX被禁能以斷開電容器PDCA與光電二極體PD的連結,以確保電容器COF在測量時僅儲存在曝光期間中儲存於電容器PDCAP的電荷。圖12D繪示在此時段中類比數位轉換610所執行的測量操作。如圖12D所示,一斜坡參考電壓VREF可被提供至比較器1110,以與位在節點OF(VIN)之類比電壓的緩衝且誤差補償版本進行比較。雖然圖12D繪示對應一均勻量化過程的一斜坡電壓VREF,可以理解的是,如關聯於圖10B所述,此斜坡電壓VREF亦可以包含對應一非均勻量化過程的一非均勻斜率。第三測量階段於時點T5結束,此時代表整體低入射光範圍的類比數位轉換輸入編碼已循環過。如圖12D所示,若斜坡參考電壓VREF與VIN相符合(在一量化步階內),比較器1110將會跳閘,且計量器808在跳閘時所產生的計數值可被儲存至記憶體810,若記憶體810未被第一與第二測量 階段鎖存(如以FLAG_1與FLAG_2的數值0所表示)。若記憶體810被鎖存,此計數值不會被儲存至記憶體810。儲存於記憶體810的此計數值可被提供作為代表入射光強度的數位輸出。
圖13係通過本發明的實施例可實現的一組入射光強度範圍內的信噪比示例圖。可基於代表入射光強度的訊號功率與雜訊功率的比率來決定信噪比(SNR)。此雜訊功率可包含例如暗電流所產生的雜訊電荷、切換雜訊(例如讀取雜訊(read noise))、裝置雜訊(例如散射雜訊),以及訊號功率的測量所引入的誤差,例如量化誤差、比較器偏移、裝置不符等。如圖13所示,此SNR圖形可以在整個光強度範圍內及相鄰強度範圍之間的邊界處於平滑與連續。此SNR圖形的平滑度係期望的,以確保像素單元性能的可預測性。於此例子中,由於在整組的入射光強度範圍中,裝置雜訊(例如散射雜訊與暗電流)大致上大於其他雜訊(例如測量誤差所產生的雜訊,如量化誤差、重置雜訊等),故此SNR圖形可係為平滑的。該些雜訊可透過使用已揭露技術來降低,例如增加用於低光強度測量的電荷電壓轉換率、非均勻量化、以及用於比較器偏移、裝置不相符、重置雜訊等的補償方案。
圖14繪示一實施例的用於判斷位於像素單元(例如像素單元600、像素單元1100等)的入射光強度的過程1400的流程圖。過程1400可以由一控制器及像素單元600與像素單元1100的各種組件一起執行。過程1400在步驟1402開始,其中以曝光模式執行像素單元,在此曝光模式中,光電二極體可將電荷傳輸至殘餘電荷電容器及/或測量電容。在步驟1404中,像素單元可被操作以將形成於測量電容器的一電壓與一固定閾值電壓作比較,以產生一第一決策與位於計量器的第一計量。步驟1404可以係針對高光強度範圍的第一測量階段,且此第一計量可代表一飽和時間測量。若第一決策係為正(positive)(在步驟1406),此像素單元可以進行至步驟1408且將第一計量儲存於一記憶體中,然後透過致能一第一旗標(例 如FLAG_1)而將此記憶體鎖存,然後進行至步驟1410以執行第二測量階段。若此第一決策不為正的(not positive),此像素單元亦可以直接進入步驟以執行第二測量階段。
在步驟1408中,此像素單元被操作以將形成於測量電容器的電壓與第一斜坡電壓作比較,以產生一第二決策及位於計量器的一第二計量。步驟1408可以係為針對中光強度範圍的第二測量階段。然後,在步驟1412中,此像素單元可以判斷此第二決策是否為正的(positive),且判斷此記憶體是否被鎖存(例如基於第一旗標,FLAG_1保持禁能)。若第二決策係為正的且此記憶體未被鎖存,此像素單元可進行步驟1414,並且將第二計量儲存於此記憶體中且透過致能一第二旗標(例如FLAG_2)鎖存此記憶體,然後進入步驟1416以執行第二測量階段。若此第一決策不為正的(not positive),像素單元亦可以直接進入步驟1416以執行第三測量階段。
在步驟1416中,作為第三測量階段的一部分,此像素單元可重置此測量電容器以清空所儲存的電荷。在步驟1418中,此像素單元亦可以減少測量電容器的電容量,以提升電荷電壓轉換率。在步驟1420中,此像素單元可以將儲存在光電二極體的殘餘電荷電容器內的殘餘電荷傳輸到測量容器。然而,此像素單元進入步驟1422以將形成於測量電容器內的電壓與一第二斜坡電壓進行比較,以產生一第三決策及位於計量器的一第三計量。然後,在步驟1424中,像素單元進行判斷此第三決策是否為正(positive)且此記憶體是否未被鎖存(例如基於第一旗標FLAG_1與第二旗標FLAG_2之任一個是否被致能)。若此第三決策係為正的(positive)且此記憶體未被鎖存,則在步驟1426中,此像素單元將此第三計量儲存於此記憶體中,然後進入1428以輸出儲存於此記憶體內的計量值。另一方面,若第三決策不為正的(not positive)或此記憶體已被鎖存,則像素單元將會直接進入步驟1428,以輸出儲存在記憶體內的此計量值(其可以係為第一計量與第二計量之一)。
為了說明的目的已經呈現前面關於本發明實施例的實施方式;並不傾向於窮舉或將本發明限制在所揭露的精確形式。相關領域的技術人員可以理解按照上述揭露,許多修改和變化皆有可能。
本實施方式的一些部分基於資訊操作的演算法和符號表示的方面描述本發明的實施例。這些演算法的描述和表示通常由資料處理領域的技術人員使用,以將他們的工作的本質有效地傳達給該領域其他技術人員。這些操作雖然從功能層面,計算層面或邏輯層面去描述,但應理解為由計算機程式或等效的電路,微代碼或其相似物實現。此外,有時也證明將這些操作的安排稱為模組係方便而不失一般性。所描述的操作及其相關模組可以具體化在軟體,韌體及/或硬體上。
所描述的步驟,操作或過程可以用一或多個硬體或軟體模組獨自或結合其他裝置而被執行或實現。在一些實施例中,軟體模組由一電腦程式產品實現,此電腦程式產品包括包含電腦程式碼的電腦可讀媒體,此電腦程式碼可被電腦處理器執行以實現所描述的任何或所有的步驟、操作或過程。
本發明的實施例也可以涉及用於執行所描述的操作的裝置。該裝置可以為了所需目的而特別建構,且/或包括藉由儲存在電腦內的電腦程式選擇性地啟用或重新配置的通用目的計算裝置。這樣的電腦程式可儲存在非暫態,具體的電腦可讀取儲存媒體,或任何適合儲存電子指令的可耦接到電腦系統匯流排的媒體。此外,任何在說明書中提及的電腦系統可包含單一處理器或採用多處理器設計以增加運算能力的架構。
發明的實施例也可以涉及藉由本文描述的計算過程產生的產品。這樣的產品可以包括由計算過程產生的資訊,其中資訊儲存在非暫態,具體的電腦可讀取儲存媒體,而且可以包含電腦程式產品的任何實施例或本文描述的其他資料組合。
說明書中使用的語言主要是出於可讀性和指導目的而選 擇,而且不會被選擇去描述或限制發明專利標的。因此傾向於本發明的範圍不受此實施方式的限制,而是受基於此處的申請所發布的任何權利要求的限制。因此,實施例的揭露旨在說明而非限制在以下權利要求中闡述的專利權的範圍。
RST1、RST2、LG、TX‧‧‧訊號
SHUTTER‧‧‧快門訊號
VREF‧‧‧參考電壓
T0~T5‧‧‧時點

Claims (19)

  1. 一種用於像素單元之裝置,包含:一光電二極體,用以回應於入射光而產生電荷;一第一電荷儲存單元,用以儲存該光電二極體所產生的電荷,該第一電荷儲存單元具有一第一電容量;一第二電荷儲存單元,用以儲存該光電二極體所產生的電荷,該第二電荷儲存單元具有大於該第一電容量的一第二電容量,其中該第二電荷儲存單元的該第二電容量是可配置的;以及一類比數位轉換器電路,用以:在一第一測量階段的期間,於一第一測量模式中:使用一第一計量器產生一靜態閾值電壓;比較於該第二電荷儲存單元內形成的一電壓與該靜態閾值電壓以產生一第一決策輸出,該第一決策輸出設定該第一計量器內的一第一計量;以及在一第二測量階段的期間,於一第二測量模式中:使用一第二計量器產生一變動閾值電壓,其中該變動閾值電壓係根據一預定圖型而隨著時間變化;比較於該第二電荷儲存單元內形成的該電壓與該變動閾值電壓以產生一第二決策輸出,該第二決策輸出設定該第二計量器內的一第二計量;以及依據該第一決策輸出或該第二決策輸出產生一最終的數位輸出,該數位輸出代表入射於該光電二極體之一光強度; 其中該類比數位轉換器電路進一步用以在該第一測量模式中減少該第二電容量且在該第二測量模式中增加該第二電容量。
  2. 如請求項1所述的裝置,更包含一轉換閘,耦接於該第一電荷儲存單元與該第二電荷儲存單元之間;其中,於該第二測量模式中,該類比數位轉換器電路用以:控制該轉換閘以防止該第一電荷量通過該轉換閘而移動至該第二電荷儲存單元;以及使用一第一比較器比較於該第二電荷儲存單元內形成的該電壓與該變動閾值電壓,以產生該第二計量。
  3. 如請求項2所述的裝置,其中於該第一測量模式中,該類比數位轉換器電路用以:控制該轉換閘以驅使該第一電荷量通過該轉換閘移動至該第二電荷儲存單元;以及使用一第二比較器比較於該第二電荷儲存單元內形成的該電壓與該靜態閾值電壓,以產生該第一計量。
  4. 如請求項3所述的裝置,其中該類比數位轉換器電路用以於該第一測量模式與該第二測量模式之間重置該第二電荷儲存單元。
  5. 如請求項4所述的裝置,其中該類比數位轉換器電路包含一第三電容器,耦接於該第二電荷儲存裝置及該第一比較器與該第二比較器至少其中之一之間; 其中,在重置該第二電荷儲存單元的期間,該第三電容器用以儲存電荷以補償以下至少一者:引入至該第二電荷儲存單元的重置雜訊或該第一比較器與該第二比較器至少其中之一的偏移電壓。
  6. 如請求項1所述的裝置,其中該類比數位轉換器電路用以在該第二測量模式後執行該第一測量模式;其中該類比數位轉換器電路更用以:基於該第一決策輸出與該第二決策輸出而判定將該第一計量與該第二計量的其中一者儲存於一記憶體中;以及提供儲存於該記憶體的該第一計量或該第二計量作為代表該光強度的該數位輸出。
  7. 如請求項1所述的裝置,其中該第二計量器用以產生該變動閾值電壓,以具有關於時間的一非均勻斜坡斜率(ramping slope)。
  8. 如請求項1所述的裝置,其中於一第三測量模式中,該類比數位轉換器電路更用以:比較於該第二電荷儲存單元內形成的該電壓與一第二變動閾值電壓以產生一第三決策輸出,該第三決策輸出設定一第三計量器內的一第三計量;以及基於該第三決策輸出產生該數位輸出,該數位輸出代表入射於該光電二極體的該光強度。
  9. 如請求項8所述的裝置,其中於該第三測量模式中,該類比數位轉換器電路更用以: 於驅使該光電二極體將電荷傳送至該第二電荷儲存單元後,啟用一第三計量器;以及以該第三決策輸出在該第三計量器中設定一第三計量;以及其中代表該光強度的該數位輸出係基於該第三計量而產生。
  10. 如請求項9所述的裝置,其中該類比數位轉換器電路用以於該第二測量模式與該第一測量模式之前執行該第三測量模式;其中該類比數位轉換器電路更用以:將該第三計量儲存於一記憶體;基於該第三決策輸出而判斷不以該第一計量或該第二計量來覆寫該記憶體中的該第三計量;以及提供儲存於該記憶體中的該第三計量作為代表該光強度的該數位輸出。
  11. 如請求項1所述的裝置,其中該第一計量器包含該第二計量器。
  12. 如請求項3所述的裝置,其中該第一比較器包含該第二比較器。
  13. 如請求項9所述的裝置,其中該第一計量器包含該第三計量器。
  14. 一種用於確定光強度之方法,包含:將一光電二極體暴露於一入射光而使該光電二極體產生電荷,其中該光電二極體耦接一第一電荷儲存單元及一第二電荷儲存單元,該第一電荷儲存單元具有一第一電容量且該第二電荷儲存單元具有大於該第 一電容量的一第二電容量,其中該第二電荷儲存單元的該第二電容量是可配置的;在一第一測量階段的期間執行一第一測量模式,包含:使用一第一計量器產生一靜態閾值電壓;以及比較於該第二電荷儲存單元內形成的一電壓與該靜態閾值電壓以產生一第一決策輸出,該第一決策輸出設定該第一計量器內的一第一計量;在一第二測量階段的期間執行一第二測量模式,包含:使用一第二計量器產生一變動閾值電壓,其中該變動閾值電壓係根據一預定圖型而隨著時間變化;比較於該第二電荷儲存單元內形成的該電壓與該變動閾值電壓以產生一第二決策輸出,該第二決策輸出設定該第二計量器內的一第二計量;以及基於該第一決策輸出或該第二決策輸出產生代表該入射光之一強度的一最終的數位輸出;其中所述方法進一步包含在該第一測量模式中減少該第二電容量且在該第二測量模式中增加該第二電容量。
  15. 如請求項14所述的方法,其中該第一電荷儲存單元透過一轉換閘耦接該第二電荷儲存單元;其中執行該第二測量模式包含:控制該轉換閘以避免該第一電荷量通過該轉換閘移動至該第二電荷儲存單元;以及 比較形成於該第二電荷儲存單元內的該電壓與該變動閾值電壓以產生該第二計量。
  16. 如請求項15所述的方法,其中執行該第一測量模式更包含:控制該轉換閘以驅使該第一電荷量通過該轉換閘移動至該第二電荷儲存單元;以及比較形成於該第二電荷儲存單元內的該電壓與該靜態閾值電壓以產生該第一計量。
  17. 如請求項14所述的方法,其中該變動閾值電壓被產生以具有關聯於時間的一非均勻斜坡斜率(ramping slope)。
  18. 如請求項14所述的方法,更包含:執行一第三測量模式,包含:比較於該第二電荷儲存單元內形成的該電壓與一第二變動閾值電壓以產生一第三決策輸出,該第三決策輸出設定一第三計量器內的一第三計量;以及基於該第三決策輸出而產生代表入射於該光電二極體之一光強度的該數位輸出,其中在執行該第一測量模式與該第二測量模式之前,執行該第三測量模式。
  19. 一種用於光感測器之裝置,包含:多個像素,每一該像素包含:一光電二極體,用以回應於入射光而產生電荷; 一第一電荷儲存單元,用以儲存該光電二極體所產生的電荷,該第一電荷儲存單元具有一第一電容量;一第二電荷儲存單元,用以儲存該光電二極體所產生的電荷,該第二電荷儲存單元具有大於該第一電容量的一第二電容量,其中該第二電荷儲存單元的該第二電容量是可配置的;以及一類比數位轉換器電路,用以:在一第一測量階段的期間,於一第一測量模式中:使用一第一計量器產生一靜態閾值電壓;比較於該第二電荷儲存單元內形成的一電壓與該靜態閾值電壓以產生一第一決策輸出,該第一決策輸出設定該第一計量器內的一第一計量;以及在一第二測量階段的期間,於一第二測量模式中:使用一第二計量器產生一變動閾值電壓,其中該變動閾值電壓係根據一預定圖型而隨著時間變化;比較於該第二電荷儲存單元內形成的該電壓與該變動閾值電壓以產生一第二決策輸出,該第二決策輸出設定該第二計量器內的一第二計量;以及依據該第一決策輸出或該第二決策輸出產生一最終的數位輸出,該數位輸出代表入射於該光電二極體之一光強度;其中該類比數位轉換器電路進一步用以在該第一測量模式中減少該第二電容量且在該第二測量模式中增加該第二電容量。
TW107124383A 2017-10-30 2018-07-13 具有擴展動態範圍的數位像素 TWI773791B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762579079P 2017-10-30 2017-10-30
US62/579,079 2017-10-30
US15/876,061 2018-01-19
US15/876,061 US10686996B2 (en) 2017-06-26 2018-01-19 Digital pixel with extended dynamic range

Publications (2)

Publication Number Publication Date
TW201918060A TW201918060A (zh) 2019-05-01
TWI773791B true TWI773791B (zh) 2022-08-11

Family

ID=67347782

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107124383A TWI773791B (zh) 2017-10-30 2018-07-13 具有擴展動態範圍的數位像素

Country Status (1)

Country Link
TW (1) TWI773791B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080042888A1 (en) * 2006-07-21 2008-02-21 Stmicroelectronics (Research & Development) Limited Analog to digital converter having a non-linear ramp voltage
US20120068051A1 (en) * 2010-09-17 2012-03-22 Samsung Electronics Co., Ltd. Method Of Driving An Image Sensor
US20130229543A1 (en) * 2012-03-01 2013-09-05 Canon Kabushiki Kaisha Imaging apparatus, imaging system, and imaging apparatus driving method
US20150172580A1 (en) * 2013-12-12 2015-06-18 Cista System Corp. Column comparator system and method for comparing a ramping signal and an input signal
US20150229859A1 (en) * 2014-02-07 2015-08-13 Rambus Inc. Feedthrough-compensated image sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080042888A1 (en) * 2006-07-21 2008-02-21 Stmicroelectronics (Research & Development) Limited Analog to digital converter having a non-linear ramp voltage
US20120068051A1 (en) * 2010-09-17 2012-03-22 Samsung Electronics Co., Ltd. Method Of Driving An Image Sensor
US20130229543A1 (en) * 2012-03-01 2013-09-05 Canon Kabushiki Kaisha Imaging apparatus, imaging system, and imaging apparatus driving method
US20150172580A1 (en) * 2013-12-12 2015-06-18 Cista System Corp. Column comparator system and method for comparing a ramping signal and an input signal
US20150229859A1 (en) * 2014-02-07 2015-08-13 Rambus Inc. Feedthrough-compensated image sensor

Also Published As

Publication number Publication date
TW201918060A (zh) 2019-05-01

Similar Documents

Publication Publication Date Title
US11910119B2 (en) Digital pixel with extended dynamic range
US11729525B2 (en) Digital pixel array with multi-stage readouts
US11089210B2 (en) Configurable image sensor
CN112088529B (zh) 具有自适应曝光的数字像素阵列
CN112567731B (zh) 具有扩展的动态范围的数字像素
CN112369013B (zh) 全局快门图像传感器
CN111989911B (zh) 具有扩展的动态范围的数字像素
CN112470460B (zh) 具有扩展的动态范围的数字像素
TW202002619A (zh) 類比至數位轉換器電路、包含此類比至數位轉換器電路的像素單元以及用於補償電荷漏出的方法
CN112262565B (zh) 图像传感器后处理
TWI773791B (zh) 具有擴展動態範圍的數位像素

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees