TWI810304B - 用於產生影像圖框之設備及方法 - Google Patents

用於產生影像圖框之設備及方法 Download PDF

Info

Publication number
TWI810304B
TWI810304B TW108118209A TW108118209A TWI810304B TW I810304 B TWI810304 B TW I810304B TW 108118209 A TW108118209 A TW 108118209A TW 108118209 A TW108118209 A TW 108118209A TW I810304 B TWI810304 B TW I810304B
Authority
TW
Taiwan
Prior art keywords
pixel
pixel unit
data
array
stylized
Prior art date
Application number
TW108118209A
Other languages
English (en)
Other versions
TW202005356A (zh
Inventor
安德魯 山謬爾 博寇維奇
新橋 劉
理查 安德魯 內柯姆
陳松
偉 高
Original Assignee
美商元平台技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商元平台技術有限公司 filed Critical 美商元平台技術有限公司
Publication of TW202005356A publication Critical patent/TW202005356A/zh
Application granted granted Critical
Publication of TWI810304B publication Critical patent/TWI810304B/zh

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Display Devices Of Pinball Game Machines (AREA)

Abstract

本發明揭示用於執行光量測的方法及系統。在一個實例中，一種設備包含一像素單元陣列，該像素單元陣列中之每一像素單元經配置以執行一光量測操作並產生該光量測操作之一數位輸出。該設備進一步包括一周邊電路，其經配置以：接收一像素陣列程式化映射，該像素陣列程式化映射包括以該像素單元陣列中之每一像素單元為目標的程式化資料，且基於以該每一像素單元為目標的該程式化資料而配置在該每一像素單元處之該光量測操作。該設備進一步包括一影像處理器，該影像處理器經配置以基於該像素單元陣列中之至少一些像素單元之該些數位輸出而產生一影像圖框。

Description

用於產生影像圖框之設備及方法
本發明大體而言係關於影像感測器，且更具體而言係關於包含可程式化的像素陣列之影像感測器。
本專利申請案主張在2018年5月25日提交申請的標題為「SMART SENSOR FOR MODEL-PREDICTIVE CAPTURE」之美國臨時專利申請案第62/676,849號的優先權，該美國臨時專利申請案經受讓給本申請案之受讓人，且出於所有目的以全文引用的方式併入本文中。
典型的影像感測器包括像素單元陣列。每一像素單元可包括光電二極體，以藉由將光子轉換為電荷(例如，電子或電洞)來感測光。在每一像素單元處轉換的電荷可經量化以變成數位像素值，且可從數位像素值陣列產生影像。諸多應用可能需要影像感測器來提供高解析度影像及/或處於高圖框速率。
本發明係關於影像感測器。更具體地，但不限於此，本發明係關於具有可程式化的像素單元陣列之影像感測器。
在一個實例中，一種設備包含：像素單元陣列，該像素單元陣列中之每一像素單元經配置以執行光量測操作並產生光量測操作之數位輸出；周 邊電路，其經配置以：接收包括以像素單元陣列中之每一像素單元為目標的程式化資料之像素陣列程式化映射；且基於以每一像素單元為目標的程式化資料而配置在每一像素單元處之光量測操作；以及影像處理器，其經配置以基於像素單元陣列中之至少一些像素單元之數位輸出而產生影像圖框。
在一些態樣中，像素單元陣列中之每一像素單元與可單獨定址的組態記憶體相關聯。周邊電路經配置以：自像素陣列程式化映射提取像素單元陣列中之第一像素單元的第一程式化資料；自像素陣列程式化映射提取像素單元陣列中之第二像素單元的第二程式化資料；基於第一程式化資料而產生第一位址；基於第二程式化資料而產生第二位址；基於第一位址而選擇第一像素單元之組態記憶體以接收第一程式化資料；且基於第二位址而選擇第二像素單元之組態記憶體以接收第二程式化資料。第一程式化資料及第二程式化資料為不同的。
在一些態樣中，像素陣列程式化映射包含程式化資料陣列。基於第一程式化資料在程式化資料陣列內之位置而產生第一位址。
在一些態樣中，每一像素單元包括用以控制數位輸出之產生的至少一個裝置。周邊電路經配置以：基於第一位址，將第一信號傳輸至第一像素單元之至少一個裝置，以啟用在第一像素單元處產生第一數位輸出；且基於第二位址，將第二信號傳輸至第二像素單元之至少一個裝置，以停用在第二像素單元處產生第二數位輸出。
在一些態樣中，周邊電路經配置以停用用以基於第二位址而放大第二數位輸出的一或多個感測放大器。
在一些態樣中，周邊電路經配置以將包括第一數位輸出之數位輸出串流輸出至影像處理器。影像處理器經配置以：基於像素陣列程式化映射而同步化數位輸出串流之接收時序；且基於同步化而識別來自數位輸出串流之第 一數位輸出。
在一些態樣中，基於從先前影像圖框判定的關注區域而產生第一程式化資料及第二程式化資料。
在一些態樣中，每一像素單元經配置以在可程式化的曝光週期內執行光量測操作。周邊電路經配置以：基於第一位址，將第一信號傳輸至第一像素單元，以設定用於第一光量測操作的第一曝光週期；且基於第二位址，將第二信號傳輸至第二像素單元，以設定用於第二光量測操作的第二曝光週期，第二曝光週期與第一曝光週期不同。影像處理器經配置以接收第一光量測操作之第一數位輸出及第二光量測操作之第二數位輸出。
在一些態樣中，周邊電路經配置以基於第一位址而將第一信號傳輸至第一像素單元以基於以下各項中之至少一者而執行第一光量測操作：將第一曝光週期設定為零或將第一像素單元置於重設狀態。影像處理器經配置以：基於第一數位輸出而執行校準操作；且基於第二數位輸出及校準操作的結果而判定由第二像素單元所接收之光的強度。
在一些態樣中，每一像素單元經配置以產生表示光量測操作之結果的類比信號，該數位輸出係基於以可程式化的量化解析度來量化類比信號而產生的。周邊電路經配置以：基於第一位址，將第一信號傳輸至第一像素單元以設定第一量化解析度；且基於第二位址，將第二信號傳輸至第二像素單元以設定與第一量化解析度不同的第二量化解析度。
在一些態樣中，每一像素單元包括計數器，該計數器經配置以基於比較類比信號與斜波信號而產生數位輸出，該量化解析度可基於供應至計數器之時脈信號之頻率而程式化。周邊電路經配置以：基於第一位址，將第一時脈頻率之第一時脈信號傳輸至第一像素單元以設定第一量化解析度；且基於第二位址，將第二時脈頻率之第二時脈信號傳輸至第二像素單元以設定第二量化 解析度。
在一些態樣中，第一像素單元包括求和電路，該求和電路經配置以基於對來自第一像素單元處之第一光量測操作的第一類比信號及來自第二像素單元處之第二光量測操作的第二類比信號進行求和而產生求和信號。周邊電路經配置以：基於第一位址，傳輸第一信號以配置第一像素單元以基於對求和信號進行量化而產生第一數位輸出；且基於第二位址，將第二信號傳輸至第二像素單元以停用由第二像素單元產生第二數位輸出。
在一些態樣中，每一像素包括經配置以量測第一波長範圍之光的第一光電二極體及用以量測第二波長範圍之光的第二光電二極體。周邊電路經配置以：基於第一位址，將第一信號傳輸至第一像素單元，以基於來自第一光電二極體之輸出而產生第一數位輸出；且基於第二位址，將第二信號傳輸至第二像素單元，以基於來自第二光電二極體之輸出而產生第二數位輸出。
在一些態樣中，該設備進一步包含後處理器電路，其經配置以對像素單元陣列之數位輸出中之至少一些數位輸出執行後處理。影像處理器經配置以基於像素單元陣列之數位輸出中之經後處理的至少一些數位輸出而產生影像圖框。後處理器電路、周邊電路及像素單元陣列整合在一半導體基板上。
在一些態樣中，像素單元陣列形成在第一半導體基板上。周邊電路及後處理器電路中之至少一者形成在第二半導體基板上。第一半導體基板及第二半導體基板形成堆疊。
在一些態樣中，後處理器電路經配置以：從像素單元陣列之數位輸出中之至少一些數位輸出提取對應於物件對結構光之反射的特徵；基於提取之結果，識別數位輸出表示所提取特徵的像素單元；以及僅將所識別的像素單元之數位輸出傳輸至影像處理器。
在一些態樣中，後處理器電路經配置以：判定所提取特徵之子像 素位置；且將子像素位置提供給應用程式以對物件執行深度感測操作。
在一些態樣中，後處理器電路包含影像處理器且經配置以：以第一圖框速率接收由像素單元陣列產生的數位輸出；且基於數位輸出以低於第一圖框速率之第二圖框速率而產生影像圖框。
在一些態樣中，該設備進一步包含照明器，該照明器經配置以基於照明序列而將光投射至場景的不同部分。像素陣列程式化映射係基於照明序列而產生。
在一些實例中，提供一種方法。該方法包含：接收包括以像素單元陣列中之每一像素單元為目標的程式化資料之像素陣列程式化映射；自像素陣列程式化映射提取像素單元陣列中之第一像素單元的第一程式化資料；自像素陣列程式化映射提取像素單元陣列中之第二像素單元的第二程式化資料；基於第一程式化資料而配置在第一像素單元處之第一光量測操作；基於第二程式化資料而配置在第二像素單元處之第二光量測操作；基於由第一像素單元或第二像素單元中之至少一者輸出的像素資料而產生影像圖框。
100:近眼顯示器
105:框架
110:顯示器
120a:影像感測器
120b:影像感測器
120c:影像感測器
120d:影像感測器
130:照明器
135:眼球
140a:照明器
140b:照明器
140c:照明器
140d:照明器
140e:照明器
140f:照明器
150a:影像感測器
150b:影像感測器
200:剖面圖
210:波導顯示器總成
220:眼球
230:出射瞳孔
300:波導顯示器
310:源總成
320:輸出波導
330:控制器
340:影像光
350:耦接元件
355:影像光
360:引導元件
365:去耦元件
370:影像感測器
370-1:第一側
370-2:第二側
400:剖面圖
402:像素單元
404:機械快門
410:源
415:光學系統
500:系統
510:控制電路
525:位置感測器
530:慣性量測單元(IMU)
535:成像裝置
540:輸入/輸出介面
545:應用程式儲存器
550:追蹤模組
555:引擎
600:影像感測器
601:像素單元
602:光電二極體
603:電子快門閘
604:轉移閘
605:重設閘
606:電荷儲存裝置
607:量化器
607a:量化器
607b:量化器
610:影像
612:物件
620:像素單元
630:像素單元
640:照明器
642:圖案
650:物件
652:圖案
660:像素單元
662:像素單元
664:像素單元
666:像素單元
700:影像處理系統
702:主機裝置
704:影像感測器
706:主機處理器
708:應用程式
716:周邊電路
718:像素單元陣列
720:像素陣列程式化映射
720a:像素陣列程式化映射
720b:像素陣列程式化映射
722:控制信號
724:控制信號
802:程式化映射剖析器
804:行控制器
806:列控制器
807:像素資料輸出模組
808:控制信號
808a:行選擇信號
808b:行選擇信號
810:控制信號
810a:列選擇信號
810b:列選擇信號
830a:組態記憶體
830b:組態記憶體
830c:組態記憶體
830d:組態記憶體
902:像素單元
904:比較器
904a:比較器
904b:比較器
906:記憶體
908:電壓緩衝器
912:像素單元
914:暗閘
922:重設閘
924:控制器
926:輸入
932:像素單元
934:第一光電二極體
936:第一光電二極體賦能閘
938:第二光電二極體
940:第二光電二極體賦能閘
942:像素單元
944:本端計數器
946:時脈多工器
952a:像素單元
952b:像素單元
954:電壓求和電路
956:電壓多工器
960a:類比電壓
960b:類比電壓
962:求和電壓
1002:輸出控制器
1004:感測放大器陣列
1006:並行對串列資料轉換器
1010:串列資料串流
1100:後處理器
1102:後處理資料
1104:像素壓縮模組
1106:點提取模組
1120:提取操作
1122:模糊操作
1124:影像梯度估計操作
1126:拐角偵測操作
1128:子像素細化操作
1200:照明器
1202:物件
1204:部分
1206:子集
1300:方法
1302:步驟
1304:步驟
1306:步驟
1308:步驟
1310:步驟
1312:步驟
AB:信號
A00:程式化資料
A10:程式化資料
Ai0:程式化資料
A1j:程式化資料
A0j:程式化資料
Aij:程式化資料
CLK0:時脈信號
CLK1:時脈信號
C0:行匯流排
C1:行匯流排
C2:行匯流排
Ci:行匯流排
DARK:控制信號
D0:輸出匯流排
D1:輸出匯流排
D2:輸出匯流排
Di:輸出匯流排
IR_en:信號
ON/OFF:信號
O00:電晶體
O01:電晶體
O10:電晶體
O11:電晶體
P00:像素單元
P01:像素單元
P0j:像素單元
P10:像素單元
P11:像素單元
P1j:像素單元
P20:像素單元
P21:像素單元
P2j:像素單元
Pi0:像素單元
Pi1:像素單元
Pij:像素單元
read_R0:讀取信號
read_R1:讀取信號
RES_SEL:信號
RST:信號
R0:列匯流排
R1:列匯流排
Rj:列匯流排
SUM:信號
S00:電晶體
S01:電晶體
S10:電晶體
S11:電晶體
T00:電晶體
T01:電晶體
T10:電晶體
T11:電晶體
TG:信號
TX:信號
T0:時間
T1:時間
T2:時間
VIS_en:信號
VREF:斜波參考電壓
參考以下圖式描述說明性實施例。
圖1A及圖1B為近眼顯示器之實施例的圖式。
圖2為近眼顯示器之剖面圖的實施例。
圖3說明具有單源總成之波導顯示器之實施例的等距視圖。
圖4說明波導顯示器之實施例的剖面圖。
圖5為包括近眼顯示器之系統之實施例的方塊圖。
圖6A、圖6B、圖6C、圖6D及圖6E說明影像感測器及其操作的實例。
圖7A、圖7B及圖7C說明影像處理系統及其操作的實例。
圖8A及圖8B說明圖7A至圖7C之影像處理系統的實例組件。
圖9A、圖9B、圖9C、圖9D、圖9E及圖9F說明圖7A至圖7C之影像處理系統的實例組件。
圖10A及圖10B說明圖7A至圖7C之影像處理系統的實例組件。
圖11A及圖11B說明影像處理系統及其操作的另一實例。
圖12說明圖7A至圖7C及圖11A及圖11B之實例影像處理系統的實例操作。
圖13說明用於產生影像資料的實例過程的流程圖。
各圖僅出於圖解說明之目的而繪示本發明之實施例。依據以下描述，熟習此項技術者將容易認識到，在不背離本發明之原理或宣揚的益處之情況下，可採用本文中所說明之結構及方法之替代實施例。
在附圖中，類似組件及/或特徵可具有相同元件符號。另外，可藉由在元件符號之後加上區分相似組件之短劃線及第二符號來區分相同類型之各種組件。若在本說明書中僅使用第一元件符號，則描述適用於具有相同第一元件符號之相似組件中之任一者，與第二元件符號無關。
在以下描述中，出於闡釋之目的，闡明特定細節以便提供對某些發明實施例之透徹理解。然而，在無此等具體細節的情況下可實踐各種實施例將係顯而易見的。各圖及描述並非旨在限制性的。
典型的影像感測器包括像素單元陣列。每一像素單元包括藉由將光子轉換成電荷(例如，電子或電洞)來感測入射光之光電二極體。然後，由像素單元陣列之光電二極體產生的電荷可藉由類比至數位轉換器(ADC)量化 成數位值。ADC可藉由例如使用比較器來量化電荷，以比較表示電荷之電壓與一或多個量化位準，且可基於比較結果而產生數位值。然後可將數位值儲存在記憶體中以產生影像。
來自影像感測器之影像資料可支援各種可穿戴的應用，諸如2D與3D感測之融合、物件識別及追蹤、位置追蹤等。此等應用可自影像之像素子集提取特徵資訊以執行計算。例如，為了執行3D感測，應用程式可識別反射結構光的像素(例如，點)，比較自像素提取之圖案與透射結構光，並基於該比較而執行深度計算。該應用程式亦可識別來自相同像素單元之2D像素資料，2D像素資料提供結構光之所提取圖案以執行2D與3D感測之融合。為了執行物件識別及追蹤，應用程式亦可識別物件之影像特徵之像素，自像素提取影像特徵，並基於提取結果執行辨識及追蹤。此等應用程式通常在主機處理器上執行，主機處理器可與影像感測器電連接並經由互連接收像素資料。主機處理器、影像感測器及互連可為可穿戴裝置之一部分。
所有此等應用皆可受益於高解析度影像及/或高圖框速率。較高解析度影像允許應用程式提取更詳細的特徵/圖案(例如，更精細的反射結構光圖案，更詳細的影像特徵等)，而提供以較高圖框速率產生的影像使得應用程式能夠以較高取樣率追蹤物件之位置、可穿戴裝置之位置等，此兩者皆可改良應用程式之效能。
然而，高解析度影像及高圖框速率可能導致大量像素資料之產生、傳輸及處理，此可能帶來眾多挑戰。例如，以高資料速率傳輸及處理大量像素資料可能導致影像感測器、互連及主機處理器處之高功率消耗。此外，影像感測器及主機處理器可對大量像素資料之產生及處理強加頻寬限制並增加延時。對於可穿戴裝置而言，高功率及高頻寬要求可能尤其成問題，可穿戴裝置由於形狀因子及安全考慮而往往以相對低的功率及相對低的速度操作。
本發明涉及一種可解決至少一些上述問題之影像感測器。影像感測器包含像素單元陣列及周邊電路。影像感測器可經由互連來電連接至主機處理器。影像感測器、主機處理器及互連可包括在可穿戴裝置中。
像素單元陣列中之每一像素單元可執行光量測操作並產生表示光量測操作之輸出之像素資料。周邊電路可接收像素陣列程式化映射，該像素陣列程式化映射包括以像素單元陣列中之每一像素單元為目標的程式化資料，且基於以每一像素單元為目標的程式化資料而配置每一像素單元處之光量測操作。在一些實例中，像素單元陣列中之每一像素單元可與可單獨定址之組態記憶體相關聯或包括組態記憶體。周邊電路可自像素陣列程式化映射提取程式化資料，並將所提取的以每一像素單元為目標的程式化資料與像素單元之位址相關聯。周邊電路可將控制信號傳輸至每一像素單元，以將程式化資料傳輸至每一像素單元之組態記憶體，以基於各別程式化資料配置每一像素單元處之光量測操作。主機處理器可經由互連自影像感測器接收像素單元陣列中之至少一些像素單元之數位輸出，且基於所接收之數位輸出來操作應用程式。
周邊電路可基於像素陣列程式化映射而配置像素單元陣列，使得只有像素單元中的一個子集產生並傳輸像素資料，而其餘像素單元可關斷，設定處於其中停用像素資料的產生之狀態中，輸出具有較低位元深度及/或較低量化解析度的像素資料，以在類比與數位相關雙重取樣操作之間切換等。此外，亦可基於像素陣列程式化映射配置周邊電路，以僅將數位輸出自像素單元之子集傳輸至主機處理器。可基於例如像素單元之子集比其餘像素單元更可能將相關資訊提供至應用程式來選擇像素單元之子集。例如，對於物件追蹤應用程式，可判定像素單元之子集更可能包括被追蹤物件之像素資料。作為另一實例，對於3D感測應用程式，可判定像素單元之子集更可能包括反射結構光之像素資料。在一些實例中，主機處理器(或其他處理器)可基於自先前影像圖框提取 影像特徵及/或反射結構光之圖案的結果而識別一或多個關注區域(ROI)，且像素陣列程式化映射可經配置以用信號通知ROI，使得可選擇像素單元陣列中之像素單元之子集以基於ROI而產生像素資料。主機處理器(或其他影像處理器)可基於包括在先前影像圖框之關注區域中之像素及其他參數(諸如物件相對於影像感測器之移動的速度及方向，圖框速率等)而判定當前影像圖框中之像素子集，且用信號通知對應於像素陣列程式化映射中之像素子集之像素單元。
利用所揭示技術，影像感測器可經配置以使得僅像素單元之子集產生像素資料，此可減少傳輸至主機處理器並由主機處理器處理之像素資料的量。此等配置允許影像感測器提供含有與主機處理器以圖框速率操作之應用程式最相關的資訊的高解析度影像資料，此可在放寬頻寬及功率的要求的同時改良應用程式之效能。此等配置特別有益於改良例如在相對低功率及低頻寬平台(諸如可穿戴裝置)上操作之前述融合2D與3D感測之應用程式、物件識別及追蹤應用程式、位置追蹤應用程式等的效能。
在一些實例中，使用像素陣列程式化映射之ROI之信號傳遞可用於使結構光之透射與像素單元陣列對反射光之接收同步，以減小由影像感測器產生之像素資料的量。具體地，可控制照明器(或照明器陣列)以僅將結構光投射至含有關於應用程式之相關資訊之場景之區域(例如，被追蹤之物件所在之位置)。可基於像素陣列程式化映射來控制照明器，該像素陣列程式化映射將場景之區域之預期影像位置定義為ROI以及像素單元之子集以產生像素資料。利用此等配置，由所選擇像素單元之子集產生的像素資料更可能含有應用程式所關注的資訊，此可進一步改良應用程式之效能，同時減少由影像感測器產生及傳輸之像素資料的量。
除了在像素單元處選擇性地啟用/停用像素資料產生之外，亦提出其他技術來進一步減少傳輸至主機處理器並由主機處理器處理之資料的量。 例如，可藉由程式化映射配置像素單元陣列以實施壓縮感測方案，其中所選像素單元群組內之主像素單元經配置以對群組內之所有像素單元之光量測操作之類比輸出進行求和及量化為數位像素值。數位像素值作為像素單元群組之壓縮輸出被傳輸至主機處理器。作為另一實例，影像感測器可包括後處理器以自像素單元之子集執行像素資料之後處理，並將經後處理之像素資料傳輸至主機處理器。後處理可包括各種壓縮方案，以進一步減少傳輸至主機處理器並由主機處理器處理之資料的量。例如，後處理可包括結構化光圖案提取方案(例如，點提取方案)以判定反射結構化光圖案之像素(或子像素)位置，且將像素位置僅傳輸至主機處理器。作為另一實例，後處理器可在實際圖框速率下自像素單元陣列接收像素資料，執行所接收像素資料之壓縮，並在減少之圖框速率下將壓縮資料傳輸至主機處理器。在此等實例中，可顯著減少傳輸至主機處理器並由主機處理器處理之資料的量，此可在功率及頻寬限制內增加主機處理器處之可實現的圖框速率及影像處理之解析度。
除了資料壓縮之外，像素陣列程式化映射可用於配置像素單元處的光量測操作之其他方面。在一些實例中，每一像素單元之曝光時間可由像素陣列程式化映射單獨配置，以支援校準操作。例如，像素單元之子集可經配置以具有零曝光時間以產生表示暗像素之數位像素資料。可基於暗像素資料調整由具有非零曝光資料之其他像素單元產生之像素資料，以考慮可能影響像素資料之溫度及/或其他實體條件的效應。作為另一實例，每一像素單元由像素陣列程式化映射配置以執行對在可見範圍(例如，用於2D感測)內、在紅外範圍(例如，用於3D感測)內或兩者內(以實現2D與3D感測之融合)之光的量測。所有此等皆可改良影像感測器之操作靈活性，以支援更多的應用程式，此可改良使用者體驗。
所揭示技術可包括人工實境系統或結合人工實境系統實施。人工 實境係在呈現給使用者之前已以某一方式調整的實境形式，其可包括例如虛擬實境(VR)、擴增實境(AR)、混合實境(MR)、複合實境，或其某一組合及/或衍生物。人工實境內容可包括完全產生的內容或與所捕獲(例如，真實世界)內容組合之產生的內容。人工實境內容可包括視訊、音訊、觸覺回饋或其某一組合，其中任何一者可在單個頻道或多個頻道中呈現(諸如向觀眾產生三維效果的立體視訊)。另外，在一些實施例中，人工實境亦可與用於例如在人工實境中創建內容及/或以其他方式用於人工實境中(例如，在其中執行活動)的應用程式、產品、附件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可在各種平台上實施，包括連接至主機電腦系統之頭戴式顯示器(HMD)、獨立HMD、行動裝置或計算系統，或能夠向一或多個觀眾提供人工實境內容之任何其他硬體平台。
圖1A為近眼顯示器100之實施例的圖式。近眼顯示器100向使用者呈現媒體。由近眼顯示器100呈現之媒體的實例包括一或多個影像、視訊及/或音訊。在一些實施例中，經由外部裝置(例如，揚聲器及/或耳機)呈現音訊，該外部裝置自近眼顯示器100、控制台或兩者接收音訊資訊，並基於音訊資訊而呈現音訊資料。近眼顯示器100通常經配置以作為虛擬實境(VR)顯示器操作。在一些實施例中，近眼顯示器100經修改以作為擴增實境(AR)顯示器及/或混合實境(MR)顯示器操作。
近眼顯示器100包括框架105及顯示器110。框架105耦接至一或多個光學元件。顯示器110經配置用於使用者觀看由近眼顯示器100呈現之內容。在一些實施例中，顯示器110包含用於將來自一或多個影像之光引導至使用者眼睛之波導顯示器總成。
近眼顯示器100進一步包括影像感測器120a、120b、120c及120d。影像感測器120a、120b、120c及120d中之每一者可包括像素陣列，該像素陣列經 配置以產生表示沿不同方向之不同視場的影像資料。例如，感測器120a及120b可經配置以提供表示沿著Z軸朝向方向A之兩個視場的影像資料，而感測器120c可經配置以提供表示沿著X軸朝向方向B之視場的影像資料，且感測器120d可經配置以提供表示沿著X軸朝向方向C之視場的影像資料。
在一些實施例中，感測器120a至120d可經配置為輸入裝置以控制或影響近眼顯示器100之顯示內容，以向佩戴近眼顯示器100之使用者提供互動式VR/AR/MR體驗。例如，感測器120a至120d可產生使用者所在之實體環境的實體影像資料。可將實體影像資料提供至位置追蹤系統，以追蹤使用者在實體環境中之位置及/或移動路徑。然後，系統可基於例如使用者之位置及方位而更新提供至顯示器110之影像資料，以提供互動式體驗。在一些實施例中，位置追蹤系統可操作SLAM演算法以在使用者在實體環境內移動時追蹤實體環境中及使用者之視野內的一組物件。位置追蹤系統可基於該組物件構造及更新實體環境之地圖，並追蹤使用者在地圖內之位置。藉由提供對應於多個視野之影像資料，感測器120a至120d可為位置追蹤系統提供實體環境之更全面視圖，此可導致更多物件被包括在地圖之構造及更新中。利用此配置，可改良在實體環境中追蹤使用者之位置的準確性及穩健性。
在一些實施例中，近眼顯示器100可進一步包括一或多個主動照明器130，以將光投射至實體環境中。所投射之光可與不同頻譜(例如，可見光、紅外線光、紫外線光等)相關聯，且可用於各種目的。例如，照明器130可在黑暗環境中(或在具有低強度之紅外線光，紫外線光等的環境中)投射光，以輔助感測器120a至120d捕獲黑暗環境中之不同物件之影像，例如，以實現對使用者之位置追蹤。照明器130可將某些標記投射至環境內之物件上，以輔助位置追蹤系統識別用於地圖構建/更新之物件。
在一些實施例中，照明器130亦可實現立體成像。例如，感測器 120a或120b中之一或多者可包括用於可見光感測之第一像素陣列及用於紅外線(IR)光感測之第二像素陣列。第一像素陣列可用濾色器(例如，拜耳濾光器)覆蓋，其中第一像素陣列之每一像素經配置以量測與特定色彩(例如，紅色、綠色或藍色中之一者)相關聯的光之強度。第二像素陣列(用於IR光感測)亦可用僅允許IR光通過之濾光器覆蓋，其中第二像素陣列中之每一像素經配置以量測IR光之強度。像素陣列可產生RGB影像及物件之IR影像，其中IR影像之每一像素經映射至RGB影像之每一像素。照明器130可將一組IR標記投射在物件上，其影像可由IR像素陣列捕獲。基於如影像中所示出之物件之IR標記的分佈，系統可估計物件之不同部分距IR像素陣列之距離，並基於該些距離而產生物件之立體影像。基於物件之立體影像，系統可判定例如物件相對於使用者之相對位置，並可基於相對位置資訊更新提供至顯示器100之影像資料以提供互動式體驗。
如上文所論述，近眼顯示器100可在與極其廣泛範圍之光強度相關聯的環境中操作。例如，近眼顯示器100可在室內環境或室外環境中及/或在一天之不同時間操作。近眼顯示器100亦可在主動照明器130接通或未接通的情況下操作。因此，影像感測器120a至120d可能需要具有廣泛動態範圍以能夠在與用於近眼顯示器100之不同操作環境相關聯的極其廣泛之光強度範圍內恰當地操作(例如，以產生與入射光之強度相關的輸出)。
圖1B為近眼顯示器100之另一實施例的圖式。圖1B說明面向佩戴近眼顯示器100之使用者之眼球135的近眼顯示器100的一側。如圖1B中所示出，近眼顯示器100可進一步包括複數個照明器140a、140b、140c、140d、140e及140f。近眼顯示器100進一步包括複數個影像感測器150a及150b。照明器140a、140b及140c可朝向方向D(其與圖1A之方向A相反)發射特定頻率範圍(例如，NIR)之光。所發射之光可與特定圖案相關聯，且可由使用者之左眼球反射。感測器 150a可包括像素陣列以接收反射光並產生反射圖案之影像。類似地，照明器140d、140e及140f可發射攜載該圖案之NIR光。NIR燈可由使用者之右眼球反射，且可由感測器150b接收。感測器150b亦可包括像素陣列以產生反射圖案之影像。基於來自感測器150a及150b之反射圖案的影像，系統可判定使用者之注視點，並基於所判定注視點更新提供至顯示器100之影像資料，以向使用者提供互動式體驗。
如上文所論述，為避免損壞使用者之眼球，照明器140a、140b、140c、140d、140e及140f通常經配置以輸出極其低強度之光。在影像感測器150a及150b包含與圖1A之影像感測器120a至120d相同的感測器裝置的狀況下，當入射光之強度極其低時，影像感測器120a至120d可能需要能夠產生與入射光之強度相關的輸出，此可進一步增加影像感測器之動態範圍要求。
此外，影像感測器120a至120d可能需要能夠以高速產生輸出來追蹤眼球之運動。例如，使用者之眼球可執行非常快速移動(例如，掃視運動)，其中可存在自一個眼球位置至另一眼球位置的快速跳躍。為了追蹤使用者眼球之快速移動，影像感測器120a至120d需要以高速產生眼球之影像。例如，影像感測器產生影像圖框之速率(圖框速率)需要至少匹配眼球之移動速度。高圖框速率要求產生影像圖框所涉及之所有像素單元的總曝光時間短，以及將感測器輸出轉換為用於影像產生的數位值的高速。此外，如上文所論述，影像感測器亦需要能夠在低光強度的環境下操作。
圖2為圖1中所說明之近眼顯示器100之剖面圖200的實施例。顯示器110包括至少一個波導顯示器總成210。出射瞳孔230為當使用者佩戴近眼顯示器100時使用者之單個眼球220位於眼動範圍區域中之位置。出於說明的目的，圖2示出相關聯眼球220及單個波導顯示器總成210的剖面圖200，但第二波導顯示器用於使用者之第二隻眼睛。
波導顯示器總成210經配置以將影像光引導至位於出射瞳孔230之眼動範圍且至眼球220。波導顯示器總成210可由具有一或多個折射率之一或多個材料(例如，塑膠、玻璃等)組成。在一些實施例中，近眼顯示器100包括波導顯示器總成210與眼球220之間的一或多個光學元件。
在一些實施例中，波導顯示器總成210包括一或多個波導顯示器的堆疊，包括但不限於堆疊波導顯示器、變焦波導顯示器等。堆疊波導顯示器為藉由堆疊其各別單色源具有不同色彩的波導顯示器所產生的多色顯示器(例如，紅綠藍(RGB)顯示器)。堆疊波導顯示器亦為可在多個平面上投影之多色顯示器(例如，多平面彩色顯示器)。在一些配置中，堆疊波導顯示器為可投影在多個平面上之單色顯示器(例如，多平面單色顯示器)。變焦波導顯示器為可調整自波導顯示器發射之影像光之焦點位置的顯示器。在替代實施例中，波導顯示器總成210可包括堆疊波導顯示器及變焦波導顯示器。
圖3說明波導顯示器300之實施例的等距視圖。在一些實施例中，波導顯示器300為近眼顯示器100之組件(例如，波導顯示器總成210)。在一些實施例中，波導顯示器300為一些其他近眼顯示器或將影像光引導至特定位置之其他系統的一部分。
波導顯示器300包括源總成310、輸出波導320，以及控制器330。為了說明之目的。圖3示出與單個眼球220相關聯之波導顯示器300，但在一些實施例中，與波導顯示器300分離，或部分地分離的另一波導顯示器將影像光提供至使用者之另一隻眼睛。
源總成310產生影像光355。源總成310產生影像光355並將其輸出至位於輸出波導320之第一側370-1上之耦接元件350。輸出波導320為光學波導，其將擴展的影像光340輸出至使用者之眼球220。輸出波導320在位於第一側370-1上之一或多個耦接元件350處接收影像光355，並將所接收之輸入影像光355引導 至引導元件360。在一些實施例中，耦接元件350將來自源總成310之影像光355耦接至輸出波導320。耦接元件350可為例如繞射光柵、全像光柵、一或多個級聯反射器、一或多個稜鏡表面元件，及/或全像反射器陣列。
引導元件360將所接收之輸入影像光355重新引導至去耦元件365，使得所接收輸入影像光355經由去耦元件365從輸出波導320去耦。引導元件360為輸出波導320之第一側370-1之一部分或貼附至該第一側。去耦元件365為輸出波導320之第二側370-2之一部分或貼附至該第二側，使得引導元件360與去耦元件365相對。引導元件360及/或去耦元件365可為例如繞射光柵、全像光柵、一或多個級聯反射器、一或多個稜鏡表面元件，及/或全像反射器陣列。
第二側370-2表示沿著x維度及y維度之平面。輸出波導320可由有利於影像光355之全內反射之一或多個材料組成。輸出波導320可由例如矽、塑膠、玻璃，及/或聚合物組成。輸出波導320具有相對小之形狀因子。例如，輸出波導320沿著x維度可為大約50mm寬，沿著y維度為30mm長，且沿著z維度為0.5至1mm厚。
控制器330控制源總成310之掃描操作。控制器330判定源總成310之掃描指令。在一些實施例中，輸出波導320以大視場(FOV)將經擴展影像光340輸出至使用者之眼球220。例如，經擴展影像光340以60度及/或更大及/或150度及/或更小的對角FOV(在x及y中)提供至使用者之眼球220。輸出波導320經配置以提供眼動範圍，該眼動範圍具有20mm或更大及/或等於或小於50mm的長度；及/或10mm或更大及/或等於或小於50mm的寬度。
此外，控制器330亦基於由影像感測器370提供之影像資料控制由源總成310產生之影像光355。影像感測器370可位於第一側370-1上且可包括例如圖1A之影像感測器120a至120d以產生使用者面對之實體環境的影像資料(例如，用於位置判定)。影像感測器370也可位於第二側370-2上，且可包括圖1B之 影像感測器150a及150b以產生使用者之眼球220之影像資料(例如，用於凝視點判定)。影像感測器370可與不位於波導顯示器300內之遠端控制台介接。影像感測器370可向遠端控制台提供影像資料，該遠端可判定例如使用者之位置、使用者之凝視點，等，且判定待向使用者顯示之影像之內容。遠端控制台可將與所判定內容相關之指令傳輸至控制器330。基於指令，控制器330可控制源總成310產生及輸出影像光355。
圖4說明波導顯示器300的剖面圖400的實施例。剖面圖400包括源組件310、輸出波導320及影像感測器370。在圖4之實例中，影像感測器370可包括位於第一側370-1上之一組像素單元402，以產生面對使用者之實體環境的影像。在一些實施例中，可在該組像素單元402與實體環境之間插入機械快門404，以控制該組像素單元402之曝光。在一些實施例中，機械快門404可由電子快門閘代替，將在下面所論述。像素單元402中之每一者可對應於影像之一個像素。儘管未在圖4中示出，應理解，像素單元402中之每一者亦可用濾光器覆蓋，以控制由像素單元感測之光的頻率範圍。
自遠端控制台接收指令之後，機械快門404可在曝光週期中打開並曝光該組像素單元402。在曝光週期期間，影像感測器370可獲得入射在像素單元組402上之光的樣本，且基於由該組像素單元402所偵測到之入射光樣本之強度分佈而產生影像資料。然後，影像感測器370可將影像資料提供至遠端控制台，遠端控制台判定顯示內容，並將顯示內容資訊提供至控制器330。控制器330然後可基於顯示內容資訊而判定影像光355。
源總成310根據來自控制器330之指令產生影像光355。源總成310包括源410及光學系統415。源410為產生相干或部分相干光之光源。源410可為例如雷射二極體、垂直腔表面發射雷射及/或發光二極體。
光學系統415包括調節來自源410之光的一或多個光學組件。調節 來自源410之光可包括根據來自控制器330的指令，例如擴展、準直及/或調整方位。一或多個光學組件可包括一或多個透鏡、液體透鏡、反射鏡、光圈及/或光柵。在一些實施例中，光學系統415包括具有複數個電極之液體透鏡，該複數個電極允許以臨限值之掃描角度掃描光束以將光束移位至液體透鏡外部之區域。自光學系統415(以及源總成310)發射的光被稱作為影像光355。
輸出波導320接收影像光355。耦接元件350將來自源總成310之影像光355耦接至輸出波導320。在耦接元件350為繞射光柵的實施例中，選擇繞射光柵之間距使得在輸出波導320中發生全內反射，且影像光355在輸出波導320內部傳播(例如，藉由全內反射)朝向去耦元件365。
引導元件360將影像光355重新定向朝向去耦元件365用於自輸出波導320去耦。在引導元件360為繞射光柵的實施例中，選擇繞射光柵之間距以致使入射影像光355以相對於去耦元件365之表面的傾斜角度出射輸出波導320。
在一些實施例中，引導元件360及/或去耦元件365在結構上類似。出射輸出波導320之擴展影像光340沿著一或多個維度擴展(例如，可沿著x維度伸長)。在一些實施例中，波導顯示器300包括複數個源總成310及多個輸出波導320。源總成310中之每一者發射對應於原色(例如，紅色、綠色或藍色)之特定波長帶之單色影像光。輸出波導320中之每一者可以分離距離堆疊在一起，以輸出多色之擴展影像光340。
圖5為包括近眼顯示器100之系統500的實施例的方塊圖。系統500包含近眼顯示器100、成像裝置535、輸入/輸出介面540，以及各自耦接至控制電路510的影像感測器120a至120d及150a至150b。系統500可經配置為頭戴式裝置、可穿戴裝置等。
近眼顯示器100為向使用者呈現媒體之顯示器。由近眼顯示器100呈現之媒體的實例包括一或多個影像、視訊及/或音訊。在一些實施例中，經由 外部裝置(例如，揚聲器及/或耳機)呈現音訊，該外部裝置自近眼顯示器100及/或控制電路510接收音訊資訊，並向使用者呈現基於音訊資訊之音訊資料。在一些實施例中，近眼顯示器100亦可充當AR眼鏡鏡片。在一些實施例中，近眼顯示器100利用電腦產生的元素(例如，影像、視訊、聲音等)來增強實體真實世界環境的視圖。
近眼顯示器100包括波導顯示器總成210，一或多個位置感測器525及/或慣性量測單元(IMU)530。波導顯示器總成210包括源總成310、輸出波導320及控制器330。
IMU 530為電子裝置，其基於來自一或多個位置感測器525接收之量測信號產生指示近眼顯示器100相對於近眼顯示器100之初始位置的估計位置的快速校準資料。
成像裝置535可產生用於各種應用程式之影像資料。例如，成像裝置535可產生影像資料以根據自控制電路510接收之校準參數提供慢速校準資料。成像裝置535可包括例如圖1A之影像感測器120a至120d，該些影像感測器用於產生使用者所定位之實體環境的影像資料，以用於執行使用者之位置追蹤。成像裝置535可進一步包括例如圖1B之影像感測器150a至150b，該些影像感測器用於產生用於判定使用者之注視點的影像資料，以識別使用者所關注之物件。
輸入/輸出介面540為允許使用者向控制電路510發送動作請求之裝置。動作請求為執行特定動作的請求。例如，動作請求可為開始或結束應用程式或在應用程式內執行特定動作。
控制電路510根據自以下中之一或多者接收之資訊將媒體提供至近眼顯示器100以向使用者呈現：成像裝置535、近眼顯示器100及輸入/輸出介面540。在一些實例中，控制電路510可容納在經配置為頭戴式裝置的系統500內。在一些實例中，控制電路510可為與系統500之其他組件通信耦接之獨立控制台 裝置。在圖5中所示出之實例中，控制電路510包括應用程式儲存器545、追蹤模組550及引擎555。
應用程式儲存器545儲存一或多個應用程式以供控制電路510執行。應用程式為一群組指令，該群組指令當由處理器執行時產生用於向使用者呈現之內容。應用程式之實例包括：遊戲應用程式、會議應用程式、視訊播放應用程式或其他合適的應用程式。
追蹤模組550使用一或多個校準參數來校準系統500，且可調整一或多個校準參數以減少判定近眼顯示器100之位置中的誤差。
追蹤模組550使用來自成像裝置535之慢校準資訊追蹤近眼顯示器100之移動。追蹤模組550亦使用來自快速校準資訊之位置資訊判定近眼顯示器100之參考點的位置。
引擎555執行系統500內之應用程式並自追蹤模組550接收近眼顯示器100之位置資訊、加速度資訊、速度資訊及/或所預測的未來位置。在一些實施例中，引擎555接收之資訊可用於產生信號(例如，顯示指令)至波導顯示器總成210，該波導顯示器總成判定向使用者呈現之內容的類型。例如，為了提供互動式體驗，引擎555可基於使用者之位置(例如，由追蹤模組550提供)或使用者之注視點(例如，基於由成像裝置535提供之影像資料)、物件與使用者之間的距離(例如，基於由成像裝置535提供之影像資料)來判定待向使用者呈現內容。
圖6A、圖6B、圖6C、圖6D及圖6E說明影像感測器600及其操作的實例。如圖6A中所示出，影像感測器600可包括像素單元陣列，包括像素單元601，且可產生對應於影像之像素的數位強度資料。像素單元601可為圖4之像素單元402的一部分。如圖6A中所示出，像素單元601可包括光電二極體602、電子快門閘603、轉移閘604、重設閘605、電荷儲存裝置606及量化器607。光電二極 體602可包括例如P-N二極體、P-I-N二極體，釘扎二極體等，而電荷儲存裝置606可為轉移閘604之浮動汲極節點。光電二極體602可在曝光週期內接收光時產生並累積電荷，且在曝光週期內產生之電荷量可與光之強度成比例。可基於控制電子快門閘603之AB信號之時序且基於控制轉移閘604之TX信號之時序來定義曝光週期，該AB信號在經啟用時可繞過由光電二極體602產生之電荷，該TX信號在經啟用時可將由光電二極體602產生之電荷轉移至電荷儲存裝置606。例如，參考圖6B，可在時間T0處解除確立AB信號以允許光電二極體602產生電荷並將至少一些電荷累積為殘餘電荷，直至光電二極體602飽和。T0可標記曝光週期之開始。TX信號可將轉移閘604設定處於部分接通狀態，以將飽和後由光電二極體602產生之額外電荷(例如，溢出電荷)傳輸至電荷儲存裝置606。在時間T1處，可確立TG信號以將殘餘電荷轉移至電荷儲存裝置606，以使得電荷儲存裝置606可儲存自時間T0處之曝光週期開始以來由光電二極體602所產生的所有電荷。在時間T2處，TX信號可經解除確立以將電荷儲存裝置606與光電二極體602隔離，而AB信號可經確立以繞過由光電二極體602產生之電荷。時間T2可標記曝光週期之結束。在時間T2處跨電荷儲存裝置606之類比電壓可表示儲存在電荷儲存裝置606中之電荷總量，其可對應於在曝光週期內由光電二極體602產生之電荷總量。TX及AB信號兩者皆可由控制器(圖6A中未示出)產生，該控制器可是為像素單元601的一部分。在類比電壓量化之後，可藉由RST信號啟用重設閘605以移除電荷儲存裝置606中之電荷以準備下一次量測。
量化器607可由控制器控制以在時間T2之後量化類比電壓以產生像素值。圖6C說明由量化器607執行之實例量化操作。如圖6C中所示出，量化器607可比較(例如，使用比較器)電荷儲存裝置606處之類比電壓與斜波參考電壓(在圖6C中標記為「VREF」)以產生比較判定(在圖6C中標記為「決策」)。可量測決策跳閘所花費之時間以表示類比電壓的量化結果。在一些實例中，時 間可由自由運行的計數器量測，該計數器基於時脈信號週期性地更新其計數值(在圖6C中標記為「時脈」)，且來自比較器之比較判定可控制何時將計數值儲存在記憶體中。時脈信號之頻率可設定量化操作之解析度。例如，較高的時脈信號頻率可導致在VREF範圍內產生之更大的計數範圍(具有更高的位元深度)及更高的量化解析度，而較低時脈信號頻率可導致在VREF範圍內產生之較小的計數範圍(具有較低的位元深度)及較低的量化解析度。像素資料陣列(例如，d00、d01，等等，)可藉由影像感測器600輸出。可進一步處理像素值陣列以產生物件612之影像610。
來自影像感測器600之影像資料可被傳輸至主機處理器(圖6A至圖6E中未示出)以支援不同的應用程式，諸如識別並追蹤物件612，相對於影像感測器600執行物件612之深度感測，等。對於所有此等應用，僅像素單元之子集提供相關資訊(例如，物件612之像素資料)，而像素單元之重設不提供相關資訊。例如，參考圖6D，在時間T0處，影像感測器600之一群組像素單元620接收由物件612反射之光，而在時間T6處，物件612可能已移位(例如，由於物件612之移動、影像感測器600之移動，或兩者)，且影像感測器600之一群組像素單元630接收由物件612反射之光。在時間T0及T6，影像感測器600可僅將來自像素單元群組620及630之像素資料傳輸至主機處理器，以減少傳輸之像素資料的量。此等配置可允許以較高圖框速率傳輸較高解析度影像。例如，包括較多像素單元之較大像素單元陣列可用於使物件612成像以改良影像解析度，而當僅像素單元之一子集(包括提供物件612之像素數據之像素單元)將像素數據傳輸至主機處理器時，可減少提供經改良影像解析度所需要的頻寬及功率。類似地，可操作影像感測器600從而以較高圖框速率產生影像，但當每一影像僅包括由像素單元之該子集輸出之像素值時，可減少頻寬及功率的增加。
在3D感測的狀況下，亦可減小像素資料傳輸之量。例如，參考 圖6E，照明器640可將結構光之圖案642投射至物件650上。結構光可在物件650之表面上反射，且反射光之圖案652可由影像感測器600捕獲以產生影像。主機處理器可將圖案652與圖案642匹配，且基於圖案652在影像中之影像位置而判定物件650相對於影像感測器600之深度。對於3D感測，僅多個群組像素單元660、662、664及666含有相關資訊(例如，圖案652之像素資料)。為了減少正在傳輸之像素資料的量，影像感測器600可經配置以僅將來自多個群組之像素單元660、662、664及666之像素資料或圖案652在影像中之影像位置位置傳輸至主機處理器。
圖7A、圖7B、圖7C、圖7D及圖7E說明影像處理系統700及其操作之實例。影像處理系統700包括主機裝置702及影像感測器704。主機裝置702可包括操作應用程式708之主機處理器706，應用程式708可執行包括例如2D及3D感測之融合、物件識別及追蹤、位置追蹤等操作。在一些實例中，影像處理系統700可在可穿戴裝置中。在一些實例中，處理系統700可分裂成多個單獨的裝置。例如，主機裝置702可為個人電腦(PC)、智慧型電話、相機基站、或諸如中央處理單元(CPU)、現場可程式閘陣列(FPGA)，微型控制器單元(MCU)等之積體電路。主機裝置702及影像感測器704可經由互連(圖7A中未示出)(諸如與行動工業處理器介面(MIPI)標準相容之互連)電連接。
參考圖7A，影像感測器704包括周邊電路716及像素單元陣列718。像素單元陣列718中之每一像素單元可包括與圖6A之像素單元601類似的組件，諸如光電二極體602、電子快門閘603、轉移閘604、電荷儲存裝置606及量化器607，以執行光量測操作以產生像素資料。像素單元陣列718中之每一像素單元可包括組態記憶體，其可為像素單元的一部分或在其外部，以儲存用於配置/程式化每一像素單元處之光量測操作的程式化資料。每一像素單元之組態記憶體可為可單獨定址的，此允許每一像素單元處之光量測操作由周邊電路716基 於主機裝置702提供的像素陣列程式化映射720單獨程式化。可自組態記憶體讀出程式化資料以配置光量測操作。如下面將詳細描述，像素單元處之光量測操作之配置可包括，例如，啟用或停用來自光量測操作之像素資料的產生，設定用於光量測操作之曝光週期，在暗模式中操作像素單元以產生表示暗像素的像素資料，設定量化解析度/位元深度，設定所量測之光的波長範圍，執行資料壓縮，設定相關雙取樣模式等。在一些實例中，像素單元陣列718及周邊電路716可形成堆疊結構以最大化影像感測器704之光接收表面，此允許像素單元陣列718包括更多像素單元以改良解析度。
像素陣列程式化映射720可包括以像素單元陣列中之每一像素單元為目標的程式化資料。圖7B說明像素陣列程式化映射720的實例。如圖7B中所示出，像素陣列程式化映射720可包括二維程式化資料陣列，其中二維陣列之程式化資料之每一條目以像素單元陣列718中之像素單元為目標。例如，在像素單元陣列718具有M個像素之寬度(例如，M行像素)及N個像素的高度(例如，N列像素)的狀況下，像素陣列程式化映射720亦具有M個條目的寬度(例如，M行條目)及N個條目的高度(例如，N列條目)。像素陣列程式化映射720之條目(0,0)處之程式化資料A00以像素單元陣列718之像素位置(0,0)處之像素單元P00為目標，而像素陣列程式化映射720之條目(0,1)處之程式化資料A01以像素單元陣列718之像素位置(0,1)處之像素單元P01為目標。在一些實例中，像素陣列程式化映射720中之每一條目之程式化資料可在預定掃描圖案之後順序傳輸，例如自左至右遍歷列(例如，A00、A01、...A0i)，後續接著自左至右下一列(例如，A10、A11、...A1i)，以形成串列資料串流。可基於掃描模式及接收條目之順序自串列資料串流提取及識別每一條目之程式化資料。在一些實例中，僅當需要在圖框之間更新某些程式化資料時才發送像素陣列程式化映射720，且僅需要更新之程式化資料包括在像素陣列程式化映射720中。
取決於配置操作，像素陣列程式化映射720中之每一條目可包括二進位程式化資料或非二進位程式化資料。圖7C說明像素陣列程式化映射720a及720b的實例。如圖7C中所示出，像素陣列程式化映射720a包括二進位程式化資料0及1。在一些實例中，像素陣列程式化映射720a中之每一條目處之二進位程式化資料可啟用(例如，其中將程式化資料設定為1)或停用(例如，其中程式化資料設定為0)在對應於條目之像素單元處產生像素資料。像素陣列程式化映射720a中之每一條目處的二進位程式化資料亦可配置對應於該條目之像素單元以在暗模式中操作(例如，其中將程式化資料設定為0)以產生暗像素資料，或在正常模式(例如，其中程式化資料設定為1)下操作。基於例如將電荷儲存裝置保持處於重設狀態，將曝光週期設定為具有零持續時間等，可在暗模式中操作像素單元。另外，像素陣列程式化映射720b可包括非二進位程式化資料，諸如-1、0及1。像素陣列程式化映射720b之非二進位程式化資料，如圖7C中所示出，可用於自三個候選配置中選擇配置。例如，像素單元可經配置以在可見光波長範圍內(例如，其中程式化資料設定為1)，在紅外線光波長範圍內(例如，其中將程式化資料設定為-1)執行光量測操作，或不執行任何量測(例如，其中程式化資料設定為0)。像素陣列程式化映射720b之非二進位程式化資料亦可採用其他值來設定，例如，曝光週期之持續時間、量化解析度/位元深度等。
在一些實例中，像素陣列程式化映射720a/b可由在主機裝置702處操作之應用程式(例如，應用程式708)產生，該應用程式消耗來自像素單元陣列718之像素資料。例如，應用程式708可自影像中識別含有相關資訊之像素，並判定包含像素之關注區域(ROI)。然後可識別產生對應於ROI之像素資料之像素單元。作為說明性實例，返回參考圖6D之實例，應用程式708可將包括像素單元620群組之ROI識別為在時間T0處在影像中提供相關資訊(例如，物件612之像素資料)。然後，應用程式708可基於例如物件612相對於影像感測器600之 移動的方向及速度來預測時間T0與T6之間的ROI中的改變。然後，應用程式708可基於在時間T0處之像素單元620群組之影像位置及所預測變化預測在時間T6處之ROI(其包括像素單元630群組)之新影像位置。基於在時間T6處之像素單元630群組之影像位置，應用程式708可藉由將對應於像素單元630群組之條目的程式化資料設定為1來產生像素陣列程式化映射720a，同時將條目之其餘部分之程式化資料設定為零，使得僅像素單元630群組將像素資料傳輸至主機裝置702。在一些實例中，ROI亦可用於設定非均勻空間取樣率，使得對應於ROI之每一像素單元傳輸像素資料，而在ROI外部，選擇稀疏分佈的像素單元集來傳輸像素資料。可在像素陣列程式化映射720a中編碼用於傳輸像素資料之像素單元的選擇。
在一些實例中，應用程式708可基於先前影像維護被追蹤物件所處之環境的模型，並基於環境模型而預測可能在當前影像中提供物件之像素資料的像素單元。在一些實例中，影像感測器704或作為與影像感測器704相同的晶片的一部分的其他處理電路亦可計算固定基元(例如，時間或空間對比度)並基於那些基元而估計相關資訊發生的位置，並基於估計產生像素陣列程式化映射720a。
圖8A及圖8B說明周邊電路716及像素單元陣列718的實例組件。如圖8A中所示出，周邊電路716可包括程式化映射剖析器802，行控制器804、列控制器806及像素資料輸出模組807。程式化映射剖析器802可剖析像素陣列程式化映射720，其可處於串列資料串流，以識別每一像素單元之程式化資料。程式化資料之識別可基於例如藉以將二維像素陣列程式化映射轉換成串列格式的預定掃描圖案，以及程式化映射剖析器802自串列資料串流接收程式化資料的次序。程式化映射剖析器802可基於以像素單元為目標的程式化資料，在像素單元之列位址、像素單元之行位址及一或多個組態信號之間創建映射。基於映射， 程式化映射剖析器802可將包括行位址及組態信號之控制信號808傳輸至行控制器804，以及將包括映射到行位址之列位址及組態信號之控制信號810傳輸至列控制器806。在一些實例中，組態信號亦可在控制信號808與控制信號810之間分開，或作為控制信號810之一部分傳輸至列控制器806。
行控制器804及列控制器806經配置以將自程式化映射剖析器802接收之組態信號轉發至像素單元陣列718之每一像素單元的組態記憶體。如圖8A中所示出，行控制器804驅動複數組行匯流排C0、C1、...Ci。每一組行匯流排包括一或多個匯流排，且可用於將圖7A之控制信號722(其可包括行選擇信號及/或其他組態信號)傳輸至像素單元行。例如，行匯流排(ES)C0可傳輸行選擇信號808a來選擇一行像素單元p00、p01、...p0j，行匯流排C1可傳輸行選擇信號808b以選擇一行像素單元p10、p11、...p1j，等。此外，列控制器806驅動複數組標記為R0、R1、...Rj之列匯流排。每一組列匯流排亦包括一或多個匯流排，且可用於將圖7A之控制信號724(其可包括列選擇信號及/或其他組態信號)傳輸至像素單元列。例如，列匯流排R0可傳輸列選擇信號810a以選擇一列像素單元p00、p10、...pi0，列匯流排R1可傳輸列選擇信號810b以選擇一列像素單元p01、p11、...p1i，等。可基於列選擇信號及行信號之組合來選擇像素單元陣列718內之任何像素單元以接收組態信號。如上文所描述，基於來自程式化映射剖析器802的控制信號808及810來同步列選擇信號、行選擇信號及組態信號(若存在)。每一行像素單元可共用一組輸出匯流排以將像素資料傳輸至像素資料輸出模組807。例如，像素單元p00、p0i、...、p0j之行可共用輸出匯流排D0，像素單元p10、p11、...p1j之行可共用輸出匯流排D1，等。
像素資料輸出模組807可自匯流排接收像素資料，將像素資料轉換為一或多個串列資料串流(例如，使用移位暫存器)，且在諸如MIPI之預定協定下將資料串流傳輸至主機裝置702。另外，像素資料輸出模組807亦可自程式 化映射剖析器802接收控制信號808及810來判定例如哪一像素單元不輸出像素資料，由每一像素單元輸出之像素資料之位元寬度寬等，且然後相應地調整串列資料串流的產生。例如，像素資料輸出模組807可控制移位暫存器在產生串列資料串流時跳過多個位元以計及例如像素單元中輸出像素資料的可變位寬，停用某些像素單元處之像素資料輸出，等。
圖8B說明像素單元陣列718之額外細節，包括每一像素單元之組態記憶體830(例如，830a、830b、830c及830d)。雖然圖8B示出組態記憶體830在每一像素單元內部，但應理解，組態記憶體830亦可在每一像素單元外部。如圖8B中所示出，每一像素單元之組態記憶體830經由電晶體S(諸如，S00、S10、S10、S11，等)與行匯流排C及列匯流排R耦接。在一些實例中，每一組行匯流排(例如，C0、C1等)及列匯流排(例如，R0、R1等)可包括多個位元。例如，在圖8B中，每一組行匯流排及列匯流排可攜載N+1個位元。應理解，在一些實例中，每一組行匯流排及列匯流排亦可攜載單個資料位元。每一像素單元亦與電晶體T(諸如T00、T10、T10、T11等)電連接，以控制組態信號至像素單元的傳輸。每一像素單元之電晶體S可由列及行選擇信號驅動，以啟用(或停用)對應電晶體T，以將組態信號傳輸至像素單元。在一些實例中，行控制器804及列控制器806可由單個寫入指令(例如，來自主機裝置702)程式化，以同時寫入至多個像素單元之組態記憶體830。然後，行控制器804及列控制器806可控制列匯流排及行匯流排以寫入至像素單元之組態記憶體。
在圖8B中所示出之實例中，每一像素單元之組態記憶體830可實施為動態隨機存取記憶體(DRAM)，但在一些實例中，額外列/行匯流排可包括在像素單元陣列718中，以使得每一像素單元之組態記憶體830能夠實施為靜態隨機存取記憶體(SRAM)。
此外，每一像素單元亦包括電晶體O(諸如O00、O10、O10，On 等)以控制像素單元行之間的輸出匯流排D的共用。每一列之電晶體O可由讀取信號(例如，read_R0、read_R1等)控制，以使得能夠逐列讀出像素資料，使得一列像素單元經由匯流排D0、D1、...Di輸出像素資料，後續接著為下一列像素單元。
在程式化基於二進位資料的狀況下(例如，為了啟用/停用像素單元處之像素資料的產生，以在暗模式中操作像素單元等)，行及列選擇信號可基於像素陣列程式化映射720中之二進位程式化資料，且組態信號可來自固定源而非來自列/行匯流排。例如，為了能夠在像素單元處產生像素資料，可確立像素單元之列及行選擇信號，且組態信號可來自電源，以使得像素單元之電晶體T能夠將邏輯1傳輸至像素單元之組態記憶體830以啟用像素資料產生。為了停用在像素單元處產生像素資料，可解除確立用於像素單元之列及行選擇信號，以防止像素單元之電晶體T將邏輯1傳輸至像素單元之組態記憶體830。在程式化基於非-二進位資料(例如，設定曝光週期持續時間、量化解析度/位元深度等)的狀況下，行及/或列匯流排亦可攜載組態資料(例如，用於設定曝光週期之數位值，用於設定量化/位元深度之時脈信號)等。如上文所描述，可同時寫入多個像素單元之組態記憶體。
圖9A、圖9B、圖9C、圖9D、圖9E及圖9F說明可程式化的像素單元之不同實例。應理解，各圖中之每一者中所說明之可程式化的特徵可組合至單一像素單元中。
圖9A說明可啟用/停用像素資料之產生的像素單元902的實例。參考圖9A，像素單元902可包括光電二極體602、電子快門閘603、轉移閘604、電荷儲存裝置606，以及包括比較器904及記憶體906之量化器607。像素單元902進一步包括可經控制以在曝光週期開始之前重設電荷儲存裝置606的重設閘605。記憶體906可自自由運行計數器接收計數器值，自由運行計數器可在像素單元 902的內部或外部。像素單元902進一步包括用以在電荷儲存裝置606處緩衝類比電壓的電壓緩衝器908。比較器904可比較經緩衝電壓與斜波VREF以產生鎖存信號以將來自計數器之計數器值儲存至記憶體906中。如上面關於圖6C所描述，鎖存信號之時序判定儲存至記憶體906中之計數器值，且所儲存計數器值可作為像素資料輸出，以表示所緩衝類比電壓之量化的結果。
如圖9A中所示出，電壓緩衝器908及比較器904可由ON/OFF信號接通/關斷，該ON/OFF信號可基於列匯流排及行匯流排上之列選擇及行選擇信號而被儲存在組態記憶體中，如圖8B中所描述。可基於圖7C之像素陣列程式化映射720a而產生列及行選擇信號。然後可自組態記憶體讀出ON/OFF信號。當比較器904及電壓緩衝器908被停用時，不產生任何鎖存信號。記憶體906不儲存計數器值，且可停用像素資料之輸出。在一些實例中(圖9A中未示出)，記憶體906亦可由ON/OFF信號進行電源閘控。同時，亦可基於來自程式化映射剖析器802之控制信號來配置像素資料輸出模組807，以跳過像素單元之像素資料輸出的讀出。利用此類配置，藉由停用通常使用像素單元之組件中之最大功率的電壓緩衝器及比較器，可在像素單元處實現顯著的功率節省。此外，亦可減少傳輸至主機裝置之像素資料的量，此可進一步減少互連處及主機裝置處之功率消耗。
圖9B說明可經配置以在暗模式中操作的像素單元912的實例。如圖9B中所示出，像素單元912包括暗閘914。暗閘914或重設閘605(或兩者)皆可重設電荷儲存裝置606。類似於圖9A，暗閘914可自組態記憶體接收控制信號(標記為「DARK」)，該組態記憶體基於列匯流排及行匯流排上之列選擇及行選擇信號自像素單元之電晶體T接收控制信號，如圖8B中所描述。可基於圖7C之像素陣列程式化映射720a而產生列及行選擇信號。當DARK信號被確立時，像素單元912可產生表示暗像素之像素輸出(例如，不接收入射光之像素)。像素輸出可用於執行校準(例如，計及溫度之影響)。例如，其他像素單元可在正常模 式中操作(例如，其中關斷DARK信號)，且可基於暗像素值來偏移或縮放其像素輸出，以消除溫度對像素輸出的影響，使得經調整像素輸出可提供入射光強度的更準確表示。
圖9C說明具有可程式化的曝光週期之像素單元922的實例。如圖9C中所示出，像素單元922包括控制器924以控制至電子快門閘603的AB信號及至轉移閘604的TX信號。控制器924可接受指示曝光週期持續時間之輸入926並控制AB信號之釋放與TX信號之釋放之間的時間差(如在圖6B中所描述)以設定曝光週期。圖7C之像素陣列程式化映射720b可用於傳達每一像素單元之曝光週期持續時間，且可經由行匯流排C及/或列匯流排R將持續時間資訊轉發至每一像素單元的組態記憶體。在一些實例中，像素單元922之曝光週期可經設定為零以產生用於校準之暗像素資料，如圖9B中所描述。在一些實例中，亦可基於例如在其曝光週期開始時選擇性地接通像素單元群組並在其曝光週期結束時關斷像素單元群組來實施可程式化的曝光週期。
圖9D說明像素單元932的實例，該像素單元可經配置以量測不同波長的光，或不產生任何像素資料輸出。如圖9D中所示出，像素單元932包括第一光電二極體934、第一光電二極體賦能閘936、第二光電二極體938，以及第二光電二極體賦能閘940。第一光電二極體934可經配置以量測紅外線波長範圍中之光，而第二光電二極體938可經配置以量測可見波長範圍內之光。儘管未在圖9D中示出，應理解，每一光電二極體可與電子快門閘及轉移閘耦接。像素單元932可經配置以操作三種模式中之一者。在第一模式中，可確立IR_en信號，此允許第一光電二極體賦能閘936將電荷自第一光電二極體934傳輸至電荷儲存裝置606以進行量測。在第二模式中，可確立VIS_en信號，此允許第二光電二極體賦能閘940將電荷自第二光電二極體938傳輸至電荷儲存裝置606以進行量測。在第一模式及第二模式兩者中，比較器904及電壓緩衝器908經啟用以執行電荷的 量化。在第三模式中，比較器904及電壓緩衝器908被停用，且像素單元932不輸出像素資料。可經由行匯流排C及/或列匯流排R且基於圖7C之像素陣列程式化映射720b將IR-en信號、VIS en信號及On/Off信號提供至每一像素單元之組態記憶體。在一些實例中，包含像素單元932之影像感測器可經配置以在不同時間產生2D影像圖框(基於對可見光的感測)及3D影像圖框(基於對紅外線光的感測)以提供2D-3D感測的融合。
圖9E說明像素單元942的實例，其可具有可配置的量化解析度/位元寬度。可基於設定計數器更新計數器值的頻率而程式化量化解析度，如圖6C中所描述。如圖9E中所示出，像素單元942之量化器607可包括本端計數器944及時脈多工器946，以在時脈信號CLK0與時脈信號CLK1之間進行選擇，時脈信號CLK0可為預設時脈，時脈信號CLK1可比CLK0更快或更慢地運行以提供更高或較低的量化解析度。時脈信號之選擇可基於RES SEL信號。在一些實例中，CLK0及CLK1時脈信號以及RES_SEL信號可經由行匯流排C及/或列匯流排R且基於圖7C之像素陣列程式化映射720b而供應至像素單元。同時，像素資料輸出模組807亦可經配置以基於來自程式化映射剖析器802之控制信號而跳過自具有較低量化解析度及較低位元寬度之像素單元輸出之像素資料的某些位元(例如，最高有效位元)的讀出。在一些實例中，可執行量化解析度/位元深度之程式化以最大化像素資料之感及傳輸的效率。例如，經判定為不為應用程式提供相關資訊之像素單元可被停用產生像素資料，或可經配置從而以較低的量化解析度產生像素資料，而經判定為提供相關資訊的像素單元可經配置從而以更高量化解析度產生像素資料。
除了改變時脈頻率，亦可使用其他技術來改變量化解析度。例如，可調整比較器904之偏壓電流以設定其增益，該增亦可設定量化解析度。作為另一實例，記憶體906之位元子組可經電源閘控以被啟用或停用來改變位元深 度。可在像素陣列程式化映射720中指示每一像素之偏壓電流及位元深度。
圖9F說明兩個像素單元952a及952b，其可經配置以作為群組執行像素合併操作，此可減少發送至主機裝置的像素資料。像素單元952a可經指定為群組內之主像素單元，且可包括電壓求和電路954及電壓多工器956。當在像素合併方案下操作時，像素單元952a及952b之緩衝的類比電壓960a及960b可由電壓求和電路器954求和以產生求和電壓962。電壓多工器956可由SUM信號控制，以將來自電壓求和電路954之求和電壓962轉發至量化器607a之比較器904a，以執行量化以產生表示群組之像素資料。此外，可藉由逆SUM信號(SUM)停用像素單元952b之量化器607b的比較器904b，以停用在像素單元952b處產生像素資料。當停用像素合併方案時，可藉由SUM信號控制電壓多工器956以將緩衝的類比電壓960a轉發至比較器904a以進行量化以輸出像素資料，而像素單元952b之量化器607a之比較器904a亦可經啟用以量化緩衝類比電壓960b以輸出像素資料。在一些實例中，可藉由在像素陣列程式化映射720a中將對應於主像素單元之程式化資料設定為1來啟動上述像素合併方案。行控制器804及列控制器806可基於來自程式化映射剖析器802之控制信號808及810識別主像素單元，且將SUM信號傳輸至主像素單元及群組內之其他像素單元以執行像素合併操作。在一些實例中，可基於隨機函數來選擇執行像素合併操作之像素群組。對應於所選群組之主像素單元之程式化資料可在像素陣列程式化映射720a中設定為1，而對應於其他群組之主像素單元之程式化資料可設定為0。
除了像素合併之外，可採用其他技術來壓縮像素資料。一個實例為壓縮感測。在壓縮感測中，可對跨越所選列/行之像素值求和。不同圖框可使不同列/行求和，此允許每一圖框之像素資料經壓縮成具有比圖框中之像素數目更少之元素的一或多個向量。為了執行壓縮感測，像素單元陣列718之每一列或每一行可包括加法器。基於像素陣列程式化映射720a，可控制一或多個列/行像 素單元以將像素資料輸出至加法器以進行求和，且然後可將求和之像素資料轉發至像素資料輸出模組807以代替所選擇列/行之個別像素單元之像素資料。
圖10A說明像素資料輸出模組807之實例性組件，而圖10B說明像素資料輸出模組807之實例操作。如圖10A中所示出，像素資料輸出模組807可包括輸出控制器1002、感測放大器陣列1004陣列及並行對串列資料轉換器1006。感測放大器陣列1004可放大自輸出匯流排D0、D1、...Di(每一者對應於一列像素單元)接收之數位像素資料輸出的信號位準，並將經放大信號傳輸至並行對串列資料轉換器1006。並行對串列資料轉換器1006可包括移位暫存器(圖10A中未示出)以接收經放大信號作為並行資料並以串列資料串流1010之形式移出並行資料。像素資料輸出模組807進一步包括發送器電路(圖10A中未示出)，用以根據預定協定(諸如MIPI)傳輸串列資料串流1010。
輸出控制器1002可基於來自程式化映射剖析器802之控制信號808及810來控制感測放大器陣列1004及並行對串列資料轉換器1006的操作。控制信號808及810可指示例如在某些像素單元處之像素資料產生被停用，某些像素單元之像素資料具有與其他像素單元不同之位寬等。例如，參考圖10B，輸出控制器1002可基於控制信號808及810(其自像素陣列程式化映射720導出)識別在像素單元(1,0)及(2,0)處停用像素輸出產生。基於此資訊，當對一列像素單元(0,0)至(3,0)執行輸出匯流排之讀出時，輸出控制器1002可控制並行對串列資料轉換器1006不包括來自串列資料串流1010中之像素單元(1,0)及(2,0)的輸出，使得資料串流1010可包括來自像素單元(3,0)之像素資料，後續緊接著來自像素單元(0,0)之像素資料。作為另一實例(圖10B中未示出)，像素陣列程式化映射720可指示像素單元(0,0)輸出之像素資料具有完整位元深度，而由像素單元(3,0)輸出之像素資料具有半位元深度。基於此資訊(在控制信號808及810中反映)，輸出控制器1002可控制並行對串列資料轉換器1006 以包括來自串列資料串流1010中之像素單元(0,0)之全部輸出，但跳過資料串流1010中之像素單元(3,0)之輸出的一半(例如，最高有效位元)。另外，在停用整列像素單元產生像素資料的狀況下，輸出控制器1002亦可電源關閉整個感測放大器陣列1004且不將來自列像素單元之輸出傳輸至並行對串列資料轉換器1006。
主機裝置702亦可基於像素陣列程式化映射720來同步自資料串流1010接收及提取像素資料。例如，基於像素陣列程式化映射720，主機裝置702可判定資料串流1010之第一組位元為像素單元(0,0)之像素資料，緊接在資料串流1010之第一組位元之後的第二組位元為像素單元(3,0)之像素資料等。
參考圖11A，在一些實例中，影像感測器704可包括後處理器1100以執行由像素單元陣列718輸出之像素資料的後處理，且將後處理資料1102傳輸至主機裝置702。可執行後處理以進一步減少傳輸到主機裝置702之資料的量。在一些實例中，後處理器1100可與影像感測器704之至少一些組件在同一晶片(例如，相同半導體基板)上。例如，影像感測器704可包括第一半導體基板及第二半導體基板堆疊，其中第一半導體基板具有像素單元陣列718，且第二半導體基板具有周邊電路716及後處理器1100。
後處理器1100可包括像素壓縮模組1104、點提取模組1106等以執行資料壓縮操作。在一些實例中，像素壓縮模組1104可基於對所選擇群組之像素單元之像素資料輸出求和，並將求和之像素資料輸出傳輸至主機裝置702以表示所選擇群組之輸出來執行例如壓縮感測操作。在一些實例中，像素壓縮模組1104可執行時間壓縮操作，其中像素壓縮模組1104可以第一圖框速率處理來自像素單元陣列718之像素資料圖框、壓縮像素資料，並以低於第一圖框速率之第二圖框速率將壓縮像素資料輸出至主機裝置702。壓縮可基於例如動態影像專家群(MPEG)標準。在一些實例中，像素壓縮模組1104亦可自像素資料提取影像 特徵(例如，基於神經網路處理)，且僅將含有影像特徵之像素資料傳輸至主機裝置702。
後處理器1100亦可執行其他不同類型之後處理，諸如HDR多重曝光捕獲、光流等。HDR將組合具有不同曝光時間之多個圖框。此操作允許摒棄像素飽和之資料，或信號埋在雜訊底部之下。此操作亦允許跨越多個量測平均光子通量。在光流中，兩圖框之間的時間差用以使用例如路卡斯-卡納德(Lucas-Kanade)方法計算時間導數及空間導數。該些導數可用於各種應用，諸如影像特徵之提取、電腦視覺等。
另外，點提取模組1106可判定反射結構化光之圖案(例如，點)之影像位置(在像素或子像素解析度)，其可用於3D感應。圖11B說明點提取操作1120之實例流程。參考圖11B，點提取操作1120可包括模糊操作1122、影像梯度估計操作1124、拐角偵測操作1126及子像素細化操作1128。模糊操作1122可包括在輸入影像之像素資料群組與模糊核之間執行迴旋運算以減少空間及時間雜訊。迴旋運算之結果可作為具有與輸入影像相同尺寸之經雜訊處理的像素資料之陣列儲存在模糊緩衝器中。
影像梯度估計操作1124可包括利用Sobel核在經雜訊處理的像素資料群組之間執行迴旋運算，以針對輸入影像之每一像素計算關於水平維度之偏導數(由圖11A中之Ix表示)及關於垂直維度之偏導數(由圖11B中之Iy表示)之估計。
可對偏導數Ix及Iy陣列執行拐角偵測操作1126。在一些實例中，拐角偵測操作1126可基於以下方程式基於偏導數I及I陣列之窗口W內之偏導數Ix及Iy而計算矩陣M：
Figure 108118209-A0305-02-0039-1
在方程式1中，矩陣M之元素m11係藉由窗口W內之每一像素之Ix之平方之積的總和而計算。矩陣M之元素m22係藉由窗口W內之每一像素之Iy之平方之積的總和而計算。此外，元素m12及m21中之每一者係藉由窗口W內之每一像素之Ix及Iy之乘積的總和而計算。可針對偏導數Ix及Iy矩陣之不同窗口W計算多個矩陣M。
對於每一矩陣M(及窗口W)，可基於以下方程式計算哈里斯(Harris)拐角回應R。
R=det(M)-k(trace(M))2 (方程式2)
在方程式2中，det(M)係指矩陣M之行列式，trace(M)係指矩陣M之對角元素m11及m22之總和，而k可為憑經驗判定之常數，且可為在0.04與0.06之間的範圍內。具有大於臨限值之哈里斯拐角回應R的窗口可指示窗口含有足夠大之影像梯度，且此窗口可能包括反射結構光之圖案(例如，點)。窗口之像素位置可表示點之像素位置的粗略估計，且可自拐角偵測操作1126計算點之多個像素位置。
然後可對點之像素位置執行子像素細化操作1128。在一些實例中，可執行高斯-牛頓(Gauss-Newton)最佳化操作以將高斯曲線擬合至單個核(例如，3×3核、4×4核或像素群組)內之影像資料上從而以子像素精度判定點之形心。
在一些實例中，主機裝置702亦可使用像素陣列程式化映射720來協調照明器與像素單元陣列718處之光量測操作之間的光投射操作。圖12說明 此應用程式的實例。如圖12中所示出，照明器1200可由主機裝置702控制以將結構光投射朝向物件1202，而像素單元陣列718可偵測由物件1202反射之光以執行3D感測。照明器1200可控制照明器1200，以僅基於掃描圖案照射物件1202之一部分。例如，照明器1200可包括光發射體陣列(例如，發光二極體)，且主機裝置702一次僅啟動發光體之一部分(諸如部分1204)以照明物件1202之一部分。作為另一實例，照明器1200可包括單個照明器及反射鏡。主機裝置702可控制反射鏡以將單個照明器產生之光朝向物件1202之一部分反射。
主機裝置702可藉由例如一次啟用像素單元陣列718之像素單元子集(例如子集1206)以偵測由物件1202反射之光來使物件1202之照明與像素單元陣列718處之光量測操作同步。子集係基於照明序列判定子集，使得在照明序列期間的任何給定時間，所選擇的像素單元子集最可能接收由物件1202反射之光。為了執行同步化，主機裝置702可基於照明器1200進行之照明順序(如由照明器1200之發光體之啟動順序)、照明器1200之反射鏡之移動順序等而產生像素陣列程式化反射720。
圖12中所描述之技術可用於藉由僅照明具有相關資訊之區域來減少功率。例如，主機裝置702可控制照明器1200在含有相關資訊之物件1202之相對小之區域上投射光，同時分配像素單元陣列718之較大數目個像素單元以自該小區域偵測自物件1202反射之光。此類配置亦允許高解析度3D感測，而不必增加像素單元陣列718之整體尺寸。此外，因為僅像素單元陣列718中之像素單元子組傳輸像素資料，所以用於像素資料之傳輸及處理之頻寬及功率亦可減少。
圖13為用於產生影像資料之實例方法1300的流程圖。方法1300可由例如影像處理系統(例如影像處理系統700)執行。影像處理系統可包括像素單元陣列，諸如像素單元陣列718，其中像素單元陣列中之每一像素單元經配置以執行光量測操作並產生光量測操作之數位輸出。每一像素單元亦與可單獨 定址之組態記憶體(例如，組態記憶體830)相關聯。影像處理系統進一步包括：周邊電路(例如，周邊電路716)，其可配置像素單元陣列處之光量測操作；以及影像處理器(例如，主機處理器706)，其經配置以基於像素單元陣列中之至少一些像素單元之數位輸出而產生影像圖框。
方法1300開始於步驟1302，其中周邊電路716接收像素陣列程式化映射，該像素陣列程式化映射包括以像素單元陣列中之每一像素單元為目標的程式化資料。像素陣列程式化映射可包括例如像素陣列程式化映射720。在一些實例中，像素陣列程式化映射720之每一條目的程式化資料可在預定的掃描圖案之後順序地傳輸，例如自左至右遍歷列，後續接著自左至右的下一列，以形成串列資料串流。
在步驟1304中，周邊電路716可自像素陣列程式化映射提取像素單元陣列中之第一像素單元的第一程式化資料。在步驟1306中，周邊電路716可自像素陣列程式化映射提取像素單元陣列中之第二像素單元的第二程式化資料。如上文所描述，可基於掃描模式及接收條目之順序自串列資料串流提取及識別每一條目之程式化資料。基於像素單元與條目之間的映射，周邊電路716可自像素陣列程式化映射中識別並提取第一及第二程式化資料。
在步驟1306中，周邊電路716可基於第一程式化資料在第一像素單元處配置第一光量測操作。該配置可基於分別沿著列匯流排及行匯流排傳輸一或多個列信號及一或多個行信號，以選擇第一像素單元之組態記憶體以接收第一程式化資料。該配置可包括，例如，啟用/停用在第一像素單元處產生像素資料，將第一像素配置以在暗模式中(以產生暗像素資料)或在正常模式中操作，設定量測波長範圍，曝光週期之持續時間，量化解析度，像素合併操作，壓縮感測等。
在步驟1308中，周邊電路716可基於第二程式化資料而在第二像 素單元處配置第二光量測操作。該配置可基於分別沿著列匯流排及行匯流排傳輸一或多個列信號及一或多個行信號，以選擇第二像素單元之組態記憶體以接收第二程式化資料。該配置可包括，例如，啟用/停用在第一像素單元處產生像素資料，將第一像素配置以在暗模式中(以產生暗像素資料)或在正常模式中操作，設定量測波長範圍，曝光週期之持續時間，量化解析度，像素合併操作，壓縮感測等。第一程式化資料及第二程式化資料可為不同的。
在步驟1312中，影像處理器可基於由第一像素單元或第二像素單元中之至少一者輸出之像素資料來產生影像圖框。例如，像素單元可將像素資料輸出至像素資料輸出模組，其可將像素資料串流傳輸至影像感測器。影像感測器可操作應用程式以基於像素資料而產生影像圖框。
本說明書之一些部分根據對資訊之操作的演算法及符號表示來描述本發明的實施例。熟習資料處理領域之技術人員通常使用此等演算法描述及表示來有效地將其工作之實質傳達至熟習此項技術者。此等操作雖然在功能上、計算上或邏輯上進行描述，但應理解為由電腦程式或等效電路、微碼等實施。此外，亦已證明，在不失一般性的情況下，將此等操作配置稱作為模組有時係方便的。所描述操作及其相關模組可體現在軟體、韌體及/或硬體中。
所描述步驟、操作或過程可單獨地或與其他裝置組合地用一或多個硬體或軟體模組來執行或實施。在一些實施例中，軟體模組用電腦程式產品實施，該電腦程式產品包含含有電腦程式碼之電腦可讀媒體，該電腦程式碼可由電腦處理器執行以執行所描述之任何或所有步驟、操作或過程。
本發明之實施例亦可涉及用於執行所描述之操作的設備。該設備可為所需目的而專門構造，及/或其可包含由儲存在電腦中之電腦程式選擇性地啟動或重新配置之通用計算裝置。此電腦程式可儲存在非暫時性有形電腦可讀儲存媒體，或適合於儲存電子指令之任何類型媒體中，該些媒體可耦接至電腦 系統匯流排。此外，說明書中提及之任何計算系統可包括單個處理器，或可為採用多個處理器設計以提高計算能力的架構。
本發明之實施例亦可係關於藉由本文中所描述之計算過程產生的產品。此產品可包含由計算過程產生的資訊，其中資訊儲存在非暫時性有形電腦可讀儲存媒體上，且可包括電腦程序產品或本文描述的其他資料組合的任何實施例。
本說明書中所使用之語言原則上係出於易讀性及指導性目的而選擇，且其並非為描述或限制發明標的物而選擇。因此，本發明之範圍不會受此詳細描述的限制，而是受基於此在本申請案上發佈之任何請求項的限制。因此，實施例之揭示內容旨在說明而非限制本發明之範圍，本發明之範圍在所附申請專利範圍中闡述。
1300:方法
1302:步驟
1304:步驟
1306:步驟
1308:步驟
1310:步驟
1312:步驟

Claims (20)

  1. 一種用於產生影像圖框之設備，其包含：一像素單元陣列，該像素單元陣列中之每一像素單元經配置以執行一光量測操作並產生該光量測操作之一數位輸出；一周邊電路，其經配置以：接收包括以該像素單元陣列中之每一像素單元為目標的程式化資料之一像素陣列程式化映射；且基於以該每一像素單元為目標的該程式化資料而配置在該每一像素單元處之該光量測操作；以及一影像處理器，其經配置以基於該像素單元陣列中之至少一些像素單元之該些數位輸出而產生該影像圖框，其中該周邊電路進一步經配置以基於該像素陣列程式化映射而停用來自該像素單元陣列中的一或多個像素單元之數位像素資料的產生。
  2. 如請求項1所述之設備，其中該像素單元陣列中之該每一像素單元與可單獨定址的組態記憶體相關聯；其中該周邊電路經配置以：自該像素陣列程式化映射提取該像素單元陣列中之一第一像素單元的第一程式化資料；自該像素陣列程式化映射提取該像素單元陣列中之一第二像素單元的第二程式化資料；基於該第一程式化資料產生一第一位址；基於該第二程式化資料產生一第二位址；基於該第一位址選擇該第一像素單元之該組態記憶體以接收該第一程式化資料；且 基於該第二位址選擇該第二像素單元之該組態記憶體以接收該第二程式化資料；且其中該第一程式化資料及該第二程式化資料為不同的。
  3. 如請求項2所述之設備，其中該像素陣列程式化映射包含一程式化資料陣列；且其中該第一位址是基於該第一程式化資料在該程式化資料陣列內之位置而產生的。
  4. 如請求項2所述之設備，其中該每一像素單元包括用以控制該數位輸出之產生的至少一個裝置；且其中該周邊電路經配置以：基於該第一位址，將一第一信號傳輸至該第一像素單元之該至少一個裝置，以啟用在該第一像素單元處產生一第一數位輸出；且基於該第二位址，將一第二信號傳輸至該第二像素單元之該至少一個裝置，以停用在該第二像素單元處產生一第二數位輸出。
  5. 如請求項4所述之設備，其中該周邊電路經配置以停用用以基於該第二位址而放大該第二數位輸出的一或多個感測放大器。
  6. 如請求項4所述之設備，其中該周邊電路經配置以將包括該第一數位輸出之一數位輸出串流輸出至該影像處理器；且其中該影像處理器經配置以：基於該像素陣列程式化映射而同步化該數位輸出串流之接收時序；且基於該同步化而識別來自該數位輸出串流之該第一數位輸出。
  7. 如請求項4所述之設備，其中該第一程式化資料及該第二程式化資料是基於從一先前影像圖框判定的一關注區域而產生的。
  8. 如請求項2所述之設備，其中該每一像素單元經配置以在一可程 式化的曝光週期內執行該光量測操作；其中該周邊電路經配置以：基於該第一位址，將一第一信號傳輸至該第一像素單元，以設定用於一第一光量測操作之一第一曝光週期；且基於該第二位址，將一第二信號傳輸至該第二像素單元，以設定用於一第二光量測操作之一第二曝光週期，該第二曝光週期與該第一曝光週期不同；且其中該影像處理器經配置以接收該第一光量測操作之一第一數位輸出及該第二光量測操作之一第二數位輸出。
  9. 如請求項8所述之設備，其中該周邊電路經配置以基於該第一位址將該第一信號傳輸至該第一像素單元以基於以下各項中之至少一者來執行該第一光量測操作：將該第一曝光週期設定為零或將該第一像素單元置於一重設狀態；其中該影像處理器經配置以：基於該第一數位輸出執行一校準操作；且基於該第二數位輸出及該校準操作的結果而判定由該第二像素單元所接收之光的強度。
  10. 如請求項2所述之設備，其中該每一像素單元經配置以產生表示該光量測操作之結果的一類比信號，該數位輸出係基於以一可程式化的量化解析度來量化該類比信號而產生的；且其中該周邊電路經配置以：基於該第一位址，將一第一信號傳輸至該第一像素單元以設定一第一量化解析度；且基於該第二位址，將一第二信號傳輸至該第二像素單元以設定與該第一量化解析度不同的一第二量化解析度。
  11. 如請求項10所述之設備，其中該每一像素單元包括一計數器，該計數器經配置以基於比較該類比信號與一斜波信號而產生該數位輸出，該量化解析度可基於供應至該計數器之一時脈信號之頻率而程式化；且其中該周邊電路經配置以：基於該第一位址，將一第一時脈頻率之一第一時脈信號傳輸至該第一像素單元以設定該第一量化解析度；且基於該第二位址，將一第二時脈頻率之一第二時脈信號傳輸至該第二像素單元以設定該第二量化解析度。
  12. 如請求項2所述之設備，其中該第一像素單元包括一求和電路，該求和電路經配置以基於對來自該第一像素單元處之一第一光量測操作的一第一類比信號及來自該第二像素單元處之一第二光量測操作的一第二類比信號進行求和而產生一求和信號；其中該周邊電路經配置以：基於該第一位址，傳輸一第一信號以配置該第一像素單元以基於對該求和信號進行量化而產生一第一數位輸出；且基於該第二位址，將一第二信號傳輸至該第二像素單元以停用由該第二像素單元產生一第二數位輸出。
  13. 如請求項2所述之設備，其中該每一像素包括經配置以量測一第一波長範圍之光的一第一光電二極體及用以量測一第二波長範圍之光的一第二光電二極體；且其中該周邊電路經配置以：基於該第一位址，將一第一信號傳輸至該第一像素單元，以基於來自該第一光電二極體之輸出而產生一第一數位輸出；且基於該第二位址，將一第二信號傳輸至該第二像素單元，以基於來自該第 二光電二極體之輸出而產生一第二數位輸出。
  14. 如請求項1所述之設備，其進一步包含一後處理器電路，其經配置以對該像素單元陣列之該些數位輸出中之至少一些數位輸出執行後處理，其中該影像處理器經配置以基於該像素單元陣列之該些數位輸出中之經後處理的至少一些數位輸出而產生該影像圖框；且其中該後處理器電路、該周邊電路及該像素單元陣列整合在一半導體基板上。
  15. 如請求項14所述之設備，其中該像素單元陣列形成在一第一半導體基板上；其中該周邊電路及該後處理器電路形成在一第二半導體基板上；且其中該第一半導體基板及該第二半導體基板形成一堆疊。
  16. 如請求項14所述之設備，其中該後處理器電路經配置以：從該像素單元陣列之該些數位輸出中之該至少一些數位輸出提取對應於一物件對結構光之反射的特徵；基於提取之結果，識別該些數位輸出表示所提取特徵的像素單元；且僅將所識別的像素單元之該些數位輸出傳輸至該影像處理器。
  17. 如請求項16所述之設備，其中該後處理器電路經配置以：判定所提取特徵之子像素位置；且將該些子像素位置提供給應用程式以對該物件執行一深度感測操作。
  18. 如請求項15所述之設備，其中該後處理器電路包含該影像處理器且經配置以：以一第一圖框速率接收由該像素單元陣列所產生之該些數位輸出；且基於該些數位輸出以低於該第一圖框速率之一第二圖框速率產生影像圖框。
  19. 如請求項1所述之設備，其進一步包含一照明器，其經配置以基於一照明序列將光投射至一場景之不同部分；且其中該像素陣列程式化映射係基於該照明序列而產生。
  20. 一種用於產生影像圖框之方法，其包含：接收包括以一像素單元陣列中之每一像素單元為目標的程式化資料的一像素陣列程式化映射；及自該像素陣列程式化映射提取該像素單元陣列中之一第一像素單元的第一程式化資料；自該像素陣列程式化映射提取該像素單元陣列中之一第二像素單元的第二程式化資料；基於該第一程式化資料在該第一像素單元處配置一第一光量測操作；基於該第二程式化資料在該第二像素單元處配置一第二光量測操作；及基於由該第一像素單元或該第二像素單元中之至少一者輸出之數位像素資料而產生該影像圖框，其中該第一光量測操作或該第二光量測操作中之至少一者包含基於該像素陣列程式化映射而停用來自該第一像素單元或該第二像素單元之該數位像素資料的產生。
TW108118209A 2018-05-25 2019-05-27 用於產生影像圖框之設備及方法 TWI810304B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862676849P 2018-05-25 2018-05-25
US62/676,849 2018-05-25
US16/421,441 2019-05-23
US16/421,441 US20190363118A1 (en) 2018-05-25 2019-05-23 Programmable pixel array

Publications (2)

Publication Number Publication Date
TW202005356A TW202005356A (zh) 2020-01-16
TWI810304B true TWI810304B (zh) 2023-08-01

Family

ID=68614052

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108118209A TWI810304B (zh) 2018-05-25 2019-05-27 用於產生影像圖框之設備及方法

Country Status (7)

Country Link
US (1) US20190363118A1 (zh)
EP (1) EP3804297A1 (zh)
JP (1) JP2021525019A (zh)
KR (1) KR20210013206A (zh)
CN (1) CN112470459A (zh)
TW (1) TWI810304B (zh)
WO (1) WO2019227050A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
JP7460345B2 (ja) * 2019-09-30 2024-04-02 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11468146B2 (en) * 2019-12-06 2022-10-11 Globalfoundries U.S. Inc. Array of integrated pixel and memory cells for deep in-sensor, in-memory computing
US11195580B2 (en) * 2020-02-26 2021-12-07 Globalfoundries U.S. Inc. Integrated pixel and two-terminal non-volatile memory cell and an array of cells for deep in-sensor, in-memory computing
US11394902B2 (en) * 2020-03-23 2022-07-19 Qualcomm Incorporated Sparse infrared pixel design for image sensors
US11503221B2 (en) * 2020-04-01 2022-11-15 Samsung Electronics Co., Ltd. System and method for motion warping using multi-exposure frames
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11206368B2 (en) * 2020-05-22 2021-12-21 Omnivision Technologies, Inc. Data readout power saving techniques for shift register structure
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
KR20240040057A (ko) * 2022-08-05 2024-03-27 코어포토닉스 리미티드 자동 조정 가능한 줌 시야를 갖는 줌 디지털 카메라용 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170041571A1 (en) * 2015-07-01 2017-02-09 Brian M. Tyrrell Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
US20180115725A1 (en) * 2016-10-21 2018-04-26 The Johns Hopkins University Flexible pixel-wise exposure control and readout

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362355B1 (en) * 2003-08-04 2008-04-22 Pixim, Inc. Digital CMOS image sensor incorporating a programmable multi-functional lookup table
US9723233B2 (en) * 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
KR20140024707A (ko) * 2012-08-21 2014-03-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 기기
WO2017003477A1 (en) * 2015-07-01 2017-01-05 Tyrrell Brian M Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
US11888002B2 (en) * 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US20210044742A1 (en) * 2019-08-05 2021-02-11 Facebook Technologies, Llc Dynamically programmable image sensor
US11825228B2 (en) * 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) * 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US20230239582A1 (en) * 2022-01-26 2023-07-27 Meta Platforms Technologies, Llc On-sensor image processor utilizing contextual data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170041571A1 (en) * 2015-07-01 2017-02-09 Brian M. Tyrrell Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
US20180115725A1 (en) * 2016-10-21 2018-04-26 The Johns Hopkins University Flexible pixel-wise exposure control and readout

Also Published As

Publication number Publication date
CN112470459A (zh) 2021-03-09
TW202005356A (zh) 2020-01-16
WO2019227050A1 (en) 2019-11-28
JP2021525019A (ja) 2021-09-16
KR20210013206A (ko) 2021-02-03
US20190363118A1 (en) 2019-11-28
EP3804297A1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
TWI810304B (zh) 用於產生影像圖框之設備及方法
US11888002B2 (en) Dynamically programmable image sensor
US20220254117A1 (en) Sensor system based on stacked sensor layers
US11974044B2 (en) Pixel sensor having adaptive exposure time
US11825228B2 (en) Programmable pixel array having multiple power domains
US11948089B2 (en) Sparse image sensing and processing
TW202007139A (zh) 具有多光電二極體的像素感測器
CN112640436A (zh) 具有多个光电二极管和共享比较器的像素传感器
US11962928B2 (en) Programmable pixel array
US11935291B2 (en) Distributed sensor system
US20210044742A1 (en) Dynamically programmable image sensor
US11601607B2 (en) Infrared and non-infrared channel blender for depth mapping using structured light
WO2022271639A1 (en) Sparse image processing
US20230105527A1 (en) Noise-reduction circuit for an image sensor