TW201911857A - 光感測器、包含此光感測器之電子裝置以及利用動作預測改變光感測器中像素的曝光時間之方法 - Google Patents

光感測器、包含此光感測器之電子裝置以及利用動作預測改變光感測器中像素的曝光時間之方法 Download PDF

Info

Publication number
TW201911857A
TW201911857A TW107128292A TW107128292A TW201911857A TW 201911857 A TW201911857 A TW 201911857A TW 107128292 A TW107128292 A TW 107128292A TW 107128292 A TW107128292 A TW 107128292A TW 201911857 A TW201911857 A TW 201911857A
Authority
TW
Taiwan
Prior art keywords
pixels
exposure time
blocks
pixel
circuit
Prior art date
Application number
TW107128292A
Other languages
English (en)
Inventor
新橋 劉
Original Assignee
美商菲絲博克科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商菲絲博克科技有限公司 filed Critical 美商菲絲博克科技有限公司
Publication of TW201911857A publication Critical patent/TW201911857A/zh

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/16—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits
    • H01L25/167—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits comprising optoelectronic devices, e.g. LED, photodiodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

一光感測器陣列分為以不同曝光時間運作的多個區塊。一預測演算法用於預測各區塊之整體光亮度，並決定各區塊之曝光時間。各區塊也可包含記憶體以儲存對區塊中之像素之曝光時間以及對區塊之類比至數位解析度。

Description

光感測器、包含此光感測器之電子裝置以及利用動作預測改變光感測器中像素的曝光時間之方法
本發明關於光感測器，尤其是利用預測演算法調整光感測器之曝光時間之光感測器。
光感測器為將光轉換成電子訊號之電子感測器。於攝影中，快門為讓光進入一段特定時間之裝置以曝光光學感測器從而捕捉景象之影像。滾動快門為一種捕捉影像的方法，由此方法捕捉之靜態照片或影片的每一幀是藉由於水平或垂直方向快速掃描經過之景象所捕捉。也就是說，每一像素並不是在同一時間捕捉；來自不同列之像素於不同時間被捕捉。滾動快門最常被用於手機感測器中。反之，機器視覺使用全域快門而於同一時間捕捉所有像素。
大部分光感測器使用背照式照明。背照式感測器係以特定方式排列影像元素以增加捕捉到的光進而優化低光表現的一種光感測器類型。傳統前照式數位相機以相似人眼之結構所構成，其前側具有透鏡並於後側具有光電探測器。感測器的取向將數位相機感測器之主動矩陣、各個照片元素之矩陣置於其前表面並簡化製造流程。然而，上述矩陣及其佈線會反射一些光而減少能被捕捉之訊號。背照式感測器包含相同的元件，但其藉由於製造過程中翻轉矽晶圓而將佈線安排於光感陰極層後，然後將其反轉側薄化而使光能不經過佈線層而打到光感陰極層上，進而增加輸入光子被捕捉之機會。
然而，傳統光感測器陣列使用全域訊號來控制曝光時間，因而不論照射情況皆具有相同的曝光時間。舉例而言，光感測器在高光條件下會具有與在低光條件下相同的曝光時間。不同之光感測器具有相同的曝光時間可能會導致某些光感測器過度曝光以及其他光感測器曝光不足。
關於一光感測器之實施例包含分成多個區塊之多個像素，且各區塊之曝光時間是根據執行於前幀上的動作預測來個別地調整。像素包含多個光二極體以及控制當前的幀的光二極體的曝光時間的多個電晶體。光感測器也包含對各區塊接收及儲存曝光時間資訊之一記憶體，且曝光時間資訊是指為了捕捉各區塊中之像素的當前的幀的曝光時間。曝光時間資訊由在捕捉當前幀前被像素捕捉的先前幀上執行動作預測所產生。光感測器也包含對各區塊產生多個時間訊號之一控制電路，且時間訊號對應於儲存於記憶體中之對於各區塊之曝光時間資訊。控制電路耦合於電晶體以提供控制像素之各區塊之曝光時間之時間訊號。
於此將詳細敘述較佳實施例，並參照圖式說明。只要可能，相同之標號將於各圖式中表示相同或相似的部分。
各實施例關於分成多個且以不同之曝光時間操作的區塊的一光感測器。一預測演算法用於預測各區塊之整體光亮度，以決定各區塊之曝光時間。各區塊也可包含記憶體以儲存區塊中之像素之曝光時間以及對於區塊之類比至數位解析度。
系統架構範例
圖1為根據一實施例且一感測器110及一系統晶片(system-on-chip，SOC)130運作之一系統環境100之圖式。感測器110為利用光轉換(photoconversion)量測每一像素測量撞擊至其光感測器上之光強度的一電路。測量光強度可與在一像素中藉由光二極體偵測的光有關。作為回應，像素執行光轉換而將偵測到之光轉換為電壓或電流訊號。代表各像素偵測到之光強度之電壓或電流訊號可被數位化成像素資訊120，並傳送至系統晶片130。
感測器110及系統晶片130藉由一介面電路雙向地溝通，且介面電路為像素資訊120及曝光時間資訊160提供溝通途徑。於一些實施例中，介面電路包含一內部整合電路(Inter-Integrated Circuit，I2C)介面電路以自感測器110接收像素資訊120，以及一行動產業處理器介面(Mobile Industry Processor Interface，MIPI)電路以自感測器110傳送像素資訊120至系統晶片130。內部整合電路及行動產業處理器介面於以下參照圖2詳細說明。
像素資訊120包含提供至系統晶片130處理之一個或多個先前幀(prior frame)。於一些實施例中，像素資訊120串流於感測機操作中之不同循環，且不同的幀資訊傳送至各循環。感測器110之操作及其架構於以下參照圖2及圖4詳細說明。
系統晶片130根據先前幀之像素資訊120估測當前幀(current frame)之多個像素或一組像素之亮度。為了達成此目的，系統晶片130除了其他元件之外還包含一動作估計模組140及一影像預測模組150。
動作估計模組140於像素資訊120之一個或多個先前幀上利用一預測演算法(predictive algorithm)預測下一幀。動作估計模組也可利用來自一動作感測裝置(例如慣性測量單元(Inertial measurement unit，IMU)裝置)之資訊。於一些實施例中，預測演算法是根據動作估計或動作補償為基礎的演算法。動作估計是利用動作向量145描述相鄰幀之間之動作的程序。由動作估計模組140決定之動作向量145將視為提供至影像預測模組150的一輸入。
影像預測模組150為電路、軟體、韌體或其之組合，因而可預測各區塊中像素捕捉到的最高光強度及最低光強度。於一些實施例中，影像預測模組150更根據各區塊中之像素的最高光強度及最低光強度產生一曝光開始時間以及一曝光停止時間。曝光開始時間以及曝光停止時間用於控制像素之區塊的曝光時間。最高光強度以及最低光強度用於類比至數位轉換器(analog-to-digital converter，ADC)的動態解析度變化。曝光時間資訊160包含各區塊中之像素的最高光強度、各區塊中之像素的最低光強度、像素之一區塊的曝光開始時間、像素之一區塊的曝光停止時間中至少其中一者或其上述之組合。
圖2繪示根據一實施例之光感測器結構。感測器110包含數位區塊202、全域計數器203、列驅動器(row driver)及全域訊號驅動器模組204、內部整合電路205、計數緩衝器(counter buffer)206、數位像素陣列207、感測放大器208、線記憶體(line memory)209、電力調節器210、斜波產生(ramp generation)以及緩衝模組211、感測放大偏壓模組(sense amplification biasing module)212以及行動產業處理器介面213等等。
數位區塊202為處理有關於感測器110之操作之數位訊號的電路。於一個或多個實施例中，至少一部分之數位區塊202可提供為一部分之數位像素陣列207而不是與數位像素陣列207分離的電路。
全域計數器203為由串聯式(cascading)正反器(flip-flops)構成之一數位循序邏輯電路，並提供計數訊號至感測器110的各個元件。
列驅動器及全域訊號驅動器模組204是藉由掃描線(未繪示)提供訊號至像素之列的電路。提供至像素之各列的訊號包含影像訊號之感測及/或像素各列之重設操作。
內部整合電路205為用於自系統晶片130傳送曝光時間資訊160至感測器110之一串接介面。一介面電路與系統晶片130雙向地溝通，如上方參照圖1之說明。於其他實施例中，介面電路包含行動產業處理器介面213。行動產業處理器介面213通常具有一單一時脈通道(clock lane)以及攜帶串列資料之二資料通道(data lanes)(未繪示)。此三個通道於成對的佈線中攜帶訊號，且訊號經常為差動的(differential)。於其他實施例中，行動產業處理器介面213具有用於攜帶像素資料之四個資料通道。
計數緩衝器206為自全域計數器203接收計數訊號的一電路，且計數緩衝器206傳送訊號至數位像素陣列207中之像素之行以協調感測以及重設操作。
數位像素陣列207包含多個像素。於一實施例中，數位像素陣列207排列於兩個方向，可由列及行表示。各像素感測光並輸出對應於輸入光之強度的一訊號。各像素可包含以下參照圖3說明之元件。
感測放大器208為讀取電路中之元件，且能讀取來自數位像素陣列207之數位訊號。感測放大器208可自代表數位像素陣列207中之像素所捕捉之光強度之一位元線(bitline)感測到低振幅訊號。感測放大器208可藉由利用高增益放大器產生一數位輸出訊號。於一個或更多實施例中，至少一部分之感測放大器208可包含於數位像素陣列207中。
如於藉由行動產業處理器介面213傳送數位量值至系統晶片130前由感測放大器208感測並由數位區塊202處理，線記憶體209暫時性地將於數位像素陣列207感測之光強度之受感測數位量值當做像素資訊120儲存。
電力調節器210為改善傳送至感測器110之組件之功率之一電路。電力調節器210可維持並傳遞使感測器110之組件適當地功能化之一電壓常數。於另外之實施例中，電力調節器210為一電力線調節器，其能根據連接至電力線調節器之組件之需求接收電力並對其進行調整。
斜波產生以及緩衝模組211包含一斜波產生器以及多個緩衝器。斜波產生器為增加其電壓至一特定值的一波形產生器。斜波產生器可於改變負載避免擺盪(jolts)。緩衝器提供從一電路到另一個電路的電性阻抗轉換，以避免斜波產生器受到負載所影響。
感測放大偏壓模組212提供偏壓電壓訊號至感測放大器208。偏壓電壓訊號為一預定電壓，以達到建立感測放大器208之合適操作條件(例如穩定直流電壓)的目的。
內部整合電路205為於感測器110以及系統晶片130之間傳送感測器組態資訊之一串聯介面。一介面電路與系統晶片130雙向地溝通，如以上參照圖1之說明。於一些實施例中，介面電路包含行動產業處理器介面213。
圖3根據一實施例繪示圖2中之數位像素陣列207。數位像素陣列207包含排列成數列及數行的多個像素320。於圖3中之實施例，數位像素陣列207具有八列及八行，或總共具有六十四個像素。
數位像素陣列207之像素320被分為多個像素區塊310，其中像素區塊310包含一個或多個像素320。於圖3中之實施例，各像素區塊310包含四列及四行，或總共具有十六個像素320，且四個像素區塊310(未繪示於圖3中)包含整個數位像素陣列207。於一些實施例中，像素區塊310包含相同數量之像素320。於另外的實施例中，像素區塊310包含不同數量之像素320。如以上參照圖1之說明，曝光時間資訊160之曝光開始時間以及曝光停止時間用於對一像素區塊310控制曝光時間。
示範性堆疊光感測器組件
圖4為根據一實施例之位於一堆疊組件400中之一光感測器之剖面示意圖。於一實施例中，堆疊組件400包含一第一基板410，且第一基板410耦合於一第二基板440。第一基板410可為翻轉之一背照式照明402感測器，且除了其他元件之外還包含一第一n+擴散井412、一光二極體414、一AB電晶體413、一TX電晶體416及一第二n+擴散井420。
AB電晶體413及TX電晶體416各包含一主動層、一耦合於主動層之汲極、作為AB電晶體413及TX電晶體416兩者之一來源的一光二極體414、主動層上之一絕緣層、及一閘極(未繪示)。藉由控制於AB電晶體413及TX電晶體416之閘門的電壓位準，AB電晶體413及TX電晶體416可被開啟或關閉。這些電晶體之閘門由數位像素陣列207外部之電路接收訊號。
第一n+擴散井412為形成於第一基板410中之一N型參雜植入區。當AB電晶體413於非曝光時間開啟時，第一n+擴散井412接收自光二極體414傳送之光電子。此等同於傳統底片相機中之快門關閉模式。光電子自光二極體414至第一n+擴散井412之傳送確保無光電子累積於光二極體414上，如同非曝光時間為無訊號產生之一段時間。第一n+擴散井412一般連接於一正電壓源，例如虛擬元件驅動器(VDD，Virtual Device Driver)，所以光電子將被排掉。於曝光時間中，等同於一底片相機之快門開啟模式，AB電晶體413及TX電晶體416皆關閉且光電子開始被儲存於光二極體414中。於曝光結束時，TX電晶體416被開啟。結果，光二極體414中儲存之電荷將被傳送至第二n+擴散井420。
光二極體414為將光轉換成電流之半導體裝置。當光子被光二極體414吸收時將產生電流。光二極體414可為一PN接面(p-n junction)或移相開關(PIN)型的構造。當穿過背照式照明402之光強度較高時，累積於光二極體414之電荷的數量較高。當穿過背照式照明402之光強度較低時，累積於光二極體414之電荷之數量較低。
互連器450A可為像素級(pixel level)，直接互連第二n+擴散井420至第二基板440中之一像素電路442。於一實施例中，互連器450A傳送呈現出自光二極體414傳送至第二n+擴散井420之電荷數量之一電壓訊號。於另外的實施例中，互連器450A傳送呈現出自光二極體414傳送至第二n+擴散井420之電荷數量之一電流訊號。互連器450A攜帶電壓訊號至像素電路442以更進一步執行如取樣及類比至數位轉換之處理。像素電路442將於以下參照圖5說明。
互連器450B、450C自第二基板440之像素電路442傳送訊號至第一基板410之電路。於一實施例中，上述訊號為圖1之曝光時間資訊160之時序訊號。互連器450B接收開啟或關閉一第一電晶體(例如AB電晶體)之一第一時序訊號，而互連器450C接收開啟或關閉一第二電晶體(例如TX電晶體)之一第二時序訊號。
實施例中將傳統光感測器中提供於第一基板410上之各電路組件移至第二基板440，且藉由像素級互連器450連接第二基板440之電路至第一基板410中之組件。移至第二基板440之各種電路組件可包含交換器、放大器或電流源等等。如此一來，便能有助於降低第一基板410中元件所占的面積，而能添加另外的元件，例如下述之類比至數位轉換器及區塊記憶體但不影響填充因數(fill factor)。
圖5根據一實施例繪示圖3之數位像素陣列及其相關之電路區塊500。於圖5之實施例中，光感測器包含數位像素320之一陣列以及多個電路區塊500。各電路區塊500提供給各像素區塊310，且除了其他元件之外還包含多個像素電路442、一類比至數位轉換器508及一區塊記憶體510。如以上參照圖3及圖4之說明，數位像素陣列包含分隔為多個區塊310之像素，且像素320包含光二極體及根據動作預測控制光二極體對當前幀之曝光時間的電晶體。
區塊記憶體510為接收並儲存對各區塊之曝光時間資訊160之一電路，並指示於當前幀各區塊中之像素之一曝光時間。如以上參照圖1之說明，曝光時間資訊160藉由對於捕捉當前幀前利用像素捕捉之先前幀執行動作預測而產生。
類比至數位轉換器508電路將來自像素之各區塊之像素訊號轉換成數位像素資訊。於另一實施例中，各類比至數位轉換器508電路之量化參數根據對各區塊之光強度預測所設定。量化參數例如可指示類比至數位轉換器508之量化動態範圍。也就是說，量化參數可根據對各區塊之預測光強度資訊，指示位元應如何分配至不同範圍之像素電壓。若區塊中之像素間的像素電壓可能較低，則較多的位元可被分配至較低之像素電壓範圍。若區塊中之像素間的像素電壓可能較高，則較多的位元可被分配至較高之像素電壓範圍。若像素值之動態範圍可能較大，則位元可相對較均勻地分配於一低像素電壓及一高像素電壓間。
此外或另外，量化參數可指出對類比至數位轉換器508量化之解析度。對區塊中之像素之最高光強度及最低光強度變化劇烈之區塊，類比至數位轉換器508之解析度可增加，然而對區塊中之像素間之光強度實質恆定之區塊，類比至數位轉換器508之解析度可降低。各類比至數位轉換器508電路可為一單斜式類比至數位轉換器，且其參考電壓之斜率調整為量化參數。於最高光強度及最低光強度差距較小之一些實施例中，類比至數位轉換器508電路為低解析度的類比至數位轉換器(例如1-3位元)。因為發送像素資訊120之整體頻寬能被降低等理由，此有助於動態改變數位轉換器區塊508之解析度。
雖然圖5之實施例對各區塊提供不同的類比至數位轉換器，全部像素區塊310間或像素區塊310之一子集合可使用相同的類比至數位轉換器。於此情況中，各類比至數位轉換器於各區塊或像素區塊之子集合改變其動態範圍及解析度。
圖6根據一實施例繪示一較亮像素區塊之曝光時間以及一較暗像素區塊之曝光時間。較高強度之光入射於較亮之像素區塊而不是較暗的像素區塊。上半部之圖式繪示一較亮像素區塊之曝光時間，下半部之圖式則繪示較暗像素區塊之曝光時間。
請參閱圖4，互連器450B、450C自第二基板440之像素電路傳送訊號至第一基板410之電路。互連器450B接收關閉一第一電晶體(例如AB電晶體)之一第一時序訊號，且互連器450C接收開啟一第二電晶體(例如TX電晶體)之一第二時序訊號。
於較亮之像素區塊中，左方箭頭與水平時間軸之交會處代表第一時序訊號藉由互連器450B被接收的時間點(也就是曝光開始時間)。AB電晶體對接收第一時序訊號反應而關閉。第一曝光時間TEXPOSURE 中AB電晶體將關閉，此將使電荷累積於光二極體中。右方箭頭與水平時間軸之交換處代表第二時序訊號藉由互連器450C被接收的時間點(也就是曝光停止時間)。於第一曝光時間TEXPOSURE 結束時，TX電晶體將對接收第二時序訊號反應而開啟。因此，如上方參照圖4之說明，儲存於光二極體之電荷將傳送至第二n+擴散井。
相似的，於較暗之像素區塊中，右方箭頭與水平時間軸之交會處代表第一時序訊號藉由互連器450B被接收之時間點(也就是曝光開始時間)。相較於較亮之像素區塊之第一曝光時間TEXPOSURE ，較暗之像素區塊之第二曝光時間TEXPOSURE’ 比較長。不同照射條件下之光感測器需要較長或較短的曝光時間。利用預測改變曝光時間能協助降低一些光感測器過曝或曝光不足之問題，進而提供正確曝光之影像。
一般而言，於使用一全域快門模式(global shutter mode)或於使用滾動快門時，對齊分別於各像素中或於同一列之像素中將由線604代表之中心曝光時間點(也就是曝光開始時間及曝光結束時間的中間時間點)是有益的。藉此，可減輕因曝光開始時間及曝光結束時間的不同而形成動作假影(motion artifacts)之情況。
利用預測對像素區域塊改變曝光時間之方法之範例
圖7為根據一實施例之利用預測資訊調整曝光時間之方法之流程圖。包含一動作估測模組以及一影像預測模組之一系統晶片(SOC，system on chip)藉由於捕捉一當前幀之前對由像素捕捉之先前幀執行動作預測以產生曝光時間資訊(S700)。
有關於像素之一區塊之區塊電路接收並儲存對像素各區塊之曝光時間資訊於一區塊記憶體中(S710)。曝光時間資訊包含當前幀對各區塊之預測光強度資訊，並指示由各區塊中之像素預測之一最高光強度以及一最低光強度。曝光時間資訊也包含一曝光開始時間以及一曝光結束時間。曝光時間資訊藉由具有四條資料通道之一行動產業處理器介面電路提供至感測器。
利用一像素電路對各區塊產生對應於儲存於區塊記憶體中的各區塊的曝光時間資訊的多個時序訊號(S720)。時序訊號包含關閉一第一電晶體之一第一時序訊號以及開啟一第二電晶體之一第二時序訊號。
像素電路將時序訊號提供至像素各區塊中之電晶體，以控制像素之各區塊之曝光時間(S730)。提供時序訊號包含響應於第一電晶體接收其中一時序訊號以關閉在像素中的擴散井及光二極體之間的第一電晶體，以及響應於第二電晶體接收另一時序訊號反應以開啟在像素中的光二極體及另一擴散井之間的第二電晶體。
最後，於說明書中所使用之語言以閱讀及說明為目的做篩選，且其非用以定義專利權。因此上方之詳細敘述並非用以限制專利權之範圍，而是以任何著墨於上述之應用之請求項定義專利權。因此，實施例之揭露對專利權而言為示範性的，而非限制性的。以下之申請專利範圍才為闡述專利權之部分。
100‧‧‧系統環境
110‧‧‧感測器
120‧‧‧像素資訊
130‧‧‧系統晶片
140‧‧‧動作估計模組
145‧‧‧動作向量
150‧‧‧影像預測模組
160‧‧‧曝光時間資訊
202‧‧‧數位區塊
203‧‧‧全域計數器
204‧‧‧列驅動器及全域訊號驅動器模組
205‧‧‧內部整合電路
206‧‧‧計數緩衝器
207‧‧‧數位像素陣列
208‧‧‧感測放大器
209‧‧‧線記憶體
210‧‧‧電力調節器
211‧‧‧斜波產生以及緩衝模組
212‧‧‧感測放大偏壓模組
213‧‧‧行動產業處理器介面
310‧‧‧像素區塊
320‧‧‧像素
400‧‧‧堆疊組件
402‧‧‧背照式照明
410‧‧‧第一基板
412‧‧‧第一n+擴散井
413‧‧‧AB電晶體
414‧‧‧光二極體
416‧‧‧TX電晶體
420‧‧‧第二n+擴散井
440‧‧‧第二基板
442‧‧‧像素電路
450A、450B、450C‧‧‧互連器
500‧‧‧電路區塊
508‧‧‧類比至數位轉換器
510‧‧‧區塊記憶體
TEXPOSURE‧‧‧第一曝光時間
TEXPOSURE ’‧‧‧第二曝光時間
604‧‧‧線
S700、S710、S720、S730‧‧‧步驟
圖1為根據一實施例且一光感測器及一系統晶片(system-on-chip，SOC)運作之一系統環境之圖式。 圖2繪示根據一實施例之光感測器結構。 圖3根據一實施例繪示圖2中之數位像素陣列。 圖4為根據一實施例之位於一堆疊組件中之一光感測器之剖面示意圖。 圖5繪示根據一實施例之圖3之數位像素陣列及其相關之電路區塊。 圖6繪示根據一實施例之一較亮像素區塊之曝光時間以及一較暗像素區塊之曝光時間。 圖7為根據一實施例之利用預測資訊調整曝光時間之方法之流程圖。 圖式僅用於說明各實施例。 任何熟悉此技藝者能輕易由以下敘述理解，在不脫離於此敘述之原則下，於此說明之結構以及方法能以其他實施例實施。

Claims (20)

  1. 一種光感測器，包含： 多個像素，被分為多個區塊，該些像素包含多個光二極體及於一當前幀控制該些光二極體之一曝光時間的多個電晶體；一記憶體，用以接收以及儲存各該區塊之一曝光時間資訊，並指示於該當前幀中各該區塊中之該些像素之該曝光時間，且該曝光時間資訊由執行一動作預測所產生；以及一控制電路，用於為各該區塊產生對應於儲存在該記憶體中的各該區塊的該曝光時間資訊的多個時間訊號，該控制電路耦合於該些電晶體以提供控制該些像素之各該區塊的該曝光時間的該些時間訊號。
  2. 如申請專利範圍第1項所述之光感測器，其中該動作預測是基於一動作感測裝置或於該當前幀之前由該些像素捕捉之多個先前幀的資訊的至少其中一者。
  3. 如申請專利範圍第1項所述之光感測器，其中各該像素中之該些電晶體包含位於一擴散井及該光二極體之間的一第一電晶體以及位於該光二極體及另一擴散井之間的一第二電晶體。
  4. 如申請專利範圍第3項所述之光感測器，其中該些時間訊號包含用以關閉該第一電晶體之一第一時間訊號以及用以開啟該第二電晶體之一第二時間訊號。
  5. 如申請專利範圍第1項所述之光感測器，更包含一第一基板以及疊設於該第一基板上之一第二基板，該第一基板包含該些光二極體以及該些電晶體，該第二基板包含該記憶體以及該控制電路。
  6. 如申請專利範圍第1項所述之光感測器，更包含多個類比至數位轉換電路，該些類比至數位轉換電路各用於將來自該些像素之各該區塊之多個像素訊號轉換成數位像素資訊。
  7. 如申請專利範圍第6項所述之光感測器，其中該記憶體更儲存對各該區塊的一預測光強度資訊，以指示由各該區塊中之該些像素預測的一最高光強度以及一最低光強度，且其中對各區塊之該些類比至數位轉換電路之一量化參數係根據對各該區塊之該預測光強度資訊所設定。
  8. 如申請專利範圍第7項所述之光感測器，其中各該類比至數位轉換電路為一單斜式類比至數位轉換電路，且該些類比至數位轉換電路於該單斜式類比至數位轉換電路中之一參考電壓之一斜率被調整為該量化參數。
  9. 如申請專利範圍第1項所述之光感測器，更包含用於與一計算電路雙向溝通之一介面電路，其中該計算電路用以執行該動作預測以及產生該曝光時間資訊。
  10. 如申請專利範圍第9項所述之光感測器，其中該介面電路包含用以自該計算電路接收該曝光時間資訊之一積體電路匯流排介面電路以及一行動產業處理器介面電路。
  11. 一種電子裝置，包含： 一光感測器，具有分隔為多個區塊之多個像素，且該光感測器用以根據一曝光時間資訊以調整各該區塊之該些像素的一曝光時間以及用以產生多個捕捉的幀；以及一計算電路，可運作地耦合於該光感測器上，該計算電路用以：執行一動作預測以決定預測由多個先前幀之後的一當前幀中的各該區塊中的該些像素所捕捉的光強度的分布；藉由處理該光強度的分布預測產生該曝光時間資訊；以及傳送該曝光時間資訊至該光感測器。
  12. 如申請專利範圍第11項所述之電子裝置，其中該動作預測係根據一動作感測裝置資料或由該光感測器捕捉之該些先前幀至少其中一者所執行。
  13. 如申請專利範圍第11項所述之電子裝置，其中該計算電路更用以預測各該區塊中之該些像素所捕捉之一最高光強度以及一最低光強度，且其中該光感測器包含一類比至數位轉換電路，該類比至數位轉換電路用以根據一量化參數量化來自各該區塊中之該些像素之像素訊號，且該量化參數根據對各該區塊預測之該最高光強度以及該最低光強度設定。
  14. 一種方法，包含： 藉由執行一動作預測產生一曝光時間資訊；接受及儲存該曝光時間資訊在該些像素之各該區塊的一記憶體中，且該曝光時間資訊指示於一當前幀中各該區塊中的該些像素的一曝光時間；位各該區塊產生多個時間訊號，且該些時間訊號對應於由一控制電路將各該區塊之該曝光時間資訊儲存於該記憶體；以及將由該控制電路的該些時間訊號提供給該些像素之各該區塊中的多個電晶體中，以控制該些像素之各該區塊的該曝光時間。
  15. 如申請專利範圍第14項所述之方法，其中該動作預測基於一動作感測裝置資料或由一光感測器捕捉之多個先前幀以決定預測由該些先前幀後的該當前幀中的各該區塊中的該些像素捕捉的光強度分布。
  16. 如申請專利範圍第14項所述之方法，更包含： 關閉一像素中之一擴張井及一光二極體之間該像素所響應之接收其中一該時間訊號的一第一電晶體；以及 開啟該像素中之該光二極體與另一擴張井之間該像素所嚮應之接收另一該時間訊號的一第二電晶體。
  17. 如申請專利範圍第16項所述之方法，其中提供該些時間訊號之步驟包含自包含有該些像素之該些光二極體之一第一基板傳送該時間訊號至包含有該記憶體以及該控制電路之一第二基板。
  18. 如申請專利範圍第14項所述之方法，更包含： 藉由一類比至數位轉換電路將來自各該區塊之多個像素訊號轉換成數位像素資訊。
  19. 如申請專利範圍第18項所述之方法，更包含： 於該記憶體中儲存能對各該區塊之該當前幀之一預測光強度資訊，而指示由各該區塊中之該些像素預測之一最高光強度以及一最低光強度；以及 根據對各該區塊之該預測光強度資訊為該當前幀設定類比至數位轉換電路之一量化參數。
  20. 如申請專利範圍第19項所述之方法，其中設定該量化參數包含該類比至數位轉換電路中之一參考電壓之一斜率，其中該類比至數位轉換電路為一單斜式類比至數位轉換電路。
TW107128292A 2017-08-14 2018-08-14 光感測器、包含此光感測器之電子裝置以及利用動作預測改變光感測器中像素的曝光時間之方法 TW201911857A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762545356P 2017-08-14 2017-08-14
US62/545,356 2017-08-14
US15/983,391 US10750097B2 (en) 2017-08-14 2018-05-18 Varying exposure time of pixels in photo sensor using motion prediction
US15/983,391 2018-05-18

Publications (1)

Publication Number Publication Date
TW201911857A true TW201911857A (zh) 2019-03-16

Family

ID=65275762

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107128292A TW201911857A (zh) 2017-08-14 2018-08-14 光感測器、包含此光感測器之電子裝置以及利用動作預測改變光感測器中像素的曝光時間之方法

Country Status (3)

Country Link
US (1) US10750097B2 (zh)
TW (1) TW201911857A (zh)
WO (1) WO2019036238A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110702099A (zh) * 2019-10-31 2020-01-17 中国科学院长春光学精密机械与物理研究所 高动态范围恒星探测成像方法及星敏感器

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3439287B1 (en) 2016-03-30 2022-01-26 Nikon Corporation Image pickup element and image pickup device
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10917589B2 (en) 2017-06-26 2021-02-09 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10608101B2 (en) * 2017-08-16 2020-03-31 Facebook Technologies, Llc Detection circuit for photo sensor with stacked substrates
US10825854B2 (en) * 2017-08-16 2020-11-03 Facebook Technologies, Llc Stacked photo sensor assembly with pixel level interconnect
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10969273B2 (en) 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
US11233085B2 (en) 2018-05-09 2022-01-25 Facebook Technologies, Llc Multi-photo pixel cell having vertical gate structure
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US10903260B2 (en) 2018-06-11 2021-01-26 Facebook Technologies, Llc Multi-photodiode pixel cell
US11089241B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10812730B2 (en) * 2018-07-23 2020-10-20 Samsung Electronics Co., Ltd. Sensor auto-configuration
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
JP7281897B2 (ja) 2018-12-12 2023-05-26 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11265480B2 (en) * 2019-06-11 2022-03-01 Qualcomm Incorporated Systems and methods for controlling exposure settings based on motion characteristics associated with an image sensor
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
JP6977812B2 (ja) * 2019-07-24 2021-12-08 株式会社リコー ローリングシャッター現象の補正方法、装置、及びコンピュータが読み取り可能な記録媒体
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
JP7458819B2 (ja) 2020-02-21 2024-04-01 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
CN111885316B (zh) * 2020-07-09 2022-07-29 深圳奥辰光电科技有限公司 一种图像传感器像素电路、图像传感器及深度相机
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7546026B2 (en) 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
EP1874043B1 (en) 2006-02-20 2013-12-04 Panasonic Corporation Image pick up apparatus
US7825966B2 (en) 2007-06-29 2010-11-02 Omnivision Technologies, Inc. High dynamic range sensor with blooming drain
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
EP2063630A1 (en) 2007-11-26 2009-05-27 Thomson Licensing Video capture device with variable shutter integration time
KR101111946B1 (ko) * 2009-12-17 2012-02-14 엠텍비젼 주식회사 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법
US8606051B2 (en) * 2010-08-16 2013-12-10 SK Hynix Inc. Frame-wise calibration of column-parallel ADCs for image sensor array applications
US9270906B2 (en) * 2012-05-02 2016-02-23 Semiconductor Components Industries, Llc Exposure time selection using stacked-chip image sensors
US11297258B2 (en) 2015-10-01 2022-04-05 Qualcomm Incorporated High dynamic range solid state image sensor and camera system
US20170366766A1 (en) * 2016-06-16 2017-12-21 Semiconductor Components Industries, Llc Image sensors having high dynamic range functionalities

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110702099A (zh) * 2019-10-31 2020-01-17 中国科学院长春光学精密机械与物理研究所 高动态范围恒星探测成像方法及星敏感器

Also Published As

Publication number Publication date
US20190052788A1 (en) 2019-02-14
US10750097B2 (en) 2020-08-18
WO2019036238A1 (en) 2019-02-21

Similar Documents

Publication Publication Date Title
TW201911857A (zh) 光感測器、包含此光感測器之電子裝置以及利用動作預測改變光感測器中像素的曝光時間之方法
US11927475B2 (en) Detecting high intensity light in photo sensor
US10825854B2 (en) Stacked photo sensor assembly with pixel level interconnect
US10608101B2 (en) Detection circuit for photo sensor with stacked substrates
US12021094B2 (en) Imaging device including photoelectric converters and capacitor
US11165982B1 (en) Spatial derivative pixel array with adaptive quantization
US10904467B2 (en) Imaging systems having dual storage gate overflow capabilities
US20200145571A1 (en) Dual row control signal circuit for reduced image sensor shading
US8077236B2 (en) Method and apparatus providing reduced metal routing in imagers
EP3445037B1 (en) Varying exposure time of pixels in photo sensor using motion prediction
US8031247B2 (en) Method and apparatus providing an imager with a shared power supply and readout line for pixels
CN110557587B (zh) 图像传感器和操作该图像传感器的方法
CN210327777U (zh) 图像传感器和成像系统
US10880500B2 (en) Pixel apparatus and CMOS image sensor using the same
EP3445039B1 (en) Detection circuit for photo sensor with stacked substrates
EP3445038A1 (en) Stacked photo sensor assembly with pixel level interconnect
EP3445040A1 (en) Detecting high intensity light in photo sensor
KR100771117B1 (ko) 이미지 센서 및 이의 제어 방법