TW202308372A - 多層堆疊的相機影像感測電路 - Google Patents

Abstract

一種堆疊的相機影像感測電路可包含(i)第一層，其包含複數個影像感測元件、(ii)第二層，其包含和所述影像感測元件介接的構件、以及(iii)至少一額外的層，其包含影像處理構件。各種其它的方法、系統及電腦可讀取的媒體亦被揭露。

Description

多層堆疊的相機影像感測電路

本揭露內容大致是針對於一種多層堆疊的相機影像感測電路，其包含數位像素感測器。某些特定實施例可以實施密集的微矽穿孔及/或不同的技術節點，以最佳化(例如，降低)在目前的數位像素感測器(DPS)架構的形狀因數上的尺寸限制。 相關申請案的交互參照

此申請案是主張2021年6月22日申請的美國臨時申請案號63/213,580、以及2022年4月25日申請的美國非臨時專利申請案號17/728,880的益處，所述專利申請案的每一個的揭露內容是藉由這些參照以其整體而被納入。

在過去，數位像素感測器是包含兩層：一頂層的光二極體以及一底層，其針對於每一個光二極體都包含類比至數位轉換器(ADC)以及靜態隨機存取記憶體(SRAM)。在這些傳統晶片的第二層中，ADC可能是在次22nm的矽層上製造，但是SRAM記憶胞(其實際是較大的)可能不是。在所述目前的數位像素架構中，所述數位像素感測器被分割成兩層：在第一層上的光二極體層(例如，在寬度上是65nm)以及在第二層上的特殊應用積體電路(ASIC)(例如，在寬度上是45nm)。這兩層可以經由針對於在第一層上的每一個像素的一混合接合來密集地連接。在每一個影像捕捉期間，在所述ASIC層上的ADC執行資料轉換(轉換偵測到的類比光值成為數位值)，並且儲存所轉換的值在和第二層上的像素ADC緊密耦接的10位元的SRAM胞中。於是，因為在所述第二層上的SRAM胞的大尺寸需求，進一步降低在所述DPS上的光二極體密度已變成極其困難的。

本發明所述的實施例可以用一種可利用三層或更多層之多層的方法，來將所述ADC以及SRAM記憶胞分開到不同的層之上。在此多層的方法中，第一層可包含光二極體，第二層可包含ADC(例如，在第一層中的每一個光二極體各一個ADC)，並且第三層可包含所述SRAM記憶體(或是其它類型的記憶體)，其中每一個ADC具有一對應的SRAM記憶胞。所述ADC可以利用微矽穿孔(uTSV)來和在所述第三層上的SRAM記憶體通訊。這些uTSV可以容許有在所述第二及第三層之間的超快速的高頻寬的資料傳輸。藉由容許所述ADC能夠在一次22nm的層上製造，所述光二極體可以類似地用較小的次22nm的形狀因數來設置，而所述較大的SRAM記憶胞可以在所述第三層上散開，因為它們不再需要和所述ADC共用空間。藉由以此種方式來提供增大的光二極體密度，在此的實施例可以提供具有增大的動態範圍、增大的操作速度、及/或降低的功率需求之堆疊的相機影像感測電路。

在某些實施例中，在此所述的系統可以藉由致能一計算裝置更快速、有效、且/或有效率地處理影像資料，來改善所述計算裝置的運作。此外，在此所述的系統可以藉由減小所述形狀因數及/或增加DPS晶片的效率來改善影像處理的領域。

以下將會提供相關圖1及3的範例的多層堆疊的相機影像感測電路的詳細說明。用於經由多層堆疊的相機影像感測電路來處理影像之方法的詳細說明將會參考圖2來提供。其中光資料是從一層多工至另一層的一範例的智慧型影像感測及計算平台的詳細說明將會相關圖4來提供。此外，範例的擴增及/或虛擬實境實施例的詳細說明將會相關圖5及6來提供。

在某些實施例中，在此所述的系統可以是一具有多個專用的層的多層堆疊的相機影像感測電路。圖1是一範例的相機影像感測器100的方塊圖。在一實施例中，相機影像感測器100可包含層104、106及/或108。在某些實施例中，相機影像感測器100可包含額外的層。在某些例子中，層104可被配置有影像感測元件114。在一例子中，影像感測元件114可包含光二極體。在一實施例中，層106可包含構件116。在某些例子中，構件116可以在層104上的元件或構件以及在層108上的元件或構件之間傳輸資料。在一例子中，構件116可包含ADC。

在某些實施例中，層108可包含影像處理構件118。影像處理構件可以代表各種類型的硬體構件，其包含記憶體(例如，SRAM)及/或計算晶片(例如，機器學習晶片)。在一實施例中，影像處理構件118可以處理藉由影像感測元件114所捕捉的影像資料。在某些實施例中，相機影像感測器100可包含額外的層，其具有未見於層104、106及/或108上的額外的專用的元件或構件，其是和其它層上的一或多個元件或構件通訊。例如，相機影像感測器100可包含一具有例如是機器學習晶片的影像處理構件120的層110，其是和在層108上的SRAM通訊。在某些實施例中，層110可以經由uTSV來和層108通訊。

圖2是一種用於經由一具有專用的層的堆疊的相機影像感測電路來捕捉及處理影像之範例的方法200的流程圖。在某些例子中，在步驟202，在此所述的系統可以藉由內嵌在一堆疊的相機影像感測電路的一第一層中的一影像感測元件，來捕捉視覺的資料。例如，在相機影像感測器100的層104上的影像感測元件114可以捕捉視覺的資料。

在此所述的系統可以在各種背景中捕捉各種類型的視覺的資料。例如，在此所述的系統可以捕捉單一幀(frame)的影像資料。在某些例子中，在此所述的系統可以多次地捕捉影像資料幀(例如，作為一串流視訊)。在某些實施例中，在此所述的系統可以捕捉影像資料以作為一擴增實境或虛擬實境系統的部分，即如同相關圖5及6更加詳細敘述的。

在步驟204，在此所述的系統可以藉由在所述堆疊的相機影像感測電路的一第二層中的一構件，來從所述影像感測元件接收所述視覺的資料。例如，在層106上的構件116可以從影像感測元件114接收所述視覺的資料。

在此所述的系統可以從各種類型的構件接收資料。在某些實施例中，所述構件可以是一或多個ADC。在某些例子中，所述ADC可以從所述第一層接收資料，從類比轉換所述資料至數位，並且傳送所述經轉換的資料至所述第三層。

在步驟206，在此所述的系統可以藉由在所述堆疊的相機影像感測電路的一第三層中的一影像處理構件，來處理藉由在所述第二層中的所述構件接收到的所述視覺的資料。例如，在層108上的影像處理構件118可以處理藉由在層106中的構件116接收到的視覺的資料。

在此所述的系統可以用各種方式來處理所述視覺的資料。在某些實施例中，在此所述的系統可以將所述視覺的資料儲存在所述第三層上的記憶體中。額外或是替代地，在此所述的系統可以經由在所述第三層上的資料處理硬體來處理所述資料。在一實施例中，在此所述的系統可以將所述視覺的資料儲存在所述第三層上的記憶體中，並且接著在至少一額外的層上(例如，例如在圖1中的層110的第四層、第五層…等等)處理所述資料。

在一實施例中，具有一數位像素感測器的一堆疊的相機影像感測電路可包含具有三個專用的層的一電路。在此實施例中，所述光二極體可被設置在所述第一層上，而所述ASIC層被分開到兩層上。就此而論，所述ADC可被置放在所述第二層上，並且用於每一個像素的SRAM記憶胞可被置放在所述第三層上。例如，如同在圖3中所繪，一相機影像感測器300可包含多個構件部件。這些構件部件的每一個可以形成一智慧型影像感測及計算平台，其相較於先前的DPS成像系統是更小型的、更節約能源的、並且提供更快的計算。在某些實施例中，相機影像感測器300可包含一第一層310，其在此可被稱為一影像感測層或光二極體層。在某些實施例中，第一層310可包含多個不同的光二極體314。光二極體314的例子可包含但不限於電荷耦合裝置(CCD)、主動像素感測器(互補金屬氧化物半導體(CMOS)感測器)、或是其它類似的影像感測裝置。這些光二極體314可被配置以在曝露到光時，經由一開啟的快門來偵測進入的光。第一層310可包含實質任意數目或類型的光二極體314。再者，這些光二極體314可以用實質任何形狀或類型的佈局來配置。

在某些實施例中，第一層310可以連接至包含一或多個影像處理構件的一第二層320，其被配置以處理藉由所述光二極體314偵測到的光。所述第二層320的影像處理構件可包含但不限於類比至數位轉換器(例如ADC 322)。在某些實施例中，每一個光二極體312可以在第二層320上具有其本身對應的ADC(例如，ADC 324)。在某些例子中，ADC 322可被配置以轉換偵測到的光(具有一類比值)成為一數位值，其可被儲存在記憶體中及/或發送至一外部的資料儲存庫(例如，一雲端資料儲存庫)。在某些例子中，第二層320的ADC 322可以經由混合接合(例如，經由銅連線來連接至光二極體314)。例如，ADC 324可以經由一混合接合302來連接至光二極體312。

此外，在某些例子中，ADC 322可以經由一或多個uTSV來連接至一第三層330上的元件。所述術語“uTSV”可以大致是指直接穿過在一積體電路的層之間的矽(或是其它基板)的任何垂直的電連接。在某些例子中，uTSV可以是遠小於標準的矽穿孔(TSV)，並且可以在一處理晶片上具有一小許多的覆蓋區。確實，TSV在一處理晶片上的每一個使用都可能導致在該晶片上的一區域是一“排除區域”或“失效區域”，其它的電子構件(例如，電晶體、電容器、二極體、等等)或線路並不能夠被置放在其上。在某些情形中，TSV可能在處理晶片上產生大的失效區域，此降低那些晶片的處理能力及效率。然而，微TSV具有小許多的失效區域，並且就此而論，還有更多可被實施在一例如是機器學習處理器或其它類型的影像處理器的晶片上。

在某些實施例中，第三層330可以內含一或多個處理晶片，例如硬體處理構件、編碼器、發送器(或收發器)、及/或其它影像處理構件。在一實施例中，第三層330可包含記憶體，例如是SRAM 332。在某些例子中，SRAM 332可以儲存幀緩衝器。在某些實施例中，每一個ADC可以是和一或多個從第二層320至第三層330的專用的uTSV耦接。這些uTSV(或是其它類型的貫孔)可以連接所述ADC與對應的SRAM胞。例如，SRAM胞334可以經由一uTSV 304來連接至ADC 324。在藉由光二極體312的幀捕捉期間，量化的像素值可以從所述ADC，經由所述專用的uTSV而被發送至第三層330以用於儲存在SRAM 332中。根據所述uTSV的操作頻率，單一uTSV通道可被多工(例如，時分多工)以傳輸來自所述DPS的像素的不同的資料位元。例如，單一uTSV通道可以使得其時間被分成四個間隔，並且可以在所述四個間隔的每一個中傳送不同類型的資料及/或來自不同像素的資料。在某些實施例中，第三層330可被實施在較小密度的矽上(例如，＜22nm)，其可以藉此容許有一較小的形狀因數。

在某些實施例中，一堆疊的相機影像感測電路可被設計以最佳化uTSV的參數，包含較高的密度、較小的尺寸、驅動器電路控制、可利用的通訊協定、等等。此種最佳化可以致能在所述系統的一層上的一處理器或其它元件、在所述系統的其它層上的元件之緊密的三維(3D)積體電路(IC)的整合。

圖4是描繪從一數位像素感測器系統(例如，一多層的積體電路)的一第二層至一第三層傳輸資料的圖。利用uTSV於資料傳輸可能會在所述第二及第三層上招致面積開銷，因為每一個uTSV將會在所述積體電路的第二及第三層上佔用一些面積。在此的實施例可被配置以決定一最佳數量的uTSV以在一給定的DPS系統中實施。在某些情形中，所述最佳數量的uTSV可以是依據在一給定的層上的硬體處理器的處理頻寬而定。額外或是替代地，其它特徵可能會影響所述最佳數量的uTSV，其包含影像捕捉頻率、資料傳送頻率、編碼器輸出、以及其它特徵。因此，單純加上大量的uTSV至所述DPS系統並且盡可能密集地設置所述uTSV在所述第二及第三層(或是所述第三及第四層、等等)之間可能不是在所有的情況中都是最佳的。

於是，在此的實施例可被配置以將所述第一層的數位像素陣列分割成為多個區塊，並且接著將每一個區塊的影像資料封包在一起以用於傳輸。譬如，一像素陣列401可被分成多個區塊，並且被饋入一編碼器402。所述數位資料接著可以利用時分多工、或是某種其它類型的多工、或是其它可以加速所述傳輸的發送方法，橫跨一或多個uTSV通道403來分擔。在某些情形中，所述資料可以在傳輸之前被編碼，並且至少在某些情形中，所述資料可以在傳輸之前利用各種的壓縮演算法來壓縮。在所述第三層上，所述資料可以藉由解碼器404來解碼(及/或解壓縮，若可適用的話)，此產生解碼的像素資料405。此解碼的像素資料接著可被所述處理硬體使用來識別物體、追蹤物體、或是在一影像或影像組上執行其它類型的處理。

在某些情形中，不同數量的uTSV可以利用一特定數量的光二極體輸入及/或一特定數量的處理器輸出來建立模型。利用此種模型建立，所述最佳數量的uTSV可被識別出，使得在相關的層上由uTSV接合點所佔用的面積不會過高而妨礙可藉由所述處理硬體執行的處理量，但是又足夠大到以提供充分的頻寬來傳輸來自所述數位像素感測器的可利用的像素資料。此種模擬亦可以考慮到任何多工、編碼、壓縮、等等，以根據DPS裝置的光二極體偵測器、影像處理硬體、及/或機器學習處理硬體來得到每一個DPS裝置特有的一最佳的區塊粒度。

如上所述，由於將所述ADC以及SRAM分開到兩個個別的層上，在此所述的堆疊的相機影像感測電路可以具有一較小的形狀因數，且/或更有效率地運作。在某些實施例中，額外的構件(例如，處理硬體)分別可以隔離到其本身的層之上。相較於使用TSV的設計，在此所述的系統藉由利用uTSV來連接不同的層，可以節省晶片空間、縮減整體尺寸以及改進所述感測器的效率。在某些實施例中，所述uTSV可以容許資料能夠用一高度有效率的方式從所述ADC被傳送至所述記憶體，此容許所述ADC以及所述記憶胞能夠運作在最大的速度下。

本發明的實施例可包含各種類型的人工實境系統、或是結合各種類型的人工實境系統來加以實施。人工實境是一種形式的實境，其在呈現給一使用者之前已經用某種方式調整，例如可包含一虛擬實境、一擴增實境、一混合實境、一複合實境、或是其之某種組合及/或衍生。人工實境內容可包含完全是電腦產生的內容、或是結合所捕捉的(例如，真實世界的)內容之電腦產生的內容。所述人工實境內容可包含視訊、音訊、觸覺回授、或是其之某種組合，並且其之任一個都可以用單一通道或是多個通道來加以呈現(例如是產生三維效果給觀看者的立體視訊)。此外，在某些實施例中，人工實境亦可以是和應用程式、產品、配件、服務、或是其之某種組合相關的，其例如被用來在一人工實境中產生內容，且/或否則在一人工實境中被使用(例如，在人工實境中執行活動)。

人工實境系統可以用各種不同的形狀因數及配置來實施。一些人工實境系統可被設計成在無近眼顯示器(NED)下工作。其它人工實境系統可包含NED，其亦提供對真實世界的可見性(例如，圖5中的擴增實境系統500)、或是使得使用者在視覺上沉浸在人工實境中(例如，圖6中的虛擬實境系統600)。儘管一些人工實境裝置可以是獨立的系統，但是其它人工實境裝置可以與外部的裝置通訊及/或協作，以提供人工實境的體驗給使用者。此種外部的裝置的例子包含手持式控制器、行動裝置、桌上型電腦、由使用者穿戴的裝置、由一或多個其他使用者穿戴的裝置、及/或任何其它適當的外部系統。

轉到圖5，擴增實境系統500可包含一具有框架510的眼部穿戴裝置502，所述框架510是被配置以將一左顯示裝置515(A)以及一右顯示裝置515(B)保持在一使用者的眼睛的前面。顯示裝置515(A)及515(B)可以一起或獨立地動作來向使用者呈現一影像或是系列的影像。儘管擴增實境系統500包含兩個顯示器，但是此揭露內容的實施例可以在具有單一NED或是超過兩個NED的擴增實境系統中實施。

在某些實施例中，擴增實境系統500可包含一或多個感測器，例如是感測器540。感測器540可以響應於擴增實境系統500的運動來產生測量信號，並且可以是位在框架510的實質任何部分上。感測器540可以代表各種不同的感測機構中的一或多個，例如位置感測器、慣性量測單元(IMU)、深度相機組件、結構發光器及/或偵測器、或是其之任意組合。在某些實施例中，擴增實境系統500可以包括或可以不包含感測器540、或是可包含超過一感測器。在其中感測器540包含IMU的實施例中，所述IMU可以根據來自感測器540的量測信號來產生校準資料。感測器540的例子可包含但不限於加速度計、陀螺儀、磁力儀、其它適當類型的偵測運動的感測器、用於所述IMU的誤差校正的感測器、或是其之某種組合。

在某些例子中，擴增實境系統500亦可包含一具有複數個聲學換能器520(A)-520(J)(統稱為聲學換能器520)的麥克風陣列。聲學換能器520可以代表偵測由聲波引起的氣壓變化的換能器。每一個聲學換能器520可被配置以偵測聲音，並且轉換所偵測到的聲音成為一電子格式(例如，一類比或數位格式)。在圖5中的麥克風陣列例如可包含十個聲學換能器：520(A)及520(B)，其可被設計成置放在使用者的一對應的耳朵內、聲學換能器520(C)、520(D)、520(E)、520(F)、520(G)及520(H)，其可以定位在框架510上的各種位置處、及/或聲學換能器520(I)及520(J)，其可被定位在一對應的圍頸帶505上。

在某些實施例中，聲學換能器520(A)-(J)中的一或多個可被使用作為輸出換能器(例如，揚聲器)。例如，聲學換能器520(A)及/或520(B)可以是耳塞式耳機、或是任何其它適當類型的頭戴式耳機或揚聲器。

所述麥克風陣列的聲學換能器520的配置可以變化。儘管擴增實境系統500在圖5中被展示為具有十個聲學換能器520，但是聲學換能器520的數目可以大於或小於十個。在某些實施例中，利用較多數量的聲學換能器520可以增加收集的音訊資訊的量、及/或提高音訊資訊的靈敏度和準確度。相對地，利用較少數量的聲學換能器520可以減少相關的控制器550處理所收集到的音訊資訊所需的計算能力。此外，所述麥克風陣列的每一個聲學換能器520的位置可以變化。例如，一聲學換能器520的位置可包含在使用者上的一界定的位置、在框架510上的一定義的座標、和每一個聲學換能器520相關的一方位、或是其之某種組合。

聲學換能器520(A)及520(B)可被定位在使用者耳朵的不同部分上，例如是在耳廓之後、在耳屏之後、及/或在外耳或耳窩內。或者，除了在耳道內的聲學換能器520之外，還可以有在耳朵上或是耳朵周圍的額外的聲學換能器520。將聲學換能器520定位在使用者的耳道旁可以使得所述麥克風陣列能夠收集有關於聲音如何到達耳道的資訊。藉由將聲學換能器520中的至少兩個定位在使用者頭部的兩側上(例如，作為雙耳麥克風)，擴增實境系統500可以模擬雙耳聽覺，並且圍繞使用者的頭部捕捉3D立體聲場。在某些實施例中，聲學換能器520(A)及520(B)可以經由一有線的連線530來連接至擴增實境系統500，而在其它實施例中，所述聲學換能器520(A)及520(B)可以經由一無線的連線(例如，藍芽連線)來連接至擴增實境系統500。在另外其它實施例中，聲學換能器520(A)及520(B)可以完全不與擴增實境系統500結合使用。

在框架510上的聲學換能器520可以用各種不同的方式，包含沿著鏡腿的長度、跨過鼻樑架、在顯示裝置515(A)及515(B)之上或之下、或是其之某種組合來加以定位。聲學換能器520可被定向成使得所述麥克風陣列能夠在穿戴所述擴增實境系統500的使用者周圍的各個方向上偵測聲音。在某些實施例中，在所述擴增實境系統500的製造期間可以執行最佳化程序，以決定每一個聲學換能器520在所述麥克風陣列中的相對定位。

在某些例子中，擴增實境系統500可包含或是連接至一外部的裝置(例如，一配對的裝置)，例如是圍頸帶505。圍頸帶505大致是代表任意類型或形式的配對的裝置。因此，以下關於圍頸帶505的討論亦可以應用於各種其它配對的裝置，例如是充電盒、智慧型手錶、智慧型手機、腕帶、其它可穿戴的裝置、手持控制器、平板電腦、膝上型電腦、其它外部的計算裝置、等等。

如圖所示，圍頸帶505可以經由一或多個連接器來耦合至眼部穿戴裝置502。所述連接器可以是有線或無線的，並且可包含電性及/或非電性(例如，結構的)構件。在某些情形中，眼部穿戴裝置502及圍頸帶505可以獨立地運作，而在它們之間沒有任何有線或無線的連線。儘管圖5在眼部穿戴裝置502及圍頸帶505上的範例的位置描繪眼部穿戴裝置502及圍頸帶505的構件，但是所述構件可以是位在眼部穿戴裝置502及/或圍頸帶505的別處，且/或被不同地分布在其上。在某些實施例中，眼部穿戴裝置502及圍頸帶505的構件可以是位在與眼部穿戴裝置502、圍頸帶505配對的一或多個額外的週邊裝置、或是其之某種組合上。

配對例如是圍頸帶505的外部裝置與擴增實境的眼部穿戴裝置可以使得所述眼部穿戴裝置能夠達成一副眼鏡的形狀因數，同時仍然提供足夠的電池和計算能力用於擴充的功能。擴增實境系統500的電池容量、計算資源、及/或額外的特點中的某些或全部可以是由一配對的裝置提供的、或是在一配對的裝置以及一眼部穿戴裝置之間共用的，因此減小所述眼部穿戴裝置整體的重量、熱輪廓、以及形狀因數，同時仍然保持所要的功能。例如，圍頸帶505可以容許原本要被納入在眼部穿戴裝置上的構件能夠內含在圍頸帶505中，因為使用者可以在其肩膀上容忍比在其頭上將容忍的重量負荷更重的重量負荷。圍頸帶505亦可具有較大的表面積，以在該表面積上將熱擴散並分散到周圍環境中。因此，圍頸帶505可以容許比在獨立的眼部穿戴裝置上原本可能具有的電池和計算容量更大的電池和計算容量。由於在圍頸帶505中承載的重量可以比在眼部穿戴裝置502中承載的重量對使用者的侵害性更小，因此比起使用者容忍穿戴沉重的獨立的眼睛穿戴裝置，使用者可以更長時間地容忍穿戴較輕的眼睛穿戴裝置並且承載或穿戴配對的裝置，藉此使得使用者能夠更充分地將人工實境環境結合到其日常活動中。

圍頸帶505可以和眼部穿戴裝置502及/或其它裝置通訊地耦合。這些其它裝置可以提供某些功能(例如，追蹤、定位、深度映射、處理、儲存、等等)給擴增實境系統500。在圖5的實施例中，圍頸帶505可包含兩個聲學換能器(例如，520(I)及520(J))，其是所述麥克風陣列的部分(或是潛在地形成其本身的麥克風子陣列)。圍頸帶505亦可包含一控制器525以及一電源535。

圍頸帶505的聲學換能器520(I)及520(J)可被配置以偵測聲音，並且轉換所偵測到的聲音成為一電子格式(類比或數位)。在圖5的實施例中，聲學換能器520(I)及520(J)可被定位在圍頸帶505上，藉此增加在所述圍頸帶的聲學換能器520(I)及520(J)以及定位在眼部穿戴裝置502上的其它聲學換能器520之間的距離。在某些情形中，增加在所述麥克風陣列的聲學換能器520之間的距離可以改善經由所述麥克風陣列執行的波束成形的準確度。例如，若一聲音是藉由聲學換能器520(C)及520(D)偵測的，並且在聲學換能器520(C)及520(D)之間的距離大於例如在聲學換能器520(D)及520(E)之間的距離，則所述偵測到的聲音的判斷的來源位置可以是比藉由聲學換能器520(D)及520(E)偵測到的聲音更準確。

圍頸帶505的控制器525可以處理由在圍頸帶505及/或擴增實境系統500上的感測器產生的資訊。例如，控制器525可以處理來自所述麥克風陣列的資訊，其描述由所述麥克風陣列偵測到的聲音。對於每一個偵測到的聲音，控制器525可以執行到達方向(DOA)的估計，以估計所述偵測到的聲音是從哪個方向到達所述麥克風陣列。當所述麥克風陣列偵測到聲音時，控制器525可以用所述資訊來填充音訊資料集。在其中擴增實境系統500包含慣性量測單元的實施例中，控制器525可以從位在眼部穿戴裝置502上的IMU計算所有慣性及空間的計算。一連接器可以在擴增實境系統500與圍頸帶505之間以及在擴增實境系統500與控制器525之間傳遞資訊。所述資訊可以具有光學資料、電性資料、無線資料、或是任何其它可傳輸的資料形式的形式。將由擴增實境系統500產生的資訊的處理移動到圍頸帶505可以減少眼部穿戴裝置502中的重量及熱，使得其對使用者而言更為舒適。

在圍頸帶505中的電源535可以提供電力給眼部穿戴裝置502及/或圍頸帶505。電源535可包含但不限於鋰離子電池、鋰聚合物電池、一次鋰電池、鹼性電池、或是任何其它形式的電力儲存。在某些情形中，電源535可以是有線的電源。在圍頸帶505上而不是在眼部穿戴裝置502上包含電源535可以有助於更佳的分布由電源535所產生的重量及熱。

如同所指出的，代替混合人工實境與實際的實境的是，一些人工實境系統可以用虛擬體驗來實質取代使用者對真實世界的感官感知中的一或多個。此類型的系統的一個例子是頭戴式顯示器系統，例如在圖6中的虛擬實境系統600，其大部分或完全地覆蓋使用者的視野。虛擬實境系統600可包含一前剛性主體602以及一條帶604，其被成形為適合戴在使用者的頭部周圍。虛擬實境系統600亦可包含輸出音訊換能器606(A)及606(B)。再者，儘管未展示在圖6中，前剛性主體602可包含一或多個電子元件，其包含一或多個電子顯示器、一或多個慣性量測單元(IMU)、一或多個追蹤發射器或偵測器、及/或任何其它適當的用於產生人工實境體驗的裝置或系統。

人工實境系統可包含各種類型的視覺回授機構。例如，在擴增實境系統500及/或虛擬實境系統600中的顯示裝置可包含一或多個液晶顯示器(LCD)、發光二極體(LED)顯示器、microLED顯示器、有機LED(OLED)顯示器、數位光投影(DLP)微顯示器、液晶覆矽(LCoS)微顯示器、及/或任何其它適當類型的顯示器螢幕。這些人工實境系統可包含用於雙眼的單一顯示器螢幕、或是可以為每只眼睛提供一顯示器螢幕，此可以容許為變焦調整或是用於校正使用者的屈光不正提供額外的彈性。某些人工實境系統亦可包含光學子系統，其具有一或多個透鏡(例如，凹透鏡或凸透鏡、菲涅耳透鏡、可調整的液態透鏡、等等)，使用者可以透過其來觀看一顯示器螢幕。這些光學子系統可以用於各種目的，其包含準直(例如，使物體看起來處於比其物理距離更大的距離)、放大(例如，使物體看起來比其實際大小更大)、及/或中繼光(到例如觀看者的眼睛)。這些光學子系統可被用在一非瞳孔形成的架構(例如單一透鏡配置，其直接準直光但是產生所謂的枕形失真)及/或一瞳孔形成的架構(例如多透鏡配置，其產生所謂的桶形失真以抵消枕形失真)。

額外或代替利用顯示器螢幕，在此所述的某些人工實境系統可包含一或多個投影系統。例如，在擴增實境系統500及/或虛擬實境系統600中的顯示裝置可包含微型LED投影機，其投影光(例如利用波導)到顯示裝置中，例如是容許環境光通過的透明組合器透鏡。所述顯示裝置可以折射所述投影的光朝向使用者的瞳孔，並且可以使得使用者能夠同時觀看人工實境內容以及真實世界兩者。所述顯示裝置可以利用各種不同的光學構件的任一種來達成此，其包含波導構件(例如，全息、平面、繞射、偏振、及/或反射的波導元件)、光操縱表面及元件(例如繞射、反射及折射元件及光栅)、耦合元件、等等。人工實境系統亦可被配置有任何其它適當類型或形式的影像投影系統，例如是用在虛擬視網膜顯示器中的視網膜投影機。

在此所述的人工實境系統亦可包含各種類型的電腦視覺構件及子系統。例如，擴增實境系統500及/或虛擬實境系統600可包含一或多個光學感測器，例如是二維(2D)或3D相機、結構光發射器及偵測器、飛行時間深度感測器、單一射束或掃描的雷射測距儀、3D LiDAR感測器、及/或任何其它適當類型或形式的光學感測器。人工實境系統可以處理來自這些感測器中的一或多個的資料，以識別使用者的位置、繪製真實世界的地圖、向使用者提供關於真實世界周圍環境的背景資訊、和/或執行各種其它功能。

在此所述的人工實境系統亦可包含一或多個輸入及/或輸出音訊換能器。輸出音訊換能器可包含音圈揚聲器、帶式揚聲器、靜電揚聲器、壓電揚聲器、骨傳導換能器、軟骨傳導換能器、耳屏振動換能器、及/或任何其它適當類型或形式的音訊換能器。類似地，輸入音訊換能器可包含電容式麥克風、動圈式麥克風、帶狀麥克風、及/或任何其它類型或形式的輸入換能器。在某些實施例中，單一換能器可被使用於音訊輸入及音訊輸出兩者。

在某些實施例中，在此所述的人工實境系統亦可包含觸感(亦即，觸覺)回授系統，其可被納入到頭飾、手套、連體衣、手持式控制器、環境的裝置(例如，椅子、地板墊、等等)、及/或任何其它類型的裝置或系統中。觸覺回授系統可以提供各種類型的皮膚回授，其包含振動、力、牽引力、紋理、及/或溫度。觸覺回授系統亦可以提供各種類型的動覺回授，例如是運動及順應性。觸覺回授可以利用馬達、壓電致動器、流體系統、及/或各種其它類型的回授機構來實施。觸覺回授系統可以獨立於其它人工實境裝置、在其它人工實境裝置之內、及/或結合其它人工實境裝置來實施。

藉由提供觸覺感覺、可聽見的內容、及/或視覺的內容，人工實境系統可以產生整個虛擬體驗或是強化使用者在各種背景和環境中的真實世界體驗。譬如，人工實境系統可以在特定環境內協助或擴展使用者的感知、記憶或認知。某些系統可以強化使用者在真實世界中與其他人的互動、或是可以致能在虛擬世界中與其他人的更多的沉浸式互動。人工實境系統亦可被使用於教育目的(例如，用於學校、醫院、政府組織、軍事組織、商業企業等的教學或訓練)、娛樂目的(例如，用於進行電玩遊戲、聽音樂、觀看視訊內容、等等)、及/或用於可接達目的(例如，作為助聽器、視覺輔助設備、等等)。在此揭露的實施例可以在這些背景及環境中的一或多個中及/或在其它背景及環境中致能或強化使用者的人工實境體驗。

範例實施例

範例1：一種堆疊的相機影像感測電路可包含一第一層，其包含複數個影像感測元件、一第二層，其包含和所述影像感測元件介接的構件、以及至少一額外的層，其包含影像處理構件。

範例2：如範例1之堆疊的相機影像感測電路，其中包含影像處理構件的所述至少一額外的層是包含複數個額外的層，並且在所述複數個額外的層之內的每一層是包含至少一未見於所述複數個之內的任何其它層上的專用的構件。

範例3：如範例1-2之堆疊的相機影像感測電路，其中所述複數個影像感測元件包含光二極體。

範例4：如範例1-3之堆疊的相機影像感測電路，其中和所述影像感測元件介接的所述構件是包含複數個ADC，並且所述至少一額外的層是包含複數個記憶胞，其中所述ADC是透過一或多個貫孔來通訊地連接至所述記憶胞。

範例5：如範例1-4之堆疊的相機影像感測電路，其中所述記憶胞包含SRAM胞。

範例6：如範例1-5之堆疊的相機影像感測電路，其中所述一或多個貫孔包含uTSV。

範例7：如範例1-6之堆疊的相機影像感測電路，其中來自所述ADC的資料是透過所述uTSV而被多工至所述記憶胞。

範例8：一種方法可包含(i)藉由內嵌在一堆疊的相機影像感測電路的一第一層中的一影像感測元件來捕捉視覺的資料、(ii)藉由在所述堆疊的相機影像感測電路的一第二層中的一構件，來從所述影像感測構件接收所述視覺的資料、以及(iii)藉由在所述堆疊的相機影像感測電路的一第三層中的一影像處理構件，來處理藉由在所述第二層中的所述構件接收到的所述視覺的資料。

範例9：如範例8之方法，其可以進一步包含藉由複數個額外的影像處理構件來處理所述視覺的資料，其包含被容置在所述堆疊的相機影像感測電路的複數個額外的層之內，使得在所述複數個額外的層之內的每一層容置至少一未見於所述複數個之內的任何其它層上的專用的影像處理構件。

範例10：如範例8-9之方法，其中所述影像感測元件包含一光二極體。

範例11：如範例8-10之方法，其中在所述第二層中的所述構件包含複數個ADC，並且所述第三層包含複數個記憶胞，其中所述ADC是透過一或多個貫孔來通訊地連接至所述記憶胞。

範例12：如範例8-11之方法，其中所述記憶胞包含SRAM胞。

範例13：如範例8-12之方法，其中所述一或多個貫孔包含uTSV。

範例14：如範例8-13之方法，其中藉由在所述堆疊的相機影像感測電路的所述第三層中的所述影像處理構件來處理藉由在所述第二層中的所述構件接收到的所述視覺的資料是包含透過所述uTSV多工來自所述ADC的所述視覺的資料至所述記憶胞。

範例15：一種可包含組裝堆疊的相機影像感測電路之方法，其藉由連接(i)一第一層，其包含複數個影像感測元件、(ii)一第二層，其包含和所述影像感測元件介接的構件、以及(iii)至少一額外的層，其包含影像處理構件。

範例16：如範例15之方法，其中包含影像處理構件的所述至少一額外的層是包含複數個額外的層，並且在所述複數個額外的層之內的每一層是包含至少一未見於所述複數個之內的任何其它層上的專用的構件。

範例17：如範例15-16之方法，其中所述複數個影像感測元件包含光二極體。

範例18：如範例15-17之方法，其中和所述影像感測元件介接的所述構件是包含複數個ADC，並且所述至少一額外的層是包含複數個記憶胞，其中所述ADC是透過一或多個貫孔來通訊地連接至所述記憶胞。

範例19：如範例15-18之方法，其中所述記憶胞包含SRAM胞。

範例20：如範例15-19之方法，其中所述一或多個貫孔包含uTSV。

如同在以上詳述的，在此敘述及/或描繪的計算裝置及系統是廣泛地代表任意類型或形式的能夠執行電腦可讀取的指令之計算裝置或系統，例如是那些內含於在此所述的模組之內者。在其最基本的配置中，這些計算裝置分別可包含至少一記憶體裝置以及至少一物理處理器。

在某些例子中，所述術語“記憶體裝置”一般是指任意類型或形式的揮發性或非揮發性儲存裝置或媒體，其能夠儲存資料及/或電腦可讀取的指令。在一例子中，一記憶體裝置可以儲存、載入及/或維持在此所述的模組中的一或多個。記憶體裝置的例子是包含但不限於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、硬碟機(HDD)、固態硬碟(SSD)、光碟機、快取、其中的一或多個的變化或組合、或是任何其它適當的儲存記憶體。

在某些例子中，所述術語“物理處理器”一般是指任意類型或形式的硬體實施的處理單元，其能夠解譯及/或執行電腦可讀取的指令。在一例子中，一物理處理器可以存取及/或修改在上述的記憶體裝置中儲存的一或多個模組。物理處理器的例子是包含但不限於微處理器、微控制器、中央處理單元(CPU)、實施軟核心處理器的現場可程式化的閘陣列(FPGA)、特殊應用積體電路(ASIC)、其中的一或多個的部分、其中的一或多個的變化或組合、或是任何其它適當的物理處理器。

儘管被描繪為個別的元件，在此敘述及/或描繪的模組可以代表單一模組或應用程式的部分。此外，在某些實施例中，這些模組中的一或多個可以代表一或多個軟體應用程式，當藉由一計算裝置執行時，其可以使得所述計算裝置執行一或多個工作。例如，在此敘述及/或描繪的模組中的一或多個可以代表被儲存並且配置以於在此敘述及/或描繪的計算裝置或系統中的一或多個上執行的模組。這些模組中的一或多個亦可以代表被配置以執行一或多個工作的一或多個特殊用途的電腦的全部或部分。

此外，在此所述的模組中的一或多個可以從一形式至另一形式地轉換資料、物理裝置及/或物理裝置的表示。例如，在此闡述的模組中的一或多個可以接收待被轉換的影像資料、轉換所述影像資料成為一資料結構，其儲存使用者特徵資料、輸出所述轉換的一結果以選擇一相關所述使用者的客製互動的打破冷場的界面工具集、使用所述轉換的結果以呈現所述界面工具集給所述使用者、以及儲存所述轉換的結果以產生所呈現的界面工具集的一記錄。額外或是替代地，在此闡述的模組中的一或多個可以藉由在所述計算裝置上執行、在所述計算裝置上儲存資料、及/或以其它方式和所述計算裝置互動，來從一形式至另一形式地轉換處理器、揮發性記憶體、非揮發性記憶體、及/或一物理計算裝置的任何其它部分。

在某些實施例中，所述術語“電腦可讀取的媒體”一般是指任何形式的裝置、載波、或是媒體，其能夠儲存或載有電腦可讀取的指令。電腦可讀取的媒體的例子是包含但不限於發送類型的媒體(例如載波)、以及非暫態類型的媒體(例如磁性儲存媒體(例如，硬碟機、碟帶機、以及軟碟片))、光學儲存媒體(例如，光碟(CD)、數位視頻光碟(DVD)、以及藍光光碟)、電子儲存媒體(例如，固態硬碟及快閃媒體)、以及其它分散系統。

在此敘述及/或描繪的程序參數以及步驟的順序是舉例給出的而已，並且可以根據需要而被改變。例如，儘管在此描繪及/或敘述的步驟可以用一特定的順序而被展示或論述，但是這些步驟並不一定需要用所描繪或論述的順序來執行。在此敘述及/或描繪的各種範例的方法亦可以省略在此敘述或描繪的步驟中的一或多個、或是包含除了那些揭露的以外的額外步驟。

先前的說明已經被提供以致能其他熟習此項技術者能夠最佳的利用在此揭露的範例實施例的各種特點。此範例的說明並不欲為窮舉的、或是被限制為任何所揭露的精確形式。許多修改及變化是可能的，而不脫離本揭露內容的精神及範疇。在此揭露的實施例應該在所有方面都被視為舉例說明的，而非限制性的。在判斷本揭露內容的範疇上應該參考到所附的請求項及其等同物。

除非另有指出，否則如同在所述說明書及請求項所用的術語“連接至”以及“耦接至”(及其衍生詞)將被解釋為允許直接以及間接的(亦即，經由其它元件或構件)連接。此外，如同在所述說明書及請求項所用的術語“一”或是“一個”將被解釋為表示“至少一個”。最後，為了便於使用，如同在所述說明書及請求項所用的術語“包含”以及“具有”(及其衍生詞)是和所述字詞“包括”可互換的並且具有相同的意義。

100:相機影像感測器 104、106、108、110:層 114:影像感測元件 116:構件 118:影像處理構件 120:影像處理構件 200:方法 202:步驟 204:步驟 206:步驟 300:相機影像感測器 302:混合接合 304:uTSV 310:第一層 312:光二極體 314:光二極體 320:第二層 322:ADC 324:ADC 330:第三層 332:SRAM 334:SRAM胞 401:像素陣列 402:編碼器 403:uTSV通道 404:解碼器 405:解碼的像素資料 500:擴增實境系統 502:眼部穿戴裝置 505:圍頸帶 510:框架 515(A):左顯示裝置 515(B):右顯示裝置 520、520(a)-520(J):聲學換能器 525:控制器 530:有線的連線 535:電源 540:感測器 550:控制器 600:虛擬實境系統 602:前剛性主體 604:條帶 606(A)、606(B):輸出音訊換能器

所附圖式是描繪一些範例實施例並且是說明書的一部分。這些圖式是和以下的說明一起證明及解說本揭露內容的各種原理。

[圖1]是一範例的多層堆疊的相機影像感測電路的方塊圖。

[圖2]是一種藉由一多層堆疊的相機影像感測電路所執行的範例的方法的流程圖。

[圖3]是一範例的多層堆疊的相機影像感測電路的圖示。

[圖4]是一範例的智慧型影像感測及計算平台的圖示，其中光資料是從一層多工至另一層。

[圖5]是可以關連此揭露內容的實施例而被使用的範例的擴增實境眼鏡的圖示。

[圖6]是可以關連此揭露內容的實施例而被使用的一範例的虛擬實境的頭戴式裝置的圖示。

在整個所述圖式，相同的元件符號及說明是指出類似、但不一定是相同的元件。儘管在此所述的範例實施例容易有各種的修改以及替代的形式，但是特定實施例已經在圖式中舉例展示並且將會在此詳細地描述。然而，在此所述的範例實施例並不欲受限於所揭露的特定形式。而是，本揭露內容涵蓋所有落入所附請求項的範疇內的修改、等同物及替換物。

來自在此所述的實施例的任一個的特點都可以根據在此所述的一般原理來彼此組合地利用。這些及其它實施例、特點及優點在閱讀以下的詳細說明結合所附的圖式及申請專利範圍之際將會更完全瞭解。

300:相機影像感測器

302:混合接合

304:uTSV

310:第一層

312:光二極體

314:光二極體

320:第二層

322:ADC

324:ADC

330:第三層

332:SRAM

334:SRAM胞

Claims (20)

1. 一種堆疊的相機影像感測電路，其包括： 第一層，其包括複數個影像感測元件； 第二層，其包括和所述影像感測元件介接的構件；以及 至少一額外的層，其包括影像處理構件。
2. 如請求項1之堆疊的相機影像感測電路，其中： 包括影像處理構件的所述至少一額外的層是包括複數個額外的層；以及 在所述複數個額外的層之內的每一層包括至少一未見於所述複數個之內的任何其它層上的專用的構件。
3. 如請求項1之堆疊的相機影像感測電路，其中所述複數個影像感測元件包括光二極體。
4. 如請求項1之堆疊的相機影像感測電路，其中： 和所述影像感測元件介接的所述構件是包括複數個類比至數位轉換器(ADC)；以及 所述至少一額外的層包括複數個記憶胞，其中所述ADC是透過一或多個貫孔來通訊地連接至所述記憶胞。
5. 如請求項4之堆疊的相機影像感測電路，其中所述記憶胞包括靜態隨機存取記憶體(SRAM)胞。
6. 如請求項4之堆疊的相機影像感測電路，其中所述一或多個貫孔包括微矽穿孔(uTSV)。
7. 如請求項6之堆疊的相機影像感測電路，其中來自所述ADC的資料是透過所述uTSV而被多工至所述記憶胞。
8. 一種方法，其包括： 藉由內嵌在堆疊的相機影像感測電路的第一層中的影像感測元件來捕捉視覺的資料； 藉由在所述堆疊的相機影像感測電路的第二層中的構件，來從所述影像感測構件接收所述視覺的資料；以及 藉由在所述堆疊的相機影像感測電路的第三層中的影像處理構件，來處理藉由在所述第二層中的所述構件接收到的所述視覺的資料。
9. 如請求項8之方法，其進一步包括藉由複數個額外的影像處理構件來處理所述視覺的資料，其包括被容置在所述堆疊的相機影像感測電路的複數個額外的層之內，使得在所述複數個額外的層之內的每一層容置至少一未見於所述複數個之內的任何其它層上的專用的影像處理構件。
10. 如請求項8之方法，其中所述影像感測元件包括光二極體。
11. 如請求項8之方法，其中：  在所述第二層中的所述構件是包括複數個ADC；以及 所述第三層包括複數個記憶胞，其中所述ADC是透過一或多個貫孔來通訊地連接至所述記憶胞。
12. 如請求項11之方法，其中所述記憶胞包括SRAM胞。
13. 如請求項11之方法，其中所述一或多個貫孔包括uTSV。
14. 如請求項13之方法，其中藉由在所述堆疊的相機影像感測電路的所述第三層中的所述影像處理構件來處理藉由在所述第二層中的所述構件接收到的所述視覺的資料是包括透過所述uTSV以多工來自所述ADC的所述視覺的資料至所述記憶胞。
15. 一種方法，其包括： 組裝堆疊的相機影像感測電路，其藉由連接： 第一層，其包括複數個影像感測元件； 第二層，其包括和所述影像感測元件介接的構件；以及 至少一額外的層，其包括影像處理構件。
16. 如請求項15之方法，其中： 包括影像處理構件的所述至少一額外的層是包括複數個額外的層；以及 在所述複數個額外的層之內的每一層是包括至少一未見於所述複數個之內的任何其它層上的專用的構件。
17. 如請求項15之方法，其中所述複數個影像感測元件包括光二極體。
18. 如請求項15之方法，其中： 和所述影像感測元件介接的所述構件是包括複數個ADC；以及 所述至少一額外的層包括複數個記憶胞，其中所述ADC是透過一或多個貫孔來通訊地連接至所述記憶胞。
19. 如請求項18之方法，其中所述記憶胞包括SRAM胞。
20. 如請求項18之方法，其中所述一或多個貫孔包括uTSV。

Images