TW201228381A - Image capture using separate luminance and chrominance sensors - Google Patents

Description

201228381 六、發明說明： 【發明所屬之技術領域】 本發明係關於用於捕獲影像之系統及方法，且更特定而 言係關於用於使用分離之亮度感測器及色度感測器捕獲影 像的系統及方法。 【先前技術】 人眼包含桿細胞及錐細胞，其中桿細胞感測亮度且錐細 胞感測顏色。在眼睛之多數部分中，桿細胞之密度高於錐 細胞的密度。因此，與色度部分相比，彩色影像之亮度部 分對整體彩色影像品質具有較大影響。因此，對亮度的強 調程度超過對色度的強調程度之影像感測器件為所要的， 此係因為該影像感測器件模擬人眼之操作。 【發明内容】 提供用於使用一影像感測器件捕獲影像之系統及方法。 在一實施例中，一影像感測器件可包括：一用於感測一影 像之透鏡列，及一用於將由該透鏡列感測之該影像分裂為 一第一分裂影像及一第二分裂影像的光束分裂器。該影像 感測器件亦可包括：一用於捕獲該第一分裂影像之一亮度 部分之第一影像感測器’及一用於捕獲該第二分裂影像之 一色度部分的第二影像感測器，及一用於組合該亮度部分 與該色度部分以形成一合成影像的影像處理模組。 在另一實施例中’一影像感測器件可包括：一用於捕獲 一第一影像之第一影像感測器、一用於捕獲一第二影像之 第二影像感測器，及一影像處理模組。該影像處理模組可 162577.doc 201228381 經組態以組合該第一影像與該第二影像以形成一合成影 像。 v 在另一實施例中，一種操作一影像感測器件之方法可包 括：藉由一第一感測器產生一高品質亮度影像；藉由第二 感測器產生一色度影像；及大體上對準該高品質亮度影像 與該色度影像以形成一合成影像。 在另一實施例中’一種影像感測器件可包括：一用於感 測一第一影像之第一透鏡列、一用於感測一第二影像的第 二透鏡列，及一用於感測一第三影像之第三透鏡列。該影 像感測器件亦可包括：一紅色影像感測器，其用於捕獲該 第一影像之紅色部分；一綠色影像感測器，其用於捕獲該 第一影像之綠色部分；及一藍色影像感測器，其用於捕獲 該第三影像之藍色部分。該影像感測器件亦可包括一影像 處理模組，其用於組合該紅色部分、該綠色部分及該藍色 部分以形成一合成影像。 【實施方式】 本發明之以上及其他態樣及特徵在結合隨附圖式考慮以 下[實施方式]之後將變得更加顯而易見，在該等圖式中類 似參考字元始終指代類似零件。 本發明之一些實施例係關於用於使用一用以捕獲彩色影 像之亮度的專用影像感測器來捕獲影像之系統及方法。 在說明性實施例之以下論述中，術語「影像感測器件」 包括（但不限於）可捕獲靜態或動態影像且可將所捕獲之影 像轉換為數位影像資料或促料所捕獲之影像轉換為數位 162577.doc 201228381 影像資料的任何電子器件，諸如數位相機。影像感測器件 可裝載（host)於各種電子器件中，其包括（但不限於）：個人 電腦、個人數位助理（「PDA」）、行動電話，或可經組態 以處理影像資料之任何其他器件。如本文中在申請專利範 圍及說明書中使用之術語「包含」'「包括」及「具有」應 被視為指示一可包括並未規定之其他元件的開放群組。術 語「一」及詞語之單數形式應被看作包括同一詞語之複數 形式，使得該等術語意謂提供一或多個事物。如本文中在 申請專利範圍及說明書中使用之術語「基於」並非為排他 性的，且允許基於可能進行描述或可能未進行描述的額外 因素。 應理解，本發明之圖式及描述已經簡化，以說明有關於 本發明之清楚理解的元件，同時為了清晰起見去除了其他 元件。舉例而言，本文中並不描述通常用於影像感測器件 中之某些硬體元件’諸如積體電路晶粒或晶片上的光感測 像素。類似地，本文中並不描述影像處理技術之某些細節 (諸如，校正立體效應之演算法）。然而，一般熟習此項技 術者將認識到並瞭解，此#及其他元件在此影像感測器件 中可係需要的。因為此等元件在此項技術中為熟知的且因 為其並不促進本發明之更好料，所以並不提供對此等元 件的論述。 10可包括：一處理單元12 圖1為根據本發明之一些實施例之說明包括影像感測器 件22之例示性電子器件1G的組件之功能方塊圖。電子器件 記憶體14、一通信介面2 〇 162577.doc 201228381 影像感測器件22、一輸出器件μ及一系統匯流排16。系統 匯流排1 6可耦接兩個或兩個以上系統組件，包括（但不盱 於）記憶體14及處理單元12。處理單元12可為各種可用處 理器中之任一者，且可包括多個處理器及/或共處理器。 影像感測器件22可接收傳入光並將其轉換為影像信號。 記憶體14可自影像感測器件22接收影像信號。處理單元η 可處理影像信號，其可包括將影像信㈣換為數位資料。 通k介面20可促進電子器件1〇與另一器件（諸如，主電腦 或伺服器）之間的資料交換。 記憶體14可包括可移除或固接式、揮發性或非揮發性， 或永久或可重寫之電腦儲存媒體。記憶體14可為可由通用 或專用計算ϋ件或影像處理器器件存取的任—可用媒體。 以實例說明之且並非限制，此電腦可讀媒體可包含：快閃 記憶體、隨機存取記峨「RAM」）、唯讀記賴（「應」、）、 電可抹除可程式化唯讀記憶體（「EEpR⑽」）、光碟儲存 器' 硬碟神H或其㈣,_存L或可心儲存數位資 訊的任何其他媒體β 應瞭解，圖1亦可描站；·5|·古$ /=t m & j』栺述可充當使用者與電子器件10之j 本資源之間的中間物之軟體。此 . m此軟體可包括作業系統。3 駐存於記憶體14中之作業车絲可& & Ηζ 1Λ 菜系統了起作用以控制並配置電ί 件丨〇的資源。系統應用程式 飞Γ經由儲存於記憶體14中戈 程式模組及程式資料來利用作举 卜系系統之資源管理。此外， 應瞭解，本發明可藉由各種作 實施。 乍業系統或作業系統之組合身 162577.doc 201228381 記憶體14可有形地具體化可使得電子器件丨〇之一或多個 組件（例如，影像感測器件組件22)以如本文中所描述之特 定或預定義方式操作的一或多個程式、函式及/或指令。 圖2為根據本發明之一些實施例之可類似於圖1之影像感 測器件22的例示性影像感測器件1 〇〇的功能方塊圖，其說 明可捕獲並儲存影像資料之組件中的一些。影像感測器件 100可包括：一透鏡裝配件102、一光束分裂器114、一濾 光器115、一影像感測器1 〇6a、一濾光器117、一影像感測 器106b及一影像處理模組11 〇。透鏡裝配件1 〇2可包括一單 一透鏡列104，該單一透鏡列104具有一或多個光學對準之 透鏡元件103。影像感測器l〇6a及106b在像素陣列方面可 為等同的（亦即，相同像素數目及相同像素大小）。在操作 中’透鏡裝配件102可將傳入光101作為經透鏡處理的 (lensed)光123聚焦於光束分裂器114上。光束分裂器114可 分裂經透鏡處理之光123且將一影像導向濾光器115及影像 感測器106a(統稱為「亮度感測器120」），且將一大體上等 同的影像導向濾光器117及影像感測器i〇6b(統稱為「色度 感測器122」）。色度感測器122可經組態以感測色度影像 111及低品質亮度影像10 7。影像處理模組11 〇可組合色度 影像111與高品質亮度影像1 〇9以形成合成影像丨丨3。影像 處理模組110亦可經組態以產生低品質亮度影像1 〇7，其可 用於大體上對準高品質亮度影像109與色度影像111。 濾光器115可上覆（overlay)影像感測器l〇6a並允許影像 感測器106a捕獲所感測影像之亮度部分（諸如，高品質亮 I62577.doc 201228381 度影像109)。濾光器117可上覆影像感測器106b並允許影 像感測器1 〇6b捕獲所感測影像之色度部分（諸如，色度影 像111)。彩色影像之亮度部分與彩色影像之色度部分相比 較對整體彩色影像品質可具有較大影響。對於高品質彩色 影像而言，可能並不需要影像之色度部分中的高取樣速率 及高信雜比（「SNR」）。 在一些實施例中，可在無濾光器115之情況下組態影像 感測器106a。熟習此項技術者應瞭解，無濾光器之影像感 測器可大體上接收傳入光之全部亮度，其可允許影像感測 器106a具有較高取樣速率、改良之光效率及/或敏感度。 舉例而言’亮度感測器120可經組態以感測任何波長及大 體上所有像素方位處的光。在其他實施例中，亮度感測器 106a可包括濾光器115，其按需衰減光以產生來自感測器 之與人眼之回應匹配的回應（亦即，濾光器產生模擬人眼 之回應的加權函數）。 向品質亮度影像109與低品質影像亮度影像ln相比可為 較高品質亮度影像。亮度感測器1〇9之由感測影像之全部 或大體上全部亮度提供的增大之敏感度可以各種方式使用 :擴展影像感測器件_及其合成影像113的效能。舉例而 。具有相對較小像素之影像感測器可經組態以求圖框之 較高圖框速率操作，其可使得較小像素像較大像 素：樣工作。可藉由使用較小類比及數位增益來降低雜訊 位準’以改良影像壓縮及 私,戌k 質。較小透鏡孔徑可用以 a °交暗的環境照明條件下捕獲影像1代性 162577.doc 201228381 或額外地，可藉由使用較短曝光時間而降低熱像素之效 應。 根據一些實施例’色度感測器122可經組態以在不產生 合成影像113之人類可感知的降級之情況下產生色度影像 U 1作為較低品質影像’尤其在合成影像1丨3經壓縮（例 如’ JPEG壓縮）之情況下。舉例而言，色度感測器a]與亮 度感測器120相比較可使用較大透鏡孔徑或較低圖框速 率，其可改良較低光度（light levei)下（例如，在傳入光1〇1 之較低強度級下）的操作。類似地’色度感測器122可使用 較短曝光時間來減少動態模糊（motion blur)。因此，與色 度感測器12 2分離地控制亮度感測器12 〇之能力可以各種方 式擴展影像感測器件100的效能。 影像之亮度部分可定義為大約3〇°/。的所偵測紅色光、 60%的所偵測綠色光及10%的所偵測藍色光，而影像之色 度部分可定義為用於影像感測器之每一像素的兩個信號或 二維向量。舉例而言，色度部分可由兩個分量Cr& cb來定 義，其中Cr可為所偵測紅色光較少的所偵測亮度且其中 Cb可為所偵測藍色光較少的所偵測亮度。然而，若亮度感 測器i2〇偵測傳入光101之亮度，則色度感測器122可經組 態以（例如）藉由用紅色及藍色濾光器117覆蓋感測器1〇讣之 像素元件來偵測紅色及藍色光而不偵測綠色光。此可在紅 色及藍色濾光器部分之棋盤形圖案中完成。在其他實施例 中，濾光器117可包括拜耳（Bayer)圖案濾光器陣列，其包 括紅色藍色及綠色據光器。在一些實施例中，色度感測 162577.doc 201228381 器120可經組態成具有較商密度之紅色及藍色像素以改良 合成影像113的整體品質。 圖3為根據本發明之一些實施例之具有平行透鏡列之例 示性影像感測器件200的功能方塊圖。影像感測器件2〇〇可 包括：具有兩個平行透鏡列204a及204b的透鏡裝配件 202、亮度感測器120、色度感測器122及一影像處理模組 210。在所說明實施例中，如圖所示，透鏡裝配件2〇2之平 行透鏡列204a及204b可經組態以接收傳入光1〇1，且將經 透鏡處理之光123a及123b聚焦於亮度感測器12〇及色度感 測器122上。影像處理模組210可組合由亮度感測器12〇捕 獲且自亮度感測器120傳輸之高品質亮度影像209與由色度 感測器122捕獲且自色度感測器122傳輸的色度影像211 ’ 且可輸出合成影像213。在一些實施例中，影像處理模組 21 〇可使用各種技術以考慮到高品質亮度影像2 〇 9與色度影 像211之間的差異以便形成合成影像213。 影像感測器件可包括安裝於分離之積體電路晶片上的亮 度感測器及色度感測器。在並未圖示之一些實施例中，影

列可向經組態以僅捕獲光之綠色部分 像感測器件可包括三個或三個以上平行透鏡列及 個以上各別影像感測器，其中每一影德 f 一透鏡列可向經組 傳遞光，第二透鏡 之影像感測器傳遞 I62577.doc 201228381 光’且第二透鏡列可向經組態以僅捕獲光之藍色部分之第 三影像感測器傳遞光。如關於圖3之器件2〇〇所描述，所捕 獲之紅色部分、所捕獲之綠色部分及所捕獲之藍色部分可 接著使用影像處理模組進行組合以建立合成影像。 透鏡裝配件202可包括具有用於每一平行透鏡列2〇4a及 204b之一或多個分離之透鏡元件2〇3的透鏡區塊。根據一 些實施例’透鏡裝配件202之每一透鏡元件203可為非球面 透鏡’及/或可自與相對透鏡列中之另一相應透鏡元件2〇3 相同的模穴模製而成。在感測同一傳入光之情況下’在平 行透鏡列204中之每一者中的相應位置中使用自同一模穴 模製之透鏡（例如，模製塑膠透鏡）可用於使所產生之影像 差（諸如’幾何差及徑向邊緣失光（radial light fall_〇ff))最 小化。然而在特定透鏡列内，透鏡元件可彼此不同。在一 些實施例中，透鏡元件203在透鏡列之間可不同。舉例而 言，一透鏡元件可經組態成具有比其他元件之孔徑開口大 的孔徑開口，以便在一感測器上具有較大光強度。 在一些實施例中’影像處理模組21 〇可比較高品質亮度 影像209與低品質亮度影像207。基於此比較，影像處理模 組210可考慮到咼品質亮度影像2〇9與低品質亮度影像2〇7 之間的差，以便大體上對準影像資料從而形成合成影像 213 ° 根據一些實施例’影像處理模組21〇可包括對高品質亮 度影像209及低品質亮度影像207中之至少一者之故意的幾 何失真，以便補償景深效應或立體效應。由影像感測器件 I62577.doc •12· 201228381 200捕獲之一些影像可具有在距透鏡裝配件2〇2之各種焦點 距離處的許多同時的所關注物件。因此，若需要高品質亮 度影像209與低品質亮度影像207之對準，則該對準可要求 使用特定扭曲函數來扭曲一影像以與另一影像匹配。舉例 而言’可使用高品質亮度影像209及低品質亮度影像207導 出扭曲函數’該高品質亮度影像209及該低品質亮度影像 2〇7除景深效應及立體效應外可為大體等同的影像。用於 判定扭曲函數之演算法可係基於：尋找高品質亮度影像 109及低品質亮度影像107中的基準（fidueial)，及接著判定 像素陣列中基準之間的距離。一旦已判定扭曲函數，色度 影像211就可「經扭曲」’且與高品質亮度影像2〇9組合以 形成合成影像21 3。 在其他實施例令，影像處理模組21〇可經組態以藉由以 下操作而對準高品質亮度影像2〇9及低品質亮度影像2〇7 : 藉由識別影像209及207之視場中的基準或藉由使用影像處 理模組210之校準資料而選擇性裁剪影像2〇9及2〇7中的至 少一者。在其他實施例中，影像處理模組2丨〇可藉由分析 高品質亮度影像209與低品質亮度影像2〇7中的差異而推斷 視場中之各種物件之間的焦點距離。本文中所描述之影像 處理模組可經組態以藉由光學實施、藉由演算法或藉由光 學實施及演算法兩者來控制影像品質。 在一些實施例中，若（例如）色度感測器122將一些像素 配置給色度感測而非亮度感測，則低品質亮度影像2〇7之 品質可低於向品質亮度影像2〇9之品質。在一些實施例 162577.doc • 13 · 201228381 中，低品質亮度影像207及高品質亮度影像209在影像特徵 方面可不同。舉例而言，若色度感測器122與亮度感測器 120相比較具有較大透鏡孔徑或較低圖框速率，則低品質 亮度影像207可具有較低品質，此可改良較低光度下（例 如，在傳入光201之較低強度級下）的操作^類似地，色度 感測器122可使用較短曝光時間來減少動態模糊。因此， 與色度感測器122分離地控制亮度感測器120之能力可以各 種方式擴展影像感測器件200的效能。 與在具有單一影像感測器之器件中所見之透鏡裝配件與 影像感測器之間的間隙相比較，圖2之影像感測器件1〇〇歸 因於光束分裂器114可包括介於其透鏡裝配件（例如，透鏡 裝配件102)與其影像感測器（例如，感測器i〇6a及106b)之 間的較大間隙》此外，雖然光束分裂器114可在影像感測 器106a及106b捕獲經透鏡處理之光123之前分裂經透鏡處 理之光123的光功率，但影像感測器件之此組態允許在每 一影像感測處形成大體等同的影像。另一方面，與在具 有單一影像感測器之器件中所見之透鏡裝配件與影像感測 器之間的間隙相比較，圖3之影像感測器件200可包括在其 透鏡裝配件（例如，透鏡裝配件202)與其影像感測器（例 如，感測器106a及106b)之間的具有相同厚度的間隙或較 薄的間隙。此外，在影像感測器106a及1 〇6b捕獲經透鏡處 理之光123之前，將不分裂經透鏡處理之光123的光功率。 圖4為根據本發明之一些實施例之用於使用分離之亮度 感測器及色度感測器捕獲影像的例示性方法40〇之程序 162577.doc 201228381 圖。在步驟402處’可藉由影像感測器捕獲傳入光作為低 品質影像，影像感測器可經組態以僅捕獲傳入光之色度部 分或捕獲傳入光之色度部分及亮度部分兩者。在步驟4〇4 處’可藉由影像感測器捕獲傳入光作為高品質影像，該影 像感測器可經組態以僅捕獲傳入光的亮度部分。在步驟 406處，可組合低品質色度影像與高品質亮度影像以形成 合成影像。在一些實施例中，組合該等影像可包括使用諸 如幾何失真及影像裁剪之技術大體上對準影像。可比較低 品質影像之亮度部分與高品質影像的亮度部分以便判定適 當地組合兩個影像以用於形成合成影像所需要的適當扭曲 函數。 然已、k σ平行透鏡列實施例描述了用於對準影像的系 方法但所描述之系統及方法亦適用於包括圖2之影 像感測器件1〇〇的影像感測器件之其他實施例。 ㈣另外規定，否則本文中所說明並描述之方法的執行 或進仃-人序並非為本質的。，亦即，除非另外規定否則方 ::要素可以任一次序執行，且方法可包括多於或少於本 所揭示之彼等要素的要素。舉例而言，預期到，在一 行^素之前、與—特定要素同時或在—特定要素之後執 或進仃另一要素係在本發明之範疇内。 奴熱習此項技術者 絲心人 ^ 徠用完全硬體1 有硬體及軟體要素兩者的實施例之形式。柳 體决:方法之彼等實施例的特定實施例中，本發明可以, 體來實施’該軟體包括（但；限於） 尽）韌體、駐存軟體及微4 I62577.doc 15 201228381 式碼。 一般熟習此項技術者應瞭解，本發明之方法及系統可在 除本文中所描述之彼等實施例外的實施例t實踐。應理 解’前述内容僅說明本文中所揭示之原理，且熟習此項技 術者可在不脫離本發明之範疇及精神情況下進行各種修 改。 【圖式簡單說明】 圖1為說明用於實踐本發明之一些實施例之系統的某些 組件之功能方塊圖； 圖2為根據本發明之一些實施例之具有一單一透鏡列的 影像感測器件之功能方塊圖； 圖3為根據本發明之一些實施例之具有平行透鏡列的影 像感測器件之功能方塊圖；及 圖4為根據本發明之一些實施例之用於使用分離之亮度 感測器及色度感測器捕獲影像的例示性方法之程序圖。 【主要元件符號說明】 10 電子器件 12 處理單元 14 記憶體 16 系統匯流排 20 通信介面 22 影像感測器件 24 輸出器件 100 影像感測器件 162577.doc 201228381 101 傳入光 102 透鏡裝配件 103 透鏡元件 104 單一透鏡列 106a 影像感測器 106b 影像感測器 107 低品質亮度影像 109 高品質亮度影像 110 影像處理模組 111 色度影像 113 合成影像 114 光束分裂器 115 漉光器 117 渡光器 120 亮度感測器 122 色度感測器 123 經透鏡處理的光 123a 經透鏡處理之光 123b 經透鏡處理之光 200 影像感測器件 202 透鏡裝配件 203 透鏡元件 204a 平行透鏡列 204b 平行透鏡列 162577.doc 201228381 207 低品質亮度影像 209 高品質亮度影像 210 影像處理模組 211 色度影像 213 合成影像 400 使用分離之亮度感測器及色度感測器捕獲影 像的例示性方法 162577.doc - 18-

Claims (1)

1. 201228381 七、申請專利範園： 1 · '一種影像感測器件，其包含： 一透鏡列，其用於感測一影像； 一光束分裂器’其用於將由該透鏡列感測之該影像分 裂為一第一分裂影像及一第二分裂影像； 一第一影像感測器，其用於捕獲該第一分裂影像之一 亮度部分， 一第二影像感測器’其用於捕獲該第二分裂影像之一 色度部分；及 一影像處理模組’其用於組合該亮度部分與該色度部 分以形成一合成影像。 162577.doc