TW201019721A - Image capture using separate luminance and chrominance sensors - Google Patents

Image capture using separate luminance and chrominance sensors Download PDF

Info

Publication number
TW201019721A
TW201019721A TW098124761A TW98124761A TW201019721A TW 201019721 A TW201019721 A TW 201019721A TW 098124761 A TW098124761 A TW 098124761A TW 98124761 A TW98124761 A TW 98124761A TW 201019721 A TW201019721 A TW 201019721A
Authority
TW
Taiwan
Prior art keywords
image
sensor
sensing device
chrominance
image sensor
Prior art date
Application number
TW098124761A
Other languages
English (en)
Inventor
David S Gere
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201019721A publication Critical patent/TW201019721A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/15Image signal generation with circuitry for avoiding or correcting image misregistration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

201019721 六、發明說明: 【發明所屬之技術領域】 本發明係關於用於捕獲影像之系統及方法,且更特定而 言係關於用於使用分離之亮度感測器及色度感測器捕獲影 像的系統及方法。 【先前技術】 人眼包含桿細胞及錐細胞,其中桿細胞感測亮度且錐細 胞感測顏色。在眼睛之多數部分中,桿細胞之密度高於錐 細胞的密度。因此,與色度部分相比,彩色影像之亮度部 分對整體彩色影像品質具有較大影響。因此,對亮度的強 調程度超過對色度的強調程度之影像感測器件為所要的, 此係因為該影像感測器件模擬人眼之操作。 【發明内容】 提供用於使用一影像感測器件捕獲影像之系統及方法。 在一實施例中,一影像感測器件可包括:一用於感測一影 像之透鏡列,及一用於將由該透鏡列感測之該影像分裂為 一第一分裂影像及一第二分裂影像的光束分裂器。該影像 感測器件亦可包括:一用於捕獲該第一分裂影像之一亮度 部分之第一影像感測器,及一用於捕獲該第二分裂影像之 一色度部分的第二影像感測器,及一用於組合該亮度部分 與該色度部分以形成一合成影像的影像處理模組。 在另一實施例中,一影像感測器件可包括:一用於捕獲 一第一影像之第一影像感測器、一用於捕獲一第二影像之 第二影像感測器,及一影像處理模組。該影像處理模組可 141267.doc 201019721 經組態以組合社妨 Q孩第一影像與該第二影像以形成一合成影 像。 " 在另實施例中’一種操作一影像感測器件之方法可包 : 由一-兹 : $ —感測器產生一高品質亮度影像;藉由第二 感測器產生-色度影像;及大體上準該高品質亮度影像 與該色度影像以形成-合成影像。 實施例中,一種影像感測器件可包括:一用於感 測、第景w象之第一透鏡列、一用於感測一第二影像的第 二透鏡列’及一用於感測一第三影像之第三透鏡歹卜該影 像感測③件亦可包括:紅色影像感測器,其用於捕獲該 第影像之紅色部分;一綠色影像感測器,其用於捕獲該 第一景v像之綠色部分;及一藍色影像感測器,其用於捕獲 該第三影像之藍色部分。該影像感測器件亦可包括一影像 處理模組’其用於組合該紅色部分、該綠色部分及該藍色 部分以形成一合成影像。 【實施方式】 本發明之以上及其他態樣及特徵在結合隨附圖式考慮以 下[實施方式]之後將變得更加顯而易見,在該等圖式中類 似參考字元始終指代類似零件。 本發明之一些實施例係關於用於使用一用以捕獲彩色影 像之亮度的專用影像感測器來捕獲影像之系統及方法。 在說明性實施例之以下論述中,術語「影像感測器件」 包括(但不限於)可捕獲靜態或動態影像且可將所捕獲之影 像轉換為數位影像資料或促進將所捕獲之影像轉換為數位 141267.doc 201019721 影像資料的任何電子器件,諸如數位相機。影像感測器件 可裝載(host)於各種電子器件中,其包括(但不限於):個人 電腦、個人數位助理(「PDA」)、行動電話,或可經組態 以處理影像資料之任何其他器件。如本文中在申請專利範 圍及說明書中使用之術語「包含」、「包括」及「具有」應 被視為指示一可包括並未規定之其他元件的開放群组。術 語「一」及詞語之單數形式應被看作包括同一詞語之複數 形式,使得該等術語意謂提供一或多個事物。如本文中在 申請專利範圍及說明書中使用之術語「基於」並非為排他 性的,且允許基於可能進行描述或可能未進行描述的額外 因素。 應理解,本發明之圖式及描述已經簡化,以說明有關於 本發明之清楚理解的元件,同時為了清晰起見去除了其他 元件。舉例而言,本文中並不描述通常用於影像感測器件 中之某些硬體元件’諸如積體電路晶粒或晶片上的光感測 像素。類似地,本文中並不描述影像處理技術之某些細節 (諸如,校正立體效應之演算法)。然而,一般熟習此項技 術者將認識到並瞭解’此等及其他元件在此影像感測器件 中可係需要的。因為此等元件在此項技術中為熟知的且因 為其並不促進本發明之更好理解,所以並不提供對此等元 件的論述。 圖1為根據本發明之一些實施例之說明包括影像感測器 件22之例示性電子器件1〇的組件之功能方塊圖。電子器件 10可包括.一處理單元12、一記憶體14、一通信介面2〇、 141267.doc 201019721 影像感測器件22、一輸出器件24及—系統匯流击⑴。系統 匯流排16可耦接兩個或兩個以上系統組件,包括(但不限 於)記憶體14及處理單元12。處理單元12可為各種可用處 理器中之任一者,且可包括多個處理器及,或共處理器。 影像感測H件22可接收傳人光並將其轉換為f彡像信號。 記憶體14可自影像感測器件22接收影像信號。處理單μ 可處理影像信號’其可包括將影像信號轉換為數位資料。
通信介面20可促進電子器件1〇與另一器件(諸如,主電腦 或伺服器)之間的資料交換。 記憶體14可包括可移除或固接式、揮發性或非揮發性, 或永久或可重寫之電腦儲存媒體。記憶體14可為可由通用 或專用計算器件或影像處理器器件存取的任一可用媒體。 以實例說明之且並非限制’此電腦可讀媒體可包含:、快閃 記憶體、隨機存取記憶體(「RAM」)、唯讀記憶體(「r〇m」)、 電可抹除可程式化唯讀記憶體(「EEpRQM」)、光碟儲存 器、硬碟儲存器或其他磁性儲存器,或可用以儲存數位資 訊的任何其他媒體。 應瞭解,圖i亦可描述可充當使用者與電子器件1〇之基 本資源之間的中間物之軟體。此軟體可包括作業系統。可 駐存於記憶體14中之作業系統可起作用以控制並配置電子 器件10的資源。系統應用程式可經由儲存於記憶體14中之 程式模組及程式資料來利用作業系統之資源管理。此外, 應瞭解’本發明可藉由各種作業系統或作㈣、統之組合來 141267.doc 201019721 記憶體14可有形地具體化可使得電子器件1〇之一或多個 組件(例如,影像感測器件組件22)以如本文中所描述之特 定或預定義方式操作的一或多個程式、函式及/或指令。 圖2為根據本發明之一些實施例之可類似於圖j之影像感 測器件22的例示性影像感測器件ι〇〇的功能方塊圖,其說 明可捕獲並儲存影像資料之組件中的一些。影像感測器件 100可包括:一透鏡裝配件102、一光束分裂器1M、一遽 光器115、一影像感測器丨06a、一濾光器丨丨7、一影像感測 器106b及一影像處理模組11〇。透鏡裝配件ι〇2可包括一單 一透鏡列104,該單一透鏡列1〇4具有一或多個光學對準之 透鏡元件103。影像感測器106&及1〇6b在像素陣列方面可 為等同的(亦即,相同像素數目及相同像素大小)。在操作 中’透鏡裝配件102可將傳入光1〇1作為經透鏡處理的 (lensed)光123聚焦於光束分裂器114上。光束分裂器.〖Μ可 分裂經透鏡處理之光123且將一影像導向濾光器丨丨5及影像 感測器106a(統稱為「亮度感測器120」),且將一大體上等 同的影像導向濾光器117及影像感測器106b(統稱為「色度 感測器122」)。色度感測器122可經組態以感測色度影像 111及低品質亮度影像107。影像處理模組11〇可組合色度 影像111與高品質亮度影像109以形成合成影像113。影像 處理模組110亦可經組態以產生低品質亮度影像丨〇7,其可 用於大體上對準高品質亮度影像109與色度影像丨丨i。 濾光器115可上覆(overlay)影像感測器〗06a並允許影像 感測器106a捕獲所感測影像之亮度部分(諸如,高品質亮 14I267.doc 201019721 度影像109)。濾光器117可上覆影像感測器10613並允許影 像感測器106b捕獲所感測影像之色度部分(諸如,色度影 像111)。彩色影像之亮度部分與彩色影像之色度部分相比 較對整體彩色影像品質可具有較大影響。對於高品質彩色 景:Μ象而言’可能並不需要影像之色度部分中的高取樣速率 及高信雜比(「SNR」)。 在一些實施例中,可在無濾光器115之情況下組態影像 感測器106a。熟習此項技術者應瞭解’無濾光器之影像感 測器可大體上接收傳入光之全部亮度,其可允許影像感測 器106a具有較高取樣速率、改良之光效率及/或敏感度。 舉例而言’亮度感測器120可經組態以感測任何波長及大 體上所有像素方位處的光。在其他實施例中,亮度感測器 106a可包括濾光器115,其按需衰減光以產生來自感測器 之與人眼之回應匹配的回應(亦即,濾光器產生模擬人眼 之回應的加權函數)。 高品質亮度影像109與低品質影像亮度影像lu相比可為 較南〇〇質亮度影像。亮度感測器1 〇9之由感測影像之全部 或大體上全部亮度提供的增大之敏感度可以各種方式使用 以擴展影像感測器件100及其合成影像i丨3的效能。舉例而 S,具有相對較小像素之影像感測器可經組態以求圖框之 平均或以較高圖框速率操作,其可使得較小像素像較大像 素一樣工作。可藉由使用較小類比及數位增益來降低雜訊 位準,以改良影像壓縮及影像品質。較小透鏡孔徑可用以 增大景深。可在較暗的環境照明條件下捕獲影像。替代性 141267.doc 201019721 或額外地’可藉由使用較短曝光時間而降低熱像素之效 應。 根據一些實施例’色度感測器122可經組態以在不產生 合成影像113之人類可感知的降級之情況下產生色度影像 111作為較低品質影像,尤其在合成影像丨丨3經壓縮(例 如,JPEG壓縮)之情況下。舉例而言,色度感測器122與亮 度感測器120相比較可使用較大透鏡孔徑或較低圖框速 率’其可改良較低光度(light level)下(例如,在傳入光1〇1 之較低強度級下)的操作。類似地,色度感測器122可使用 較短曝光時間來減少動態模糊(mot丨〇n blur)。因此,與色 度感測器122分離地控制亮度感測器i 2〇之能力可以各種方 式擴展影像感測器件100的效能。 影像之亮度部分可定義為大約30%的所偵測紅色光、 60%的所偵測綠色光及10%的所偵測藍色光,而影像之色 度部分可定義為用於影像感測器之每一像素的兩個信號或 二維向量。舉例而言,色度部分可由兩個分量^及cb來定 義,其中Cr可為所偵測紅色光較少的所偵測亮度且其中 Cb可為所偵測藍色光較少的所偵測亮度。然而,若亮度感 測器120偵測傳入光101之亮度,則色度感測器122可經組 態以(例如)藉由用紅色及藍色濾光器i丨7覆蓋感測器丨〇讣之 像素元件來偵測紅色及藍色光而不偵測綠色光。此可在紅 色及藍色濾光器部分之棋盤形圖案中完成。在其他實施例 中,濾光器117可包括拜耳(Bayer)圖案濾光器陣列,其包 括紅色、藍色及綠色濾光器。在一些實施例中,色度感測 141267.doc -10- 201019721 器120可經組態成具有較高密度之紅色及藍色像素以改良 合成影像113的整體品質。 圖3為根據本發明之一些實施例之具有平行透鏡列之例 示性影像感測器件200的功能方塊圖。影像感測器件200可 包括:具有兩個平行透鏡列204a及204b的透鏡裝配件 202、亮度感測器120、色度感測器122及一影像處理模組 210。在所說明實施例中,如圖所示,透鏡裝配件202之平 行透鏡列204a及204b可經組態以接收傳入光1〇1,且將經 透鏡處理之光123a及123b聚焦於亮度感測器120及色度感 測器122上。影像處理模組210可組合由亮度感測器12〇捕 獲且自亮度感測器120傳輸之高品質亮度影像209與由色度 感測器122捕獲且自色度感測器122傳輸的色度影像211, 且可輸出合成影像213。在一些實施例中,影像處理模組 210可使用各種技術以考慮到高品質亮度影像2〇9與色度影 像211之間的差異以便形成合成影像213。 影像感測器件可包括安裝於分離之積體電路晶片上的亮 度感測器及色度感測器。在並未圖示之一些實施例中,影 像感測器件可包括三個或三個以上平行透鏡列及三個或三 個以上各別影像感測器,其中每一影像感測器可實施於器 件之分離的積體電路晶片上。在此等實施例中,影像感測 器中之每一者可經組態以捕獲傳入光之由其各別平行透鏡 列傳遞的不同顏色部分。舉例而言,第一透鏡列可向經組 態以僅捕獲光之紅色部分之影像感測器傳遞光,第二透鏡 列可向經組態以僅捕獲光之綠色部分之影像感測器傳遞 141267.doc •11· 201019721 光’且第三透鏡列可向經組態以僅捕獲光之藍色部分之第 三影像感測器傳遞光。如關於圖3之器件200所描述,所捕 獲之紅色部分、所捕獲之綠色部分及所捕獲之藍色部分可 接著使用影像處理模組進行組合以建立合成影像。 透鏡裝配件202可包括具有用於每一平行透鏡列2〇4a及 204b之一或多個分離之透鏡元件203的透鏡區塊。根據一 些實施例’透鏡裝配件202之每一透鏡元件203可為非球面 透鏡’及/或可自與相對透鏡列中之另一相應透鏡元件2〇3 相同的模穴模製而成。在感測同一傳入光之情況下,在平 行透鏡列204中之每一者中的相應位置中使用自同一模穴 模製之透鏡(例如’模製塑膠透鏡)可用於使所產生之影像 差(諸如,幾何差及徑向邊緣失光(radial light fall-off))最 小化。然而在特定透鏡列内’透鏡元件可彼此不同。在一 些實施例中’透鏡元件203在透鏡列之間可不同。舉例而 言’一透鏡元件可經組態成具有比其他元件之孔徑開口大 的孔徑開口’以便在一感測器上具有較大光強度。 在一些實施例中’影像處理模組21 〇可比較高品質亮度 影像209與低品質亮度影像207。基於此比較,影像處理模 組2 1 0可考慮到高品質亮度影像2〇9與低品質亮度影像2〇7 之間的差’以便大體上對準影像資料從而形成合成影像 213 〇 根據一些實施例’影像處理模組2 1 〇可包括對高品質亮 度影像209及低品質亮度影像207中之至少一者之故意的幾 何失真’以便補償景深效應或立體效應。由影像感測器件 141267.doc •12- 201019721 200捕獲之一些影像可具有在距透鏡裝配件202之各種焦點 距離處的許多同時的所關注物件。因此,若需要高品質亮 度影像209與低品質亮度影像207之對準,則該對準可要求 使用特定扭曲函數來扭曲一影像以與另一影像匹配。舉例 而言,可使用高品質亮度影像209及低品質亮度影像207導 出扭曲函數,該高品質亮度影像209及該低品質亮度影像 207除景深效應及立體效應外可為大體等同的影像。用於 判定扭曲函數之演算法可係基於:尋找高品質亮度影像 109及低品質亮度影像107中的基準(fiducial),及接著判定 像素陣列中基準之間的距離。一旦已判定扭曲函數,色度 影像211就可「經扭曲」,且與高品質亮度影像209組合以 形成合成影像213。 在其他實施例中,影像處理模組210可經組態以藉由以 下操作而對準高品質亮度影像209及低品質亮度影像207 : 藉由識別影像209及207之視場中的基準或藉由使用影像處 理模組210之校準資料而選擇性裁剪影像209及207中的至 少一者。在其他實施例中,影像處理模組210可藉由分析 高品質亮度影像209與低品質亮度影像207中的差異而推斷 視場中之各種物件之間的焦點距離。本文中所描述之影像 處理模組可經組態以藉由光學實施、藉由演算法或藉由光 學實施及演算法兩者來控制影像品質。 在一些實施例中,若(例如)色度感測器122將一些像素 配置給色度感測而非亮度感測,則低品質亮度影像207之 品質可低於高品質亮度影像209之品質。在一些實施例 141267.doc -13- 201019721 中,低品質亮度影像207及高品質亮度影像2〇9在影像特徵 方面可不同。舉例而言,若色度感測器122與亮度感測器 120相比較具有較大透鏡孔徑或較低圖框速率,則低品質 亮度影像207可具有較低品質,此可改良較低光度下(例 如,在傳入光201之較低強度級下)的操作。類似地,色度 感測器122可使用較短曝光時間來減少動態模糊。因此, 與色度感測器122分離地控制亮度感測器12〇之能力可以各 種方式擴展影像感測器件200的效能。 與在具有單一影像感測器之器件中所見之透鏡裝配件與 影像感測器之間的間隙相比較,圖2之影像感測器件i 〇〇歸 因於光束分裂器114可包括介於其透鏡裝配件(例如,透鏡 裝配件102)與其影像感測器(例如,感測器106a及l〇6b)之 間的較大間隙。此外,雖然光束分裂器114可在影像感測 器l〇6a及l〇6b捕獲經透鏡處理之光123之前分裂經透鏡處 理之光123的光功率,但影像感測器件之此組態允許在每 一影像感測器處形成大體等同的影像。另一方面,與在具 有單一影像感測器之器件中所見之透鏡裝配件與影像感測 器之間的間隙相比較,圖3之影像感測器件200可包括在其 透鏡裝配件(例如,透鏡裝配件202)與其影像感測器(例 如’感測器106a及l〇6b)之間的具有相同厚度的間隙或較 薄的間隙。此外’在影像感測器丨〇6&及1〇6b捕獲經透鏡處 理之光123之前’將不分裂經透鏡處理之光m的光功率。 圖4為根據本發明之一些實施例之用於使用分離之亮度 感測器及色度感測器捕獲影像的例示性方法400之程序 141267.doc 201019721 , T。在步驟402處,可藉由影像感測器捕獲傳入光作為低 ^質影像,影像感測器可經組態以僅捕獲傳人光之色度部 刀或捕獲傳人光之色度部分及亮度部分兩者。在步驟404 處,可藉由影像感測器捕獲傳入光作為高品質影像,該影 • 像^ 11可經組態以僅捕獲傳人光的亮度部分。在步驟 . :〇6處’可組合低品質色度影像與高品質亮度影像以形成 合成影像。在-些實施例中,組合該等影像可包括使用諸 φ =幾何失真及影像裁剪之技術大體上對準影像。可比較低 -質影像之亮度部分與高品質影像的亮度部分以便判定適 當地組合兩個影像以用於形成合成影像所需要的適當扭曲 函數。 雖然已結合平行透鏡列實施例描述了用於對準影像的系 統及方法,但所描述之系統及方法亦適用於包括圖2之影 像感測器件100的影像感測器件之其他實施例。 除非另外規定,^則本文+所制並描述之方法的執行 • S戈進行次序並非為本質的。亦即,除非另外規定,否則方 法之要素可以任一次序執行,且方法可包括多於或少於本 文中所揭示之彼等要素的要素。舉例而言,預期到,在一 • 肖定要素之前、與-特定要素同時或在一特定要素之後執 ' 行或進行另一要素係在本發明之範疇内。 身又熟習此項技術者應瞭解,本發明可採用完全硬體實 施例或含有硬體及軟體要素兩者的實施例之形式。在諸如 係關於方法之彼等實施例的特定實施例中,本發明可以軟 體來實施,該軟體包括(但不限於)韌體、駐存軟體及微程 141267.doc -15- 201019721 式碼。 一般熟習此項技術者應瞭解,本發明之方法及系統可在 除本文中所描述之彼等實施例外的實施例中實踐。應理 解,則述内容僅說明本文中所揭示之原理,且熟習此項技 術者可在不脫離本發明之範疇及精神情況下進行各種修 改。 【圖式簡單說明】 圖1為說明用於實踐本發明之一些實施例之系統的某些 組件之功能方塊圖; 圖2為根據本發明之一些實施例之具有一單一透鏡列的 景’像感測器件之功能方塊圖; 圖3為根據本發明之一些實施例之具有平行透鏡列的影 像感測器件之功能方塊圖;及 圖4為根據本發明之一些實施例之用於使用分離之亮度 感測器及色度感測器捕獲影像的例示性方法之程序圖。 【主要元件符號說明】 10 電子器件 12 處理單元 14 記憶體 16 系統匯流排 20 通信介面 22 影像感測器件 24 輸出器件 100 影像感測器件 141267.doc 201019721 101 傳入光 102 透鏡裝配件 • 103 透鏡元件 104 單一透鏡列 106a 影像感測器 106b 影像感測器 107 低品質亮度影像 109 高品質亮度影像 110 影像處理模組 111 色度影像 113 合成影像 114 光束分裂器 115 濾、光器 117 遽光器 120 亮度感測器 φ 122 色度感測器 123 經透鏡處理的光 123a 經透鏡處理之光 . 123b 經透鏡處理之光 • 200 影像感測器件 202 透鏡裝配件 203 透鏡元件 204a 平行透鏡列 204b 平行透鏡列 141267.doc -17- 201019721 207 209 210 211 213 400 低品質亮度影像 高品質亮度影像 影像處理模組 色度影像 合成影像 使用分離之亮度感測器及色度感測器捕獲影 像的例示性方法
141267.doc -18-

Claims (1)

  1. 201019721 七、申請專利範圍: 1 · 一種影像感測器件,其包含: 一透鏡列,其用於感測一影像; 光束分裂器,其用於將由該透鏡列感測之該影像分 裂為一第一分裂影像及一第二分裂影像; 一第一影像感測器,其用於捕獲該第一分裂影像之一 亮度部分; 一第二影像感測器,其用於捕獲該第二分裂影像之— 色度部分;及 一影像處理模組,其用於組合該亮度部分與該色度部 分以形成一合成影像。 2. 如請求項1之影像感測器件,其中該第二影像感測器具 有低於該第一影像感 測器之一圖框速率的一圖框速率。 3. 如s青求項1之影像感測器件,其中該第一影像感測器經 組態以獨立於該第二影像感測器而受到控制。 4·如清求項1之影像感測器件,其中該第一影像感測器形 成於一第一積體電路晶片上,且其中該第二影像感測器 形成於一第二積體電路晶片上。 5. 如清求項1之影像感測器件,其中該第一影像感測器經 組態以感測任何波長的光。 6. 如清求項1之影像感測器件,其中該第一影像感測器經 組態以感測大體上所有像素位置處的光。 7. 一種影像感測器件,其包含: —第一影像感測器,其用於捕獲一第一影像; 141267.doc 201019721 一第二影像感測器,其用於捕獲一第二影像;及 景> 像處理模組,其用於組合由該第一影像感測器捕 獲之該第一影像及由該第二影像感測器捕獲之該第二影 像以形成一合成影像。 8. 如請求項7之影像感測器件,其中該第二影像感測器具 有大於該第一影像感測 器之一孔徑開口的一孔徑開口。 9. 如請求項7之影像感測器件,其中該合成影像之一色度 部分係基於該第二影像之一紅色部分、該第二影像之一 藍色部分及該第一影像而決定。 10. 如請求項7之影像感測器件,其中該第二感測器包括紅 色濾光器及藍色濾光器之一圖案。 11 ·如請求項7之影像感測器件,其中該第二影像感測器包 括一拜耳圖案濾光器。 12. 如請求項7之影像感測器件,其進一步包含: 一第一透鏡列,其用於將傳入光聚焦於該第一影像感 測器上’其中該第一透鏡列包括一模製非球面透鏡元 件。 13. 如請求項12之影像感測器件,其進一步包含: 一第二透鏡列,其用於將該傳入光聚焦於該第二影像 感測器上,其中該第一透鏡列及該第二透鏡列具有不同 孔徑。 14. 如請求項7之影像感測器件,其中該第一影像為一高品 質亮度影像,且其中第二影像為一色度影像,且其中兮 第二影像感測器經組態以捕獲一低品質亮度感測器。 141267.doc -2 - 201019721 15· =4求項14之影像感測器件其中該影像處理模組經組 心乂大體上對準該高品質亮度影像與該色度影像。 Ιό·:,:項影像感測器件,其中該影像處理模組經組 -以於遠南品質亮度影像與該低品質亮度影像之間的 • 差異而決定一扭曲函數。 • 17.如#求項16之影像感測器件,其中該影像處理模組經組 態以基於該扭曲函數而大體上對準該高品質亮度影像與 該色度影像。 18. 如叫求項7之影像感測器件’其中該第一影像感測器與 該第二影像感測器相比較為—較高百萬像素感測器。 19. 如叫求項7之影像感測器件,其中該第二影像感測器與 該第-影像感測器相比較為一較高百萬像素感測器。 20. —種操作一影像感測器件之方法,其包含: 藉由一第一感測器產生一高品質亮度影像; 藉由第二感測器產生一色度影像; • 大體上對準該高品質亮度影像與該色度影像以形成一 合成影像》 21. 如請求項20之方法,其進一步包含· . 藉由一第二感測器產生一低品質亮度影像,其中該高 • 品質亮度影像與該色度影像之對準係基於該低品質亮度 影像。 22·如請求項21之方法,其中大體上對準包含選擇性裁剪該 低品質亮度影像與該高品質亮度影像中的至少一者。 23.如請求項20之方法,其中大體上對準包含使該色度影像 I41267.doc 201019721 扭曲。 24. 如請求項20之方法,其中大體上對準包含故意的幾何失 真。 25. —種影像感測器件,其包含: 一第一透鏡列’其用於感測一第一影像; 一第二透鏡列,其用於感測一第二影像; 一第三透鏡列’其用於感測—第三影像; 一紅色影像感測器,其用於捕獲該第一影像之紅色部 分; -綠色影像感測器’其用於捕獲該第二影像之綠色部 分; 一藍色影像感測器,其用於捕獲該第三赘像之 分;及 一影像處理模組’其用於組合該紅色部 分及該藍色部分以形成一合成影像。 26.如請求項25之影像感測器件,其中該紅 該綠色影像感測器及該藍色影像感測器中 裝於一獨立積體電路晶片上 藍色部 分、 該綠色部 色影像感測器、 之每一者係安 141267.doc 4-
TW098124761A 2008-09-25 2009-07-22 Image capture using separate luminance and chrominance sensors TW201019721A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/238,374 US20100073499A1 (en) 2008-09-25 2008-09-25 Image capture using separate luminance and chrominance sensors

Publications (1)

Publication Number Publication Date
TW201019721A true TW201019721A (en) 2010-05-16

Family

ID=41078004

Family Applications (2)

Application Number Title Priority Date Filing Date
TW098124761A TW201019721A (en) 2008-09-25 2009-07-22 Image capture using separate luminance and chrominance sensors
TW101107089A TW201228381A (en) 2008-09-25 2009-07-22 Image capture using separate luminance and chrominance sensors

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW101107089A TW201228381A (en) 2008-09-25 2009-07-22 Image capture using separate luminance and chrominance sensors

Country Status (6)

Country Link
US (1) US20100073499A1 (zh)
EP (1) EP2327222A1 (zh)
KR (2) KR20110074556A (zh)
CN (1) CN102165783A (zh)
TW (2) TW201019721A (zh)
WO (1) WO2010036451A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8405727B2 (en) * 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
US8508671B2 (en) 2008-09-08 2013-08-13 Apple Inc. Projection systems and methods
US8538084B2 (en) 2008-09-08 2013-09-17 Apple Inc. Method and apparatus for depth sensing keystoning
US8527908B2 (en) * 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
US8610726B2 (en) * 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
US20100079426A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Spatial ambient light profiling
US7881603B2 (en) * 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
US8619128B2 (en) * 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
US8502926B2 (en) * 2009-09-30 2013-08-06 Apple Inc. Display system having coherent and incoherent light sources
US8687070B2 (en) 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US8497897B2 (en) 2010-08-17 2013-07-30 Apple Inc. Image capture using luminance and chrominance sensors
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity
US20120188409A1 (en) * 2011-01-24 2012-07-26 Andrew Charles Gallagher Camera with multiple color sensors
WO2013054160A1 (en) * 2011-10-11 2013-04-18 Sony Ericsson Mobile Communications Ab Light sensitive, low height, and high dynamic range camera
US9491372B2 (en) 2011-11-23 2016-11-08 Nokia Technologies Oy Apparatus and method comprising a beam splitter
WO2013079778A2 (en) * 2011-12-02 2013-06-06 Nokia Corporation Method, apparatus and computer program product for capturing images
EP2677732B1 (en) 2012-06-22 2019-08-28 Nokia Technologies Oy Method, apparatus and computer program product for capturing video content
US9836483B1 (en) * 2012-08-29 2017-12-05 Google Llc Using a mobile device for coarse shape matching against cloud-based 3D model database
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) * 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9356061B2 (en) 2013-08-05 2016-05-31 Apple Inc. Image sensor with buried light shield and vertical gate
US9641733B1 (en) 2013-10-28 2017-05-02 Apple Inc. Miniature camera plural image sensor arrangements
CN103595982A (zh) * 2013-11-07 2014-02-19 天津大学 基于灰度和彩色两颗传感器的彩色图像采集装置
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
CN104954627B (zh) * 2014-03-24 2019-03-08 联想(北京)有限公司 一种信息处理方法及电子设备
KR102144588B1 (ko) 2014-05-09 2020-08-13 삼성전자주식회사 센서 모듈 및 이를 구비한 장치
WO2016026072A1 (en) * 2014-08-18 2016-02-25 Nokia Technologies Oy Method, apparatus and computer program product for generation of extended dynamic range color images
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9307133B1 (en) * 2015-02-11 2016-04-05 Pho Imaging Limited System and method of imaging for increasing image resolution
CN104715704B (zh) * 2015-03-19 2017-03-01 广州标旗电子科技有限公司 一种面阵亮度快速检测系统及其控制方法
CN105049718A (zh) * 2015-07-06 2015-11-11 深圳市金立通信设备有限公司 一种图像处理方法及终端
KR102347591B1 (ko) * 2015-08-24 2022-01-05 삼성전자주식회사 이미지 센싱 장치 및 이미지 프로세싱 시스템
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
CN105323569B (zh) * 2015-10-27 2017-11-17 深圳市金立通信设备有限公司 一种图像增强的方法及终端
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
CN105611232B (zh) * 2015-12-17 2019-07-12 北京旷视科技有限公司 单相机多路监控方法及系统
KR102519803B1 (ko) 2016-04-11 2023-04-10 삼성전자주식회사 촬영 장치 및 그 제어 방법
US9979906B2 (en) * 2016-08-03 2018-05-22 Waymo Llc Beam split extended dynamic range image capture system
CN114449163A (zh) 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US10085006B2 (en) * 2016-09-08 2018-09-25 Samsung Electronics Co., Ltd. Three hundred sixty degree video stitching
CN106937097B (zh) * 2017-03-01 2018-12-25 奇酷互联网络科技(深圳)有限公司 一种图像处理方法、系统及移动终端
WO2018183206A1 (en) 2017-03-26 2018-10-04 Apple, Inc. Enhancing spatial resolution in a stereo camera imaging system
CN107018324B (zh) * 2017-03-27 2020-07-28 努比亚技术有限公司 一种照片合成方法及装置
US10473903B2 (en) * 2017-12-28 2019-11-12 Waymo Llc Single optic for low light and high light level imaging

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54158818A (en) * 1978-06-05 1979-12-15 Nec Corp Color solid-state pickup unit
US6614471B1 (en) * 1999-05-10 2003-09-02 Banctec, Inc. Luminance correction for color scanning using a measured and derived luminance value
US7088391B2 (en) * 1999-09-01 2006-08-08 Florida Atlantic University Color video camera for film origination with color sensor and luminance sensor
US6823188B1 (en) * 2000-07-26 2004-11-23 International Business Machines Corporation Automated proximity notification
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
JP2003299113A (ja) * 2002-04-04 2003-10-17 Canon Inc 撮像装置
US7120272B2 (en) * 2002-05-13 2006-10-10 Eastman Kodak Company Media detecting method and system for an imaging apparatus
US7193649B2 (en) * 2003-04-01 2007-03-20 Logitech Europe S.A. Image processing device supporting variable data technologies
US7511749B2 (en) * 2003-12-18 2009-03-31 Aptina Imaging Corporation Color image sensor having imaging element array forming images on respective regions of sensor elements
US20060012836A1 (en) * 2004-07-16 2006-01-19 Christian Boemler Focus adjustment for imaging applications
DE102006014504B3 (de) * 2006-03-23 2007-11-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem für Kraft- und Schienenfahrzeuge sowie Verfahren zur elektronischen Bilderfassung
US7667762B2 (en) * 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US8369579B2 (en) * 2006-12-21 2013-02-05 Massachusetts Institute Of Technology Methods and apparatus for 3D surface imaging using active wave-front sampling
BRPI0806109A2 (pt) * 2007-01-05 2011-08-30 Myskin Inc sistema, dispositivo e método para imagem dérmica
US8797271B2 (en) * 2008-02-27 2014-08-05 Microsoft Corporation Input aggregation for a multi-touch device
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging

Also Published As

Publication number Publication date
KR20110074556A (ko) 2011-06-30
CN102165783A (zh) 2011-08-24
TW201228381A (en) 2012-07-01
US20100073499A1 (en) 2010-03-25
EP2327222A1 (en) 2011-06-01
WO2010036451A1 (en) 2010-04-01
KR20110133629A (ko) 2011-12-13

Similar Documents

Publication Publication Date Title
TW201019721A (en) Image capture using separate luminance and chrominance sensors
US10897609B2 (en) Systems and methods for multiscopic noise reduction and high-dynamic range
KR101843994B1 (ko) 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
CN106210501B (zh) 图像合成方法与图像处理装置
US9681026B2 (en) System and method for lens shading compensation
TW201215166A (en) Image capture using luminance and chrominance sensors
WO2016088293A1 (en) Imaging device, apparatus, and imaging method
US8878910B2 (en) Stereoscopic image partial area enlargement and compound-eye imaging apparatus and recording medium
US10109063B2 (en) Image processing in a multi-channel camera
TWI543615B (zh) 影像處理方法及其電子裝置
CN112261292A (zh) 图像获取方法、终端、芯片及存储介质
US20210274108A1 (en) A Device Having Exactly Two Cameras and a Method of Generating Two Images Using the Device
JP2010135984A (ja) 複眼撮像装置及び撮像方法
JP2014147062A (ja) 撮像装置およびその制御方法、並びにプログラム
JP2015041865A (ja) 画像処理装置及び画像処理方法
US11688046B2 (en) Selective image signal processing
JP5854801B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5399986B2 (ja) 撮像装置、画像処理方法
CN116168064A (zh) 图像处理方法、装置、电子设备及存储介质