TWI468021B - 影像感測器件及使用照度及色度感測器之影像擷取之方法 - Google Patents

影像感測器件及使用照度及色度感測器之影像擷取之方法 Download PDF

Info

Publication number
TWI468021B
TWI468021B TW100127451A TW100127451A TWI468021B TW I468021 B TWI468021 B TW I468021B TW 100127451 A TW100127451 A TW 100127451A TW 100127451 A TW100127451 A TW 100127451A TW I468021 B TWI468021 B TW I468021B
Authority
TW
Taiwan
Prior art keywords
image
chrominance
sensor
illuminance
sensing device
Prior art date
Application number
TW100127451A
Other languages
English (en)
Other versions
TW201215166A (en
Inventor
David S Gere
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201215166A publication Critical patent/TW201215166A/zh
Application granted granted Critical
Publication of TWI468021B publication Critical patent/TWI468021B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/15Image signal generation with circuitry for avoiding or correcting image misregistration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

影像感測器件及使用照度及色度感測器之影像擷取之方法
所揭示之實施例大體而言係關於影像感測器件,且更特定而言係關於一種用於擷取具有單獨的照度及色度感測器之影像感測器件。
某些影像擷取器件(諸如數位相機及視訊錄影機)可藉由使用電子影像感測器以數位方式記錄影像來拍攝視訊或靜態照片或視訊及靜態照片兩者。電子成像器件之製造成本之持續減少與日益增加之功能性及增強的使用者介面相結合,已導致用途增加並普及。已發現數位相機及/或視訊攝影機不僅為獨立器件,而且亦併入於其他電子器件中。舉例而言,此類器件可併入於電腦、行動電話、手持式計算器件及其類似者中。此等器件亦可用作計算周邊裝置,以准許影像擷取、視訊會議、視訊聊天等。
大多數電子成像器件使用由光敏像素之柵格構成之光感測器。此等像素可量測光強度(或照度)以及照射到此等像素之光的特定色彩。可處理光之特定色彩之電子表示以導出影像之色度分量,或影像之照度部分,或影像之色度分量及影像之照度部分兩者。通常,相較於色度部分,彩色影像之照度部分對總體影像解析度之影響可較大。此效應可至少部分歸因於人眼之結構,人眼包括相較於用於感測色彩之視錐細胞(cone)密度較高之用於感測照度之桿狀細胞(rod)。
儘管著重於照度勝過色度之影像感測器件通常不會明顯損害所產生影像之解析度,但若照度及色度感測器連接至單獨之光學透鏡鏈且照度感測器之「盲」區自色度感測器之「盲」區偏移,則可能丟失色彩資訊。此盲區之一實例可歸因於前景物件遮擋背景物件而發生。另外,同一前景物件可產生色度及照度感測器兩者之盲區,或者由一物件產生之色度盲區可能不與由第二物件產生之照度盲區完全重疊。在此類情況下,由於色度感測器之「盲」區,可能丟失色彩資訊,進而損害複合彩色影像之解析度。
本文所描述之實施例係關於用於擷取影像的系統、裝置及方法,其使用一或多個專用影像感測器來擷取影像之照度及色度部分。影像感測器可包括一或多個照度感測器及一或多個色度感測器,以便不論物件在影像中之位置如何均擷取具某一解析度之影像。在一實施例中,照度感測器可定位於兩個色度感測器之間。色度感測器之視場可偏移,以使色度感測器之潛在盲區不重疊。因此,可獲得用於影像感測器之每一像素的色度資訊。
一實施例可呈一影像感測器件的形式,該影像感測器件包括:一第一影像感測器,其用於擷取一照度影像;一第二影像感測器,其用於擷取一第一色度影像;及一第三影像感測器,其用於擷取一第二色度影像。該影像感測器件可進一步包括一影像處理模組,該影像處理模組用於組合由第一影像感測器擷取之照度影像、由第二影像感測器擷取之第一色度影像及由第三影像感測器擷取之第二色度影像,以形成一複合影像。
其他實施例可呈一影像感測器件的形式,該影像感測器件包括:一第一影像感測器,其用於擷取一照度影像;一第二影像感測器,其用於擷取一第一色度影像;及一第三影像感測器,其用於擷取一第二色度影像。第一影像感測器可具有歸因於近場物件之第一盲區。第二影像感測器可具有歸因於近場物件之第二盲區。第三影像感測器可具有歸因於近場物件之第三盲區。該影像感測器件可進一步包括一影像處理模組,該影像處理模組用於組合由第一影像感測器擷取之照度影像、第一色度影像及第二色度影像,以形成一複合影像。第二影像感測器之第二盲區可自第三影像感測器之第三盲區偏移。
提供本[發明內容]來以簡化形式介紹若干概念之選集,下文在[實施方式]中進一步描述該等概念。本[發明內容]既不意欲識別所主張標的物之關鍵特徵或本質特徵,亦不意欲用來限制所主張標的物之範疇。如在隨附圖式中進一步所說明及在隨附申請專利範圍中所界定,其他特徵、細節、效用及優點將自各種實施例之以下更特定的書面描述而顯而易見。
本文所描述之實施例係關於用於擷取影像的系統、裝置及方法,其使用專用影像感測器來擷取影像之照度及色度部分。影像感測器可包括一或多個照度感測器及一或多個色度感測器,以便不論物件在影像中之位置如何均擷取具某一解析度之影像。在一實施例中,照度感測器可定位於兩個色度感測器之間。色度感測器之視場可偏移,以使色度感測器之視潛在盲區不重疊。盲區可能由視障引起,該視障部分或完全阻擋或遮掩本來可由感測器擷取之其他物件。因此,可獲得用於影像感測器之每一像素的色度資訊。
在說明性實施例之以下論述中,術語「影像感測器件」包括(但不限於)可擷取靜態或移動影像之任何電子器件。影像感測器件可利用類比或數位感測器或其組合來擷取影像。在一些實施例中,影像感測器件可經組態以將擷取到之影像轉換為數位影像資料或促進該轉換。影像感測器件可裝在各種電子器件中,該等電子器件包括(但不限於)數位相機、個人電腦、個人數位助理(PDA)、行動電話或可經組態以處理影像資料之任何其他器件。
圖1為說明包括實例影像感測器件100之電子器件10之一實施例的某些組件之功能方塊圖。電子器件10可包括處理單元12、儲存器14、通信介面20、影像感測器件100、輸出器件24及通信路徑16。通信路徑16(其可為數位匯流排)可耦接兩個或兩個以上系統組件,該等系統組件包括(但不限於)儲存器14及處理單元12。其他實施例可包括更多或更少的組件。
如圖1中所示,影像感測器件100可經組態以接收入射光並將其轉換為一或多個影像信號。影像信號可為數位信號、類比信號或數位信號及類比信號兩者。在一實施例中,影像感測器件100可經由通信路徑16將影像信號傳輸至儲存器14,該儲存器14可在將自影像感測器件100所接收之影像信號輸送至處理單元12之前或之後儲存該等信號。或者,可將影像信號自影像感測器件100傳輸至處理單元12,而繞過儲存器14。在任一情況下,處理單元12可使用影像信號來建構全色影像。在一實施例中,彩色影像可為包括影像之每一像素之色彩資訊的數位影像。作為此過程之部分,處理單元12可調整影像資料之色值,或以其他方式處理影像資料。可將最終全色影像輸出至整合於成像器件中或在成像器件外部的輸出器件24,或者可將其儲存於儲存器14中。同樣,可使最終影像可供在影像感測器件100內或在影像感測器件100外部列印或儲存。
儲存器14可有形地體現可致使電子器件10之一或多個組件(例如,影像感測器件組件100)以如本文所描述之預定義方式操作的一或多個程式、函式及/或指令。儲存器14可包括可卸除式或固定式、揮發性或非揮發性、或者永久或可重寫之電腦儲存媒體。儲存器14可為可由通用或專用計算或影像處理器件存取之任何可用媒體。作為實例而非限制,此電腦可讀媒體可包括快閃記憶體、隨機存取記憶體、唯讀記憶體、電可抹除可程式化唯讀記憶體、光碟儲存器、磁性儲存器或可用以儲存數位資訊之任何其他媒體。
在一實施例中,處理單元12(其可專用於影像處理或可包含其他功能)可經組態以將影像信號轉換為數位信號。處理單元12可為各種市售處理器中之任一者(包括(但不限於)微處理器、中央處理單元等),且可包括多個處理器及/或共處理器。其他實施例可包括經組態以執行所描述之處理單元之功能的韌體或軟體。在一些實施例中,通信介面20可促進電子器件10與另一器件(諸如主機電腦或伺服器)之間的資料交換。
在一些實施例中,電子器件10可進一步包括輸出器件24,其經組態以接收來自影像感測器件100之影像信號並顯示該等影像信號以供檢視。輸出器件24可為能夠顯示影像信號之任何類型之組件,包括(但不限於)液晶顯示器、發光二極體顯示器、電漿顯示器、有機發光二極體顯示器等。在其他實施例中,輸出器件24可不駐留於電子器件10中,而可為可連接至電子器件10以接收影像信號之單獨組件,諸如監視器、電視機、投影儀等。
圖2為用於擷取及儲存影像資料之影像感測器件100之一實施例的功能方塊圖。在一實施例中,如圖1中所示,影像感測器件100可為電子器件10內之組件。然而,在其他實施例中,影像感測器件100可為相較於圖1中所示之器件10可包括額外或更少的組件之其他類型電子器件內的組件。舉例而言,影像感測器件100可用於獨立數位相機、媒體播放器、行動電話等等中。
如圖2中所示,影像感測器件100可包括透鏡組合件102、第一色度感測器140、照度感測器141、第二色度感測器142及影像處理模組110。在一實施例中,透鏡組合件102可包括三個平行透鏡鏈104、105、106。每一透鏡鏈104、105、106可具有一或多個光學對準之透鏡元件103。在一實施例中,平行透鏡鏈104、105、106可經組態以接收入射光101並使光123a、123b、123c折射至照度感測器141及第一色度感測器140及第二色度感測器142。透鏡鏈104、105、106可各自經組態以將光傳輸至相關聯之照度或色度感測器140、141、142。照度感測器141可經組態以擷取藉由其相應平行透鏡鏈105所傳遞之入射光之照度分量。另外,色度感測器140、142中之每一者可經組態以擷取與藉由其相應平行透鏡鏈104、106所傳遞入射光有關之色彩資料。在一實施例中,色度感測器140、142可感測影像之R(紅色)、G(綠色)及B(藍色)分量,並處理此等分量以導出色度資訊。
在一實施例中,透鏡組合件102可包括具有用於每一平行透鏡鏈104、105、106之一或多個單獨透鏡元件103之透鏡區塊。根據一些實施例,透鏡組合件102之每一透鏡元件103可為非球面透鏡,且/或可與相對透鏡鏈中之其他相應透鏡元件103由相同模製穴模製而成。另外,各種平行透鏡鏈104、105、106之對應位置中之模製透鏡可由同一模穴形成。此可用於在每一透鏡鏈接收同一入射光時最小化所產生影像差,諸如幾何差異及徑向失光(light fall-off)。然而,在其他實施例中,透鏡元件可能並非由同一穴模製而成。舉例而言,可使用多穴模製工具來製造透鏡元件。在其他實施例中,特定透鏡鏈內之透鏡103可彼此不同,或者透鏡元件103在各透鏡鏈間可能不同。舉例而言,一透鏡元件相較於一不同透鏡鏈中之對應元件可組態有較大孔徑開口,以便將較高強度光傳輸至一感測器。
第一色度感測器140可包括第一濾光片115及與第一濾光片115相關聯之第一影像感測器120。照度感測器141可具有第二濾光片116及與第二濾光片116相關聯之第二影像感測器121。第二色度感測器142可具有第三濾光片117及與第三濾光片117相關聯之第三影像感測器122。在一實施例中,照度感測器141及兩個色度感測器140、142可為單獨的積體電路。然而,在其他實施例中,照度及色度感測器可形成於同一電路上且/或形成於單一板或其他元件上。
如圖2中所示,濾光片115、116、117可定位於第一影像感測器120、第二影像感測器121及第三影像感測器122與物件之間,以使得自物件反射之光通過濾光片115、116、117並照射到相應影像感測器120、121、122。影像感測器120、121、122可為能夠偵測各種波長的光之任何電子感測器,諸如在數位相機、數位視訊攝影機、行動電話及個人數位助理、web相機等等中常用的電子感測器。
在一實施例中,第一影像感測器120、第二影像感測器121及第三影像感測器122可由色敏像素之陣列形成。即,影像感測器120、121、122之每一像素可偵測組成可見光之各種波長中之至少一者。由每一此像素產生之信號可取決於照射到該像素之光的波長而變化,以使得該陣列可因此再生該物件之複合影像213。在一實施例中,第一影像感測器120、第二影像感測器121及第三影像感測器122可具有大體上相同之像素陣列組態。舉例而言,第一影像感測器120、第二影像感測器121及第三影像感測器122可具有相同數目個像素、相同像素縱橫比、相同像素配置及/或相同像素大小。然而,在其他實施例中,第一影像感測器120、第二影像感測器121及第三影像感測器122可具有不同數目個像素、不同像素大小及/或不同佈局。舉例而言,在一實施例中,兩個色度感測器140、142之第一影像感測器120及第三影像感測器122相較於照度感測器141之第二影像感測器121可具有較小數目個像素,或者反之亦然,或者像素配置在該等感測器之間可能不同。
如上文所提及,第一濾光片115及第三濾光片117可覆蓋第一影像感測器120及第三影像感測器122且允許該等影像感測器擷取所感測影像之色度部分,例如,色度影像125a及125c。類似地,第二濾光片116可覆蓋第二影像感測器121且允許影像感測器121擷取所感測影像之照度部分,例如,照度影像125b。可將照度影像125b連同色度影像125a及125c一起傳輸至影像處理模組110。如下文將進一步描述,影像處理模組110可組合由照度感測器141擷取且自照度感測器141所傳輸之照度影像125b與由色度感測器140、142擷取且自色度感測器140、142所傳輸之色度影像125a、125c,以輸出複合影像213。
在一實施例中,影像之照度可以如下方式表示為影像之紅色、綠色及藍色波長之加權總和:
L=0.59G+0.3R+0.11B
其中L為照度,G為偵測到之綠光,R為偵測到之紅光,及B為偵測到之藍光。影像之色度部分可為全色影像與照度影像之間的差。因此,全色影像可為影像之色度部分與影像之照度部分組合而成。色度部分可藉由對影像之R、G及B分量之數學處理而導出,且可表示為用於影像感測器之每一像素之兩個信號或一個二維向量。舉例而言,色度部分可由兩個單獨分量Cr及Cb來定義,其中Cr可與偵測到照度較小之偵測到之紅光成比例,且其中Cb可與偵測到照度較小之偵測到之藍光成比例。在一些實施例中,第一色度感測器140及第二色度感測器142可經組態以偵測紅光及藍光而不偵測綠光(例如,藉由用紅色及藍色濾光片陣列覆蓋第一影像感測器120及第三影像感測器122之像素元件)。可以棋盤式型樣的紅色及藍色濾光片部分來完成此操作。在其他實施例中,濾光片可包括拜耳型樣(Bayer-pattern)濾光片陣列,該陣列包括紅色、藍色及綠色濾光片。或者,濾光片可為CYGM(青色、黃色、綠色、洋紅)或RGBE(紅色、綠色、藍色、祖母綠)濾光片。
如上文所論述,相較於彩色影像之色度部分,彩色影像之照度部分對總體彩色影像解析度之影響可較大。在一些實施例中,照度感測器141可為相較於照度感測器140、142之像素數具有較高像素數之影像感測器121。因此,由照度感測器141產生之照度影像125b相較於由色度感測器140、142產生之色度影像125a、125c可為較高解析度影像。在其他實施例中,照度影像125b相較於色度影像125a、125c可以較高解析度來儲存或以較高頻寬來傳輸。在一些實施例中,可將色度影像125a、125c減少頻寬、次取樣、壓縮或以其他方式單獨處理,以縮短處理色度影像125a、125c所需的時間量並改良影像感測器件100之總效率或效能。
將照度感測器141與色度感測器140、142分開來控制之能力可以多種方式擴展影像感測器件100之效能。根據一些實施例,色度感測器140、142可經組態以將色度影像125a、125c產生為較低解析度影像,而不產生複合影像213之人類可察覺之降級,尤其是在複合影像213經壓縮(例如,使用JPEG壓縮)的情況下。在另一實施例中,色度感測器140、142可相較於色度感測器121使用較大透鏡孔徑或較低圖框速率,其可改良在較低照度級下(例如,較低強度級之入射光101下)之操作。在其他實施例中,色度感測器140、142可使用較短曝光時間以減少運動模糊。
在一些實施例中,照度感測器141可能並無任何濾光片116,或可使用與彩色濾光片115、117之光傳輸相比具有增加之光傳輸的濾光片。熟悉此項技術者將理解,沒有濾光片或使用具有增加之光傳輸之濾光片的影像感測器可偵測入射光之大體上全部強度且允許較小像素,同時每秒吸收相同數目個光子。此可准許影像感測器121具有較高取樣率、改良之光效率及/或敏感度。舉例而言,照度感測器141可經組態以感測任一波長之光且在大體上所有像素位置處感測光。在其他實施例中,照度感測器141可包括必要時使光衰減以自感測器產生匹配於人眼之回應的回應之濾光片116。舉例而言,在一實施例中,濾光片116可產生模擬人眼之反應之加權函數。
可以各種方式使用藉由感測影像之全部或大體上全部照度而提供之照度感測器141的增加之敏感度,以擴展影像感測器件100及其複合影像213之效能。舉例而言,具有相對較小像素之影像感測器可經組態以均分圖框或在較高圖框速率下操作。另外,可藉由使用較少的類比及/或數位增益而減小雜訊位準,以改良影像壓縮及影像解析度。可使用較小透鏡孔徑來增加場深度。可在較暗環境照明條件下擷取影像。
在一些實施例中,照度及色度感測器140、141、142中之任何兩者之視場可偏移,以使得所產生影像125a、125b、125c略有不同。如上文所論述,影像處理模組110可組合由照度感測器141擷取且自照度感測器141所傳輸之照度影像125b與由第一色度感測器140及第二色度感測器142擷取且自第一色度感測器140及第二色度感測器142所傳輸之第一色度影像125a及第二色度影像125c,以輸出複合影像213。如下文將進一步論述,影像處理模組110可使用多種技術來考量高解析度照度影像125b與第一色度影像125a及第二色度影像125c之間的差以形成複合影像213。
在一實施例中,第一色度感測器140及第二色度感測器142可彼此偏移,且影像處理模組110可經組態以補償由感測器擷取之影像125a、125c之間的差。在一些實施例中,可藉由比較第一色度影像125a與第二色度影像125c以形成兩個色度影像125a、125c之間的立體像差圖(stereo disparity map)來實現此操作。立體像差圖可為深度圖,其中影像中之物件之深度資訊係自偏移之第一色度影像125a及第二色度影像125c導出。此資訊可用以估計影像中之各物件之間的近似距離,該等近似距離又可用以大體上對準第一色度影像125a及第二色度影像125c。在一些實施例中,影像處理模組110可進一步比較照度影像125b與色度影像125a、125c中之一者或兩者,以形成照度影像125b與色度影像125a、125c之間的其他立體像差圖。或者,影像處理模組110可經組態以改進最初僅使用兩個色度感測器所產生之立體像差圖之準確度。在此三感測器方法之一實施例中,色度感測器可為全拜耳陣列感測器。
根據一些實施例,影像處理模組110可使用立體像差圖來產生第一色度影像125a及第二色度影像125c中之至少一者之故意幾何失真,以便補償場深度效應或立體效應。由影像感測器件100擷取之一些影像在距透鏡組合件202之多種工作距離處可具有許多同時所關注物件。第一色度影像125a及第二色度影像125c之對準可因此包括在需要對準時使用特定扭曲函數來扭曲一影像以匹配於其他影像。舉例而言,可使用第一色度影像125a及第二色度影像125c導出扭曲函數,第一色度影像125a及第二色度影像125c除場深度效應及立體效應之外,可為大體上相同的影像。在一實施例中,用於確定扭曲函數之演算法可基於:尋找第一色度影像125a及第二色度影像125c中之基準,且接著確定像素陣列中各基準之間的距離。一旦已確定扭曲函數,即可「扭曲」第一色度影像126a且將其與第二色度影像126b組合。在一些實施例中,可進一步「扭曲」第一色度影像125a及第二色度影像125c且將其與照度影像125b組合,以形成複合影像213。在其他實施例中,影像處理模組110可經組態以藉由選擇性地裁剪影像125a、125b、125c中之至少一者來對準此等影像,該裁剪操作係藉由識別第一色度影像125a及第二色度影像125c之視場中之基準或藉由將校準資料用於影像處理模組110。在又一實施例中,可組合兩個色度影像125a、125c,以使得經組合之色度影像之有效視場與照度感測器之視場相同。
圖3說明歸因於近場物件的盲區,其對應於展示於圖2中之影像感測器件之實施例。如圖3中所示,第一色度感測器140及第二色度感測器142之視場可偏移,以使得第一色度影像125a及第二色度影像125c不同。舉例而言,第一色度感測器140及第二色度感測器142之視場可水平或垂直偏移。在其他實施例中,第一色度感測器及第二色度感測器之視場可對角偏移或以其他方式偏移。一旦偏移,第一色度感測器140及第二色度感測器142之視場即可僅部分重疊。在其他實施例中,第一色度感測器140及第二色度感測器142之視場可完全重疊。
照度感測器141之視場亦可自第一色度感測器140及第二色度感測器142之視場水平、垂直、對角或以其他方式偏移。在一實施例中,照度感測器141之視場可自第一色度感測器140及第二色度感測器142之視場偏移,以使得第一色度感測器140之視場可與照度感測器141之視場僅部分重疊,且第二色度感測器142之視場可與照度感測器141之視場僅部分重疊。在其他實施例中,第一色度感測器140及第二色度感測器142及照度感測器141之視場可完全重疊。
照度及色度感測器140、141、142中之每一者可具有歸因於近場物件207之盲區201、203、205,該近場物件207可部分或完全遮擋該等感測器之視場。舉例而言,近場物件207可阻擋感測器140、141、142之視場以阻止感測器140、141、142偵測到背景或遠場物件209的部分或全部,該背景或遠場物件209相較於近場物件定位成距感測器140、141、142較遠。
在一實施例中,色度感測器140、142可經定位以使得色度感測器140、142之盲區201、205不重疊。因此,歸因於近場物件207而自色度感測器140、142中之一者遺漏之色度資訊在許多情況下可由影像感測器件之另一色度感測器140、142擷取。如先前所描述,可接著組合擷取到之色彩資訊與來自照度感測器141之照度資訊,且將其併入於最終影像中。歸因於色度感測器之偏移盲區,可藉由確保在必要情況下由色度感測器140、142中之至少一者供應色彩資訊而在最終影像中減少立體成像假影(artifact)。換言之,可由色度感測器140、142中之至少一者供應用於照度感測器141之像素中之每一者的色彩資訊。三感測器影像感測器件因此(例如)在R-B濾光片陣列與色度感測器結合使用時可為有用的,且來自照度感測器之照度影像可為計算影像之色度分量所需要的或有助於計算影像之色度分量。
多個色度影像125a、125c之產生可產生更準確之立體像差圖,從而導致經組合以形成複合影像213的照度及色度影像125a、125b、125c之對準更準確。舉例而言,用於產生立體像差圖之許多演算法使用色彩來使來自一影像之點或特徵匹配於另一影像中之相同點或特徵。因此,與僅能夠產生單一色度影像之影像感測器件相比,由第一色度感測器140及第二色度感測器142產生之色度影像可允許產生更準確的立體像差圖。另外,一些實施例亦可比較由照度感測器141產生之照度影像125b與由色度感測器140、142產生之彩色影像125a、125c中之每一者,以產生彩色影像與色度影像之間的額外像差圖。此可進一步增強影像感測器件之準確地對準照度及色彩影像以形成複合影像213之能力。
影像感測器件之其他實施例可包括色度及照度感測器之其他組態。舉例而言,在一實施例中,照度及色度感測器140、141、142可經定位以使得盲區201、203、205針對照度及色度感測器140、141、142中之每一者可能不同。在一些實施例中,照度及色度感測器之盲區201、203、205可能完全不重疊。在其他實施例中,色度感測器140、142之盲區可彼此部分或完全重疊。
仍參考圖3,照度相機141可定位於色度感測器140、142之間,以使得照度感測器141之盲區203可處於第一色度感測器140及第二色度感測器142之盲區205、201之間。此組態可防止或減少第一色度感測器140及第二色度感測器142的盲區205、201之間的重疊,同時亦允許感測器於影像感測器件內之更緊湊配置。然而,在其他實施例中,照度相機141可定位成鄰近於色度感測器140、142中之一者或兩者,而非處於該等感測器中間。
圖4為根據一些實施例之用於使用單獨的照度及色度感測器來擷取影像之例示性方法400的流程圖。在步驟402之操作中,可由第一色度影像感測器將入射光擷取為第一色度影像。在一實施例中,第一色度影像感測器可經組態以擷取低解析度影像。第一色度影像感測器可經組態以擷取入射光之色度及照度部分。在步驟404之操作中,可由第二色度影像感測器將入射光擷取為第二色度影像。在一實施例中,第二色度影像感測器可經組態以擷取低解析度影像。第一色度影像感測器可自第二色度影像感測器偏移,以使得第一色度影像感測器及第二色度影像感測器之盲區不重疊或者僅部分重疊。
在步驟406之操作中,可由照度影像感測器將入射光擷取為照度影像。在一實施例中,照度影像相較於由第一色度影像感測器及第二色度影像感測器擷取到之色度影像可具有較高數目個像素或可為較高解析度影像。在步驟408之操作中,可組合第一色度影像與第二色度影像以形成立體像差圖。在一些實施例中,來自第一色度影像及第二色度影像之色度資訊可用以識別第一色度影像及第二色度影像中之相同點或像素。在步驟410之操作中,可組合第一色度影像、第二色度影像及照度影像以形成複合影像。在一些實施例中,組合該等影像可包括使用諸如幾何失真及影像裁剪(image cropping)之技術來大體上對準該等影像。舉例而言,可比較照度影像與第一色度影像及第二色度影像中之每一者,以確定適當地組合該兩個影像以形成複合影像所需之適當扭曲函數。
除非另有規定,否則本文所說明及描述之方法之執行次序並非必需。即,除非另有規定,否則該等方法之元件可以任何次序執行,且該等方法可包括相較於本文所揭示之元件之更多或更少的元件。舉例而言,在另一元件之前、與另一元件同時或在另一元件之後執行一特定元件意欲均為可能的執行順序。
相同參考數字在不同圖式中之使用指示相似或相同的項目。
10...電子器件
12...處理單元
14...儲存器
16...通信路徑
20...通信介面
24...輸出器件
100...影像感測器件
101...入射光
102...透鏡組合件
103...光對準透鏡元件
104...平行透鏡鏈
105...平行透鏡鏈
106...平行透鏡鏈
110...影像處理模組
115...第一濾光片
116...第二濾光片
117...第三濾光片
120...第一影像感測器
121...第二影像感測器
122...第三影像感測器
123a...光
123b...光
123c...光
125a...色度影像
125b...照度影像
125c...色度影像
140...第一色度感測器
141...照度感測器
142...第二色度感測器
201...盲區
203...盲區
205...盲區
207...近場物件
209...遠場物件
213...複合影像
400...用於使用單獨的照度及色度感測器來擷取影像之例示性方法
圖1為說明包括影像感測器件之一實施例之系統的某些組件之功能方塊圖;
圖2為展示於圖1中之影像感測器件之實施例的功能方塊圖;
圖3說明歸因於近場物件的盲區,其對應於展示於圖2中之影像感測器件之實施例;及
圖4為用於使用照度及色度感測器來擷取影像之方法的流程圖。
10‧‧‧電子器件
12‧‧‧處理單元
14‧‧‧儲存器
16‧‧‧通信路徑
20‧‧‧通信介面
24‧‧‧輸出器件
100‧‧‧影像感測器件

Claims (18)

  1. 一種影像感測器件,其包含:一第一影像感測器,其用於擷取一照度影像;一第二影像感測器,其用於擷取一第一色度影像;一第三影像感測器,其用於擷取一第二色度影像;及一影像處理模組,其用於組合該照度影像、該第一色度影像及該第二色度影像,以形成一複合影像,其中該影像處理模組經組態以自該第一色度影像及該第二色度影像產生一第一立體像差圖;且該影像處理模組進一步經組態以依據形成該複合影像基於該立體像差圖而大體上對準該第一色度影像及該第二色度影像。
  2. 如請求項1之影像感測器件,其中該第一影像感測器定位於該第二影像感測器與該第三影像感測器之間。
  3. 如請求項1之影像感測器件,其中該第二影像感測器擷取一第一視場,且該第三影像感測器擷取一第二視場;且該第一視場自該第二視場偏移。
  4. 如請求項3之影像感測器件,其中該第一影像感測器擷取一第三視場;且該第三視場自該第一視場及該第二視場偏移。
  5. 如請求項1之影像感測器件,其中該影像處理模組經組態以自該第一色度影像及該照度影像產生一第二立體像差圖,且自該第二色度影像及該照度影像產生一第三立 體像差圖。
  6. 如請求項1之影像感測器件,其中該第二影像感測器或該第三影像感測器包括一型樣的紅色及藍色濾光片。
  7. 如請求項1之影像感測器件,其中該第二影像感測器或該第三影像感測器包括一拜耳型樣濾光片。
  8. 一種用於感測一影像之方法,該方法包含:藉由一第一感測器產生一照度影像;藉由一第二感測器產生一第一色度影像;藉由一第三感測器產生一第二色度影像;組合該照度影像與該第一色度影像及該第二色度影像,以產生一複合影像,其中組合該照度影像與該第一色度影像及該第二色度影像包括自該第一色度影像及該第二色度影像產生一第一立體像差圖及基於該第一立體像差圖而大體上對準該第一色度影像及該第二色度影像。
  9. 如請求項8之方法,其中該第一感測器相較於該第二感測器具有一較高像素數。
  10. 如請求項8之方法,其中該第一感測器相較於該第三感測器具有一較高像素數。
  11. 如請求項8之方法,其進一步包含:自該第一色度影像及該照度影像產生一第二立體像差圖;及自該第二色度影像及該照度影像產生一第三立體像差圖,其中基於該第二立體像差圖及該第三立體像差圖而 組合該照度影像與該第一色度影像及該第二色度影像。
  12. 如請求項8之方法,其中該組合步驟包含大體上對準該第一色度影像及該第二色度影像與該照度影像。
  13. 如請求項12之方法,其中該大體上對準包含扭曲該第一色度影像及該第二色度影像。
  14. 一種影像感測器件,其包含:一第一影像感測器,其用於擷取一照度影像,該第一影像感測器具有歸因於一近場物件之一第一盲區;一第二影像感測器,其用於擷取一第一色度影像,該第二影像感測器具有歸因於該近場物件之一第二盲區;一第三影像感測器,其用於擷取一第二色度影像,該第三影像感測器具有歸因於該近場物件之一第三盲區;及一影像處理模組,其用於組合由該第一影像感測器擷取之該照度影像、該第一色度影像及該第二色度影像,以形成一複合影像;其中該第二影像感測器之該第二盲區自該第三影像感測器之該第三盲區偏移,其中形成該複合影像包括以來自歸因於該第二盲區而缺乏色度資訊之該第一色度影像之部分中之該第二色度影像之色度資訊補充該第一色度影像。
  15. 如請求項14之影像感測器件,其中該第一影像感測器定位於該第二影像感測器與該第三影像感測器之間。
  16. 如請求項14之影像感測器件,其中該第二盲區不與該第 三盲區重疊。
  17. 如請求項14之影像感測器件,其中該第一盲區自該第二盲區及該第三盲區中之至少一者偏移。
  18. 如請求項17之影像感測器件,其中該第一影像感測器相較於該第二影像感測器為一較高解析度感測器。
TW100127451A 2010-08-17 2011-08-02 影像感測器件及使用照度及色度感測器之影像擷取之方法 TWI468021B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/857,903 US8497897B2 (en) 2010-08-17 2010-08-17 Image capture using luminance and chrominance sensors

Publications (2)

Publication Number Publication Date
TW201215166A TW201215166A (en) 2012-04-01
TWI468021B true TWI468021B (zh) 2015-01-01

Family

ID=44583380

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100127451A TWI468021B (zh) 2010-08-17 2011-08-02 影像感測器件及使用照度及色度感測器之影像擷取之方法

Country Status (6)

Country Link
US (1) US8497897B2 (zh)
EP (1) EP2589226B1 (zh)
KR (1) KR101340688B1 (zh)
CN (1) CN102378015B (zh)
TW (1) TWI468021B (zh)
WO (1) WO2012024044A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8405727B2 (en) * 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
US8538084B2 (en) 2008-09-08 2013-09-17 Apple Inc. Method and apparatus for depth sensing keystoning
US8610726B2 (en) * 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
US7881603B2 (en) * 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
US20100079426A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Spatial ambient light profiling
US20100079653A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Portable computing system with a secondary image output
US8527908B2 (en) 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
US8619128B2 (en) * 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
US8502926B2 (en) * 2009-09-30 2013-08-06 Apple Inc. Display system having coherent and incoherent light sources
US8687070B2 (en) 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity
WO2012148919A2 (en) 2011-04-25 2012-11-01 Skybox Imaging, Inc. Systems and methods for overhead imaging and video
WO2013054160A1 (en) * 2011-10-11 2013-04-18 Sony Ericsson Mobile Communications Ab Light sensitive, low height, and high dynamic range camera
CN104010183B (zh) * 2012-11-21 2017-03-01 豪威科技股份有限公司 包括至少一个拜耳型摄像机的阵列系统及关联的方法
EP2757527B1 (en) * 2013-01-16 2018-12-12 Honda Research Institute Europe GmbH System and method for distorted camera image correction
US9769365B1 (en) 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
US9356061B2 (en) 2013-08-05 2016-05-31 Apple Inc. Image sensor with buried light shield and vertical gate
US9473708B1 (en) 2013-08-07 2016-10-18 Google Inc. Devices and methods for an imaging system with a dual camera architecture
US9294662B2 (en) * 2013-10-16 2016-03-22 Broadcom Corporation Depth map generation and post-capture focusing
JP2015079208A (ja) * 2013-10-18 2015-04-23 ソニー株式会社 画像表示装置、及び制御方法
US9706116B2 (en) 2013-10-31 2017-07-11 Ricoh Co., Ltd. Plenoptic color imaging system with enhanced resolution
CN103595982A (zh) * 2013-11-07 2014-02-19 天津大学 基于灰度和彩色两颗传感器的彩色图像采集装置
GB2533750B (en) * 2013-12-11 2020-03-18 Mitsubishi Electric Corp Image processing apparatus and method, and program and recording medium
KR102144588B1 (ko) 2014-05-09 2020-08-13 삼성전자주식회사 센서 모듈 및 이를 구비한 장치
US9225889B1 (en) 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
WO2016153914A1 (en) 2015-03-25 2016-09-29 King Abdulaziz City Of Science And Technology Apparatus and methods for synthetic aperture radar with digital beamforming
CN108432049B (zh) 2015-06-16 2020-12-29 阿卜杜拉阿齐兹国王科技城 有效平面相控阵列天线组件
KR102457724B1 (ko) * 2015-09-22 2022-10-24 삼성전자주식회사 영상 처리를 수행하기 위한 방법 및 그 전자 장치
KR102480600B1 (ko) 2015-10-21 2022-12-23 삼성전자주식회사 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
US10955546B2 (en) 2015-11-25 2021-03-23 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
CN105959667A (zh) * 2016-07-06 2016-09-21 南京捷特普智能科技有限公司 一种三维图像采集装置及系统
WO2018039985A1 (en) * 2016-08-31 2018-03-08 Huawei Technologies Co., Ltd. Multi camera system for zoom
CA3064586A1 (en) 2017-05-23 2018-11-29 King Abdullah City Of Science And Technology Synthetic aperture radar imaging apparatus and methods for moving targets
US11506778B2 (en) 2017-05-23 2022-11-22 Spacealpha Insights Corp. Synthetic aperture radar imaging apparatus and methods
US10300573B2 (en) 2017-05-24 2019-05-28 Trimble Inc. Measurement, layout, marking, firestop stick
US10341618B2 (en) 2017-05-24 2019-07-02 Trimble Inc. Infrastructure positioning camera system
US10406645B2 (en) * 2017-05-24 2019-09-10 Trimble Inc. Calibration approach for camera placement
US11525910B2 (en) 2017-11-22 2022-12-13 Spacealpha Insights Corp. Synthetic aperture radar apparatus and methods
TWI667620B (zh) * 2018-01-25 2019-08-01 國立臺灣大學 蟲害監控系統
CN108769635B (zh) * 2018-05-30 2020-01-21 Oppo(重庆)智能科技有限公司 拍摄装置、电子设备及图像获取方法
DE102019134142A1 (de) * 2018-12-12 2020-06-18 Analog Devices, Inc. Eingebaute kalibrierung von laufzeittiefenbildgebungssystemen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757423A (en) * 1993-10-22 1998-05-26 Canon Kabushiki Kaisha Image taking apparatus
US20050134698A1 (en) * 2003-12-18 2005-06-23 Schroeder Dale W. Color image sensor with imaging elements imaging on respective regions of sensor elements
US20060083421A1 (en) * 2004-10-14 2006-04-20 Wu Weiguo Image processing apparatus and method
US20060125936A1 (en) * 2004-12-15 2006-06-15 Gruhike Russell W Multi-lens imaging systems and methods

Family Cites Families (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3363104A (en) 1965-10-01 1968-01-09 North American Aviation Inc Detection system for coherent light beams
GB1356730A (en) 1971-09-09 1974-06-12 Wandel & Goltermann System for the documentary recording with x-y-recorder
US4620222A (en) 1982-11-10 1986-10-28 Matsushita Electric Industrial Co., Ltd. Digital color TV camera
JPS612490A (ja) 1984-06-14 1986-01-08 Sony Corp 記録装置
US5272473A (en) 1989-02-27 1993-12-21 Texas Instruments Incorporated Reduced-speckle display system
US5274494A (en) 1991-04-25 1993-12-28 Hughes Aircraft Company Speckle suppression illuminator
GB9125954D0 (en) 1991-12-06 1992-02-05 Vlsi Vision Ltd Electronic camera
JPH05164687A (ja) 1991-12-18 1993-06-29 Hamamatsu Photonics Kk レシオイメージング装置
JPH089309A (ja) 1994-06-23 1996-01-12 Canon Inc 表示方法及び装置
JPH11102438A (ja) 1997-09-26 1999-04-13 Minolta Co Ltd 距離画像生成装置及び画像表示装置
US6611289B1 (en) * 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US6560711B1 (en) 1999-05-24 2003-05-06 Paul Given Activity sensing interface between a computer and an input peripheral
US6282655B1 (en) 1999-05-24 2001-08-28 Paul Given Keyboard motion detector
US6339429B1 (en) 1999-06-04 2002-01-15 Mzmz Technology Innovations Llc Dynamic art form display apparatus
JP3509652B2 (ja) 1999-08-23 2004-03-22 日本電気株式会社 プロジェクタ装置
US7123292B1 (en) * 1999-09-29 2006-10-17 Xerox Corporation Mosaicing images with an offset lens
US7028269B1 (en) 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
GB2359895B (en) 2000-03-03 2003-09-10 Hewlett Packard Co Camera projected viewfinder
US7213254B2 (en) 2000-04-07 2007-05-01 Koplar Interactive Systems International Llc Universal methods and device for hand-held promotional opportunities
KR100374784B1 (ko) * 2000-07-19 2003-03-04 학교법인 포항공과대학교 실시간 입체 영상 정합 시스템
US6924909B2 (en) 2001-02-20 2005-08-02 Eastman Kodak Company High-speed scanner having image processing for improving the color reproduction and visual appearance thereof
JP3640173B2 (ja) 2001-04-02 2005-04-20 ソニー株式会社 画像表示装置
JP2002354493A (ja) 2001-05-25 2002-12-06 Canon Inc 多眼多板式撮像装置
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US7352913B2 (en) 2001-06-12 2008-04-01 Silicon Optix Inc. System and method for correcting multiple axis displacement distortion
US7079707B2 (en) 2001-07-20 2006-07-18 Hewlett-Packard Development Company, L.P. System and method for horizon correction within images
US6862022B2 (en) 2001-07-20 2005-03-01 Hewlett-Packard Development Company, L.P. Method and system for automatically selecting a vertical refresh rate for a video display monitor
US20030038927A1 (en) 2001-08-27 2003-02-27 Alden Ray M. Image projector with integrated image stabilization for handheld devices and portable hardware
US6636292B2 (en) 2001-09-05 2003-10-21 Eastman Kodak Company Printing apparatus for photosensitive media having a hybrid light source
US6870684B2 (en) 2001-09-24 2005-03-22 Kulicke & Soffa Investments, Inc. Multi-wavelength aperture and vision system and method using same
JP2003143459A (ja) 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
US20030117343A1 (en) 2001-12-14 2003-06-26 Kling Ralph M. Mobile computer with an integrated micro projection display
US7460179B2 (en) 2002-01-31 2008-12-02 Hewlett-Packard Development Company, L.P. Adaptive image display
US6930669B2 (en) 2002-03-18 2005-08-16 Technology Innovations, Llc Portable personal computing device with fully integrated projection display system
US6931601B2 (en) 2002-04-03 2005-08-16 Microsoft Corporation Noisy operating system user interface
JP2003299113A (ja) * 2002-04-04 2003-10-17 Canon Inc 撮像装置
GB0208654D0 (en) 2002-04-16 2002-05-29 Koninkl Philips Electronics Nv Image processing for video or photographic equipment
WO2003107090A1 (en) 2002-06-12 2003-12-24 Silicon Optix, Inc. Automatic keystone correction system and method
US20050132408A1 (en) 2003-05-30 2005-06-16 Andrew Dahley System for controlling a video display
US7434220B2 (en) 2002-09-16 2008-10-07 Clearcube Technology, Inc. Distributed computing infrastructure including autonomous intelligent management system
US7058234B2 (en) 2002-10-25 2006-06-06 Eastman Kodak Company Enhancing the tonal, spatial, and color characteristics of digital images using expansive and compressive tone scale functions
US6807010B2 (en) 2002-11-13 2004-10-19 Eastman Kodak Company Projection display apparatus having both incoherent and laser light sources
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US6921172B2 (en) 2003-07-02 2005-07-26 Hewlett-Packard Development Company, L.P. System and method for increasing projector amplitude resolution and correcting luminance non-uniformity
US7453510B2 (en) 2003-12-11 2008-11-18 Nokia Corporation Imaging device
JP2005197792A (ja) * 2003-12-26 2005-07-21 Canon Inc 画像処理方法、画像処理装置、プログラム、記憶媒体及び画像処理システム
US6970080B1 (en) 2003-12-31 2005-11-29 Crouch Shawn D Computer shut down system
US20050182962A1 (en) 2004-02-17 2005-08-18 Paul Given Computer security peripheral
US20070177279A1 (en) 2004-02-27 2007-08-02 Ct Electronics Co., Ltd. Mini camera device for telecommunication devices
US20050280786A1 (en) 2004-06-22 2005-12-22 Jean-Paul Moiroux Integrated computer and projector system
TWI244861B (en) 2004-07-06 2005-12-01 Asia Optical Co Inc Device and method for optical center detection
EP1672460B1 (en) 2004-12-15 2009-11-25 STMicroelectronics (Research & Development) Limited Computer user detection apparatus
JP4196942B2 (ja) 2004-12-21 2008-12-17 セイコーエプソン株式会社 撮像装置及びこれを備えた携帯電話機
US7561731B2 (en) * 2004-12-27 2009-07-14 Trw Automotive U.S. Llc Method and apparatus for enhancing the dynamic range of a stereo vision system
US7653304B2 (en) 2005-02-08 2010-01-26 Nikon Corporation Digital camera with projector and digital camera system
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP2006245726A (ja) 2005-03-01 2006-09-14 Fuji Photo Film Co Ltd デジタルカメラ
US20080191864A1 (en) 2005-03-31 2008-08-14 Ronen Wolfson Interactive Surface and Display System
CN101923277B (zh) 2005-04-28 2012-07-18 株式会社日立制作所 投射型图像显示装置
US20070027580A1 (en) 2005-07-14 2007-02-01 Ligtenberg Chris A Thermal control of an electronic device for adapting to ambient conditions
EP1906451A4 (en) 2005-07-21 2011-12-21 Panasonic Corp ILLUSTRATION DEVICE
KR20080035601A (ko) 2005-08-08 2008-04-23 코니카 미놀타 옵토 인코포레이티드 촬상 장치 및 촬상 장치의 조립 방법
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
WO2007035720A2 (en) 2005-09-20 2007-03-29 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
US7413311B2 (en) 2005-09-29 2008-08-19 Coherent, Inc. Speckle reduction in laser illuminated projection displays having a one-dimensional spatial light modulator
US7629897B2 (en) 2005-10-21 2009-12-08 Reino Koljonen Orally Mounted wireless transcriber device
WO2007056110A2 (en) 2005-11-02 2007-05-18 Microvision, Inc. Image projector with selectable display modes
US7641348B2 (en) 2006-01-31 2010-01-05 Hewlett-Packard Development Company, L.P. Integrated portable computer projector system
US7570881B2 (en) 2006-02-21 2009-08-04 Nokia Corporation Color balanced camera with a flash light unit
WO2007100057A1 (ja) 2006-03-03 2007-09-07 Matsushita Electric Industrial Co., Ltd. 撮像装置及び集積回路
JP2007258989A (ja) 2006-03-22 2007-10-04 Eastman Kodak Co デジタルカメラ、構図補正装置、および、構図補正方法
US8139059B2 (en) 2006-03-31 2012-03-20 Microsoft Corporation Object illumination in a virtual environment
US20070300312A1 (en) 2006-06-22 2007-12-27 Microsoft Corporation Microsoft Patent Group User presence detection for altering operation of a computing system
US7658498B2 (en) 2006-07-13 2010-02-09 Dell Products, Inc. System and method for automated display orientation detection and compensation
US20090115915A1 (en) 2006-08-09 2009-05-07 Fotonation Vision Limited Camera Based Feedback Loop Calibration of a Projection Device
US8406562B2 (en) 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
JP4406937B2 (ja) 2006-12-01 2010-02-03 富士フイルム株式会社 撮影装置
US8094195B2 (en) 2006-12-28 2012-01-10 Flextronics International Usa, Inc. Digital camera calibration method
ATE501594T1 (de) 2007-06-27 2011-03-15 Panasonic Corp Bildgebungsgerät, verfahren, systemintegrierte schaltung und programm
JP4886850B2 (ja) 2007-06-28 2012-02-29 パナソニック株式会社 画像処理装置、画像処理方法、プログラム
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
CN101374198A (zh) 2007-08-24 2009-02-25 鸿富锦精密工业(深圳)有限公司 摄像装置及其影像自动正立方法
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US20090262306A1 (en) 2008-04-16 2009-10-22 Quinn Liam B System and Method for Integration of a Projector and Information Handling System in a Common Chassis
US20090262343A1 (en) 2008-04-18 2009-10-22 Archibald William B Infrared spectroscopy of media, including aqueous
US8405727B2 (en) 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
US20090309826A1 (en) 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US8538084B2 (en) 2008-09-08 2013-09-17 Apple Inc. Method and apparatus for depth sensing keystoning
US8508671B2 (en) 2008-09-08 2013-08-13 Apple Inc. Projection systems and methods
US7869204B2 (en) 2008-09-15 2011-01-11 International Business Machines Corporation Compact size portable computer having a fully integrated virtual keyboard projector and a display projector
US20100073499A1 (en) 2008-09-25 2010-03-25 Apple Inc. Image capture using separate luminance and chrominance sensors
US7881603B2 (en) 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
US20100079426A1 (en) 2008-09-26 2010-04-01 Apple Inc. Spatial ambient light profiling
US8527908B2 (en) 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
US8610726B2 (en) 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
US20100079653A1 (en) 2008-09-26 2010-04-01 Apple Inc. Portable computing system with a secondary image output
US20100103172A1 (en) 2008-10-28 2010-04-29 Apple Inc. System and method for rendering ambient light affected appearing imagery based on sensed ambient lighting
US8619128B2 (en) 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
US8502926B2 (en) 2009-09-30 2013-08-06 Apple Inc. Display system having coherent and incoherent light sources
US8687070B2 (en) 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757423A (en) * 1993-10-22 1998-05-26 Canon Kabushiki Kaisha Image taking apparatus
US20050134698A1 (en) * 2003-12-18 2005-06-23 Schroeder Dale W. Color image sensor with imaging elements imaging on respective regions of sensor elements
US20060083421A1 (en) * 2004-10-14 2006-04-20 Wu Weiguo Image processing apparatus and method
US20060125936A1 (en) * 2004-12-15 2006-06-15 Gruhike Russell W Multi-lens imaging systems and methods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hsiu-Chi Yeh, "Hardware Components for Real-Time Stereo Matching: Acceleration of 3D HD TV with FPGAs," Delft University of Technology, Msc Thesis. *

Also Published As

Publication number Publication date
WO2012024044A1 (en) 2012-02-23
US8497897B2 (en) 2013-07-30
EP2589226A1 (en) 2013-05-08
WO2012024044A4 (en) 2012-05-24
TW201215166A (en) 2012-04-01
KR101340688B1 (ko) 2013-12-12
EP2589226B1 (en) 2020-03-11
CN102378015B (zh) 2016-01-20
US20120044328A1 (en) 2012-02-23
KR20120017006A (ko) 2012-02-27
CN102378015A (zh) 2012-03-14

Similar Documents

Publication Publication Date Title
TWI468021B (zh) 影像感測器件及使用照度及色度感測器之影像擷取之方法
CN105306786B (zh) 用于具有相位检测像素的图像传感器的图像处理方法
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
US9413984B2 (en) Luminance source selection in a multi-lens camera
US11394902B2 (en) Sparse infrared pixel design for image sensors
US20130258112A1 (en) Visible light and ir hybrid digital camera
JP5406151B2 (ja) 3次元撮像装置
CN106161890A (zh) 成像装置、成像系统以及信号处理方法
US8416325B2 (en) Imaging apparatus and color contamination correction method
JP5927570B2 (ja) 3次元撮像装置、光透過部、画像処理装置、およびプログラム
JP5186517B2 (ja) 撮像装置
JP5943393B2 (ja) 撮像装置
JP2015050494A (ja) 撮像装置
JPWO2019026287A1 (ja) 撮像装置および情報処理方法
US11917306B2 (en) Electronic device that corrects images captured on a side opposite a displaying surface
WO2017181381A1 (zh) 一种获取深度信息的方法及摄像装置
KR102412278B1 (ko) 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
US20130128083A1 (en) High dynamic range image sensing device and image sensing method and manufacturing method thereof
WO2021157324A1 (ja) 電子機器
CN115023938A (zh) 电子装置
US7898591B2 (en) Method and apparatus for imaging using sensitivity coefficients