TWI549519B - 高解析度陣列相機 - Google Patents

高解析度陣列相機 Download PDF

Info

Publication number
TWI549519B
TWI549519B TW104140386A TW104140386A TWI549519B TW I549519 B TWI549519 B TW I549519B TW 104140386 A TW104140386 A TW 104140386A TW 104140386 A TW104140386 A TW 104140386A TW I549519 B TWI549519 B TW I549519B
Authority
TW
Taiwan
Prior art keywords
image sensor
image
resolution
color image
monochrome
Prior art date
Application number
TW104140386A
Other languages
English (en)
Other versions
TW201626792A (zh
Inventor
劉成明
記章 單
劉關松
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201626792A publication Critical patent/TW201626792A/zh
Application granted granted Critical
Publication of TWI549519B publication Critical patent/TWI549519B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Description

高解析度陣列相機
本發明係關於相機。特定言之,本發明之實施例係關於高解析度彩色影像相機。
影像感測器用於廣泛範圍之應用中,包含(例如)智慧型電話、網路相機、數位相機,以及其他工業及醫學應用。隨著科技不斷地推進,對較小且較高解析度之影像感測器之需求日益增加。舉例而言,愈來愈多地需求具有0.8μm像素之彩色影像感測器。然而,與製造1.12μm彩色影像感測器相比,製造0.8μm彩色影像感測器更昂貴。因而,期望一種用以產生類似於用0.8μm彩色影像感測器所提供之一彩色影像之一彩色影像之較不昂貴方式。
100‧‧‧成像系統
102‧‧‧相機模組
104‧‧‧相機模組
106‧‧‧透鏡系統
108‧‧‧影像感測器
110‧‧‧外殼
112‧‧‧透鏡系統
114‧‧‧影像感測器
116‧‧‧外殼
118‧‧‧基板
120‧‧‧影像
122‧‧‧影像
300‧‧‧成像系統
302‧‧‧單色相機模組
304‧‧‧彩色相機模組
306‧‧‧處理區塊
402‧‧‧第一影像
404‧‧‧第二影像
406‧‧‧第三影像
502‧‧‧影像
504‧‧‧影像
506‧‧‧影像
508‧‧‧第一列
510‧‧‧第一行
520‧‧‧中心像素
522‧‧‧像素
524‧‧‧像素
602‧‧‧7×7個像素
604‧‧‧像素
606‧‧‧像素
702‧‧‧像素
704‧‧‧像素
800‧‧‧流程圖
802‧‧‧程序區塊
804‧‧‧程序區塊
806‧‧‧程序區塊
808‧‧‧程序區塊
810‧‧‧程序區塊
812‧‧‧程序區塊
814‧‧‧程序區塊
816‧‧‧程序區塊
902‧‧‧程序區塊
904‧‧‧程序區塊
906‧‧‧程序區塊
908‧‧‧程序區塊
910‧‧‧程序區塊
參考隨附圖式描述本發明之非限制性且非詳盡性實施例,其中除非另外規定,否則貫穿各種視圖,相同參考數字指代相同部件。
圖1展示根據本發明之教示之包含兩個相機模組之一成像系統之一實例。
圖2示意性地展示根據本發明之教示之不具有彩色濾光器陣列之一第一影像感測器及具有彩色濾光器陣列之第二影像感測器。
圖3展示根據本發明之教示之一例示性成像系統之一方塊圖。
圖4展示根據本發明之教示之其中組合具有相同大小之兩個影像 之一實例。
圖5A展示根據本發明之教示之由具有Y資訊之像素資料之一第一解析度之一第一影像感測器產生之一例示性第一影像。
圖5B展示根據本發明之教示之由具有YUV資訊之像素資料之一第二解析度之一第二影像感測器產生之一例示性第二影像。
圖5C展示根據本發明之教示之其中第一及第二影像經組合而導致具有一第三解析度之第三影像之一實例。
圖6A展示根據本發明之教示之具有均勻分佈相異之一例示性影像。
圖6B展示根據本發明之教示之具有經重新取樣內插像素之一例示性影像。
圖7展示根據本發明之教示之一實例,其中一任意單位之一第一列中之一第二影像之第一及最後像素在垂直及水平方向兩者上自該任意單位之一第一列中之一第一影像之第一及最後像素偏移像素之一半以形成一第三影像。
圖8展示根據本發明之教示之用於組合彩色影像與單色影像之一例示性程序之一流程圖,其中與單色影像相比,彩色影像具有一較低解析度。
圖9係根據本發明之教示之展示可經執列以組合一單色影像與彩色影像之處理之實例之進一步細節之一例示性流程圖之一圖解。
貫穿圖式之若干視圖,對應參考符號指示對應組件。熟習此項技術者將暸解,圖中之元件出於簡單及清楚之目的而圖解說明且未必按比例繪製。舉例而言,圖中之一些元件之尺寸可相對於其他元件而放大以幫助改良本發明之各種實施例之理解。又,通常未描繪在商業上可行的實施例中有用或必需之常見而眾所周知之元件以促進本發明之此等各種實施例之較不受阻擋之觀察。
本發明揭示用於實施一高解析度陣列相機之方法及設備。在以下描述中,陳述許多特定細節以提供本發明之一透徹理解。然而,熟習相關技術者將認識到,可在不具有特定細節之一或多者之情況下或使用其他方法、組件、材料等等實踐本文中描述之技術。在其他例項中,未詳細地展示或描述熟知結構、材料或操作以避免使特定態樣模糊。
貫穿本說明書對「一項實施例」或「一實施例」之引用意謂結合實施例描述之一特定特徵、結構或特性包含於本發明之至少一項實施例中。因而,在貫穿本說明書之各處出現之片語「在一項實施例中」或「在一實施例中」未必皆指相同實施例。此外,在一或多項實施例中,可以任何合適方式組合特定特徵、結構或特性。
貫穿本說明書,使用若干技術術語。除非本文另有特定定義或其等使用之內容脈絡另有清楚表明,否則此等術語採用其等來源之技術中之普通含義。舉例而言,除非內容脈絡另有清楚指示,否則術語「或」使用為包含意義(例如,如使用為「及/或」)。
如將展示,根據本發明之教示之一例示性陣列相機包含一第一相機模組及一第二相機模組。在一個實例中,兩個相機模組具有相同透鏡系統。在該實例中,第一相機模組包含具有P之一解析度之一單色影像感測器,且第二相機模組包含具有Q之一解析度之一彩色影像感測器,其中Q<P。在該實例中,藉由組合具有P之解析度之單色影像與具有Q之解析度之彩色影像而產生具有R之一解析度之一彩色影像。在該實例中,P<R(P+Q)。
在以下描述中,出於解釋目的而提供實例,其包含(例如)對應於一28百萬像素解析度之一0.8μm彩色影像感測器、對應於一13百萬像素解析度之一1.12μm彩色影像感測器,及對應於一20百萬像素解析 度之一0.9μm單色影像感測器。
特定言之,在一個實例中,根據本發明之教示,組合由一1.12μm彩色影像感測器產生之一彩色影像與由一0.9μm單色影像感測器產生之一單色影像以產生相較於由一0.8μm彩色影像感測器提供之一影像幾乎不具有如由一觀察者所感知之視覺差異之一彩色影像。在該實例中,與一0.8μm彩色影像感測器相比,1.12μm彩色影像感測器及0.9μm單色影像感測器兩者較不昂貴。換言之,與一0.8μm彩色影像感測器相比,一1.12μm彩色影像感測器與一0.9μm單色影像感測器之組合仍較不昂貴。因此,在一個實例中,使用具有兩個相機模組之一陣列相機。一相機模組包含一1.12μm彩色影像感測器,且另一相機模組包含一0.9μm單色影像感測器。在該實例中,1.12μm彩色影像感測器及0.9μm單色影像感測器兩者具有相同大小之有效面積以偵測聚焦至相機模組上之一影像。因此,1.12μm彩色影像感測器及0.9μm單色影像感測器兩者偵測一相同影像。
為圖解說明,圖1展示根據本發明之教示之包含經安置彼此靠近之兩個相機模組102及104之本發明之一成像系統100之一實例。在該實例中,相機模組102包含一透鏡或可包含一或多個透鏡(未展示)之一透鏡系統106,及一外殼110中之一影像感測器108。類似地,相機模組104包含一透鏡或可包含一或多個透鏡(未展示)之一透鏡系統112,及一外殼116中之一影像感測器114。在一個實例中,透鏡系統106與透鏡系統112相同,且各包含複數個透鏡。相機模組102及104可安置於一基板118上。影像感測器108及114可電耦合至包含基板118上之電子電路之一處理區塊。在一個實例中,由透鏡系統106聚焦於影像感測器108上之一影像120係與由透鏡系統112聚焦於影像感測器114上之一影像122相同之影像。在另一實例中,影像120可與影像122稍微不同。
在所描繪之實例中,影像感測器108及影像感測器114之各自有效面積具有相同大小,但具有不同解析度或不同數目個像素。舉例而言,在一個實例中,影像感測器108之解析度係P(例如,P=20百萬像素),且影像感測器114之解析度係Q(例如,Q=13百萬像素),且P大於Q(P>Q)。換言之,影像感測器108之像素間距小於影像感測器114之像素間距。
此外,在所描繪之實例中,影像感測器108係一單色影像感測器,即,不存在彩色濾光器,且影像感測器114係彩色影像感測器。因此,在所描繪之實例中,彩色影像感測器114包含一彩色濾光器陣列,例如(舉例而言)一拜耳(Bayer)彩色濾光器陣列。
圖2示意性地展示根據本發明之教示之不具有彩色濾光器陣列之一影像感測器108及具有一彩色濾光器陣列之影像感測器114。在該實例中圖解說明一拜耳彩色濾光器陣列,其中R表示彩色濾光器陣列之紅色濾光器,G表示彩色濾光器陣列之綠色濾光器,且B表示彩色濾光器陣列之藍色濾光器。因此,影像感測器108產生包含表示影像120之一照度信號(Y)之P像素資料。影像感測器114產生表示影像122之Q像素資料,其中各個別像素資料可為一紅色(R)信號、綠色(G)信號或藍色(B)信號。在標準去馬賽克(demosaicing)內插之後,影像感測器114產生Q像素資料,其中各像素資料具有一經內插之R信號、G信號及B信號(RGB)。可將經內插之Q像素資料自RGB信號轉換成照度及色度信號(YUV)。因此,影像感測器108產生Y之P像素資料,且影像感測器114產生YUV之Q像素資料,其中Q<P。
在另一實例中,應瞭解,若假設R=G=B,則可將P像素資料轉換成RGB信號。因此,在此實例中,影像感測器108產生RGB之P像素資料,且影像感測器114產生RGB之Q像素資料,Q<P。
圖3展示根據本發明之教示之一例示性成像系統300之一方塊 圖。在該實例中,一單色相機模組302展示由包含於單色相機模組302內之一單色影像感測器(例如(舉例而言)影像感測器108)產生之Y資訊之P像素資料,且一彩色相機模組304展示由包含於彩色相機模組304內之彩色影像感測器(例如(舉例而言)影像感測器114)產生之YUV資訊之Q像素資料,其中Q<P。在該實例中,來自單色相機模組302之資料與來自彩色相機模組304之資料經耦合以由一處理區塊306接收,其中來自單色相機模組302之P像素資料與來自彩色相機模組304之Q像素資料經組合以導致YUV之R像素資料,其中P<R(P+Q),如所展示。
因此,應瞭解,根據本發明之教示,包含於單色相機模組302中之具有一解析度P之一單色影像感測器與包含於彩色相機模組304中之具有一解析度Q(其中Q<P)之一彩色影像感測器經耦合以由處理區塊306接收及利用以產生具有解析度R之一彩色輸出,其中P<R(P+Q)。
圖4展示其中可組合具有相同大小之兩個影像之一實例。舉例而言,圖4圖解說明具有Y資訊之P像素資料之一第一影像402,及亦具有Y資訊之相同P像素資料之一第二影像404。在該實例中,第二影像404在垂直及水平方向兩者上自第一影像402偏移像素之一半。當組合第一影像402與第二影像404時,其導致具有Y資訊之2P像素資料之一第三影像406。類似地,若第一影像402及第二影像404之各者具有YUV之P像素資料,則所得第三影像406具有YUV之2P像素資料。換言之,所得影像之解析度加倍。此係因為第一影像402及第二影像404之像素不完全重疊。
若第一影像402具有P像素資料,第二影像404具有Q像素資料,則所得第三影像406具有R像素資料,其中R=P+Q。然而,此僅當P=Q且第二影像404在垂直及水平方向兩者上自第一影像402偏移像素之一半時才成立。當P≠Q時,第一影像402及第二影像404之一些像素可完全重疊。若第一影像402之一像素與第二影像404之一像素完全重疊, 則兩個完全重疊像素可僅被視為一像素。因此,所得第三影像406具有R像素資料,其中R(P+Q)。
為圖解說明,圖1之影像感測器108係具有一第一像素間距之一單色影像感測器,其中一解析度實質上等於20百萬像素,且圖1之影像感測器114係具有一第二像素間距之彩色影像感測器,其中一解析度實質上等於13百萬像素。在該實例中,影像感測器108及114之有效面積相同。因此,影像感測器108之第一像素間距小於影像感測器114之第二像素間距。假設20M:13M6:5,且假設(6×6):(5×5)20M:13M,則影像感測器108之6×6個像素佔據與影像感測器114之5×5個像素近似相同之任意單位面積。
圖5A展示根據本發明之教示之由影像感測器108產生之一例示性影像502,其具有一第一像素間距及Y資訊之像素資料之20百萬像素之一解析度。在一任意單位面積中存在6×6個像素。圖5B展示根據本發明之教示之由影像感測器114產生之一例示性影像504,其具有一第二像素間距及YUV資訊之像素資料之13百萬像素之一解析度。在該實例中,影像502之第一像素間距小於影像504之第二像素間距,使得即使影像502具有20百萬像素之一解析度且影像504具有13百萬像素之一解析度,影像502之大小仍與影像504之大小相同。在相同任意單位面積中存在5×5個像素。圖5C展示根據本發明之教示之其中影像502與影像504由處理區塊306組合(即,重疊)以導致一影像506之一實例。
參考所描繪之實例中之影像506之一第一列508,影像502及影像504之第一及最後像素完全重疊。影像504之一中心像素520在影像502之兩個像素522與524之間居中。在該實例中,像素520可被視為像素522與524之間的一分開像素。在所描繪之實例中,僅使影像504之像素520與影像502之像素相異地分離。因此,在所圖解說明之實例中,第一列508將具有7個相異像素。類似地,一第一行510將具有7個相異 像素。因此,在所圖解說明之實例中,在任意單位面積中將存在7×7個相異像素。因此,根據本發明之教示,假設(6×6):(5×5):(7×7)20M:13M:28M,則影像502與影像504之組合產生具有實質上等於28百萬像素之一解析度之影像506。
因此,假設影像506具有Y資訊之28百萬像素,此係因為影像502具有Y資訊之20百萬像素且影像504具有YUV資訊之13百萬像素。另外,根據本發明之教示,由於人類感知對色彩資訊較不敏感,故影像504之YUV資訊之資料之13百萬像素之色度信號(UV)足以貫穿影像506之資料之28百萬像素而分佈。因此,根據本發明之教示,影像506將具有YUV之資料之28百萬像素。
在一個實例中,根據本發明之教示,由於任意單位面積中之7×7個相異像素中之資訊可不均勻地分佈,故藉由處理區塊306重新取樣影像506之任意單位面積以具有均勻分佈之7×7個像素602,如在圖6A中描繪之實例中所展示。根據本發明之教示,可藉由處理區塊306自影像502之像素604(圖解說明為點)及影像504之像素606(圖解說明為三角形)內插新近重新取樣之7×7個像素602(圖解說明為星形)之值,如在圖6B中所展示。
在一個實例中,為判定影像506之7×7個像素之YUV值,首先藉由處理區塊306將影像502之6×6個像素之Y值轉換成YUV值,其中假設B=G=R。接著,根據本發明之教示,可接著藉由處理區塊306在一任意內插窗中自影像502之6×6個像素之經變換YUV值及影像504之5×5個像素之YUV值內插影像506之7×7個像素之YUV值。
當然,應瞭解,根據本發明之教示,上文所提及之數目係出於說明目的而論述之實例,且可利用其他數目。
因此,一般而言,一第一影像具有Y資訊(即,單色)之資料之P像素之一解析度且一第二影像具有YUV資訊(即,彩色)之資料之Q像素 之一解析度,其中Q<P。在該實例中,第一影像之像素間距小於第二影像之像素間距。然而,第一影像及第二影像之面積大小相同。舉例而言,第一影像藉由具有m×m個像素之一單位面積表示。第二影像藉由具有n×n個資料像素之相同單位面積表示,其中n<m。第一影像及第二影像之單位面積重疊。第一影像及第二影像之單位面積之第一列之第一及最後像素完全重疊。估計第一列中相異地分離之像素之數目,其可為k,其中k>m>n。
藉由具有k×k個像素之相同單位面積大小表示由處理區塊透過組合第一影像與第二影像而產生之一第三影像。假設R=G=B,將第一影像之Y值轉換成YUV值。在一任意內插窗中自第一影像之經變換YUV值及第二影像之YUV值內插第三影像之k×k個像素之YUV值。k×k個像素表示具有YUV資訊之資料之R個像素之一影像。第三影像具有YUV資訊之資料之R個像素,其中P<R(P+Q)。在另一實例中,可使用RGB值而非YUV值。
圖7展示根據本發明之教示之一實例,其中一任意單位之第一列中之第二影像504之第一及最後像素704在垂直及水平方向兩者上自該任意單位之第一列中之第一影像502之第一及最後像素702偏移像素之一半以形成一第三影像。如在該實例中所展示,第三影像之一單位面積可具有1×1個像素,其中1>k。因此,藉由組合第一影像與第二影像而形成之第三影像可具有YUV資訊之R'像素資料,其中R'>R。在另一實例中,第二影像504之像素704可自第一影像502之像素702偏移像素之一小部分而非一半。
圖8展示根據本發明之教示之可由處理區塊306執行用於組合一單色影像與一彩色影像之一例示性程序之一流程圖800,其中相較於單色影像,彩色影像具有一較低解析度。
在程序區塊802中,補償單色影像及彩色影像之照度值。舉例而 言,在一個實例中,將兩個影像之全域平均照度值正規化為相同。在程序區塊804中,校正透鏡失真對兩個影像之效應。在程序區塊806中,使用一全域仿射變換來校正兩個影像中之一影像或影像兩者。在一個實例中,全域仿射變換包含一偏移、旋轉及標度變換,其導致在偏移、旋轉及標度方面具有正確對準之單色影像及彩色影像。在程序區塊808中,將彩色影像重新取樣為與單色影像相同之樣本。在程序區塊810中,自彩色影像之原始樣本點之照度值內插彩色影像之新樣本點之照度值。在程序區塊812中,匹配具有相同樣本點之兩個影像之區塊。在程序區塊814中,組合兩個影像以導致一彩色輸出影像。在程序區塊816中,輸出經組合之彩色影像。
圖9係根據本發明之教示之給出可由處理區塊306執行以實現程序區塊814之處理之一個實例之一例示性流程圖之一圖解。在程序區塊902中,使具有P解析度(P個像素)之原始單色影像與具有Q解析度(Q個像素)之原始彩色影像重疊,其中P>Q。單色影像及彩色影像之面積大小相同。在一個實例中,單色影像之第一列之第一樣本點與彩色影像之第一列之第一樣本點完全地重疊。在程序區塊904中,估計經重疊影像之第一列中之相異分離樣本點之數目,其(例如)等於R,其中P<R(P+Q)。在程序區塊906中,產生一新彩色影像。在該實例中,新彩色影像具有等於R之一解析度,其中(R)樣本點均勻地分佈。在程序區塊908中,假設R=G=B,則將單色影像之Y資訊轉換成YUV資訊。在程序區塊910中,在一任意內插窗中自具有P解析度之單色影像之像素之YUV值及具有Q解析度之彩色影像之像素之YUV值內插新彩色影像之樣本點處之YUV資訊。
在一個實例中,藉由一0.9μm單色影像感測器產生具有P=20百萬像素之一解析度之一單色影像,且藉由一1.12μm彩色影像感測器產生具有Q=13百萬像素之一解析度之一彩色影像。在該實例中,根據 本發明之教示,所得彩色影像具有R=28百萬像素之一解析度,其係與藉由一較昂貴0.8μm彩色影像感測器產生之一彩色影像相同之解析度。
本發明之圖解說明之實施例之以上描述(包含在摘要中描述之內容)不旨在係詳盡的或將本發明限於所揭示之精確形式。熟習相關技術者將認識到,雖然出於闡釋性目的而在本文中描述本發明之特定實施例及實例,但在本發明之範疇內,各種修改係可能的。
鑒於以上詳細描述,可對本發明作出此等修改。在隨附申請專利範圍中使用之術語不應被解釋為將本發明限於本說明書中揭示之特定實施例。實情係,本發明之範疇將完全由隨附申請專利範圍判定,申請專利範圍應根據申請專利範圍解釋之所建立原則予以解釋。
300‧‧‧成像系統
302‧‧‧單色相機模組
304‧‧‧彩色相機模組
306‧‧‧處理區塊

Claims (19)

  1. 一種產生一高解析度彩色影像之方法,其包括:將一第一影像聚焦至具有一P解析度之一單色影像感測器上;將一第二影像聚焦至具有一Q解析度之一彩色影像感測器上,其中Q<P,且其中該第一影像係與該第二影像相同之一影像;產生表示來自該單色影像感測器之該第一影像之P解析度像素資料;產生表示來自該彩色影像感測器之該第二影像之Q解析度像素資料;及組合表示來自該單色影像感測器之該第一影像之該P解析度像素資料與表示來自該彩色影像感測器之該第二影像之該Q解析度像素資料以產生一R解析度彩色影像,其中P<R(P+Q)。
  2. 如請求項1之方法,其中用一第一透鏡系統將該第一影像聚焦至該單色影像感測器上,其中用一第二透鏡系統將該第二影像聚焦至該彩色影像感測器上,其中該第二透鏡系統與該第一透鏡系統相同。
  3. 如請求項1之方法,其中組合表示來自該單色影像感測器之該第一影像之該P解析度像素資料與表示來自該彩色影像感測器之該第二影像之該Q解析度像素資料包括:將與來自該彩色影像感測器之該Q解析度像素資料之一第一列重疊之來自該單色影像感測器之該P解析度像素資料之一第一列之相異分離樣本點之一數目估計為等於R,其中來自該單色影像感測器之該P解析度像素資料之該第一列之一第一樣本點與來自該彩色影像感測器之該Q解析度像素資料之該第一列之一第一樣本點完全重疊。
  4. 如請求項1之方法,其中來自該單色影像感測器之該P解析度像 素資料具有一第一像素間距,其中來自該彩色影像感測器之該Q解析度像素資料具有一第二像素間距,其中該第一像素間距小於該第二像素間距,且其中由該單色影像感測器產生之一單色影像之一大小相同於由該彩色影像感測器產生之一彩色影像之一大小。
  5. 如請求項1之方法,其中組合表示來自該單色影像感測器之該第一影像之該P解析度像素資料與表示來自該彩色影像感測器之該第二影像之該Q解析度像素資料包括:在該R解析度彩色影像中均勻地分佈R個像素。
  6. 如請求項5之方法,其中組合表示來自該單色影像感測器之該第一影像之該P解析度像素資料與表示來自該彩色影像感測器之該第二影像之該Q解析度像素資料進一步包括:在一任意內插窗中自由該單色影像感測器產生之一單色影像之像素之YUV值及自由該彩色影像感測器產生之一彩色影像之像素之YUV值內插該R解析度彩色影像之該R個像素之一像素之一YUV值。
  7. 如請求項6之方法,其中組合表示來自該單色影像感測器之該第一影像之該P解析度像素資料與表示來自該彩色影像感測器之該第二影像之該Q解析度像素資料進一步包括:考慮到R=G=B,將由該單色影像感測器產生之該單色影像之像素之Y值轉換成由該單色影像感測器產生之該單色影像之像素之該等YUV值。
  8. 如請求項6之方法,其中組合表示來自該單色影像感測器之該第一影像之該P解析度像素資料與表示來自該彩色影像感測器之該第二影像之該Q解析度像素資料進一步包括:將由該彩色影像感測器產生之該彩色影像之像素之RGB值轉換成由該彩色影像感測器產生之該彩色影像之像素之該等YUV值。
  9. 如請求項1之方法,其中該單色影像感測器之該P解析度實質上 等於20百萬像素,其中該彩色影像感測器之該Q解析度實質上等於13百萬像素,且其中藉由組合表示來自該單色影像感測器之該第一影像之該P解析度像素資料與表示來自該彩色影像感測器之該第二影像之該Q解析度像素資料而產生之該彩色影像之該R解析度實質上等於28百萬像素。
  10. 如請求項9之方法,其中該單色影像感測器包括一0.9μm單色影像感測器,其中該彩色影像感測器包括一1.12μm彩色影像感測器,且其中該彩色影像之該R解析度對應於一0.8μm彩色影像感測器。
  11. 一種陣列相機,其包括:一第一相機模組,其包含:一第一透鏡系統;一單色影像感測器,其具有一P解析度,其中該第一透鏡系統經光學耦合以將一第一影像聚焦至該單色影像感測器上;一第二相機模組,其包含:一第二透鏡系統,其中該第二透鏡系統與該第一透鏡系統相同;一彩色影像感測器,其具有一Q解析度,其中Q<P,其中該第二透鏡系統經光學耦合以將一第二影像聚焦至該彩色影像感測器上,其中該第一影像係與該第二影像相同之一影像;及一處理區塊,其經耦合以接收來自表示該第一影像之該第一相機模組之P解析度像素資料且接收來自表示該第二影像之該第二相機模組之Q解析度像素資料,其中該處理區塊經耦合以組合來自該第一相機模組之該P解析度像素資料與來自該第二相機模組之該Q解析度像素資料以產生一R解析度彩色影像,其中 P<R(P+Q)。
  12. 如請求項11之陣列相機,其中該處理區塊經耦合以將與來自該第二相機模組之該Q解析度像素資料之一第一列重疊之來自該第一相機模組之該P解析度像素資料之一第一列之相異分離樣本點之一數目估計為等於R,其中來自該第一相機模組之該P解析度像素資料之該第一列之一第一樣本點與來自該第二相機模組之該Q解析度像素資料之該第一列之一第一樣本點完全重疊。
  13. 如請求項11之陣列相機,其中來自該第一相機模組之該P解析度像素資料具有一第一像素間距,其中來自該第二相機模組之該Q解析度像素資料具有一第二像素間距,其中該第一像素間距小於該第二像素間距,且其中由該第一相機模組產生之一單色影像之一大小相同於由該第二相機模組產生之一彩色影像之一大小。
  14. 如請求項11之陣列相機,其中該處理區塊經耦合以產生均勻地分佈有R個像素之該R解析度彩色影像。
  15. 如請求項14之陣列相機,其中該處理區塊經耦合以在一任意內插窗中自由該第一相機模組產生之一單色影像之像素之YUV值及自由該第二相機模組產生之一彩色影像之像素之YUV值內插該R解析度彩色影像之該R個像素之一像素之一YUV值。
  16. 如請求項15之陣列相機,其中該處理區塊經耦合以考慮到R=G=B而將由該第一相機模組產生之該單色影像之像素之Y值轉換成由該第一相機模組產生之該單色影像之像素之該等YUV值。
  17. 如請求項15之陣列相機,其中該處理區塊經耦合以將由該第二影像感測器產生之該彩色影像之像素之RGB值轉換成由該第二相機模組產生之該彩色影像之像素之該等YUV值。
  18. 如請求項11之陣列相機,其中該單色影像感測器之該P解析度實質上等於20百萬像素,其中該彩色影像感測器之該Q解析度實質上等於13百萬像素,且其中由該處理區塊產生之該彩色影像之該R解析度實質上等於28百萬像素。
  19. 如請求項18之陣列相機,其中該單色影像感測器包括一0.9μm單色影像感測器,其中該彩色影像感測器包括一1.12μm彩色影像感測器,且其中由該處理區塊產生之具有實質上等於28百萬像素之該R解析度之該彩色影像對應於一0.8μm彩色影像感測器。
TW104140386A 2014-12-18 2015-12-02 高解析度陣列相機 TWI549519B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/574,761 US9319585B1 (en) 2014-12-18 2014-12-18 High resolution array camera

Publications (2)

Publication Number Publication Date
TW201626792A TW201626792A (zh) 2016-07-16
TWI549519B true TWI549519B (zh) 2016-09-11

Family

ID=55700166

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104140386A TWI549519B (zh) 2014-12-18 2015-12-02 高解析度陣列相機

Country Status (4)

Country Link
US (1) US9319585B1 (zh)
CN (1) CN105721841B (zh)
HK (1) HK1221841A1 (zh)
TW (1) TWI549519B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6139713B2 (ja) * 2013-06-13 2017-05-31 コアフォトニクス リミテッド デュアルアパーチャズームデジタルカメラ
EP3148177A4 (en) * 2014-10-22 2018-01-24 Yulong Computer Telecommunication Technologies (Shenzhen) Co., Ltd. Image generation method based on dual camera module and dual camera module
US9743015B2 (en) * 2015-05-22 2017-08-22 Samsung Electronics Co., Ltd. Image capturing apparatus and method of controlling the same
US10362205B2 (en) 2016-04-28 2019-07-23 Qualcomm Incorporated Performing intensity equalization with respect to mono and color images
KR102603426B1 (ko) 2016-06-27 2023-11-20 삼성전자주식회사 이미지 처리장치 및 방법
US10341628B2 (en) * 2016-08-08 2019-07-02 Google Llc Monochrome-color mapping using a monochromatic imager and a color map sensor
CN109644258B (zh) * 2016-08-31 2020-06-02 华为技术有限公司 用于变焦摄影的多相机系统
CN110235441B (zh) * 2017-03-24 2021-01-15 华为技术有限公司 用于低照度的多摄像头系统
TWI622810B (zh) 2017-04-26 2018-05-01 和碩聯合科技股份有限公司 成像裝置及成像方法
US10567645B2 (en) * 2017-05-17 2020-02-18 Samsung Electronics Co., Ltd. Method and apparatus for capturing video data
CN107347139B (zh) * 2017-06-30 2019-01-29 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN108024056B (zh) * 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
JP7336773B2 (ja) * 2018-10-29 2023-09-01 パナソニックIpマネジメント株式会社 情報提示方法、情報提示装置、及び、情報提示システム
EP3704668A4 (en) * 2018-12-17 2021-04-07 SZ DJI Technology Co., Ltd. IMAGE PROCESSING METHOD AND APPARATUS
CN110418111A (zh) * 2019-07-27 2019-11-05 上海安科迪智能科技有限公司 一种阵列摄像机中超高清视频信号传输系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080024390A1 (en) * 2006-07-31 2008-01-31 Henry Harlyn Baker Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system
US7483065B2 (en) * 2004-12-15 2009-01-27 Aptina Imaging Corporation Multi-lens imaging systems and methods using optical filters having mosaic patterns
US8115825B2 (en) * 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2849813B2 (ja) * 1986-12-19 1999-01-27 富士写真フイルム株式会社 映像信号の形成装置
US5694165A (en) 1993-10-22 1997-12-02 Canon Kabushiki Kaisha High definition image taking apparatus having plural image sensors
US5852502A (en) * 1996-05-31 1998-12-22 American Digital Imaging, Inc. Apparatus and method for digital camera and recorder having a high resolution color composite image output
US5978023A (en) * 1996-10-10 1999-11-02 Florida Atlantic University Color video camera system and method for generating color video signals at increased line and/or frame rates
US6208382B1 (en) * 1998-07-29 2001-03-27 Florida Atlantic University Color video processing system and method
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
US20120113266A1 (en) 2009-04-07 2012-05-10 Nextvision Stabilized Systems Ltd Methods of manufacturing a camera system having multiple image sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483065B2 (en) * 2004-12-15 2009-01-27 Aptina Imaging Corporation Multi-lens imaging systems and methods using optical filters having mosaic patterns
US20080024390A1 (en) * 2006-07-31 2008-01-31 Henry Harlyn Baker Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system
US8115825B2 (en) * 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors

Also Published As

Publication number Publication date
TW201626792A (zh) 2016-07-16
CN105721841A (zh) 2016-06-29
US9319585B1 (en) 2016-04-19
HK1221841A1 (zh) 2017-06-09
CN105721841B (zh) 2017-09-19

Similar Documents

Publication Publication Date Title
TWI549519B (zh) 高解析度陣列相機
JP5353393B2 (ja) 画像処理装置及び画像処理方法等
US8890942B2 (en) Camera module, image processing apparatus, and image processing method
TWI612495B (zh) 用於擷取與呈顯全景或立體影像串流之方法與裝置
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
JP2009005232A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP2009100203A (ja) 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム
JP5398750B2 (ja) カメラモジュール
US20170347023A1 (en) System and method for image stitching
US10075687B2 (en) Imaging apparatus and imaging method to obtain high quality luminance images
US9240065B2 (en) Image processing apparatus and image processing method
JP6748847B2 (ja) 撮像装置
US20140347548A1 (en) Method and system for rendering an image from a light-field camera
US20190064640A1 (en) Signal processing apparatus and imaging apparatus
JP5330439B2 (ja) カメラモジュール、画像処理装置及び画像処理方法
JP6751426B2 (ja) 撮像装置
US20160316149A1 (en) Lens module array, image sensing device and fusing method for digital zoomed images
US9906744B2 (en) Image sensor having phase difference detection pixels for focus detection, and image pick-up apparatus including the image sensor
JP6022428B2 (ja) 画像撮影装置及び画像撮影方法
JP6186573B2 (ja) 画像処理装置及び画像処理方法
US10321024B2 (en) Image capturing method and image capturing apparatus
US9280803B2 (en) Methods of processing mosaicked images
JP2013115650A (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
JP2015111775A (ja) 撮像装置、その制御方法及びプログラム
JP2015060111A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体