TWI423672B - 固體攝像裝置、固體攝像裝置之訊號處理方法及攝像裝置 - Google Patents

固體攝像裝置、固體攝像裝置之訊號處理方法及攝像裝置 Download PDF

Info

Publication number
TWI423672B
TWI423672B TW099107799A TW99107799A TWI423672B TW I423672 B TWI423672 B TW I423672B TW 099107799 A TW099107799 A TW 099107799A TW 99107799 A TW99107799 A TW 99107799A TW I423672 B TWI423672 B TW I423672B
Authority
TW
Taiwan
Prior art keywords
pixels
pixel
color
imaging device
information
Prior art date
Application number
TW099107799A
Other languages
English (en)
Other versions
TW201108734A (en
Inventor
Isao Hirota
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201108734A publication Critical patent/TW201108734A/zh
Application granted granted Critical
Publication of TWI423672B publication Critical patent/TWI423672B/zh

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

固體攝像裝置、固體攝像裝置之訊號處理方法及攝像裝置
本發明係有關於固體攝像裝置、固體攝像裝置之訊號處理方法及攝像裝置。
在固體攝像裝置中，為了抑制色彩解析度之低落且謀求亮度之感度提升，因而提出以棋盤排列而將上下左右之相鄰像素設成同色的彩色編碼，來作為被層積在像素上的彩色濾光片陣列的彩色編碼(例如參照專利文獻1)。
在該彩色編碼中，空間取樣點(亦即光學性像素重心)x,y係可用下式來表示。亦即，可以用x=2＊(2n-1+oe)±1、y=2m-1(n,m=整數，oe的值在m是奇數時為0/偶數時為1)，和x=2＊(2n-1+oe)、y=2m-1±1(n,m=整數，oe的值在m是奇數時為0/偶數時為1)來表示。
一般而言，從固體攝像裝置係有，彩色濾光片陣列的彩色編碼所對應之像素的訊號，是直接當作RAW資料(原始資料)而輸出。然後，對於從固體攝像裝置所輸出的RAW資料，會實施去馬賽克處理。去馬賽克處理，係對於僅帶有單色之色彩資訊的各像素之訊號，從其周邊像素的訊號，收集不足之色彩資訊，以補齊色彩資訊，而作出全彩影像的處理。
[先前技術文獻]
[專利文獻]
[專利文獻1]日本特開2007-235888號公報
在上記先前技術中，以去馬賽克處理而從棋盤排列轉換成正方排列時，針對4像素之中央的像素資訊是根據周圍的像素來進行去馬賽克處理而加以生成，會成為實際像素數之2倍的像素數。此時，將像素資訊記錄至影像記憶體時的空間取樣點x,y係為x=n、y=m。因此，作為影像記憶體，是需要比對應於實際像素數之記憶體容量更多的記憶體容量，因此造成包含影像記憶體之系統全體的成本變高之問題。
於是，本發明的目的在於提供一種固體攝像裝置、固體攝像裝置之訊號處理方法及攝像裝置，其係抑制色彩解析度之低落且謀求亮度之感度提升，同時藉由減少必要的影像記憶體之容量而可降低系統成本。
本發明所述之固體攝像裝置，係具有依據棋盤排列，且上下左右之至少一方的相鄰2像素是同色的彩色濾光片陣列；前記彩色濾光片陣列係為，近似性地被排列成，空間取樣點x,y是x=3＊(2n-1+oe)+1±2、y=3m-2(n,m=整數，oe的值在m是奇數時為0/偶數時為1)，和x=3＊(2n-1+oe)+1、y=3m-2±2(n,m=整數，oe的值在m是奇數時為0/偶數時為1)之至少一方的色彩排列。
上記各式係表示，將棋盤排列傾斜了45度的空間性的像素之排列(棋盤格狀的色彩排列)。然後，在n,m特定值單位中，上下左右之至少一方的相鄰2像素、理想係為上下左右相鄰4像素是呈同一色的色彩排列，藉此，就可滿足既是棋盤狀色彩排列，同時可使去馬賽克處理後送往影像記憶體的記錄像素排列，成為x=2n、y=2m+1。記錄像素排列為x=2n、y=2m+1係意味著，像素被矩陣狀2維配置而成的像素陣列部的實際像素數與對影像記憶體之記錄像素數是同程度。
若依據本發明，則由於可使像素陣列部的實際像素數與對影像記憶體之記錄像素數是呈同程度，因此可抑制影像記憶體的不必要之記憶體容量的增加。然後，抑制色彩解析度之低落且謀求亮度之感度提升，同時抑制了去馬賽克處理中所必須之記憶體容量，藉此可謀求系統全體的成本降低。
以下，使用圖面來詳細說明用以實施發明的形態(以下稱作「實施形態」)。此外，說明是按照以下順序來進行。
1.本發明所被適用的固體攝像裝置(CMOS影像感測器之例子)
2.本發明的特徵部分之要旨
3.第1實施形態(將同色4像素單位的RGB拜爾排列作45度旋轉的例子)
4.第2實施形態(將同色4像素單位的WRGB棋盤排列作45度旋轉的例子)
5.第3實施形態(將同色4像素單位的W棋盤排列作45度旋轉的例子)
6.像素排列之變形例
7.適用例(攝像裝置的例子)
＜1.本發明所被適用的固體攝像裝置＞
[系統構成]
圖1係本發明所被適用的固體攝像裝置，例如屬於X-Y位址型固體攝像裝置之一種的CMOS影像感測器之構成之概略的系統構成圖。
本適用例所述之CMOS影像感測器10係被構成為，具有：被形成在半導體基板(以下有時也簡稱作「感測器晶片」)11上的像素陣列部12、和被集縮在與該當像素陣列部12相同半導體基板11上的周邊電路部。作為周邊電路部係設置有例如垂直驅動部13、縱欄處理部14、水平驅動部15及系統控制部16。又，在感測器晶片11的外部，設有構成訊號處理系的DSP(Digital Signal Processor；數位訊號處理電路)電路31及影像記憶體32。
在像素陣列部12中係有，含有將入射之可見光進行光電轉換成相應於其光量之電荷量用的光電轉換元件的未圖示之單位像素(以下有時會簡稱為「像素」)，作矩陣狀地2維配置。關於單位像素的具體電路構成，將於後述。在該像素陣列部12的受光面(光入射面)側係層積有彩色濾光片陣列33，在其上又再層積有微透鏡陣列34。
在像素陣列部12中係還有，像素驅動線18是相對於矩陣狀之像素排列而每一行地沿著圖的左右方向(像素行的像素排列方向/水平方向)而配線，垂直訊號線19是每一列地沿著圖的上下方向(像素列的像素排列方向/垂直方向)而形成。像素驅動線18的一端，係被連接至垂直驅動部13之各行所對應之輸出端。在圖1中係針對像素驅動線18而圖示1根線，但並不限於1根。
垂直驅動部13，係由平移暫存器或位址解碼器等所構成。此處，關於具體構成雖然省略圖示，但垂直驅動部13係為具有讀出掃描系和掃出掃描系之構成。讀出掃描系，係針對要讀出訊號的單位像素，以行單位而依序進行選擇掃描。
另一方面，掃出掃描系，係對於被讀出掃描系進行讀出掃描的讀出行，在早於該讀出掃描的快門速度之時間，先從該當讀出行的單位像素的光電轉換元件中將多餘電荷予以掃出(重置)，進行掃出掃描。藉由該掃出掃描系所作的多餘電荷之掃出(重置)，就進行了所謂的電子快門動作。此處，所謂電子快門動作，係指將光電轉換元件的光電荷加以捨棄，重新開始進行曝光(開始光電荷之累積)的動作。
藉由讀出掃描系所作的讀出動作而被讀出的訊號，係對應於其前一個讀出動作或是電子快門動作以後所入射之光量。然後，從前一個讀出動作所作的讀出時序或電子快門動作所作的掃出時序起，至本次讀出動作所作的讀出時序為止之期間，就是單位像素的光電荷的累積時間(曝光時間)。
從已被垂直驅動部13選擇掃描的像素行的各單位像素所輸出的訊號，係通過垂直訊號線19的每一者而供給至縱欄處理部14。縱欄處理部14，係對像素陣列部12的每一像素列，對於從選擇行的各像素所輸出的類比之像素訊號，進行事前訂定之訊號處理。
縱欄處理部14中的訊號處理，係可舉例如CDS(Correlated Double Sampling；相關二重取樣)處理。CDS處理，係將從選擇行的各像素所輸出的重置位準與訊號位準加以擷取，藉由求取它們的位準差以獲得1行份像素的訊號，並且將像素的固定模式雜訊加以去除的處理。縱欄處理部14有些情況還會具有，將類比像素訊號進行數位化的A/D轉換處理。
水平驅動部15，係由平移暫存器或位址解碼器等所構成，是用來依序選擇掃描縱欄處理部14的像素列所對應之像素列。藉由該水平驅動部15所作的選擇掃描，被縱欄處理部14就每一像素列進行過訊號處理的像素訊號，係依序被輸出至感測器晶片11的外部。亦即，從感測器晶片11係有，彩色濾光片陣列33的彩色編碼(色彩排列)所對應之像素訊號，是直接當作RAW資料(原始資料)而輸出。
系統控制部16，係收取從感測器晶片11外部給予的時脈、或指示動作模式的資料等，並將本CMOS影像感測器10的內部資訊等之資料予以輸出。系統控制部16係還具有用來生成各種時序訊號的時序產生器，基於該當時序產生器所生成之各種時序訊號，來進行垂直驅動部13、縱欄處理部14、水平驅動部15及轉換處理部16等之驅動控制。
感測器晶片11的外部電路亦即DSP電路31，係將從感測器晶片11所輸出的例如1畫格份的影像資料，暫時積存在影像記憶體32，並且基於該當影像記憶體32中所積存的像素資訊，執行去馬賽克處理。如前面也有說明，去馬賽克處理，係對於僅帶有單色之色彩資訊的各像素之訊號，從其周邊像素的訊號，收集不足之色彩資訊，以補齊色彩資訊，而作出全彩影像的處理。
(單位像素的電路構成)
圖2係單位像素20的電路構成之一例的電路圖。如圖2所示，本電路例所述之單位像素20，係具有：光電轉換元件、例如光二極體21、例如傳輸電晶體22、重置電晶體23、增幅電晶體24及選擇電晶體25的4個電晶體之構成。
此處，作為4個電晶體22～25，係使用例如N通道的MOS電晶體。只不過，此處所例示的傳輸電晶體22、重置電晶體23、增幅電晶體24及選擇電晶體25的導電型之組合係僅為一例，並不限定於這些的組合。
對於該單位像素20，作為其像素驅動線18，例如是將傳輸線181、重置線182及選擇線183的3條驅動配線，針對同一像素行的各像素共通設置。這些傳輸線181、重置線182及選擇線183的各一端，係對垂直驅動部13的各像素行所對應之輸出端，以像素行單位而連接。
光二極體21，係陽極電極被連接至負側電源(例如地線)，將所接受的光進行光電轉換，成為相應於該光量之電荷量的光電荷(此處係為光電子)。光二極體21的陰極電極，係透過傳輸電晶體22而與增幅電晶體24的閘極電極作電氣性連接。將與增幅電晶體24之閘極電極作電氣性連接的節點26，稱作FD(浮置擴散)部。
傳輸電晶體22，係被連接在光二極體21的陰極電極與FD部26之間。在傳輸電晶體22的閘極電極上，係有高位準(例如Vdd位準)為活化(以下記作「High活化」)的傳輸脈衝φTRF，是透過傳輸線181而給予之。藉由傳輸脈衝φTRF的給予，傳輸電晶體22係呈ON狀態而將已被光二極體21所光電轉換成的光電荷，傳輸至FD部26。
重置電晶體23係為，汲極電極是被連接至像素電源Vdd，源極電極是被連接至FD部26。對重置電晶體23的閘極電極，係早於從光二極體21往FD部26的訊號電荷之傳輸，先有High活化的重置脈衝φRST會透過重置線182而給予之。藉由重置脈衝φRST的給予，重置電晶體23係呈ON狀態，將FD部26的電荷丟棄給像素電源Vdd，以將該當FD部26予以重置。
增幅電晶體24，其閘極電極係連接至FD部26，汲極電極係連接至像素電極Vdd。然後，增幅電晶體24係將藉由重置電晶體23進行重置後的FD部26的電位，當作重置訊號(重置位準)Vreset而輸出。增幅電晶體24係更進一步將藉由傳輸電晶體22傳輸訊號電荷後的FD部26的電位，當作光累積訊號(訊號位準)Vsig而輸出。
選擇電晶體25係例如，其汲極電極係連接至增幅電晶體24的源極電極，源極電極係連接至垂直訊號線17。選擇電晶體25的閘極電極上，係有High活化的選擇脈衝φSEL，透過選擇線163而給予。藉由選擇脈衝φSEL的給予，選擇電晶體25係呈ON狀態而將單位像素20設成選擇狀態，將從增幅電晶體24所輸出的訊號，中繼至垂直訊號線17。
此外，關於選擇電晶體25，亦可採用連接在像素電源Vdd與增幅電晶體24之汲極之間的電路構成。
又，作為單位像素20，並不限於上記構成的4個電晶體所成之像素構成。例如，亦可為增幅電晶體24與選擇電晶體25是被兼用的3個電晶體所成之像素構成，該像素電路的構成並無特別限定。
(像素加算)
順便一提，一般而言，動畫攝影時會提高畫格速率，為了實現高速動畫攝影，而將相鄰之複數像素的訊號予以加算，以進行讀出像素加算。關於該像素加算，係可在像素內、或在垂直訊號線19上、或縱欄處理部14、或後段的訊號處理部等中進行。此處，作為一例，說明例如將上下左右相鄰之4像素的訊號，在像素內進行加算時的像素構成。
圖3係在像素內進行相鄰4像素加算時的電路構成之一例的電路圖，圖中，和圖2同等部分係標示同一符號。
在圖3中，將上下左右相鄰之4像素的光二極體21，令作光二極體21-1,21-2,21-3,21-4。對於這些光二極體21-1,21-2,21-3,21-4，分別設置4個傳輸電晶體22-1,22-2,22-3,22-4，重置電晶體23、增幅電晶體24及選擇電晶體25則各設置1個。
亦即，傳輸電晶體22-1,22-2,22-3,22-4係為，各一方之電極是被連接至光二極體21-1,21-2,21-3,21-4的各陰極電極，各另一方之電極是被共通連接至增幅電晶體24的閘極電極。在該增幅電晶體24的閘極電極上，係有對光二極體21-1,21-2,21-3,21-4共通的FD部26，作電性連接。重置電晶體23係為，汲極電極是被連接至像素電源Vdd，源極電極是被連接至FD部26。
對應於上記構成之相鄰4像素加算的像素構成中，藉由對4個傳輸電晶體22-1,22-2,22-3,22-4以相同之時序來給予傳輸脈衝φTRF，就可在相鄰之4像素間實現像素加算。亦即，從光二極體21-1,21-2,21-3,21-4藉由傳輸電晶體22-1,22-2,22-3,22-4而被傳輸至FD部26的訊號電荷，係於該當FD部26中被加算(以下有時記作「FD加算」)。
另一方面，藉由對傳輸電晶體22-1,22-2,22-3,22-4以不同之時序來給予傳輸脈衝φTRF，亦可以像素單位實現訊號輸出。亦即，藉由在動畫攝像時進行像素加算可謀求畫格速率之提升，相對於此，藉由在靜止影像攝影時係將全像素之訊號獨立讀出，就可謀求解析度之提升。
＜2.本發明的特徵部分之要旨＞
於以上說明的CMOS影像感測器10中，為了抑制色彩解析度之低落且謀求亮度之感度提升，同時為了降低影像記憶體32的容量所需的彩色濾光片陣列33的彩色編碼及DSP電路31中的去馬賽克處理，為其特徵。影像記憶體32，係被使用於DSP電路31中的去馬賽克處理等之訊號處理時。
彩色濾光片陣列33，係依據棋盤排列，且上下左右之至少一方的相鄰2像素是同色。然後，在本發明中，是將彩色濾光片陣列33的彩色編碼(色彩排列)近似性地設成，空間取樣點(亦即光學性像素重心)x,y是以下式所表示的彩色編碼。
亦即，將彩色濾光片陣列33的色彩排列，設成被排列為x=3＊(2n-1+oe)+1±2、y=3m-2，和x=3＊(2n-1+oe)+1、y=3m-2±2之至少一方的色彩排列。此處，n,m係為整數，oe係當m是奇數時則為0、m是偶數時則為1的係數。又，x的式子中±2係意味著左右2像素，y的式子中±2係意味著上下2像素。上記各式係表示，將棋盤排列傾斜了45度的空間性的像素之排列(棋盤格狀的色彩排列)。
在n,m特定值單位中，上下左右之至少一方的相鄰2像素、理想係為上下左右相鄰4像素是呈同一色的色彩排列，藉此，就可滿足既是棋盤狀色彩排列，同時可使去馬賽克處理後送往影像記憶體32的記錄像素排列，成為x=2n、y=2m+1。記錄像素排列為x=2n、y=2m+1係意味著，像素陣列部12的實際像素數與對影像記憶體32之記錄像素數是同程度。
如此，藉由使像素陣列部12的實際像素數與對影像記憶體32之記錄像素數成為同程度，就可抑制影像記憶體32的不必要之記憶體容量的增加。然後，抑制色彩解析度之低落且謀求亮度之感度提升，同時抑制了DSP電路31上的去馬賽克處理時所必須之影像記憶體32的記憶體容量，藉此可謀求系統全體的成本降低。
以下說明，彩色濾光片陣列33的彩色編碼及關於其訊號處理的具體實施形態。
＜3.第1實施形態＞
(彩色編碼)
圖4係本發明的第1實施形態所述之彩色濾光片陣列33A的彩色編碼之圖示。
如圖4所示，第1實施形態所述之彩色濾光片陣列33A，係同一色(RGB)的相鄰之4像素(n,m=2,2)為單位的棋盤排列，將該當棋盤排列作45度旋轉而成的彩色編碼。換言之，彩色濾光片陣列33A的彩色編碼，係將RGB拜爾排列作45度旋轉而成的棋盤排列，且上下左右相鄰4像素是同一色。此處，RGB拜爾排列，係將綠色(G；Green)濾光片配置成棋盤狀，在剩餘部分將紅色(R；Red)濾光片、藍色(B；Blue)濾光片排列成棋盤狀而成的彩色編碼。
將RGB拜爾排列作45度旋轉，而且上下左右相鄰4像素是同一色地將RGB拜爾排列排列成棋盤狀，就成為如圖4所示的彩色編碼。亦即，第1實施形態所述之彩色濾光片陣列33A，係以同色4像素單位而將RGB之各濾光片作正方排列而成的彩色編碼。
又，至於微透鏡陣列34，係以跨越不同顏色的方式，以4像素(上下2像素×左右2像素)單位而共有1個微透鏡34A之構成。藉由此種微透鏡陣列34之構成，光學性像素重心的排列，係成為如圖5所示。圖5係關於彩色濾光片陣列33A的彩色編碼而將光學中心配置在xy空間的圖。
(去馬賽克處理)
第1實施形態所述之彩色濾光片陣列33A的彩色編碼所對應的像素訊號，係基於暫時記錄在影像記憶體32中的像素訊號而於DSP電路31中，將RGB拜爾排列作45度旋轉而成的棋盤排列轉換成正方排列，進行去馬賽克處理。
在該去馬賽克處理中，若重視亮度訊號之主成分的綠色的解析度時，則首先在上下左右相鄰之G濾光片的4像素之中心，根據該當4像素的G訊號，藉由例如求取加算平均等之內插處理，而生成G訊號。然後，剩餘的上下左右相鄰之R/B濾光片的像素部分，係將同色斜向2像素作加算平均，將像素重心，設定在其中心。
關於第1實施形態所述之彩色編碼之例子的去馬賽克處理，使用圖6來作更具體說明。
首先，針對白圓圈的G部分，係判斷方向性(縱方向之相關、橫方向之相關、斜方向之相關)然後基於周圍的G像素，具體而言是基於2個G像素或4個G像素的像素資訊，而生成白圓圈之G部分的像素資訊。針對剩餘的上下左右相鄰之R/B的像素部分，係將同色斜向2像素作加算平均或單純加算，將像素重心設定在其中心(重心移動)。
接著，將微透鏡34A內的RGB之濾光片，近似地視為同一地點，而求出色彩相關。然後，根據色彩相關而將G濾光片的像素資訊推展至全像素，其後將R/B濾光片的像素資訊予以展開。藉由以上一連串處理，將RGB拜爾排列作45度旋轉之棋盤排列轉換成正方排列的去馬賽克處理就結束。
所述之去馬賽克處理的結果，係如圖7所示，可生成RGB濾光片的各像素之訊號是正方均等排列成的彩色編碼所對應之像素訊號。圖7係去馬賽克處理成為，對亮度訊號之主成分的綠色之解析度加以重視的正方排列後的像素排列之圖示。
另一方面，若重視亮度訊號之主成分的紅色或藍色的解析度時，則如圖8所示，首先在上下左右相鄰之R/B濾光片的4像素之中心，根據該當4像素的R/B濾光片的像素訊號，藉由例如求取加算平均等之內插處理，而生成R/B之訊號。然後，剩餘的上下左右相鄰之G濾光片的像素部分，係將同色斜向2像素作加算平均，將像素重心，設定在其中心。
所述之去馬賽克處理的結果，係如圖8所示，可生成RGB各訊號是正方均等排列成的彩色編碼所對應之像素訊號。圖8係去馬賽克處理成為，對色彩訊號之主成分的紅色/藍色之解析度加以重視的正方排列後的像素排列之圖示。
如此，藉由使用將RGB拜爾排列作45度旋轉的棋盤排列，將上下左右相鄰4像素設成同一色的彩色編碼的彩色濾光片陣列33A，就可抑制影像記憶體32的容量的不必要之增大。具體而言，對影像記憶體32記錄像素訊號之際的記錄像素數，係相對於像素陣列部12之像素數(以下記作「實際像素數」)，是僅增加了，根據上下左右之像素而進行內插之像素部分(9/8=1.125倍)。
可是，對影像記憶體32之記錄像素數的增加份量是只有些許，因此可說該當記錄像素數係與實際像素數大致同程度。因此，DSP電路31上的去馬賽克處理時可將必要之影像記憶體32的容量抑制成較少，所以可謀求系統全體的成本降低。
＜4.第2實施形態＞
(彩色編碼)
圖9係本發明的第2實施形態所述之彩色濾光片陣列33B的彩色編碼之圖示。
第2實施形態所述之彩色濾光片陣列33B係為，作為亮度訊號之主成分的顏色，是例如含有白色(W；White)的彩色編碼。含白色的彩色編碼的彩色濾光片陣列，係由於輸出電壓是比RGB拜爾排列的彩色濾光片陣列還高，因此可謀求CMOS影像感測器10的高感度化。
具體而言，第2實施形態所述之彩色濾光片陣列33B，係同一色(WRGB)的相鄰之4像素為單位的棋盤排列，將該當棋盤排列作45度旋轉而成的彩色編碼。換言之，彩色濾光片陣列33B，係同色4像素單位的RGB拜爾排列中的G濾光片之一方被取代而改為使用W濾光片，將WRGB棋盤排列作45度旋轉而成的彩色編碼。與第1實施形態所述之彩色濾光片陣列33A的差異係為，將G濾光片是以4像素單位而被正方排列的彩色編碼，改成以G濾光片與W濾光片作棋盤狀排列成的彩色編碼這點。
將G濾光片是以4像素單位而被正方排列的彩色編碼，改成以G濾光片與W濾光片作棋盤狀排列成的彩色編碼，藉此就成為如圖9所示的彩色編碼。亦即，第2實施形態所述之彩色濾光片陣列33B，係以同色4像素單位而將WRGB之各濾光片作正方排列而成的彩色編碼。
又，至於微透鏡陣列34，係以跨越不同顏色的方式，以4像素單位而共有1個微透鏡34B之構成。藉由此種微透鏡陣列34之構成，光學性像素重心的排列，係成為如圖10所示。圖10係關於彩色濾光片陣列33B的彩色編碼而將光學中心配置在xy空間的圖。
(去馬賽克處理)
第2實施形態所述之彩色濾光片陣列33B的彩色編碼所對應的像素訊號，係基於暫時記錄在影像記憶體32中的像素訊號而於DSP電路31中，將WRGB棋盤排列作45度旋轉而成的彩色編碼(棋盤排列)轉換成正方排列，進行去馬賽克處理。
在該去馬賽克處理中，若重視亮度訊號之主成分的白色或綠色的解析度時，則首先在上下左右相鄰之W/G濾光片的4像素之中心，根據該當4像素的W/G之像素的訊號，藉由例如求取加算平均等之內插處理，而生成G訊號。然後，剩餘的上下左右相鄰之R/B的像素部分，係將同色斜向2像素作加算平均，將像素重心，設定在其中心。
所述之去馬賽克處理的結果，係如圖11所示，可生成WRGB各訊號是正方均等排列成的彩色編碼所對應之像素訊號。圖11係去馬賽克處理成為，對亮度訊號之主成分的白色/綠色之解析度加以重視的正方排列後的像素排列之圖示。當重視色彩訊號之主成分的R或B的解析度時，就和第1實施形態所述之彩色濾光片陣列33A的情形相同。
於WRGB的彩色編碼中，將根據綠色與白色之像素訊號來生成亮度訊號，是一般常見的。此時，為了不導致解析度低落或色彩重現性惡化，在從圖10所示的色彩排列轉換至正方排列的去馬賽克處理之際，進行如下之去馬賽克處理，較為理想。亦即，將同一微透鏡33B內的WRGB之濾光片近似性視作相同的空間位置，如圖12所示，令Gw=W-R-B，或如圖13所示令Wg=G+R+B，而進行去馬賽克處理。
如圖12所示令Gw=W-R-B而進行去馬賽克處理時係成為圖7的像素排列，因此以後的訊號處理可以共通化，具有如優點。另一方面，如圖13所示令Wg=G+R+B而進行去馬賽克處理時，係因為含有R/B成分而W/Wg的輸出訊號位準會變大，因此具有亮度S/N良好之優點。
即使使用了上述第2實施形態所述之彩色編碼的彩色濾光片陣列33B時，仍可獲得和使用第1實施形態所述之彩色編碼的彩色濾光片陣列33A時相同的作用效果。亦即，DSP電路31上的去馬賽克處理時可將必要之影像記憶體32的容量抑制成較少，所以可謀求系統全體的成本降低。
＜5.第3實施形態＞
(彩色編碼)
圖14係本發明的第3實施形態所述之彩色濾光片陣列33C的彩色編碼之圖示。
如圖14所示，第3實施形態所述之彩色濾光片陣列33C，係同一色(WRGB)的相鄰之4像素為單位的W棋盤排列，將該當W棋盤排列作45度旋轉而成的彩色編碼。亦即，彩色濾光片陣列33C，係將第1實施形態所述之彩色濾光片陣列33A的以同色4像素單位而將綠色作正方排列的部分，置換成白色。至於其他的RGB正方排列之部分，係可考慮各種排列。此處所是的彩色編碼，是一般所提出之中的一例。
至於微透鏡陣列34，係和第1、第2實施形態相同，以跨越不同顏色的方式，以4像素單位而共有1個微透鏡34C之構成。藉由此種微透鏡陣列34之構成，光學性像素重心的排列，係成為如圖15所示。圖15係關於彩色濾光片陣列33C的彩色編碼而將光學中心配置在xy空間的圖。
(去馬賽克處理)
於DSP電路31中，和第1實施形態相同的去馬賽克處理，是對第3實施形態所述之彩色濾光片陣列33C的彩色編碼所對應的像素訊號進行之。在該去馬賽克處理中，若重視亮度訊號之主成分的白色或綠色的解析度時，則首先在上下左右相鄰之W/G濾光片的4像素之中心，根據該當4像素的W/G之訊號，藉由例如求取加算平均等之內插處理，而生成G訊號。然後，剩餘的上下左右相鄰之R/B的像素部分，係將同色斜向2像素作加算平均，將像素重心，設定在其中心。
所述之去馬賽克處理的結果，係如圖16所示，可生成WRGB各訊號是正方均等排列成的彩色編碼所對應之像素訊號。圖16係去馬賽克處理成為，對亮度訊號之主成分的W/G之解析度加以重視的正方排列後的像素排列之圖示。
另一方面，當重視紅色/藍色/綠色之解析度時，基本上是進行和第1實施形態相同的去馬賽克處理。具體而言，首先在上下左右相鄰之紅色/藍色/綠色的4像素之中心，根據該當4像素的R/B/G之訊號，藉由例如求取加算平均等之內插處理，而生成R/B/G之訊號。
所述之去馬賽克處理的結果，係如圖17所示，可生成WRGB各訊號是正方均等排列成的彩色編碼所對應之像素訊號。圖17係去馬賽克處理成為，重視紅色/藍色/綠色之解析度時的正方排列後的像素排列之圖示。
在第1實施形態與第3實施形態中係考量為，從圖7與圖16的像素排列起進行去馬賽克處理之際，最初是將綠色或白色對全像素同時進行內插推展，其後，判斷色彩相關，然後生成綠色或白色部分所不足的紅色或藍色或綠色之各成分。此時，圖7/圖16中的微透鏡34A/34C內的RGB之像素或WRG/WGB之画素的受光中心，是被作了所謂的挪近，因此可近似地視為相同之空間位置。此處，所謂挪近，係指使受光中心也就是光學性像素中心，往微透鏡34A/34C之中心靠近之狀態。
如此，可將微透鏡34A/34C內的RGB的像素或WRG/WGB之像素近似地視作相同之空間位置，藉此，可在去馬賽克處理前簡易地求出色彩相關，因此可縮小去馬賽克處理所需之電路規模。尤其，因為白色係含有RGB各成分，因此可提高從圖16/圖17的WGR/WGB之像素至全像素部分的全色去馬賽克處理的精度。
即使使用了上述第3實施形態所述之彩色編碼的彩色濾光片陣列33C時，仍可獲得和使用第1實施形態所述之彩色編碼的彩色濾光片陣列33A時相同的作用效果。亦即，DSP電路31上的去馬賽克處理時可將必要之影像記憶體32的容量抑制成較少，所以可謀求系統全體的成本降低。
此處，以第3實施形態所述之彩色編碼的情形為例，說明彩色濾光片陣列33的空間取樣點x,y和輸出取樣點x,y。
圖18係關於空間取樣點x,y的說明圖，(A)係對應於將彩色濾光片陣列33A的光學中心配置在x,y空間的圖15，(B)係表示空間取樣點x,y。
如同前面也有說明過的，彩色濾光片陣列33的彩色編碼，係可近似地表示成，空間取樣點(亦即光學性像素重心)x,y是x=3＊(2n-1+oe)+1±2、y=3m-2，和x=3＊(2n-1+oe)+1、y=3m-2±2。此處，n,m係為整數，m為奇數時oe=0、為偶數時oe=1。
於圖18(B)中，第1行、第2行係記載著m=1、oe=0時的W濾光片的空間取樣點。第3行、第4行係表示m=2、oe=1時的G/R濾光片的空間取樣點。第5行、第6行係記載著m=3、oe=0時的W濾光片的空間取樣點。第7行、第8行係記載著m=4、oe=1時的B/G濾光片的空間取樣點。第9行、第10行係表示m=5、oe=0時的W濾光片的空間取樣點。
順便依提，於第1行、第2行中，最初的4個空間取樣點x,y，係表示了，關於在圖18(A)中以虛線圍繞的上下左右相鄰之4像素之W濾光片的空間取樣點。亦即，以虛線圍繞的4像素中，左方像素的空間取樣點x,y係為(2,1)，上方像素的空間取樣點x,y係為(4,-1)。又，右方像素的空間取樣點x,y係為(6,1)，下方像素的空間取樣點x,y係為(4,3)。
圖19係關於輸出取樣點x,y的說明圖，(A)係對應於表示去馬賽克處理後成重視W/G解析度時的正方排列後之像素排列的圖16，(B)係表示輸出取樣點x,y(2n,2m+1)。
對於在空間取樣上以單點鍊線表示的8像素，在輸出取樣上則是增加了從上下左右像素進行內插的1像素份，因此成為單點鍊線所示的9像素。因此，如前述，對影像記憶體32之記錄像素數，係相對於實際像素數僅增加了1.125倍(=9/8)。可是，如前述，記錄像素數的增加僅只有些微，因此去馬賽克處理時必要之影像記憶體32的容量的增加，可以抑制成較少。
順便一提，在專利文獻1所記載的先前技術中，從棋盤排列轉換成正方排列時，針對4像素之中央的像素資訊是根據周圍的像素來進行去馬賽克處理而生成之。圖20係關於先前技術時的空間取樣點x,y的說明圖，(A)係表示將彩色濾光片陣列的光學中心配置在x,y空間的色彩排列，(B)係表示空間取樣點x,y。
在先前技術時，空間取樣點x,y係以x=2＊(2n-1+oe)±1、y=2m-1，和x=2＊(2n-1+oe)、y=2m-1±1來表示。此處，n,m係為整數，m為奇數時oe=0、為偶數時oe=1。假設空間取樣上的像素數設為50像素(=水平5像素×垂直10像素)時，針對4像素之中央的像素資訊是根據周圍的像素來進行去馬賽克處理而生成之，在輸出取樣上則成為實際像素數之2倍的100像素(=水平10像素×垂直10像素)。亦即，作為影像記憶體32的記憶體容量，係必須要有對應於實際像素數之電容的2倍容量。
在以上說明的第1乃至第3實施形態中，係舉出構成微透鏡陣列34的每個微透鏡，是以跨越不同顏色的方式而被4像素單位共有時的例子，但並非限定於此。亦即，在採取以像素單位共有微透鏡之構成時，藉由採用第1乃至第3實施形態所述之彩色編碼，就可將影像記憶體32的容量抑制成較少，可謀求系統成本之降低。
又，單位的4像素是將光學性像素中心(受光中心)靠近於微透鏡之中心，藉由此種挪近，就可在4像素的正中央營造空間領域，因此亦具有可將該當空間領域當作配線領域使用的優點。
[同色4像素加算]
接著說明，關於第1、第2、第3實施形態所述的彩色濾光片陣列33A,33B,33C，在上下左右相鄰4像素是同色的彩色編碼中，將同色4像素之訊號進行加算的像素加算(同色4像素加算)。
進行該同色4像素加算時，係由於加算對象的4像素是相鄰的，因此藉由使用前述的FD加算(參照圖3)就可實現4像素加算。此處，針對同色4像素加算，舉出第1實施形態所述的彩色編碼為例，使用圖21來具體說明。圖21係第1實施形態所述之彩色編碼中的同色4像素加算的說明圖。至於第3實施形態所述的彩色編碼，基本上，可以說是和第1實施形態所述的彩色編碼相同。
在圖4所示的第1實施形態所述之彩色編碼中，針對RGB像素分別在相鄰4像素間進行像素加算(例如FD加算)，像素加算後的色彩排列就成為棋盤排列。因此，同色4像素加算後的訊號處理，係可適用一般之棋盤排列的周知之訊號處理系。又，藉由進行像素加算，如前面也有說明，可實現高速動畫攝影同時提升感度。4像素加算時，基本上，感度係為未進行像素加算時的4倍。
此外，在進行了4像素加算時，一般而言，解析度會降低成1/4。可是，在進行4像素加算之時點上係為棋盤排列，因此如上述先前技術之說明可知，進行去馬賽克處理會導致資訊量變成2倍。因此對影像記憶體32之記錄像素數(記錄解析度)是無關於4像素加算，可降低到未進行像素加算的全像素時的1/2。亦即，上下左右相鄰4像素是同色的彩色編碼中，藉由進行把同色4像素訊號予以加算的4像素加算，就可將像素加算時造成問題之色彩解析度的降低，抑制在最小限度，同時可謀求亮度之感度提升。
此處，雖然在相鄰4像素間是在像素內以FD加算來進行像素加算，但並不限於在像素內進行像素加算，亦可如同前述，在垂直訊號線19上，或縱欄處理部14、或後段的訊號處理部等中來進行。無論使用哪種像素加算，都可達成上述作用效果，亦即將色彩解析度降低抑制在最小限度同時謀求亮度之感度提升。
此外，在本例中，雖然說明了對相鄰之4像素共通設置的FD部26(參照圖2)來進行同色4像素加算，但亦可進行4像素當中處於點對稱位置關係的同色2像素加算。
[挪近排列]
此處說明，前述將光學性像素中心靠近於微透鏡之中心的挪近之像素排列(挪近排列)。
舉出第1實施形態所述的彩色濾光片陣列為例子，使用圖22來說明。於圖22中，(A)係表示第1實施形態所述之彩色濾光片陣列33A的彩色編碼，(B)係表示該當彩色編碼之一部分的放大圖。
微透鏡陣列34的每個微透鏡34A的鳥瞰形狀係為例如圓形時，微透鏡34A彼此間會產生間隙。將該微透鏡34A彼此間的間隙或微透鏡34A的死角，係可在配置單位像素20的光二極體以外之電路元件、尤其是採取前述實現FD加算之圖3所示的像素構成時的像素構成元件時，拿來有效利用。
具體而言，將在4像素間所共有的FD部26配置在微透鏡34A彼此間的間隙的中央部，在其周圍配置像素構成元件，具體而言係有傳輸電晶體22-1～22-4、重置電晶體23、增幅電晶體24及選擇電晶體25。又，不只可將微透鏡34A彼此間的間隙當作像素構成元件的配置領域，還可當成配線領域來利用。
如此，利用微透鏡34A彼此間的間隙或死角，來配置光二極體21-1～21-4以外的像素構成元件，就可實現不妨礙微透鏡34A之聚光的電路元件之佈局。又，在1個微透鏡34A內，可將4個光二極體21-1～21-4配置成，使其光學中心靠近於微透鏡34A之中心的挪近。
藉由將光二極體21-1～21-4的光學中心往微透鏡34A之中心靠近的挪近之配置，可降低微透鏡34A的高度h，同時可縮小透鏡的曲率r。微透鏡34A的光二極體21-1～21-4的受光面起算的高度h及曲率r，係對應於光二極體彼此間的距離而決定。
圖23係圖示了圖22(B)的沿X-X' 線的剖面構造。從圖23可知，相較於未採取挪近配置構造的情形(A)，有採取挪近配置構造的情形(B)，其光二極體彼此間的距離變短，因而可使微透鏡34A的高度較低(h2<h1)，可縮小透鏡的曲率r(r2<r1)。然後，微透鏡34A之高度h較低時，具有比高度較高時，更容易使微透鏡陣列34達成On-chip化之優點。
挪近的光二極體21-1～21-4彼此間，係可因應需要而採取混色防止用遮光構造所需要的寸法而構成。例如，使用被層積在光二極體21-1～21-4之受光面側的多層配線的第1層的配線來作為遮光層，在右斜方向和左斜方向上使用別的金屬層來作為配線層，就可實現混色防止用遮光構造。
另一方面，相鄰4個微透鏡34A彼此間的間隙，係位於具有同色濾光片的4個像素的中心位置。因此，隔著傳輸電晶體22-1～22-4而設置4像素共有的FD部26，就可如前述，在FD部26中進行電荷加算所致之4像素加算。然後，如前面也有說明，藉由像素加算而將像素數予以加算壓縮，就可實現高速動畫攝影。
此處，雖然舉出第1實施形態所述之彩色濾光片陣列33A的情形為例子來說明，但在第1、第2實施形態所述的彩色濾光片陣列33B、33B的時候，當然也是和第1實施形態所述之彩色濾光片陣列33A的情形相同。
[相位差偵測]
在第1乃至第3實施形態中係採取了，以跨越不同顏色的方式，以4像素(上下2像素×左右2像素)單位而共有1個微透鏡34A,34B,34C之構成。這些實施形態當中，在第1、第3實施形態，作為單位的4像素當中，2像素是呈同一色。
具體而言，第1實施形態所述之彩色編碼時，從圖4可知，R濾光片和B濾光片係分別為1像素，G濾光片係為2像素。在第3實施形態時，從圖14可知，G濾光片和B濾光片/G濾光片和R濾光片係分別為1像素，W濾光片係為2像素。亦即，相較於R/B像素，訊號輸出量較大的作為亮度訊號之主成分的G/W像素，是在4像素之中的2像素。
如此，當亮度訊號之主成分的W/G像素，是以棋盤相鄰4像素同色為單位而被正方排列時，在微透鏡陣列34的矩陣單位中，G/W像素是以每2像素而在1個微透鏡內被縱橫並排而排列。在此像素排列中，1個微透鏡內的同色之2個像素，是可當作用來偵測2道入射光之相位差的相位差感測器來利用。
具體而言，在橫著並排的2個G/W像素所屬的微透鏡是在橫方向排列的行上，基於2個G/W像素之各訊號，就可偵測出從橫方向(行方向)入射至微透鏡的2道光線的相位差。又，在縱著並排的2個G/W像素所屬的微透鏡是在縱方向排列的列上，基於2個G/W像素之各訊號，就可偵測出從縱方向(列方向)入射至微透鏡的2道光線的相位差。
此處，針對相位差偵測的原理，使用圖24來說明。此處，舉出使用R濾光片的2個像素之訊號來進行相位差偵測時為例來說明。使用G/B/W濾光片的2個像素時也是同樣如此。
將CMOS影像感測器10當作攝像元件來使用的攝像裝置中，在CMOS影像感測器10的受光面側配置有攝像透鏡41，藉由該當攝像透鏡41，來自被攝體42的像光(入射光)就會被擷取。
攝像透鏡41和被攝體42之間的距離為圖24(B)之狀態時，2道入射光係會成像在2個R像素的受光面上。令該圖24(B)的狀態為合焦狀態，此時的2個R像素的各輸出訊號的峰值間之間隔，就等同於合焦狀態時的攝像透鏡41與被攝體42之間的距離。2個R像素的各輸出訊號的峰值間之間隔，係表示2道入射光的相位差。
然後，攝像透鏡41與被攝體42之間的距離是比合焦狀態時的距離還近的狀態(A)下，2個R像素的各輸出訊號的峰值間之間隔就會比合焦狀態時的間隔還窄。又，攝像透鏡41與被攝體42之間的距離是比合焦狀態時的距離還遠的狀態(C)下，2個R像素的各輸出訊號的峰值間之間隔就會比合焦狀態時的間隔還寬。
由此可知，可從同色濾光片的2個像素的各輸出訊號之峰值間的間隔，將2道入射光的相位差，以關於攝像透鏡41之光軸方向的資訊，亦即攝像透鏡41與被攝體42之間的距離資訊的方式，而加以偵測。因此，將同色濾光片的2個像素當作相位差感測器來利用，就可基於攝像透鏡41與被攝體42之間的距離資訊，來控制攝像透鏡41之光軸方向之位置，實現AF(自動對焦)機能。將同色濾光片的2個像素當作相位差感測器使用，將該當相位差感測器兼用作為AF感測器，藉此就可不必採用為了實現AF感測器之專用AF感測器，具有如此優點。
此處，雖然舉出將R濾光片之像素用於相位偵測時的例子，但相位差偵測係為偵測出入射光的特定角度，因此會捨棄入射光的一部分，所以作為亮度訊號之主成分的高輸出之彩色濾光片(G/W濾光片)的像素，是適合於相位偵測。尤其是，將亮度訊號之主成分設成白色W的第3實施形態所述之彩色編碼，更為理想。將G/W濾光片的像素當作相位差感測器來利用時，是適合作為色彩訊號之主成分的R/B濾光片的像素係為最大之條件。
因此，針對R/B濾光片之像素之每一者，將光二極體的受光面積(光學性面積)與微透鏡的曲率設計成最佳值，就可在同一製程中使得適合於相位差偵測的構造以及適合於聚光的構造，同時成立。作為設計成最佳值的具體手法係可考量有，將光二極體的受光面積設成與色彩像素R/B或G/R或G/B不同，或改變n方向與m方向(縱橫)上的微透鏡的曲率之手法。甚至，亦可考量，如圖25所示，將微透鏡的形狀設成橢圓(A)或八角形(B)或六角形(C)。
[視差影像]
上述的相位差偵測中是使用了在1個微透鏡內所隸屬之同色2像素的訊號。相對於此，藉由使用1個微透鏡內所屬的全色之像素的訊號來進行處理，就可建構出一種採用可獲得2維視差影像之周知的稱作「Light Field Photography」之手法的攝像裝置。
如相位差偵測中所述，從1個微透鏡內所屬的2個像素之訊號，可獲得攝像透鏡的關於光軸方向之資訊。然後，藉由使用上記手法，從1個微透鏡內所屬之4像素所得的訊號，係會含有關於視差的資訊。此處，所謂視差，係指從不同的點觀看物體時的觀感上的位移。
如此，從1個微透鏡內所屬之4像素所得的訊號是含有關於視差之資訊，因此藉由使用1個微透鏡內所屬的全色之像素的訊號來進行處理，就可架構出能獲得2維視差影像的攝像裝置。又，可利用2維視差資訊來進行對焦。
＜6.像素排列之變形例＞
在第1乃至第3實施形態中，作為色彩排列之單位的上下左右相鄰4像素係為同一色的像素排列(色彩排列)，但本發明並不限於對該色彩排列的適用，例如，亦可對同色4像素和同色2像素混合存在的色彩排列作適用。以下說明，同色4像素和同色2像素混合存在的變形例。
[第1變形例]
(彩色編碼)
圖26係第1變形例所述之彩色編碼之圖示。本變形例所述之彩色編碼，係以第3實施形態所述之彩色濾光片陣列33C的彩色編碼、亦即以4像素維單位的W棋盤排列作45度旋轉而成的彩色編碼為基礎。
然後，在第3實施形態所述之彩色編碼中，針對B濾光片的4像素係置換成，上下2像素是R濾光片，左右2像素是B濾光片之組合。又，針對R濾光片的4像素係置換成，上下2像素是B濾光片，左右2像素是R濾光片之組合。至於W/G濾光片的4像素，則分別是4像素皆為同一色。
亦即，第1變形例所述之彩色編碼，係於以4像素維單位的W棋盤排列作45度旋轉而成的彩色編碼中，關於W/G濾光片係4像素皆為同一色，關於R/B濾光片則是位於點對稱之位置關係(對向)的2像素為同一色。
至於微透鏡陣列34，係和第1乃至第3實施形態相同，以跨越不同顏色的方式，在4像素單位中共有1個微透鏡。圖27係關於第1變形例所述之彩色編碼而將光學中心配置在xy空間的圖。
(去馬賽克處理)
接著說明，將第1變形例所述之彩色編碼的棋盤排列轉換成正方排列的去馬賽克處理。
關於W像素，係如圖28所示，根據實際存在之像素(以下稱作「實際像素」)的資訊來判斷方向性方向性(縱方向之相關、橫方向之相關、斜方向之相關)，然後將沒有實際像素存在部分的像素資訊，基於其周圍的實際像素之資訊而加以生成，推展至全像素。於圖28中，黑色的菱形是表示W的實際像素，灰色的菱形是表示用演算而求得的W之像素。
作為一例，在x,y=6,11的空間位置上沒有W像素存在，為了求出該當空間位置的W資訊，而使用位於其周圍的8個W像素(實際像素)之資訊。又，在x,y=10,7的空間位置上沒有W像素存在，為了求出該當空間位置的W資訊，而使用位於其周圍的4個W像素之資訊。
其後，從相鄰之4個W像素的資訊，藉由演算而求出該當4個W像素之正中央位置的像素資訊。從該4個W像素的資訊來求出正中央像素資訊的處理，稱作「像素偏移」。藉由該像素偏移所求出的4個W像素之正中央的W像素之重心，係與RGB的色彩像素的重心一致。
針對RGB的像素，係如圖29所示，從W-RGB之相關，藉由公知的內插處理而求出像素資訊。於圖29中，菱形是表示RGB的實際像素之資訊，小圓圈係表示以內插處理所求出之像素(以下記作「內插像素」)之資訊。上述像素偏移之結果，W像素的重心與RGB之色彩像素的重心係為一致，因此可求取W像素與RGB像素的色彩相關。
例如，藉由求取W像素與R像素的色彩相關，就可從該相關係數，求出沒有R像素實際存在之空白部分的R像素之資訊。亦即，藉由像素偏移所求得的W像素之資訊，係求出沒有色彩像素實際存在之空白部分的色彩資訊，是被使用於所謂的色彩資訊之填空。藉由此種處理，就可重現色彩資訊。然後，如圖30所示，將W像素的資訊和RGB之像素的資訊，加以合成。
如上述，將W像素的資訊推展至全像素，並且進行像素偏移而空間性置換成中間位置的W像素，求取該中間位置的W像素與RGB像素之相關，藉此，就可將第1變形例所述之彩色編碼的色彩排列，復原成拜爾排列。
然後，對該拜爾排列之訊號，進行空間頻帶低通濾波器的訊號處理，對影像記憶體32獨立讀出時的標準記錄像素數就會成為原本色彩排列之像素數(實際像素數)的1.125倍(=9/8)。但是，此時的影像記憶體32的記憶體容量增加量，係僅有些微。又，藉由像素偏移而從相鄰之4個W像素的資訊生成該當4個W像素之正中央位置的資訊，像素數會成為原本之色彩排列的4.5倍(=36/8)。亦即，就資料量而言，是標準記錄像素數時的4倍(=4.5/1.125)。
將W像素的資訊和RGB像素的資訊加以合成後，如圖31所示，關於W/G，係在相鄰之4像素間，進行加算處理(4像素加算)。作為一例，關於x,y=7,4的空間位置，係於圖30中，將x,y=7,2的G像素、x,y=7,6的G像素、x,y=5,4的G像素、x,y=5,9的G像素的各資訊，作4像素加算。另一方面，針對R/B的色彩資訊，係在上下或左右2像素間，進行加算處理(2像素加算)。
此處，雖然針對W/G是進行4像素加算、針對R/B是進行2像素加算，但並非限定於該加算方式。例如，針對WGRB全部都以縱2像素加算、橫2像素加算來進行去馬賽克處理，其後將兩者加算，結果而言，可獲得針對WGRB全體進行4像素加算之效果。
圖32中圖示縱(上下)加算平面，圖33中圖示了橫(左右)加算平面。將縱加算平面與橫加算平面進行加算，結果而言，是針對WGRB全體進行4像素加算，藉此，實效像素數係為0.25像素(=2/8)，記錄像素數係為0.5像素(=4/8)。
[第2變形例]
(彩色編碼)
圖34係第2變形例所述之彩色編碼之圖示。本變形例所述之彩色編碼，係以第1變形例所述之彩色編碼，亦即關於W/G濾光片是4像素皆為同一色，關於R/B濾光片則是R2像素和B2像素之組合所成之彩色編碼為基礎。
然後，在第2變形例所述之彩色編碼中，首先，針對G濾光片的4像素，係相較於橫2像素，把縱2像素的感度降低。亦即，相對來說，橫2像素是高感度，縱2像素是低感度。關於W濾光片也是，和G濾光片同樣地，橫2像素是高感度，縱2像素是低感度。
另一方面，關於R2像素和B2像素之組合所成的4像素，則是上下左右4像素當中，相較於上和左的像素，下和右的像素的感度較低。具體而言，上下2像素為R、左右2像素為B的4像素中，相對而言，上的R像素是高感度，下的R像素是低感度，左的B像素是高感度，右的B像素是低感度。又，上下2像素為B、左右2像素為R的4像素中，相對而言，上的B像素是高感度，下的B像素是低感度，左的R像素是高感度，右的R像素是低感度。
至於微透鏡陣列34，係和第1乃至第3實施形態相同，以跨越不同顏色的方式，在4像素單位中共有1個微透鏡。圖35係關於第2變形例所述之彩色編碼而將光學中心配置在xy空間的圖。
(去馬賽克處理)
接著說明，將第2變形例所述之彩色編碼的棋盤排列轉換成正方排列的去馬賽克處理。
首先，針對RGB各像素，抽出實際像素之資訊而排列之。圖36係將RGB之實際像素之資訊的排列視作第一平面的圖示。接著，針對W的實際像素，和第1變形例的W像素時同樣地，根據實際像素之資訊而判斷方向性然後基於周圍的實際像素之資訊，生成沒有實際像素存在之部分的像素資訊，然後推展至全像素。
又，藉由進行前述的像素偏移處理，就可從相鄰的4個W像素之資訊，演算求出該當4個W像素之正中央位置的像素資訊。圖37係針對W之實際像素而將像素偏移排列視作W平面的圖示。
針對RGB的像素，係和第1變形例的RGB像素的情況相同，從W-RGB之相關，藉由公知的內插處理而求出像素資訊(內插像素之資訊)。圖38係將RGB之內插像素之資訊的排列視作第二平面的圖示。於圖38中，菱形係表示RGB的內插像素之資訊。
然後，藉由將圖36的第一平面和圖38的第二平面予以加算，就可如圖39所示，將第2變形例所述之彩色編碼的色彩排列，復原成拜爾排列。該加算時，實效像素數係為5/16像素，記錄像素數係為0.5像素(=4/8)。
對於圖39所示的色彩排列的各像素之訊號，可適用公知的稱作SVE(Spatially Varying Exposure)方式之技術(例如參照國際公開第02/056603號小冊子)。SVE方式係為使用空間性感度圖案而不必降低解析度，就能提升動態範圍的技術之一。
該SVE方式中，各像素係僅具有1種類的感度。因此，已被拍攝之影像的各像素，只能夠取得原本攝像元件所擁有之動態範圍的資訊。相對於此，對已得到之影像訊號實施所定之影像處理，使全部像素的感度均一，結果而言，可生成動態範圍較廣的影像。
即使在第2變形例中，也是和第1變形例同樣地，可以採用以縱2像素加算生成縱加算平面和以橫2像素加算生成橫加算平面，然後將這些平面予以加算的手法。圖40係將縱加算平面與橫加算平面進行加算後的結果視作加算平面之圖示。
[第3變形例]
(彩色編碼)
圖41係第3變形例所述之彩色編碼之圖示。本變形例所述之彩色編碼，係各像素之感度高低組合是與第2變形例所述之彩色編碼不同的彩色編碼。
具體而言，第3變形例所述之彩色編碼中，針對G濾光片的4像素，係相較於橫2像素，把縱2像素的感度提高。亦即，相對來說，橫2像素是低感度，縱2像素是高感度。關於W濾光片也是，和G濾光片同樣地，橫2像素是低感度，縱2像素是高感度。
另一方面，關於R2像素和B2像素之組合所成的4像素則是，相較於橫2像素，縱2像素的感度是較高。亦即，縱2像素為R、橫2像素為B的組合中，相較於B的2像素，R的2像素的感度是較高的。又，縱2像素為B、橫2像素為R的組合中，相較於R的2像素，B的2像素的感度是較高的。
至於微透鏡陣列34，係和第1乃至第3實施形態相同，以跨越不同顏色的方式，在4像素單位中共有1個微透鏡。圖35係關於第2變形例所述之彩色編碼而將光學中心配置在xy空間的圖。
(去馬賽克處理)
接著說明，將第3變形例所述之彩色編碼的棋盤排列轉換成正方排列的去馬賽克處理。與第2變形例係只有各像素之感度高低組合不同，基本上去馬賽克處理是相同的。
首先，針對RGB各像素，抽出實際像素之資訊而排列之。圖43係將RGB之實際像素之資訊的排列視作第一平面的圖示。接著，針對W的實際像素，和第1變形例的W像素時同樣地，根據實際像素之資訊而判斷方向性然後基於周圍的實際像素之資訊，生成沒有實際像素存在之部分的像素資訊，然後推展至全像素。
又，藉由進行前述的像素偏移處理，就可從相鄰的4個W像素之資訊，演算求出該當4個W像素之正中央位置的像素資訊。圖44係針對W之實際像素而將像素偏移排列視作W平面的圖示。
針對RGB的像素，係和第1變形例的RGB像素的情況相同，從W-RGB之相關，藉由公知的內插處理而求出像素資訊(內插像素之資訊)。圖45係將RGB之內插像素之資訊的排列視作第二平面的圖示。於圖45中，菱形係表示RGB的內插像素之資訊。
然後，藉由將圖43的第一平面和圖44的第二平面予以加算，就可如圖46所示，將第2變形例所述之彩色編碼的色彩排列，復原成拜爾排列。該加算時，實效像素數係為5/16像素，記錄像素數係為0.5像素(=4/8)。
即使在第3變形例中，也是和第1變形例同樣地，可以採用以縱2像素加算生成縱加算平面和以橫2像素加算生成橫加算平面，然後將這些平面予以加算的手法。圖47係將縱加算平面與橫加算平面進行加算後的結果視作加算平面之圖示。
＜7.適用例＞
[攝像裝置]
圖48係本發明所述之攝像裝置之構成之一例的區塊圖。
如圖48所示，本發明所述之攝像裝置100，係具有：含有攝像透鏡等之透鏡群101等的光學系、攝像元件102、屬於相機訊號處理電路的DSP電路103、畫格記憶體104、顯示裝置105、記錄裝置106、操作系107及電源系108等。然後，DSP電路103、畫格記憶體104、顯示裝置105、記錄裝置106、操作系107及電源系108是透過匯流排線109而彼此連接之構成。
透鏡群101，係將來自被攝體的入射光(像光)加以擷取而成像於攝像元件102的攝像面上。攝像元件102，係藉由透鏡群101而將被成像在攝像面上之入射光的光量，以像素單位，轉換成電氣訊號，然後輸出成為像素訊號。作為該攝像元件102，係使用了前述本發明所被適用的CMOS影像感測器10。該CMOS影像感測器10，其彩色濾光片陣列33係為具有前述第1乃至第3實施形態所述之彩色編碼者，或第1乃至第3變形例所述之彩色編碼者。
DSP電路103係相當於圖1的DSP電路31，將從感測器晶片11所輸出的例如1畫格份的影像資料，暫時積存在相當於影像記憶體32的畫格記憶體104中。然後，DSP電路103，係使用畫格記憶體104中所記憶保持的影像資料，來進行包含前述去馬賽克處理的各種訊號處理。
顯示裝置105，係由液晶顯示元件或有機EL(electro luminescence)顯示裝置等之面板型顯示裝置所成，會將攝像元件102所拍攝到的動畫或靜止影像，加以顯示。記錄裝置106，係將攝像元件102所拍攝到的動畫或靜止影像，記錄至錄影帶或DVD(Digital Versatile Disk)等之記錄媒體。
操作系107，係在使用者所作的操作下，針對本攝像裝置所具備的各種機能，發出操作指令。電源系108，係將DSP電路103、畫格記憶體104、顯示裝置105、記錄裝置106及操作系107的動作電源之各種電源，對這些供給對象，適宜地供給。
此種攝像裝置100，係被適用於視訊攝影機或數位靜態相機，甚至行動電話機等行動機器專用的相機模組。然後，作為攝像元件102係使用了具有前述第1乃至第3實施形態所述之彩色編碼，或第1乃至第3變形例所述之彩色編碼的彩色濾光片陣列33的CMOS影像感測器，就可得到以下之作用效果。
亦即，藉由使用將RGB拜爾排列作45度旋轉的棋盤排列，將上下左右相鄰4像素設成同一色的彩色編碼的彩色濾光片陣列33，就可抑制畫格記憶體104的容量的不必要之增大。因此，DSP電路103上的去馬賽克處理時可將必要之影像記憶體32的容量抑制成較少，所以可謀求本攝像裝置的系統全體的成本降低。
10．．．CMOS影像感測器
11．．．半導體基板(感測器晶片)
12．．．像素陣列部
13．．．垂直驅動部
14．．．縱欄處理部
15．．．水平驅動部
16．．．系統控制部
20．．．單位像素
21．．．光二極體
22．．．傳輸電晶體
23．．．重置電晶體
24．．．增幅電晶體
25．．．選擇電晶體
26．．．FD(浮置擴散)部
31．．．DSP電路
32．．．影像記憶體
33,33A,33B,33C．．．彩色濾光片陣列
34,34A,34B,34C．．．微透鏡陣列
[圖1]本發明所被適用的CMOS影像感測器之構成之概略的系統構成圖。
[圖2]單位像素的電路構成之一例的電路圖。
[圖3]在像素內進行相鄰4像素加算時的電路構成之一例的電路圖。
[圖4]本發明的第1實施形態所述之彩色濾光片陣列的彩色編碼之圖示。
[圖5]關於第1實施形態所述之彩色濾光片陣列的彩色編碼，將光學中心配置在xy空間的圖。
[圖6]第1實施形態所述之彩色編碼之例子的去馬賽克處理的說明圖。
[圖7]去馬賽克處理成為，對亮度訊號之主成分的綠色之解析度加以重視的正方排列後的像素排列之圖示。
[圖8]去馬賽克處理成為，對色彩訊號之主成分的紅色/藍色之解析度加以重視的正方排列後的像素排列之圖示。
[圖9]本發明的第2實施形態所述之彩色濾光片陣列的彩色編碼之圖示。
[圖10]關於第2實施形態所述之彩色濾光片陣列的彩色編碼，將光學中心配置在xy空間的圖。
[圖11]去馬賽克處理成為，對亮度訊號之主成分的白色/綠色之解析度加以重視的正方排列後的像素排列之圖示。
[圖12]令Gw=W-R-B而進行去馬賽克處理時的像素排列之圖示。
[圖13]令Wg=G+R+B而進行去馬賽克處理時的像素排列之圖示。
[圖14]本發明的第3實施形態所述之彩色濾光片陣列的彩色編碼之圖示。
[圖15]關於第3實施形態所述之彩色濾光片陣列的彩色編碼，將光學中心配置在xy空間的圖。
[圖16]去馬賽克處理成為，對亮度訊號之主成分的白色/綠色之解析度加以重視的正方排列後的像素排列之圖示。
[圖17]去馬賽克處理成為，重視R/B/G之解析度時的正方排列後的像素排列之圖示。
[圖18]第3實施形態所述之彩色編碼之例子的空間取樣點的說明圖。
[圖19]第3實施形態所述之彩色編碼之例子的輸出取樣點的說明圖。
[圖20]先前技術之例子的空間取樣點的說明圖。
[圖21]第1實施形態所述之彩色編碼中的同色4像素加算的說明圖。
[圖22]第1實施形態所述之彩色濾光片陣列之例子的挪近排列的說明圖。
[圖23]微透鏡的高度h及曲率r的說明圖。
[圖24]相位差偵測原理的說明圖。
[圖25]微透鏡之形狀的變形例的圖示。
[圖26]第1變形例所述之彩色編碼之圖示。
[圖27]關於第1變形例所述之彩色編碼而將光學中心配置在xy空間的圖。
[圖28]第1變形例中將W像素的資訊推展至全像素而進行像素偏移之際的說明圖。
[圖29]第1變形例中針對RGB之像素，根據W-RGB之相關而進行RGB內插處理之際的說明圖。
[圖30]第1變形例中將W像素的資訊和RGB之像素的資訊加以合成之際的說明圖。
[圖31]第1變形例中進行WR4像素加算及RB2像素加算之際的說明圖。
[圖32]第1變形例中的縱加算平面的說明圖。
[圖33]第1變形例中的橫加算平面的說明圖。
[圖34]第2變形例所述之彩色編碼之圖示。
[圖35]關於第2變形例所述之彩色編碼而將光學中心配置在xy空間的圖。
[圖36]將RGB之實際像素之資訊的排列視作第一平面的圖示。
[圖37]針對W之實際像素而將像素偏移排列視作W平面的圖示。
[圖38]將RGB之內插像素之資訊的排列視作第二平面的圖示。
[圖39]藉由將第一平面與第二平面進行加算而被復原的拜爾排列之圖示。
[圖40]將縱加算平面與橫加算平面進行加算後的結果視作加算平面之圖示。
[圖41]第3變形例所述之彩色編碼之圖示。
[圖42]關於第3變形例所述之彩色編碼而將光學中心配置在xy空間的圖。
[圖43]將RGB之實際像素之資訊的排列視作第一平面的圖示。
[圖44]針對W之實際像素而將像素偏移排列視作W平面的圖示。
[圖45]將RGB之內插像素之資訊的排列視作第二平面的圖示。
[圖46]藉由將第一平面與第二平面進行加算而被復原的拜爾排列之圖示。
[圖47]將縱加算平面與橫加算平面進行加算後的結果視作加算平面之圖示。
[圖48]本發明所述之攝像裝置之構成之一例的區塊圖。
33A．．．彩色濾光片陣列
34A．．．微透鏡陣列

Claims (20)

  1. 一種固體攝像裝置，其特徵為，具有依據棋盤排列，且上下左右之至少一方的相鄰2像素是同色的彩色濾光片陣列；前記彩色濾光片陣列係為，近似性地被排列成，空間取樣點x,y是x=3＊(2n-1+oe)+1±2、y=3m-2(n,m=整數，oe的值在m是奇數時為0/偶數時為1)，和x=3＊(2n-1+oe)+1、y=3m-2±2(n,m=整數，oe的值在m是奇數時為0/偶數時為1)之至少一方的色彩排列。
  2. 如申請專利範圍第1項所記載之固體攝像裝置，其中，前記彩色濾光片陣列係為，n,m確定的相鄰之4個像素當中，該當4個像素全部是呈同色之色彩排列。
  3. 如申請專利範圍第1項所記載之固體攝像裝置，其中，前記彩色濾光片陣列係為，n,m確定的相鄰之4個像素當中，至少呈點對稱之位置關係的2像素是呈同色之色彩排列。
  4. 如申請專利範圍第1項所記載之固體攝像裝置，其中，前記彩色濾光片陣列係為，在n,m單位中m值為奇數或偶數時為同色，且該當同色是亮度訊號的主成分為綠色或白色的色彩排列。
  5. 如申請專利範圍第4項所記載之固體攝像裝置，其中，前記彩色濾光片陣列係為，前記同色是綠色，且該當綠色以外之部分係為，n,m之中心相同的4個像素是紅色與藍色之同色的色彩排列。
  6. 如申請專利範圍第4項所記載之固體攝像裝置，其中，前記彩色濾光片陣列係為，前記同色是綠色與白色，該當綠色與白色以外之部分係為，n,m之中心相同的4個像素是紅色與藍色之同色的色彩排列。
  7. 如申請專利範圍第4項所記載之固體攝像裝置，其中，前記彩色濾光片陣列係為，前記同色是白色，該當白色以外之部分係為，n,m之中心相同的4個像素是綠色與紅色與藍色的同色之色彩排列。
  8. 如申請專利範圍第4項所記載之固體攝像裝置，其中，前記彩色濾光片陣列係為，前記同色是白色，且該當白色以外之部分係為，n,m之中心相同的4個像素是綠色之同色、和n,m之中心相同的4個像素中紅色與藍色是在位於點對稱之位置關係的2像素中為同色之色彩排列。
  9. 如申請專利範圍第5項所記載之固體攝像裝置，其中，前記彩色濾光片陣列係為，前記4個像素當中，位於點對稱之位置關係的2像素彼此之感度是不同的。
  10. 如申請專利範圍第1項所記載之固體攝像裝置，其中，具有：以n,m值不同的相鄰之4像素為單位，每該當4像素就配置1個微透鏡而成的微透鏡陣列。
  11. 如申請專利範圍第10項所記載之固體攝像裝置，其中，前記4像素係為，各光學性像素中心是靠近1個微透鏡的中心而配置。
  12. 如申請專利範圍第10項所記載之固體攝像裝置，其中，前記微透鏡陣列係為，微透鏡的曲率是在n方向與m方向上不同。
  13. 如申請專利範圍第2項或第3項所記載之固體攝像裝置，其中，n,m確定的每相鄰之4個像素，在該當4個像素的中央部，具有浮置擴散部；於該當浮置擴散部中，在相鄰之4個同色像素間或位於點對稱之位置關係的2個同色像素間，進行電荷的加算。
  14. 如申請專利範圍第10項所記載之固體攝像裝置，其中，n,m確定的每相鄰之4個像素，在該當4個像素的中央部，具有浮置擴散部；前記浮置擴散部係被配置在，前記微透鏡陣列的微透鏡彼此間的間隙裡。
  15. 如申請專利範圍第10項所記載之固體攝像裝置，其中，構成前記4個像素的元件係被配置在，前記微透鏡陣列的微透鏡彼此間的間隙裡。
  16. 如申請專利範圍第8項所記載之固體攝像裝置，其中，具有訊號處理電路，係針對白色的像素，從實際存在之像素的資訊，將沒有像素存在之部分的像素資訊，基於其周圍的像素資訊而加以生成並推展至全像素，並從相鄰之4個白色像素的資訊，求出該當4個白色像素的正中央位置的白色之像素資訊。
  17. 如申請專利範圍第16項所記載之固體攝像裝置，其中，前記訊號處理電路，係針對綠色、紅色、藍色之各像素，從該當各像素之資訊和前記正中央位置的白色之像素資訊的色彩相關，求出像素資訊，以重現色彩資訊，將該當色彩資訊與前記白色之像素資訊加以合成，對該合成之訊號，施以空間頻帶低通濾波器處理。
  18. 一種固體攝像裝置之訊號處理方法，係在具有依據棋盤排列，且上下左右之至少一方的相鄰2像素是同色的彩色濾光片陣列；前記彩色濾光片陣列係為，近似性地被排列成，空間取樣點x,y是x=3＊(2n-1+oe)+1±2、y=3m-2(n,m=整數，oe的值在m是奇數時為0/偶數時為1)，和x=3＊(2n-1+oe)+1、y=3m-2±2(n,m=整數，oe的值在m是奇數時為0/偶數時為1)之至少一方的色彩排列；在n,m單位中m值為奇數或偶數時為同色，且該當同色是亮度訊號的主成分為綠色或白色，該當白色以外之部分係為，n,m之中心相同的4個像素是綠色之同色、和n,m之中心相同的4個像素中紅色與藍色是在位於點對稱之位置關係的2像素中為同色之色彩排列的固體攝像裝置的訊號處理時，針對白色的像素，是從實際存在之像素的資訊，將沒有像素存在之部分的像素資訊，基於其周圍的像素資訊而加以生成並推展至全像素，並從相鄰之4個白色像素的資訊，求出該當4個白色像素的正中央位置的白色之像素資訊。
  19. 如申請專利範圍第18項所記載之固體攝像裝置之訊號處理方法，其中，針對綠色、紅色、藍色之各像素，是從該當各像素之資訊和前記正中央位置的白色之像素資訊的色彩相關，求出像素資訊，以重現色彩資訊，將該當色彩資訊與前記白色之像素資訊加以合成，對該合成之訊號，施以空間頻帶低通濾波器處理。
  20. 一種攝像裝置，其特徵為具有固體攝像裝置，其係具有依據棋盤排列，且上下左右之至少一方的相鄰2像素是同色的彩色濾光片陣列；前記彩色濾光片陣列係為，近似性地被排列成，空間取樣點x,y是x=3＊(2n-1+oe)+1±2、y=3m-2(n,m=整數，oe的值在m是奇數時為0/偶數時為1)，和x=3＊(2n-1+oe)+1、y=3m-2±2(n,m=整數，oe的值在m是奇數時為0/偶數時為1)之至少一方的色彩排列。
TW099107799A 2009-03-31 2010-03-17 固體攝像裝置、固體攝像裝置之訊號處理方法及攝像裝置 TWI423672B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009084144A JP5359465B2 (ja) 2009-03-31 2009-03-31 固体撮像装置、固体撮像装置の信号処理方法および撮像装置

Publications (2)

Publication Number Publication Date
TW201108734A TW201108734A (en) 2011-03-01
TWI423672B true TWI423672B (zh) 2014-01-11

Family

ID=42805726

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099107799A TWI423672B (zh) 2009-03-31 2010-03-17 固體攝像裝置、固體攝像裝置之訊號處理方法及攝像裝置

Country Status (5)

Country Link
US (3) US8310573B2 (zh)
JP (1) JP5359465B2 (zh)
KR (1) KR101696463B1 (zh)
CN (1) CN101854488B (zh)
TW (1) TWI423672B (zh)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US8558915B2 (en) * 2009-12-22 2013-10-15 Samsung Electronics Co., Ltd. Photographing apparatus and method
JP5644177B2 (ja) 2010-05-07 2014-12-24 ソニー株式会社 固体撮像装置、および、その製造方法、電子機器
WO2012026292A1 (ja) * 2010-08-24 2012-03-01 富士フイルム株式会社 固体撮像装置
US9137503B2 (en) * 2010-11-03 2015-09-15 Sony Corporation Lens and color filter arrangement, super-resolution camera system and method
JP5664141B2 (ja) 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
US9532033B2 (en) * 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
JP5629568B2 (ja) * 2010-12-16 2014-11-19 富士フイルム株式会社 撮像装置及びその画素加算方法
DE102010063960A1 (de) * 2010-12-22 2012-06-28 Carl Zeiss Microlmaging Gmbh Kamera mit einem Farbbildsensor sowie Aufnahmeverfahren mit einer solchen Kamera
US8742309B2 (en) 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
JP2012175600A (ja) * 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2012195921A (ja) 2011-02-28 2012-10-11 Sony Corp 固体撮像素子およびカメラシステム
JP5967950B2 (ja) * 2011-04-20 2016-08-10 キヤノン株式会社 撮像素子及び撮像装置
CN103503438A (zh) * 2011-05-24 2014-01-08 索尼公司 固态图像拾取装置和相机系统
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
WO2012171154A1 (zh) * 2011-06-13 2012-12-20 广东中显科技有限公司 全彩顶部发光型有机电致发光显示器的彩色滤色片
US10015471B2 (en) * 2011-08-12 2018-07-03 Semiconductor Components Industries, Llc Asymmetric angular response pixels for single sensor stereo
JP5917055B2 (ja) * 2011-09-13 2016-05-11 キヤノン株式会社 固体撮像素子、その駆動方法および制御プログラム
JP5871535B2 (ja) * 2011-09-22 2016-03-01 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US8432466B2 (en) * 2011-09-29 2013-04-30 International Business Machines Corporation Multiple image high dynamic range imaging from a single sensor array
JP6010895B2 (ja) * 2011-11-14 2016-10-19 ソニー株式会社 撮像装置
KR101358889B1 (ko) 2011-11-22 2014-02-07 연세대학교 산학협력단 Ｃｆａ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법
EP2800383A4 (en) * 2011-12-27 2015-09-02 Fujifilm Corp COLOR PICTURE ELEMENT
CN104012084B (zh) * 2011-12-27 2015-06-24 富士胶片株式会社 彩色摄像元件
JP5661201B2 (ja) * 2011-12-27 2015-01-28 富士フイルム株式会社 固体撮像装置
WO2013100034A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
WO2013108656A1 (ja) 2012-01-16 2013-07-25 ソニー株式会社 固体撮像素子およびカメラシステム
JP2013162148A (ja) * 2012-02-01 2013-08-19 Sony Corp 個体撮像装置および駆動方法、並びに電子機器
US9554115B2 (en) 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
CN104137421B (zh) 2012-03-01 2016-09-28 株式会社尼康 A／d转换电路及固体成像装置
CN103369253B (zh) * 2012-03-26 2017-02-08 江苏思特威电子科技有限公司 成像装置及成像方法
JP6384323B2 (ja) 2012-03-30 2018-09-05 株式会社ニコン 撮像素子および撮像装置
CN111711746A (zh) 2012-03-30 2020-09-25 株式会社尼康 摄像装置以及摄像元件
JP5900127B2 (ja) * 2012-04-13 2016-04-06 株式会社デンソー 撮像デバイス及び画像処理システム
JP5690977B2 (ja) 2012-06-07 2015-03-25 富士フイルム株式会社 撮像素子及び撮像装置
JP5702893B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
JP5698873B2 (ja) * 2012-07-06 2015-04-08 富士フイルム株式会社 カラー撮像素子および撮像装置
US9420208B2 (en) 2012-07-13 2016-08-16 Canon Kabushiki Kaisha Driving method for image pickup apparatus and driving method for image pickup system
JP6080411B2 (ja) * 2012-07-13 2017-02-15 キヤノン株式会社 撮像装置、撮像装置の駆動方法、および撮像システムの駆動方法。
JP6080412B2 (ja) * 2012-07-13 2017-02-15 キヤノン株式会社 撮像装置の駆動方法、および撮像システムの駆動方法。
US9854138B2 (en) * 2012-09-20 2017-12-26 Gyrus Acmi, Inc. Fixed pattern noise reduction
JP6120523B2 (ja) * 2012-10-24 2017-04-26 オリンパス株式会社 撮像素子及び撮像装置
JP2014099696A (ja) * 2012-11-13 2014-05-29 Toshiba Corp 固体撮像装置
TWI520323B (zh) * 2013-02-08 2016-02-01 中華映管股份有限公司 有機發光顯示裝置之畫素結構
JP6149544B2 (ja) * 2013-06-28 2017-06-21 株式会社ニコン 撮像装置および制御プログラム
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
JP2015023332A (ja) * 2013-07-17 2015-02-02 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
CN105791644A (zh) * 2013-09-10 2016-07-20 邹玉华 仿螳螂虾复眼的图像信息采集系统及工作方法
CN103531596B (zh) * 2013-09-22 2015-09-23 华中科技大学 一种基于单眼套叠的全色复眼成像探测芯片
JP2015065270A (ja) * 2013-09-25 2015-04-09 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
JP2015072987A (ja) * 2013-10-02 2015-04-16 株式会社ニコン 撮像素子および撮像装置
EP3481055B1 (en) * 2013-10-02 2022-07-13 Nikon Corporation Imaging element and imaging apparatus
JP6180882B2 (ja) * 2013-10-31 2017-08-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理装置、および電子機器
JP6151632B2 (ja) * 2013-12-20 2017-06-21 富士フイルム株式会社 撮像モジュール及び撮像装置
CN103813112B (zh) * 2014-02-28 2018-01-02 上海集成电路研发中心有限公司 多重采样的像素阵列、图像传感器、像素单元
JP6075646B2 (ja) * 2014-03-17 2017-02-08 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
JP6368125B2 (ja) * 2014-04-09 2018-08-01 キヤノン株式会社 撮像装置
JP2015207815A (ja) * 2014-04-17 2015-11-19 キヤノン株式会社 撮像素子および撮像素子を備えた撮像装置
WO2016013410A1 (ja) * 2014-07-22 2016-01-28 ソニー株式会社 固体撮像素子および電子機器
TW202306133A (zh) 2014-11-05 2023-02-01 日商索尼半導體解決方案公司 固體攝像元件及其製造方法以及電子機器
KR102593800B1 (ko) 2014-12-18 2023-10-25 소니그룹주식회사 고체 촬상 소자, 및 전자 장치
US9973678B2 (en) * 2015-01-14 2018-05-15 Invisage Technologies, Inc. Phase-detect autofocus
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
US9911773B2 (en) * 2015-06-18 2018-03-06 Omnivision Technologies, Inc. Virtual high dynamic range large-small pixel image sensor
KR102348760B1 (ko) * 2015-07-24 2022-01-07 삼성전자주식회사 이미지 센서 및 그에 따른 신호 처리 방법
JP6237726B2 (ja) * 2015-07-29 2017-11-29 株式会社ニコン 撮像素子及び撮像装置
JP6579859B2 (ja) * 2015-08-11 2019-09-25 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法およびプログラム
EP3131292B1 (en) * 2015-08-14 2022-06-15 InterDigital CE Patent Holdings Plenoptic camera comprising a shuffled color filter array
CN105120248A (zh) * 2015-09-14 2015-12-02 北京中科慧眼科技有限公司 像素阵列及相机传感器
US10044959B2 (en) * 2015-09-24 2018-08-07 Qualcomm Incorporated Mask-less phase detection autofocus
EP3171406B1 (en) * 2015-11-23 2019-06-19 ams AG Photodiode array
JP6746301B2 (ja) 2015-11-30 2020-08-26 キヤノン株式会社 撮像装置の駆動方法、撮像装置、撮像システム
CN105590939B (zh) * 2015-12-18 2019-07-19 Oppo广东移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN105609516B (zh) * 2015-12-18 2019-04-12 Oppo广东移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN105611125B (zh) * 2015-12-18 2018-04-10 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105578006B (zh) * 2015-12-18 2018-02-13 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
KR102466856B1 (ko) * 2016-04-20 2022-11-15 에스케이하이닉스 주식회사 비정형 육각형 모양으로 배열된 위상 차 검출 픽셀들을 갖는 이미지 센서
JP6750852B2 (ja) * 2016-05-11 2020-09-02 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US9955090B2 (en) 2016-07-20 2018-04-24 Omnivision Technologies, Inc. High dynamic range image sensor with virtual high-low sensitivity pixels
WO2018075583A1 (en) 2016-10-20 2018-04-26 Invisage Technologies, Inc. Image sensors with crosstalk mitigation
JP2018098344A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器
JP7171199B2 (ja) * 2017-08-03 2022-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
KR20230116082A (ko) * 2017-08-03 2023-08-03 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치, 및 전자 기기
CN107980219B (zh) * 2017-10-20 2021-08-20 深圳市汇顶科技股份有限公司 像素传感模块及图像撷取装置
US11153514B2 (en) * 2017-11-30 2021-10-19 Brillnics Singapore Pte. Ltd. Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
JP7280681B2 (ja) * 2017-11-30 2023-05-24 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
JP6583444B2 (ja) * 2018-01-17 2019-10-02 株式会社ニコン 撮像素子および撮像装置
EP3522106A1 (en) 2018-01-31 2019-08-07 InterDigital CE Patent Holdings A filter array enabling easy demosaicing
JP2019175912A (ja) 2018-03-27 2019-10-10 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、画像処理システム
JP7107004B2 (ja) * 2018-06-11 2022-07-27 凸版印刷株式会社 表示体の製造方法
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
JP2019057948A (ja) * 2018-12-28 2019-04-11 株式会社ニコン 撮像装置
WO2020177123A1 (en) * 2019-03-07 2020-09-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Color imaging system
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
JP2020167634A (ja) * 2019-03-29 2020-10-08 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置、及び伝送システム
WO2021002213A1 (ja) * 2019-07-02 2021-01-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその駆動方法、並びに電子機器
KR20210087809A (ko) 2020-01-03 2021-07-13 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
JPWO2021187223A1 (zh) 2020-03-17 2021-09-23
CN113973184A (zh) * 2020-05-22 2022-01-25 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端
WO2021248379A1 (zh) * 2020-06-10 2021-12-16 深圳市汇顶科技股份有限公司 图像传感器和电子设备
CN111488865B (zh) 2020-06-28 2020-10-27 腾讯科技（深圳）有限公司 图像优化方法、装置、计算机存储介质以及电子设备
CN111726549B (zh) * 2020-06-29 2022-08-23 深圳市汇顶科技股份有限公司 图像传感器、电子设备和芯片
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
JP2023096630A (ja) * 2021-12-27 2023-07-07 ソニーセミコンダクタソリューションズ株式会社 光検出装置および電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070040100A1 (en) * 2001-05-07 2007-02-22 Panavision Imaging, Llc. Scanning imager employing multiple chips with staggered pixels
US20070146495A1 (en) * 2005-12-26 2007-06-28 Sony Corporation Signal processing apparatus
TW200731522A (en) * 2006-01-16 2007-08-16 Matsushita Electric Ind Co Ltd Solid-state imaging device and driving method thereof

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3401804B2 (ja) * 1992-10-29 2003-04-28 ソニー株式会社 オンチップマイクロレンズ及びその作製方法、並びに係るオンチップマイクロレンズを備えた光学素子
JPH11168688A (ja) * 1997-12-02 1999-06-22 Fuji Photo Film Co Ltd ディジタルカメラ装置ならびにその記録および／または再生処理方法
JP4556102B2 (ja) * 2004-01-20 2010-10-06 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
JP2007235888A (ja) * 2006-03-03 2007-09-13 Fujifilm Corp 単板式カラー固体撮像素子及び撮像装置
JP4915126B2 (ja) * 2006-04-10 2012-04-11 株式会社ニコン 固体撮像装置、および電子カメラ
JP4952060B2 (ja) * 2006-05-26 2012-06-13 株式会社ニコン 撮像装置
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
US7768569B2 (en) * 2006-08-17 2010-08-03 Altasens, Inc. High sensitivity color filter array
JP2008153370A (ja) * 2006-12-15 2008-07-03 Matsushita Electric Ind Co Ltd 固体撮像装置及びその製造方法
JP5085140B2 (ja) * 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
JP4289419B2 (ja) * 2007-05-07 2009-07-01 ソニー株式会社 撮像装置、欠陥画素補正装置およびこれらにおける処理方法ならびにプログラム
JP4967873B2 (ja) * 2007-07-13 2012-07-04 ソニー株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070040100A1 (en) * 2001-05-07 2007-02-22 Panavision Imaging, Llc. Scanning imager employing multiple chips with staggered pixels
US20070146495A1 (en) * 2005-12-26 2007-06-28 Sony Corporation Signal processing apparatus
TW200731522A (en) * 2006-01-16 2007-08-16 Matsushita Electric Ind Co Ltd Solid-state imaging device and driving method thereof

Also Published As

Publication number Publication date
JP2010239337A (ja) 2010-10-21
US8754967B2 (en) 2014-06-17
KR101696463B1 (ko) 2017-01-23
KR20100109408A (ko) 2010-10-08
TW201108734A (en) 2011-03-01
CN101854488B (zh) 2012-08-29
US20130057735A1 (en) 2013-03-07
US20130335604A1 (en) 2013-12-19
JP5359465B2 (ja) 2013-12-04
US8520103B2 (en) 2013-08-27
US8310573B2 (en) 2012-11-13
US20100238330A1 (en) 2010-09-23
CN101854488A (zh) 2010-10-06

Similar Documents

Publication Publication Date Title
TWI423672B (zh) 固體攝像裝置、固體攝像裝置之訊號處理方法及攝像裝置
US9736447B2 (en) Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus
US9866771B2 (en) Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus
JP4683121B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP4626706B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US20150304582A1 (en) Image pickup device and camera system
WO2013172205A1 (ja) 撮像装置および撮像方法、電子機器、並びにプログラム
JP6555530B2 (ja) 固体撮像装置、撮像装置、および電子機器
JP5884847B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5500193B2 (ja) 固体撮像装置、撮像装置、撮像及び信号処理方法
JP5212536B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5141757B2 (ja) 撮像装置、撮像及び信号処理方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees