TWI655759B - 攝像元件、影像感測器、攝像裝置、及資訊處理裝置 - Google Patents

攝像元件、影像感測器、攝像裝置、及資訊處理裝置 Download PDF

Info

Publication number
TWI655759B
TWI655759B TW105121561A TW105121561A TWI655759B TW I655759 B TWI655759 B TW I655759B TW 105121561 A TW105121561 A TW 105121561A TW 105121561 A TW105121561 A TW 105121561A TW I655759 B TWI655759 B TW I655759B
Authority
TW
Taiwan
Prior art keywords
layer
light
image
pixel
light detection
Prior art date
Application number
TW105121561A
Other languages
English (en)
Other versions
TW201711176A (zh
Inventor
勢川博之
小笠原英彦
Original Assignee
索尼互動娛樂股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 索尼互動娛樂股份有限公司 filed Critical 索尼互動娛樂股份有限公司
Publication of TW201711176A publication Critical patent/TW201711176A/zh
Application granted granted Critical
Publication of TWI655759B publication Critical patent/TWI655759B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/04—Polarimeters using electric detection means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by at least one potential-jump barrier or surface barrier, e.g. phototransistors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K19/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic element specially adapted for rectifying, amplifying, oscillating or switching, covered by group H10K10/00
    • H10K19/20—Integrated devices, or assemblies of multiple devices, comprising at least one organic element specially adapted for rectifying, amplifying, oscillating or switching, covered by group H10K10/00 comprising components having an active region that includes an inorganic semiconductor
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K30/00—Organic devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation
    • H10K30/80—Constructional details
    • H10K30/88—Passivation; Containers; Encapsulations
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30—Devices controlled by radiation
    • H10K39/32—Organic image sensors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy
    • Y02E10/549—Organic PV cells

Abstract

容易取得被攝體的多樣之資訊。
在攝像元件(28)中，第1光偵測層(12)，係含有朝所定之軸方向配向而成的有機光電轉換膜(38a、38b)，在入射光線之中，偵測與配向軸平行之方位的偏光成分。又，將朝不同軸方向做配向而成的有機光電轉換膜，在2維平面上以所定之圖案做配置。在第1光偵測層(12)之下層，設置含有光電轉換元件(54a、54b)的第2光偵測層(16)，將穿透第1光偵測層(12)，與有機光電轉換膜(38a、38b)之配向軸垂直之方位的偏光成分，予以偵測。

Description

攝像元件、影像感測器、攝像裝置、及資訊處理裝置
本發明係有關於，使用選擇性取得光學成分之攝像元件的影像資料取得技術。
藉由將偏光濾光片搭載於感測器上以取得被攝體之偏光資訊的偏光相機，已被實用化。藉由使用偏光相機，可以取得被攝體之面方位之資訊或透明物體之存在，因此物體識別或異物測知會變得容易。因此預料可被廣泛應用於生產線上的檢品裝置或車載相機等領域(例如參照專利文獻1、2)。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2012-80065號公報
[專利文獻2]日本特開2014-57231號公報
偏光相機，係偵測通過具有所定方向之偏光軸之偏光濾光片的光線，將光成分進行取捨選擇，因此在原理上，能夠取得的資訊係有所限定，自然其用途也被限定。另一方面，偏光相機所能取得的面方位等之資訊，係在需要影像解析的各種資訊處理中也很有用，因此被期望是可容易應用到這類處理上的技術。
本發明係有鑑於如此課題而研發，其目的為，提供一種，藉由攝影而可容易取得包含偏光資訊的被攝體之多樣資訊的技術。
本發明的某一態樣係有關於攝像元件。該攝像元件的特徵為，含有：第1光偵測層，係含有：具有透光性並已被往所定之軸方向做配向之有機光電轉換膜；和第2光偵測層，係位於比第1光偵測層還下層且含有無機光電轉換元件。
本發明的另一態樣係有關於影像感測器。該影像感測器的特徵為，具備：像素部，係將具有上記特徵的攝像元件配置成矩陣狀而成；和控制部，係令構成像素部的攝像元件以所定之順序而被驅動以取得電性訊號並依序輸出。
本發明的再另一態樣係有關於攝像裝置。該攝像裝置的特徵為，具備：輸入部，係從具有上記特徵的 影像感測器，取得將來自各偵測層的電性訊號視為像素值的影像之資料；和影像生成部，係先將影像之資料所表示的複數影像之階度予以調整，然後基於對應之領域中的像素值進行所定之演算，以生成輸出用的影像之資料。
本發明的再另一態樣係有關於資訊處理裝置。該資訊處理裝置的特徵為，具備：具有上記特徵的攝像裝置；和記憶體，係將從該當攝像裝置所輸出之複數種類之影像之資料，予以儲存；和輸出資料生成部，係使用記憶體中所被儲存之影像之資料來進行資訊處理，並生成表示其結果的輸出資料。
此外，以上的構成要素的任意之組合、將本發明的表現在方法、裝置等之間做轉換而成者，也仍可有效作為本發明的態樣。
若依據本發明，則可藉由攝影而容易取得包含偏光資訊的被攝體之多樣資訊。
8‧‧‧入射光
10‧‧‧攝像元件
12‧‧‧第1光偵測層
16‧‧‧第2光偵測層
20‧‧‧領域
22‧‧‧領域
24‧‧‧領域
26‧‧‧領域
28‧‧‧攝像元件
30‧‧‧晶片上透鏡
32‧‧‧平坦化層
34‧‧‧保護膜
36‧‧‧上部電極
38‧‧‧有機光電轉換膜
38a、38b‧‧‧有機光電轉換膜
40‧‧‧無機絕緣膜
42‧‧‧遮光層
44‧‧‧下部電極
44a、44b‧‧‧下部電極
46‧‧‧層間絕緣膜
48‧‧‧配向控制層
50‧‧‧有機色素
52a、52b‧‧‧導電性插栓
54‧‧‧光電轉換元件
54a、54b‧‧‧光電轉換元件
56‧‧‧矽基板
58‧‧‧多層配線層
60‧‧‧支持基板
70‧‧‧影像感測器
72‧‧‧像素部
74‧‧‧行掃描部
76‧‧‧水平選擇部
78‧‧‧控制部
80‧‧‧列掃描部
82‧‧‧第1層偵測值取得部
84‧‧‧第2層偵測值取得部
85‧‧‧感度差調整部
86‧‧‧缺陷補正部
88‧‧‧缺陷偵測部
90‧‧‧自然光影像生成部
92‧‧‧偏光影像生成部
100‧‧‧攝像裝置
104‧‧‧像素列
110‧‧‧曲線
112‧‧‧直線
128‧‧‧攝像元件
130‧‧‧彩色濾光片層
160‧‧‧攝像裝置
161‧‧‧影像感測器
162‧‧‧第2層偵測值取得部
164‧‧‧亮度影像生成部
166‧‧‧彩色影像生成部
168‧‧‧偏光影像生成部
170‧‧‧影像感測器
180‧‧‧攝像元件
190‧‧‧攝像元件
192‧‧‧有機光電轉換膜
192a、192b‧‧‧有機光電轉換膜
200‧‧‧攝像元件
202a、202b‧‧‧有機光電轉換膜
204a、204b‧‧‧下部電極
206a、206b‧‧‧導電性插栓
210‧‧‧攝像元件
212a、212b‧‧‧無機光電轉換層
214a、214b‧‧‧無機光電轉換層
220‧‧‧攝像元件
250‧‧‧色彩成分控制部
252‧‧‧感度差調整部
254‧‧‧去除對象成分推定部
256‧‧‧各色影像生成部
300‧‧‧影像處理系統
310‧‧‧立體相機
320‧‧‧影像處理裝置
360a、360b‧‧‧攝像裝置
362‧‧‧影像資料取得部
364‧‧‧感度差調整部
366‧‧‧法線地圖生成部
368‧‧‧景深地圖生成部
380‧‧‧輸出資料生成部
[圖1]本實施形態中的攝像元件之概念圖。
[圖2]本實施形態中的第1光偵測層的偏光有機光電轉換膜之形成手法之例子的模式性圖示。
[圖3]於本實施形態中，使配向軸為不同的有機光電 轉換膜所成之複數領域做接近配置時，第1光偵測層中的佈局之例子的圖示。
[圖4]本實施形態的攝像元件之結構例的剖面圖。
[圖5]本實施形態中的影像感測器之結構之概略的圖示。
[圖6]本實施形態之攝像元件中的，第1光偵測層及第2光偵測層的像素列之關係的例示圖。
[圖7]本實施形態中的攝像裝置之機能區塊的圖示。
[圖8]本實施形態中缺陷偵測部及缺陷補正部所進行的，資料之缺陷偵測及補正之處理的說明圖。
[圖9]本實施形態中缺陷偵測部及缺陷補正部所進行之缺陷偵測與補足之處理程序的更詳細表示的流程圖。
[圖10]於本實施形態中確認偏光度不良之發生之手法的說明圖。
[圖11]於本實施形態中從偵測值影像生成偏光影像之資料之手法的說明圖。
[圖12]於本實施形態中將偏光成分當作色彩資訊而加以取得時的攝像元件之結構例的剖面圖。
[圖13]本實施形態之中，作為第2層偵測值影像而取得色彩資訊之態樣下，第1光偵測層及第2光偵測層的像素列之關係的例示圖。
[圖14]本實施形態之中，作為第2層偵測值影像而取得色彩資訊之態樣下，第1光偵測層及第2光偵測層的像素列之關係的另一例之圖示。
[圖15]本實施形態之中，作為第2層偵測值影像而取得色彩資訊之態樣下，第1光偵測層及第2光偵測層的像素列之關係的再另一例之圖示。
[圖16]於本實施形態中，含有將偏光成分當作色彩資訊而加以取得之影像感測器的攝像裝置之機能區塊的圖示。
[圖17]於本實施形態中的彩色影像生成部生成自然光之彩色影像的處理程序的流程圖。
[圖18]圖17的S50中將偏光資料予以無偏光化的處理程序的流程圖。
[圖19]於本實施形態中將偏光成分以彩色資訊而加以取得時，第2層偵測值影像之一部分的圖示。
[圖20]於本實施形態中將偏光成分當作色彩資訊而加以取得時的攝像元件之結構的另一例的剖面圖。
[圖21]本實施形態之中，將彩色濾光片層配置在第1光偵測層之上方的態樣下，第1光偵測層及第2光偵測層的像素列之關係的另一例的圖示。
[圖22]本實施形態之中，將彩色濾光片層配置在第1光偵測層之上方的態樣下，第1光偵測層及第2光偵測層的像素列之關係的另一例的圖示。
[圖23]於本實施形態中，藉由有機光電轉換膜而將偏光成分當作色彩資訊而加以取得時的攝像元件之結構例的剖面圖。
[圖24]圖23所示之結構的攝像元件中的第1光偵測 層與第2光偵測層所吸收之光線的說明圖。
[圖25]於本實施形態中，藉由有機光電轉換膜而將偏光成分當作色彩資訊而加以取得時的攝像元件之結構的另一例的剖面圖。
[圖26]圖25所示之結構的攝像元件中的第1光偵測層與第2光偵測層所吸收之光線的說明圖。
[圖27]於本實施形態中，藉由有機光電轉換膜而將偏光成分當作色彩資訊而加以取得時的攝像元件之結構的另一例的剖面圖。
[圖28]於本實施形態中，藉由有機光電轉換膜而將偏光成分當作色彩資訊而加以取得時的攝像元件之結構的另一例的剖面圖。
[圖29]本實施形態中的色彩成分控制部之機能區塊之構成的圖示。
[圖30]本實施形態中的去除對象成分推定部，推定出應從藍色偵測值影像中去除的綠色偏光成分之值之手法的說明圖。
[圖31]本實施形態中的影像處理系統之構成例的圖示。
圖1係本實施形態中的攝像元件之概念圖。攝像元件10係含有第1光偵測層12及第2光偵測層16。第1光偵測層12係含有偏光有機光電轉換膜和夾著 其而被形成的透明電極，具有會吸收所定方向之偏光成分而產生電荷，並讓剩餘之偏光成分穿透的結構。第2光偵測層16，係具有一般的CCD(Charge Coupled Device)影像感測器或CMOS(Complementary Metal Oxide Semiconductor)影像感測器等之半導體元件結構。
第1光偵測層12的偏光有機光電轉換膜，係令有機光電轉換材料往所定方向做配向而成，在入射光8之中，將與配向軸(吸收長軸)平行之方向的偏光成分予以吸收並轉換成電荷。剩餘的成分，亦即與配向軸垂直之方向的偏光成分係讓其穿透，在第2光偵測層16中被光電轉換。藉由讀出雙方之層中所產生的電荷，於相同位置上就可偵測2個方位之偏光成分，同時可以使入射光8毫無浪費地反映在偵測結果上。
圖2係模式性圖示第1光偵測層12的偏光有機光電轉換膜之形成手法之例子。首先如(A)所示，在透明的下部電極44上，將SiO2藉由真空斜方蒸鍍而形成配向控制層48。接著如(B)所示，將具有光吸收異方性的有機色素50，塗布在配向控制層48上。藉此如(C)所示，就可在配向軸對齊於所定方向的狀態下，形成有機色素膜。作為使配向對齊所定之軸方向的技術係除此以外，還有摸擦法、拉張法、細微溝渠所致之配向控制層形成、光配向膜之利用等，各式各樣的手法已經被實用化，在本實施形態中係無論那一種都可採用。又，作為偏光有機光電轉換元件中所使用的有機光電轉換材料，係隨著測知對象之波 長帶而有許多種已被提出，例如可從日本特開2012-209486號公報所揭露的材料及生成手法做適宜選擇。
藉由如此的技術，在本實施形態中，是以每一單位領域為不同配向而形成有機光電轉換膜。圖3係圖示，使配向軸為不同的有機光電轉換膜所成之複數領域做接近配置時，第1光偵測層12中的佈局之例子。同圖係圖示了，將第1光偵測層12的有機光電轉換膜予以鳥瞰的狀態，箭頭係表示各領域中的膜之配向軸。在圖示的例子中，配向軸不同的4種膜係分別被配置成2行2列的4個領域20、22、24、26。
圖中，位於對角線上的領域係為膜的配向軸是正交，相鄰領域係為配向軸具有45°的差。亦即是每次偏轉45°而形成4個配向軸之領域。各領域的有機光電轉換膜，係將平行於配向軸的偏光成分予以吸收，讓正交於其的偏光成分穿透。藉此，設置在其下方的第2光偵測層16中，係在第1光偵測層12的4個領域20、22、24、26所對應之各領域中，正交於其的每隔45°的4方位之偏光資訊，會被吸收。
將如此的4個單位領域之陣列再往縱方向、橫方向使其排列所定數，將各單位像素、或是比其還小之領域與像素建立對應而偵測光線，則對同一位置上可獲得表示2個方位之偏光資訊、在近鄰位置上可獲得表示4個方位之偏光資訊的偏光影像。又，在第1光偵測層12中所吸收之成分以外之偏光成分，是在第2光偵測層16中 予以偵測，因此系統全體係可將入射光無損失地加以偵測。
圖4係將本實施形態的攝像元件之結構例以剖面圖表示。此攝像元件28，係取得白黑(灰階)之影像。攝像元件28係具有，將第2光偵測層16、第1光偵測層12、晶片上透鏡30，在用來把偵測結果以電性訊號而加以傳輸所需之多層配線層58上，按照該順序而被層積，將支持基板60貼合在背面而成的結構。第1光偵測層12，係含有：將所定方位之偏光成分進行光電轉換的有機光電轉換膜38a、38b、和用來對其施加電壓以取出訊號電荷所需之上部電極36及下部電極44a、44b、及無機絕緣膜40。
下部電極44a、44b係按照像素所對應之每一領域而被形成，藉由無機絕緣膜40而被彼此絕緣。為了讀出藉由有機光電轉換膜38a、38b而被光電轉換所產生的電荷，在下部電極44a、44b係有深達多層配線層58的導電性插栓52a、52b被連接。在導電性插栓52a、52b中移動的電荷係被累積在未圖示的電荷累積層中，在所定之時序上被讀出。上部電極36，係藉由未圖示的接觸金屬層而被連接至多層配線層58而被施加電壓施加。有機光電轉換膜38a、38b係如上述般地將隨著領域而不同的複數方位之偏光成分予以吸收並進行光電轉換，另一方面，讓剩餘之偏光成分穿透。
有機光電轉換膜38a、38b係以例如喹吖啶酮 誘導體、萘誘導體、蒽誘導體、共軛聚合物等，使其如上述般地朝所定軸方向做配向而被形成。此外，圖4係圖示例如圖3的單點鍊線A-A’上的剖面，圖的左側之有機光電轉換膜38a係由以圖3的領域20所示之方向為配向軸的有機色素、右側之有機光電轉換膜38b係由以圖3的領域22所示之方向為配向軸的有機色素所構成。在圖4的縱深方向上，形成有與其不同方向、亦即以圖3的領域24、26所示之方向為配向軸的有機色素的光電轉換膜，藉此，在鳥瞰時是以如圖3所示的佈局而形成偏光有機光電轉換膜。
此外在取得黑白影像時，在有機光電轉換膜38a、38b中，係不限定於所定之顏色，可使用吸收更廣範圍之波長帶的材料。如此的材料或結構，係尤其是在太陽能發電領域等中，已經被實用化。例如，作為會吸收比可見光廣範圍之波長帶的材料，可使用日本特表2002-502129號公報中所揭露的聚噻吩乙烯(PTV)或聚乙烯基咔唑(PVK)等之聚合物、或將這些與有機分子混合而成的材料等。
另一方面，如後述，在想要只偵測所定顏色之波長帶而獲得彩色影像時，如此控制吸收對象之波長帶的技術，也為公知。例如可以使用日本特表2002-502129號公報、日本特開2011-199152號公報、日本特開2013-183056號公報、日本特開2007-59515號公報等中所例示的材料。上部電極36及下部電極44a、44b，係由具有透 光性之無機導電膜，例如ITO(銦錫氧化物)、TO(氧化錫)等所構成。
無機絕緣膜40，係將例如氧化矽、氮化矽、氮氧化矽(SiON)等之材料，在像素所對應之下部電極44與其上之有機光電轉換膜38之間，形成為格子狀而成。無機絕緣膜40之內部係形成有遮光層42。遮光層42係抑制來自橫方向的光線之入射。遮光層42，係使用例如鎢、鈦、鋁、銅等，對可見光的穿透率較低之材料或其氮化膜。
在如此的第1光偵測層12之上，隔著保護膜34、平坦化層32而設置晶片上透鏡30。保護膜34係由具有透光性的無機材料，例如氧化矽、氮化矽、氮氧化矽等所形成。平坦化層32係由具有透光性的樹脂，例如丙烯酸系樹脂、苯乙烯系樹脂、環氧系樹脂等所形成。但是，亦可由保護膜34來兼任平坦化層32。晶片上透鏡30，係用來使入射光聚光至第1光偵測層12之各像素領域。
在第1光偵測層12之下層，係隔著層間絕緣膜46而設置第2光偵測層16。此處層間絕緣膜46係含有遮光層42，抑制往第2光偵測層16的來自橫方向的光線之入射。第2光偵測層16係具有，在矽基板56中，與各像素對應而埋設光電轉換元件54a、54b的結構。此外在同圖中，對第1光偵測層12中的配向軸不同之有機光電轉換膜38a、38b，是將第1光偵測層12之像素所對應 之下部電極44a、44b、和第2光偵測層16之像素所對應之光電轉換元件54a、54b，都分別設置1個。
如上述，若在圖的縱深方向上也隨著配向軸不同的每一膜而設置下部電極及光電轉換元件，則對4方向的配向軸，就會分別有第1光偵測層12及第2光偵測層16之像素，分別被設置1個。但是如後述，第1光偵測層12和第2光偵測層16之像素亦可不是1對1對應。又在取得彩色影像時，係如後述，在第1光偵測層12或第2光偵測層16之上層亦可設置彩色濾光片。
將如圖示的攝像元件28，在圖的橫方向及縱深方向排列成矩陣狀而將控制電荷讀出之時序的周邊電路予以連接，藉此，就可構成將至少2種類之光線的資訊，以2維資料的方式同時加以取得的影像感測器。電荷讀出所需之周邊電路之構成係和一般的影像感測器相同即可。但是，為了將把第1光偵測層12之偵測值當作像素值之影像和把第2光偵測層16之偵測值當作像素值之影像的2者平行地加以讀出，而設置2個同樣的周邊電路。
圖5係圖示本實施形態中的影像感測器之結構的概略。影像感測器70係含有：像素部72、和作為周邊電路的行掃描部74、水平選擇部76、列掃描部80、控制部78。像素部72係如圖4所示的將攝像元件28排列成矩陣狀所成。在本實施形態中，從第1光偵測層12，係有表示與構成其之有機光電轉換膜之配向軸平行之偏光成分的電荷，從第2光偵測層16，係有表示與其正交之 偏光成分的電荷，是以像素單位而被分別讀出。
在同圖中，係將讀出所需之2個周邊電路其中一方為代表而圖示。為了讀出藉由光電轉換而產生並累積在電荷累積層中的電荷所需之，包含電晶體等既存之機構的各像素，係每一行地被連接至行掃描部74、每一列地被連接至水平選擇部76及列掃描部80。行掃描部74係由平移暫存器或位址碼等所構成，將各像素以行單位進行驅動。
從已被行掃描部74所選擇掃描之像素所輸出的訊號，係被供給至水平選擇部76。水平選擇部76係由放大器或水平選擇開關等所構成。列掃描部80係由平移暫存器或位址解碼器等所構成，係一面操作水平選擇部76的各水平選擇開關一面依序進行驅動。藉由列掃描部80所致之選擇掃描，被供給至水平選擇部76的來自各像素之訊號，係被輸出至外部。控制部78，係生成時序訊號，控制水平選擇部76及列掃描部80等的驅動時序。
藉由將如圖示的周邊電路，設置成來自第1光偵測層12之訊號讀出用與來自第2光偵測層16之訊號讀出用的2個，就可基於這些而獨立地控制2種類的影像之輸出畫格速率。例如，可使來自第1光偵測層12之影像之畫格速率，比來自第2光偵測層16之影像的畫格速率還小。
具體而言當後者為60fps時可使前者為30fps等。若如此設計，則可使第1光偵測層12所產生的電荷 之累積時間比第2光偵測層16還長，可提升第1光偵測層12的感度。例如在本實施形態中，第1光偵測層12係距離用來讀出訊號所需之多層配線層58為止的層間距離較大，因此相較於第2光偵測層16，動作速度的限制較為嚴格。因此，藉由獨立控制來自兩者的影像的畫格速率，可實現一面充分確保來自第2光偵測層16的影像之輸出速率，一面使來自第1光偵測層12之影像毫無勉強地輸出的態樣。
圖6係例示了，目前為止所述的攝像元件中的，第1光偵測層12及第2光偵測層16的像素列之關係。同圖(a)係第1光偵測層12的2×2之像素列，(b)係第2光偵測層16的2×2之像素列。在此例中係如上述，對第1光偵測層12的有機光電轉換膜的各配向軸，在第1光偵測層12及第2光偵測層16分別設置各1個像素。亦即在第1光偵測層12中，和圖3所示的各配向方向之膜的佈局同樣地，與配向軸平行的4方位(實線之箭頭)之偏光成分之資訊，係會每一像素地被獲得。
另一方面，在第2光偵測層16中，穿透過第1光偵測層12的，與配向軸垂直的4方位(虛線之箭頭)之偏光成分之資訊，係會每一像素地被獲得。結果，藉由將(a)的像素列再予以排列而成的全像素列，4方位之偏光成分的黑白影像是以2×2像素單位而被重複呈現的影像，會被獲得；藉由將(b)的像素列再予以排列而成的全像素列，在與(a)對應之位置上與其正交的4方位之偏光成分的 黑白影像是以2×2像素單位而被重複呈現的影像，會被獲得。以後，在如此從攝像元件直接輸出的偵測值的2維資料之中，將前者稱為第1層偵測值影像，將後者稱為第2層偵測值影像。
圖7係圖示了，含有上記影像感測器170的，本實施形態的攝像裝置之機能區塊。圖7及後述的圖15、圖28所示的各機能區塊，在硬體上，可由攝像元件、各種演算電路、微處理器、CPU、記憶體等之構成來實現，在軟體上，可由記憶體中所儲存的，或從記錄媒體讀出至記憶體的程式來實現。因此，這些機能區塊是可只由硬體、只由軟體、或由這些之組合而以各式各樣的形態來實現，這在當業者來說是可理解的，並不限定於其中任一者。
攝像裝置100係含有：含像素之矩陣的影像感測器70、基於各光偵測層之感度之差異來調整資料的感度差調整部85、偵測資料缺陷的缺陷偵測部88、若有缺陷時則修補資料的缺陷補正部86、生成自然光影像的自然光影像生成部90、生成偏光成分影像的偏光影像生成部92。影像感測器70係對應於圖5的影像感測器70，是由如圖4所示的攝像元件之2維陣列和周邊電路所構成。如上述，在攝像元件中係含有第1光偵測層12、第2光偵測層16，分別會獲得含有4方位之偏光成分、並且在其偏光方向所對應之位置上彼此正交的，第1層偵測值影像及第2層偵測值影像之資料。
圖7的影像感測器70之中，第1層偵測值取得部82及第2層偵測值取得部84係分別以第1光偵測層12及第2光偵測層16和其周邊電路而被實現，將從各者所取得之訊號電荷，例如以掃描線順序等所定之像素順序，輸出至感度差調整部85。第1光偵測層12和第2光偵測層16，係由於其材料或結構為不同，因此即使是相同光強度，仍會因為感度之差異而很可能導致偵測值的階度為不同。於是感度差調整部85，係為了於後段之處理中能正確進行兩者之比較或加算，而使第1層偵測值影像及第2層偵測值影像的階度統一。
具體而言，藉由對第1層偵測值影像之各像素值、亦即第1光偵測層12之偵測值O(x,y)，乘算係數k(x,y)，將階度算出成配合於第2光偵測層16之感度的換算值Ocon(x,y)如下。
Ocon(x,y)=k(x,y)×O(x,y)
此處，(x,y)係為像素之2維陣列的座標。係數k(x,y)，係藉由攝像裝置100之運用前或初期之校準而被決定如下。首先將佔據視野全體的灰色的均勻之被攝體面，以無偏光光源均勻照光的狀態下，進行攝影。然後以使得此時的第1光偵測層12之偵測值的換算值會與第2光偵測層16之偵測值一致的方式，決定係數k(x,y)。
亦即在上記條件下，若假設獲得第1光偵測層12所致之偵測值Oin(x,y)與第2光偵測層16所致之偵測值Sin(x,y)，則以滿足下式的方式，算出k(x,y)。
Sin(x,y)=k(x,y)×Oin(x,y)
此處係數k(x,y)係在影像全體中位於所定範圍內時，則亦可設成不隨像素之位置座標而變的定數k。例如亦可將第2層偵測值影像全體之像素值之總和Σ Sin(x,y)除以第1層偵測值影像全體之像素值之總和Σ Oin(x,y)，以決定定數k。
感度差調整部85，係將如此所被設定的係數k，乘算至從影像感測器70的第1層偵測值取得部82所輸出的第1層偵測值影像之各像素值，以調整其階度，然後，連同第2層偵測值影像之資料一起輸出至缺陷偵測部88及缺陷補正部86。此外在以後的說明中，對於如此施行過階度調整的資料，也稱為第1層偵測值影像。
缺陷偵測部88，係在偵測值中有缺陷(異常值)時，將其予以偵測。此時，利用了方位為正交的2種類之偏光成分之和是表示無偏光(自然光)這件事情。亦即從圖6的(a)或(b)所示的2×2之像素列所得的4方位之偏光成分的偵測值之中，2組正交的偏光成分之偵測值彼此係相加而進行比較。由於兩者原本就應該是代表表示略同一位置上之入射光的同程度之值，因此若差距太大就可判定成其中任一偵測值係有缺陷。
缺陷補正部86，係在缺陷偵測部88偵測到缺陷時，根據周圍的像素之值而將缺陷予以補足。此時，藉由活用第1層偵測值影像及第2層偵測值影像的同領域之資料來推定缺陷的原因，進行適切的補足處理。另一方 面，缺陷偵測部88未偵測到缺陷時，缺陷補正部86，係將從感度差調整部85取得的各偏光成分之資料，直接輸出至自然光影像生成部90。
自然光影像生成部90，係根據已被適宜實施調整或缺陷補正的2層份的偵測值影像之資料，生成最終應輸出之自然光的亮度影像。亦即將已被階度調整過的第1層偵測值影像之像素值、和第2層偵測值影像之像素值，在對應之位置之像素相加，而復原出原本的入射光。自然光影像生成部90，係將所生成的自然光之亮度影像之資料，適宜輸出至攝像裝置100上所連接之記憶裝置或影像處理裝置等。自然光影像生成部90，係將所生成的自然光之亮度影像之資料，連同階度調整後的第1層偵測值影像之資料和第2層偵測值影像之資料，一起輸出至偏光影像生成部92。
偏光影像生成部92，係使用這些資料而生成各方位之偏光影像。具體而言，將依存於配向軸為不同的膜之配置而被離散地求出的各方位之偏光成分之偵測值進行內插以將2層份之偏光影像按照每一方位而加以生成，然後，在相同方位彼此上，將2層份之資料相加。於內插時，係藉由將自然光之亮度影像的高頻成分予以加算，就可也復原出表示高頻成分之影像的細節。偏光影像生成部92，係將所生成的偏光影像之資料，適宜輸出至攝像裝置100上所連接之記憶裝置或影像處理裝置。
圖8係缺陷偵測部88及缺陷補正部86所進 行的，資料之缺陷偵測及補正之處理的說明圖。同圖係表示第1層偵測值影像之中，偵測4方位之偏光成分的2×2之像素列104是表示於粗線框內，1個矩形係對應於1個像素。在構成像素列104的4個像素之各者中，會獲得中空箭頭所示的方位之偏光成分之偵測值。此外同圖中係為了後述的說明，像素列104之左鄰及上方之像素列也是以點線表示。
如圖示、像素列104之中按照左上、右上、右下、左下之像素之順序，從圖的縱軸起具有45°、90°、135°、180°之傾斜之方位的偏光成分之偵測值，會被獲得。以後，將這些方位分別稱為第1方位、第2方位、第3方位、第4方位。此外圖示的例子係為第1層偵測值影像之配置，但如圖6所示，第2層偵測值影像中對應之像素，是表示正交於這些之方位的偏光成分之偵測值。如上述，若著眼於正交之方位的偏光成分之和係表示原本的自然光，則第1方位及第3方位之偏光成分之偵測值之和，係表示與第2方位與第4方位之偵測值之和為同程度之值。於是利用此一特性來偵測像素的缺陷。
具體而言，令第1層偵測值影像的像素列104之各像素值為O(方位之號碼)時，同圖實線箭頭所示，方位為正交的偏光成分之偵測值之和O(1)+O(3)，與O(2)+O(4)之差△O若超過所定之閾值，則缺陷偵測部88係判定為任一像素中有缺陷。關於第2層偵測值影像也是同樣地，令2×2之像素列之中各像素值為S(方位之號碼) 時，若S(1)+S(3)、與S(2)+S(4)之差△S超過所定之閾值，則判定為任一像素中有缺陷。
隨應於此，缺陷補正部86係確認同一層之偵測值影像中的周圍之像素值，及另一層之偵測值影像中的相同位置及周圍之像素值，將已被判定為含有缺陷之像素列之中有缺陷之像素予以特定，決定補足的像素值。圖9係缺陷偵測部88及缺陷補正部86所進行之缺陷偵測與補足之處理程序的更詳細表示的流程圖。同圖之處理，係針對第1層偵測值影像及第2層偵測值影像之每一者，以2×2之像素列單位而執行。首先缺陷偵測部88係確認上述之△O或△S是否超過閾值Th1，若沒有超過則判定為對象像素列中沒有缺陷(S10的N、S16)。
即使△O或△S超過閾值(S10的Y)，若該當像素列是包含邊緣成分而作為影像時則判定為沒有缺陷(S12的Y、S16)。表示被攝體之像的輪廓等的邊緣部分係為定性地像素值會有急遽變化，因此無論有無缺陷，△O或△S係有可能部分性地變大。為了此判定，缺陷偵測部88，係對第1層及第2層之偵測值影像，以一般的手法來偵測邊緣。若△O或△S超過閾值(S10的Y)，且該當像素值是不含邊緣部分的情況(S12的N)，則缺陷偵測部88係判定為對象像素列內有缺陷(S14)。
若藉由缺陷偵測部88而判定為沒有缺陷，則缺陷補正部86係針對該當像素列是將原本的像素值直接輸出至自然光影像生成部90(S18的N)。若判定為有缺陷 (S18的Y)，則缺陷補正部86係在同一偵測值影像內、及另一層的偵測值影像之中，將表示相同方位之偏光成分的所定範圍內的像素值進行比較，以特定出發生缺陷的像素(S20)。
就定性而言，與同一偵測值影像內的呈現同方位之偏光成分的附近之像素值的差，及/或與另一方偵測值影像的呈現同方位之偏光成分的附近之像素值的差，是閾值Th2以上的像素，判定為有缺陷。亦可將同一偵測值影像內或另一方偵測值影像的呈現同方位之偏光成分的附近之像素值進行內插等而推定對象位置上的像素值，若其與實際的像素值的差若為閾值Th2以上，則判定為該像素中有缺陷。然後缺陷補正部86，係考慮該差的產生方式或周邊的像素值等之狀況，對產生缺陷的像素代入適切的值以進行補足(S22)。然後將補足後的資料，輸出至自然光影像生成部90。
在補足時，可以考慮基於同一偵測值影像內的呈現同方位之偏光成分的附近之像素值而將有缺陷之像素進行內插，或是將於另一方偵測值影像中位於附近之位置的，呈現同方位之偏光成分之像素值予以代入等等。或是亦可決定將這些加以組合而代入的值。在使用同一偵測值影像內的資料時，可考慮如下的手法。例如在圖8所示的第1層偵測值影像的2×2之像素列104之中，在第1方位之像素偵測到缺陷時，利用上記之正交關係，將該當像素之補正值O’(1)求出如下。
O’(1)=O(2)+O(4)-O(3)
或者，亦可利用相鄰的別的2×2之像素列之值來決定。例如在像素列104之中若在第1方位之像素偵測到缺陷，則與圖8的點線所記載之，相鄰像素列的第3方位之像素值之和(圖中虛線箭頭)也是，大約等於其附近的第2方位及第4方位之像素值之和。亦即下式會成立。
O(1)≒O(2)+O(4)-O(3)
O(1)≒O_1(2)+O_u(4)-O_u1(3)
O(1)≒O(2)+O_u(4)-O_u(3)
O(1)≒O_1(2)+O(4)-O_1(3)
此處，O_u1(3)係為對象之像素列104的左上之像素列的第3方位，O_u(3)、O_u(4)係分別為像素列104的上方之像素列的第3方位、第4方位，O_1(2)、O_1(3)係分別為像素列104的左方之像素列的第2方位、第3方位的像素值。利用此關係，亦可將適切值O’(1)，設成上記4式之右邊之合計除以4而成的值。在其他方位、及第2層偵測值影像也可用同樣的計算來將值予以補足。
此外作為像素之缺陷，係有在攝像元件之製造過程中，第1光偵測層12的有機光電轉換膜之配向並未對齊於一軸所造成的偏光度不良。因此，亦可在攝像元件的出貨階段中確認有無偏光度不良，若確認到不良則視為缺陷像素而預先記錄下位置座標。圖10係確認偏光度不良之發生之手法的說明圖。在照射已知方位的偏光時，若該方位是平行於第1光偵測層12的有機光電轉換膜的配向軸，則原理上所有的入射光都會被吸收，從第1光偵 測層12會獲得強的輸出值。若和配向軸正交則會全部穿透而從第1光偵測層12的輸出強度係接近於0。
將其發展下去，若緩緩改變照射的偏光之方位，則如圖10的曲線110所示，會得到對偏光方向具有極大值及極小值的正弦波形之輸出強度。如上述，極大值係在與有機光電轉換膜之配向軸平行的方位上，極小值係在與配向軸垂直的方位上發生。另一方面，有機光電轉換膜若非完全配向，則如直線112所示，會得到對偏光方位沒有變化的輸出強度。於是對輸出強度設定極大值的下限L1及極小值的上限L2。
然後在偏光度不良之確認時，係將使偏光板一面旋轉一面照射偏光時的第1光偵測層12之輸出強度之變化，在全像素中加以取得。若輸出強度之極大值超過下限L1，或極小值低於上限L2，則判定為呈現該當輸出強度的像素係未被充分配向因此發生偏光度不良。然後將該當像素之位置座標，儲存在影像感測器中所被附加的記憶體，藉此，攝像裝置100的缺陷偵測部88，係讀出該資訊而特定出有缺陷之像素，通知給缺陷補正部86。此情況下也是，缺陷補正部86所進行的補足處理係和上述相同即可。此外攝像裝置100本身亦可設置如上述般地偵測偏光度不良的機能。
自然光影像生成部90，係因應需要而使用如上記所被補足之資料來生成自然光之亮度影像。該處理，係以算出第1層偵測值影像與第2層偵測值影像之各位置 (x,y)的像素值之線性和為基本。亦即亮度Y(x,y)係算出如下。
Y(x,y)=k(x,y)×O(x,y)+S(x,y)
此處係數k(x,y)，係可為於感度差調整部85中調整第1層偵測值影像之階度之際所使用過得係數k(x,y)，此情況下，亮度Y(x,y)被求出如下。
Y(x,y)=Ocon(x,y)+S(x,y)
藉由適切地設定係數k(x,y)，2層份的偵測值影像之同一位置上的像素值所呈現的，方位為正交的偏光成分之偵測值之和，就會表示原本的入射光。
另一方面，偏光影像生成部92，係基於第1層及第2層之偵測值影像，生成4方位份的偏光影像之資料。圖11係從偵測值影像生成偏光影像之資料之手法的說明圖，(a)係為第1層偵測值影像的6×6之像素列，(b)係為第2層偵測值影像的6×6之像素列。同圖粗線係為偵測4方位之偏光的最小單位也就是2×2之像素列之交界，各像素列，在以數字來表示的第1~第4方位，分別具備1個像素。此處若以第1方位之像素為例，則如斜線所示，以夾住其他方位之像素的方式，做離散地配置。其他方位也同樣如此。於是偏光影像生成部92係首先將像素值進行內插，針對各方位，每一偵測值影像地作成沒有間隙的偏光影像之資料。
內插處理係可適宜應用最鄰近內插、雙線性內插、雙立方內插等既存之內插技術。但是如果只用如此 的內插，則會依存於2×2之像素列內之各配向軸之膜的配置而導致像素之相位會有偏移。於是，偏光影像生成部92，係以使得位於2×2之像素列內的4方位份的像素，於最終的各方位之偏光影像中會被呈現在相同位置的方式，來調整像素之位置。具體而言，針對第1層偵測值影像，第1方位之偏光影像係往右方向及下方向挪移0.5像素份。第2方位之偏光影像係往左方向及下方向挪移0.5像素份。第3方位之偏光影像係往左方向及上方向挪移0.5像素份。第4方位之偏光影像係往右方向及上方向挪移0.5像素份。
又，針對第2層偵測值影像，係將第3方位之偏光影像往右方向及下方向挪移0.5像素份。將第4方位之偏光影像往左方向及下方向挪移0.5像素份。將第1方位之偏光影像往左方向及上方向挪移0.5像素份。第2方位之偏光影像係往右方向及上方向挪移0.5像素份。偏光影像生成部92係還將，從第1層偵測值影像所生成的偏光影像與從第2層偵測值影像所生成的偏光影像，以同一方位彼此進行加算而將最終的偏光影像在4方位上予以生成。
偏光影像生成部92又使用如上述般地由自然光影像生成部90所生成的亮度影像，於偏光影像中使得邊緣成分等之細緻變化，會被呈現。因此偏光影像生成部92，係藉由高通濾光片而從該當亮度影像中抽出高頻成分hf_Y(x,y)。然後關於含有邊緣部分的像素，係將hf_Y(x, y)加算至像素值之處理，對2層份的各方位之偏光影像之加算前、加算後之影像加以實施。此外此處的邊緣部分之特定，係沿用缺陷偵測部88偵測缺陷之際所求出的結果即可。
目前為止所述的例子係以取得黑白影像為基本，但亦可設置彩色濾光片層等而取得色彩資訊。圖12係將偏光成分作為色彩資訊而加以取得時的攝像元件之結構例以剖面圖來表示。此外與圖4中所示的攝像元件28相同的構成係標示相同符號並省略說明。攝像元件128係具有，在圖4所示的攝像元件28的第1光偵測層12之下方且第2光偵測層16之上方，設置有彩色濾光片層130的結構。此外彩色濾光片層130與第1光偵測層12之間係形成層間絕緣膜46。
藉此，到達第2光偵測層16的光線，係為穿透過第1光偵測層12及彩色濾光片層130，而為所定方位及所定顏色之偏光成分，因此按照彩色濾光片之每一顏色而將該穿透光以第2光偵測層16加以偵測，就可獲得偏光彩色資訊。此外圖示的例子中係和圖4的情形相同，第1光偵測層12之像素與第2光偵測層16之像素係為一對一對應，如後述，各像素領域之對應關係係不限於此。
圖13係例示了，作為第2層偵測值影像是取得色彩資訊的態樣下，第1光偵測層12及第2光偵測層16的像素列之關係。同圖(a)係第1光偵測層12的4×4之像素列，(b)係位於其下層的第2光偵測層16的4×4之像 素列。在此例中係如上述，第1光偵測層12及第2光偵測層16的像素係為一對一對應。然後第1光偵測層12和第2光偵測層16之同一位置上的像素，係如中空箭頭所示將彼此正交之方位的偏光成分予以偵測。
然後將彩色濾光片層130設成拜爾排列的情況下，(b)所示的第2光偵測層16的像素列之中，每2×2之像素列地，將左上之像素為紅(R)、右上與左下之像素為綠(G)、右下之像素為藍(B)之偏光成分，予以偵測。在此例子中，如(a)所示，係使第1光偵測層12中的偏光方位之配置，每2×2之像素列地改變。藉此，如(b)所示，藉由第2光偵測層16的4×4之像素列，就可以紅、綠、藍之所有顏色，偵測4方位的所有偏光成分。即使將第1光偵測層12之偏光方位之配置以2×2像素之單位設成全部相同，將第2光偵測層16之顏色之配置每2×2之像素列地改變，也會同樣如此。
圖14係例示了，作為第2層偵測值影像是取得色彩資訊的態樣下，像素列之關係的另一例。同圖(a)係第1光偵測層12的4×4之像素列，(b)係位於其下層的第2光偵測層16的2×2之像素列。亦即第1光偵測層12的2×2之像素列，係對應於第2光偵測層16的1個像素。亦即第1光偵測層12中所被吸收的4方位之偏光成分的剩餘之成分，係以第2光偵測層16的1像素總結而偵測。藉由彩色濾光片層130而第2光偵測層16之各像素是以拜爾排列來偵測各色之光線，結果，第2光偵測層 16之各像素所呈現的偵測值，係為無偏光之紅、綠、或藍之資訊。
圖15係例示了，作為第2層偵測值影像是取得色彩資訊的態樣下，像素列之關係的再另一例。同圖(a)係第1光偵測層12的2×2之像素列，(b)係位於其下層的第2光偵測層16的4×4之像素列。亦即第1光偵測層12的1個像素，係對應於第2光偵測層16的2×2之像素列。亦即與被第1光偵測層12所吸收的一方位之偏光成分正交的成分，係被第2光偵測層16的2×2像素所偵測。藉由彩色濾光片層130而第2光偵測層16之各像素是以拜爾排列來偵測各色之光線，結果，第2光偵測層之各像素，係以2×2像素單位而將同方位之偏光成分，以紅、綠、藍之波長帶加以分離而偵測。
如圖13~15所示，第1光偵測層12及第2光偵測層16之1像素之領域，係可藉由下部電極44及光電轉換元件54之尺寸及個數而做各式各樣的組合。在取得色彩資訊時，如後述，相同顏色且相同方位的偏光資訊係於影像平面中，較容易變成離散，因此站在所被要求的資料之取得精度或元件的製造容易性、例如有機膜的配向軸的對齊容易性等多方面的觀點來看，將各偵測層的像素之單位予以適切地決定。
一旦如此將偏光成分以色彩資訊加以取得，則也可使用該當資訊來生成自然光之彩色影像。圖16係圖示了，含有將偏光成分當作色彩資訊而加以取得之影像 感測器的攝像裝置之機能區塊。此外與圖7中所示的攝像裝置100具有相同機能的機能區塊係標示相同符號並適宜省略說明。
攝像裝置160係含有：影像感測器161、感度差調整部85、缺陷偵測部88、缺陷補正部86、生成自然光之亮度影像的亮度影像生成部164、生成自然光之彩色影像的彩色影像生成部166、及生成彩色之偏光成分影像的偏光影像生成部168。影像感測器161，係具有和圖5所示之影像感測器70相同的結構，基本上具有和圖7的影像感測器70相同之機能。
但是在此時的攝像元件，係如圖12所示般地含有彩色濾光片層130，因此從第2層偵測值取得部162所被輸出的偵測值，係包含紅、綠、藍之彩色資訊。具體而言，如圖13及圖15所示的像素領域的情況下，該當偵測值係為偏光成分之資料，會針對彩色資訊與偏光方位之組合而獲得值。在設成如圖14所示的像素領域的情況下，該當偵測值係為無偏光之資料，因此只會針對彩色資訊而獲得值。
此外與圖4所示的攝像元件28相較，圖12所示的攝像元件128，係含有彩色濾光片層130，因此從第1光偵測層12到多層配線層58為止的層間距離較大。藉此，相較於第2光偵測層16，動作速度的限制較嚴。因此在此例中尤其是，將第1層偵測值取得部82所致之資料之讀出時序，與第2層偵測值取得部162做獨立控 制，是有效果的。亦即第2層偵測值取得部162係作為高速讀出而也可利用於顯示，第1層偵測值取得部82係以其1/2或1/3程度之輸出速率，將該資料做輔助性使用。
感度差調整部85、缺陷偵測部88、缺陷補正部86係分別具有和參照感度差調整部圖7所說明過的對應之機能區塊相同之機能。亮度影像生成部164，係和圖7的自然光影像生成部90同樣地，藉由將已被階度調整的第1層偵測值影像與第2層偵測值影像進行加算，以生成自然光的亮度影像。只不過在此情況下，由於第2層偵測值影像係隨著像素而偵測對象之色(波長帶)係為不同，因此若單純地將像素值予以加算，則料想到會拜爾排列狀地發生亮度之不均。於是，藉由將2×2之4個像素視為假想的1個像素而處理過的binning影像中將像素值予以加算，就可獲得不依存於偵測對象之顏色的無不均之亮度資訊。亦即將第2光偵測層16的4像素之領域所對應之領域視為1像素時的亮度Y1/4(x,y)，求出如下。
Y1/4(i,j)=Oconave(i,j)+S1/4(i,j)
此處，(i,j)係為，將以(x,y)來表示位置座標的第2層偵測值影像之像素以2×2個單位視為1像素時的位置座標，Oconave(i,j)係為，將已被階度調整之第1層偵測值影像之像素值，以和第2層偵測值影像之2×2像素之領域相同的領域單位進行過平均化的值，S1/4(i,j)係為將第2層偵測值影像之像素值S(x,y)以2×2像素之單位進行過平均化的值。於第1層偵測值影像中，求出Oconave(i, j)時所使用的像素之數量，係隨著與第2層偵測值影像之像素領域之關係而不同。例如圖13的情況下係以2×2像素，圖14的情況下係以4×4像素之單位，來求出平均值。圖15的的情況下係為原本的像素值即可。
亮度影像生成部164，係將如此所得的亮度Y1/4(i,j)的影像，還原成原本的解析度。具體而言，將亮度Y1/4(i,j)之2維陣列進行內插等而使像素數變成4倍之後，藉由將已被階度調整之第1層偵測值影像之高頻成分予以加算以復原細節。亮度影像生成部164係將已生成之亮度影像，適宜地輸出至攝像裝置160上所連接的記憶裝置或影像處理裝置。
彩色影像生成部166，係以第2層偵測值影像為基礎而生成自然光之彩色影像。圖17係彩色影像生成部166生成自然光之彩色影像的處理程序的流程圖。彩色影像生成部166首先將第2層偵測值影像，按照每一色彩而進行無偏光化(S50)。所謂無偏光化，係從偏光成分之偵測值解除偏光方位所致之位置依存性。但是設成如圖14所示的像素領域時，偵測值係為原本的無偏光，因此可省略此處理。
接著，彩色影像生成部166，係進行將因拜爾排列而離散呈現的各色之像素值進行內插的去馬賽克處理。首先彩色影像生成部166係將像素數較多的綠色之像素值，進行內插(S52)。此時，藉由將亮度影像生成部164所生成的亮度影像之高頻成分予以加算，以復原影像之細 節(S54)。S54的高頻成分之加算處理係亦可和S52的內插處理之連貫地進行，也可在內插處理之後個別地進行。若如此求出對全像素的綠色之像素值，則使用其來進行紅色及藍色的去馬賽克處理(S56)。
此處理係採用一般的攝像裝置中所進行的去馬賽克處理之手法即可。藉由以上的處理，就可基於第2偵測值影像之彩色資訊而生成全彩的自然光影像。彩色影像生成部166，係將所生成的影像之資料，適宜輸出至攝像裝置160上所連接之記憶裝置或影像處理裝置。此影像係和一般的全彩影像同等之影像，因此可令其輸出至電視等之顯示裝置而顯示之。
圖18係圖17的S50中將偏光資料予以無偏光化的處理程序的流程圖。此流程圖，係將圖13的(b)或圖15的(b)所示的，第2光偵測層16的4×4之像素列，視為處理單位。無偏光化係定性來說，相較於最容易產生像素值之差的正交之方位的偏光成分，其差越大則判定為位置依存性越大而以它們的平均化後的值來代替。首先針對每一色彩，將偏光成分之偵測值，在方位為正交的像素值彼此間進行比較(S60)。例如圖15的(b)所示的像素列之中以紅為對象時，將以粗實線圍繞的2個像素之值的差、及以粗虛線圍繞的2個像素之值的差，分別予以算出。
但是若附近有相同方位且相顏色之偵測值是複數存在時，則以它們的平均值進行比較。圖15的(b)所示的像素列的情況下，呈現同一方位的綠色像素係在2×2 之像素列中的對角線上分別含有2個，因此針對綠色係以這2個像素值之平均值來做比較。針對紅、綠、藍之各者，在呈現正交偏光成分的2組像素間，若其值之差都沒有超過所定之閾值Th3(S62的N)，則針對該當像素列之該當顏色係判定為沒有位置依存性，將該像素值維持不變(S66)。即使差超過閾值Th3，若該當領域是包含邊緣部分時，則仍將該像素值維持不變(S64的Y、S66)。
這是因為，邊緣部分係如上述亮度變化較大，因此偏光成分之差即使較大，仍有可能不是起因於偏光方位。若任一方的差超過閾值Th3，且該當領域不包含邊緣部分(S62的Y、S64的N)，則判定偏光方位所致之位置依存性為高，以抵銷其差的方式，來調整值(S68)。具體而言是將差較大的像素值彼此做平均化。如上述的綠色，在附近含有複數同方位且同色的像素，以平均值做比較時，則將該當平均值進行平均化。
此情況下，對平均值的差較大、正交的第n方位與第n+2方位中所分別含有的複數像素之值，乘算以下的調整係數kcr(n)、kcr(n+2)。
kcr(n)=(Save(n)+Save(n+2))/Save(n)
kcr(n+2)=(Save(n)+Save(n+2))/Save(n+2)
此處Save(n)及Save(n+2)係為第n方位與第n+2方位中分別含有的像素之值的平均值。將以上的位置依存性確認及因應需要的調整處理，按照每一顏色、每一領域地進行之，就可將各色的偏光成分的偵測值，予以無偏光化。彩色影像生成部166，係生成將如此所得之紅、綠、 藍之像素值保於於各通道的的全彩色影像之資料，適宜輸出至連接在攝像裝置160的記憶裝置或影像處理裝置。
偏光影像生成部168，係基於偏光成分之偵測值，而生成4方位份的偏光彩色影像之資料。但是設成如圖14所示的像素領域時，彩色資訊係為無偏光，因此將第1層偵測值影像或其調整後之影像，設成黑白之偏光影像而直接輸出。圖19係圖示了，如圖13或圖15般地將偏光成分以彩色資訊加以取得時的第2層偵測值影像之一部分。圖15所示的態樣下，每2×2像素地呈現同方位之偏光成分，在4×4之像素列中呈現4個方位之偏光成分。同圖粗線係表示了該當4×4之像素列之交界。此外圖13所示的像素排列中，生成偏光影像的程序係大致相同。
偏光成分是以彩色資訊而加以取得時，必須將相同方位且相同顏色的像素予以抽出，並進行內插。若以同圖的斜線所示的第1方位之像素為例，則第1方位的綠(G)之像素，係每4×4之像素列就存在有2個，另一方面，第1方位的紅(R)及藍(B)之像素，係每4×4之像素列只存在1個，因此與綠色相較，間隔較廣。於是首先將各方位之綠之像素值予以抽出並內插，使用其而將紅及藍之像素值藉由去馬賽克處理而予以求出。綠色的內插處理係可適宜應用最鄰近內插、雙線性內插、雙立方內插等既存之內插技術。
對內插過的各方位之綠之像素值，使用亮度影像生成部164所生成之亮度影像，就可表現邊緣部分等 的細節變化。因此偏光影像生成部168，係藉由高通濾光片而從該當亮度影像中抽出高頻成分hf_Y(x,y)，關於含有邊緣部分之像素係將hf_Y(x,y)加算至綠之像素值。使用如此所得的各方位之綠之像素值、和紅及藍之偏光成分的離散性偵測值，來決定各通道之偏光成分的紅及藍之像素值。
此處理，係可適宜應用一般的去馬賽克處理。又，如此生成的各方位、各色之像素值之配列，係依存於4×4之像素列內的各配向軸之膜之配置、及同一方位之領域內的顏色之配置，而像素之相位會有所偏移。於是，以使得位於4×4之像素列內的各方位、各色之像素，會於最終的各方位之偏光影像中表現相同位置的像素的方式，來調整像素之位置。具體而言，針對紅色係往右方向偏移0.5像素份，往下方向偏移0.5像素份。
針對藍色係往左方向偏移0.5像素份，往上方向偏移0.5像素份。針對綠色係由於在相同方位之領域內有2個像素，因此會往左方向或右方向偏移0.5像素份，往下方向或上方向偏移0.5像素份。偏光影像生成部168，係將如此生成的各方位之偏光彩色影像，適宜輸出至攝像裝置160上所連接之記憶裝置或影像處理裝置。
接著說明將偏光成分以色彩資訊加以取得的另一態樣。此外在以後所述的攝像元件的態樣中皆是，可以適用於目前為止所說明過的影像感測器或攝像裝置、或是將其部分機能做合適變形的影像感測器或攝像裝置，因 此適宜省略說明，以和目前為止的不同點為重點來說明。圖20係將偏光成分作為色彩資訊而加以取得時的攝像元件之結構的另一例以剖面圖來表示。此外與圖4、12中所示的攝像元件28、128相同的構成係標示相同符號並省略說明。攝像元件180係具有，將圖12所示的攝像元件128中的彩色濾光片層130，設在第1光偵測層12之上方的結構。
藉此，相較於圖12所示的攝像元件128，從第1光偵測層12到多層配線層58為止之距離係較短，可縮短電荷讀出時間。即使如此，就由使彩色濾光片層130之各色，對應於第1光偵測層12及第2光偵測層16之至少任一各像素，仍可和圖12同樣地，取得彩色之偏光資訊。另一方面，藉由像素領域之設定，也可將偏光成分以黑白而加以取得。在圖20所示的例子中，對於剖面中橫向排列的2色份之濾光片，第1光偵測層12的有機光電轉換膜38及下部電極44是被設置1個。
若在圖的縱深方向也設成相同的構成，則會變成對於彩色濾光片層130的4個份之領域，將第1光偵測層12之像素設置1個。將彩色濾光片層130的4個份之領域以紅、綠、藍之拜爾排列之濾光片加以構成，將第1光偵測層12的有機光電轉換膜38，和目前為止所說明同樣地，每一像素地朝1個軸做配向，以吸收可見光之全波長帶的材料加以構成，則結果來說，在第1光偵測層12中，相應於膜之配向軸的偏光成分，會變成以灰階而 被偵測。
一旦如此設計，則第1光偵測層12和第2光偵測層16的像素列之關係係變成和圖15所示相同，所得的資訊也會相同。圖21係圖示，將彩色濾光片層130配置在第1光偵測層12之上方的態樣下，第1光偵測層12及第2光偵測層16的像素列之關係之另一例子。同圖(a)係圖示第1光偵測層12的2×2之像素列，(b)係圖示位於其下層的第2光偵測層16的4×4之像素列(粗線框內)、和其周圍之像素列。
在此例子中，如(a)中以點線矩形所示，將各色之彩色濾光片設成與第1光偵測層12之像素相同尺寸，並且係為，在該當像素之4頂點以使得各色之彩色濾光片之中心會位於該處而錯開的配置。一旦如此設計，則(b)所示的第2光偵測層16之粗線框內的4×4之像素列之中，例如中央的2×2之像素列是全部呈現藍之偏光成分，並且以該當4像素，4方位之偏光成分會變成全部對齊。在其他領域中也是同樣地，以2×2像素之單位，各色之4方位之偏光成分係被總結而獲得。亦即在略同一位置上同色之複數方位之偏光資訊會被獲得，因此可以抑制隨著偵測位置遠離而出現比實際還大之方位依存性的此種誤差之發生。
圖22係圖示，將彩色濾光片層130配置在第1光偵測層12之上方的態樣下，第1光偵測層12及第2光偵測層16的像素列之關係之另一例子。同圖(a)係圖示 第1光偵測層12的4×4之像素列，(b)係圖示位於其下層的第2光偵測層16的4×4之像素列。此例子，係即使於第1光偵測層12中也是，使像素領域對應於各色之彩色濾光片之領域。亦即彩色濾光片之各色，與第1光偵測層12之像素、第2光偵測層16之像素全部都是1對1對應。
此情況下，第1光偵測層12所致之第1層偵測值影像、和第2光偵測層16所致之第2層偵測值影像的對應之像素，係呈現正交之方位之同色之偏光成分，因此藉由將它們相加，就可獲得自然光之資料。因此將加算後之影像以一般的手法進行去馬賽克處理，以獲得全彩的自然光影像。又各方位之偏光彩色影像，係將第1層偵測值影像與第2層偵測值影像，如參照圖19所說明進行內插而生成各自的偏光彩色影像，藉由在相同方位之偏光影像彼此間將兩者相加而予以生成。此情況下，因為含有2層份的偏光資訊，所以會獲得較接近原本入射光之位準的偏光彩色影像。
亦可不是由彩色濾光片層130取得彩色資訊，而改為將第1光偵測層12的有機光電轉換膜，設成僅選擇性吸收所定之波長帶之光線的材料，來取得彩色資訊。圖23係藉由有機光電轉換膜將偏光成分作為色彩資訊而加以取得時的攝像元件之結構例以剖面圖來表示。此外與圖4中所示的攝像元件28相同的構成係標示相同符號並省略說明。攝像元件190，係將圖4所示的攝像元件 28的第1光偵測層12的有機光電轉換膜，設成選擇性吸收紅、綠、藍之任一者的波長帶的材料(有機光電轉換膜192a、192b)。
例如若將有機光電轉換膜192a、192b所吸收的顏色設成拜爾排列，然後以所定之排列而使配向軸不同，則第1光偵測層12之各像素，係會呈現偏光彩色成分。然後，將穿透其之光線以第2光偵測層16進行偵測時，第2光偵測層16之各像素係呈現，與第1光偵測層12所偵測到的偏光彩色成分同色且正交的偏光成分、和該當顏色以外之波長帶之無偏光之成分。
圖24係為圖23所示之結構的攝像元件中的第1光偵測層12與第2光偵測層16所吸收之光線的說明圖。同圖上段及下段係分別例示了，第1光偵測層12的像素及其所對應之第2光偵測層16的像素所吸收之光線之波長與吸收度之關係。如圖的左側所示，第1光偵測層12的一個像素中吸收了綠之偏光成分(G∥)時，其正交之方位的綠之偏光成分(G⊥)、和可見光線之波長帶之中扣除了綠之波長帶的洋紅(M)之無偏光係會穿透，因此在第2光偵測層16所對應之像素中，這些係被吸收而偵測。
另一方面，如圖的右側所示，第1光偵測層12的一個像素中吸收了紅之偏光成分(R∥)時，其正交之方位的紅之偏光成分(R⊥)、和可見光線之波長帶之中扣除了紅之波長帶的青藍(Cy)之無偏光係會穿透，因此在第2光偵測層16所對應之像素中，這些係被吸收而偵測。 此外和第1光偵測層12中吸收藍之偏光成分的情形相同，在第2光偵測層16所對應之像素中，和其正交的藍之偏光成分和黃之無偏光係被吸收而偵測。
在設計成如此的結構時，第1光偵測層12所致之第1層偵測值影像，係和圖12等所示的設置彩色濾光片層130時的第2光偵測層16所致之第2層偵測值影像相同，因此藉由適宜實施內插處理、去馬賽克處理，偏光彩色影像就會在各方位上被獲得。又，藉由將已被階度調整之第1層偵測值影像、和第2光偵測層16所致之第2層偵測值影像，在對應之像素彼此予以相加，波長帶與偏光成分就會被整合，獲得自然光之黑白的亮度影像。若如此設計，則相較於使用彩色濾光片時，光線的損失較少，可獲得高感度的亮度影像。
圖25係藉由有機光電轉換膜將偏光成分作為色彩資訊而加以取得時的攝像元件之結構的另一例以剖面圖來表示。此外與圖23中所示的攝像元件相同的構成係標示相同符號並省略說明。攝像元件200，係將圖23所示的攝像元件190的第1光偵測層12，設成2層結構。具體而言，和圖23同樣地，將選擇性吸收紅、綠、藍之任一波長帶的材料往所定方向做配向而成的有機光電轉換膜192a、192b設為上層，將選擇性吸收與該當有機光電轉換膜192a、192b同色之波長帶的非配向之材料所成的有機光電轉換膜202a、202b設為下層。
在下層的有機光電轉換膜202a、202b的上部 電極係利用上層的有機光電轉換膜192a、192b的下部電極，並且在下層的有機光電轉換膜202a、202b，設置用來讀出藉由光電轉換所產生之電荷所需的下部電極204a、204b和導電性插栓206a、206b。此外，上層的下部電極與下層的上部電極是如此而為共通的情況下，由於上層、下層中所被讀出的電荷係為電子與電洞為相反，因此適宜進行換算而當成像素值。
藉由如此構成，與被上層所吸收的所定顏色之偏光成分正交之成分也是可在第1光偵測層12內吸收，因此使第2光偵測層16所偵測的光線，變成只有其以外之顏色的無偏光成分。圖26係為圖25所示之結構的攝像元件中的第1光偵測層12與第2光偵測層16所吸收之光線的說明圖。同圖上段及中段係例示了第1光偵測層12之上層及下層之像素所吸收之光線，下段係為其所對應之第2光偵測層16之像素所吸收之光線線之波長與吸收度之關係。
如圖的左側所示，在第1光偵測層12之上層中的一個像素中吸收黃之偏光成分(Y∥)，在下層所對應之像素中吸收黃色之剩餘之成分時，可見光線之中扣除了該當黃色波長帶的藍(B)之無偏光係會穿透，因此在第2光偵測層16所對應之像素中，其會被吸收而偵測。此外，第1光偵測層12之下層中所吸收、偵測的光線，係代表來說是與上層所吸收之偏光成分正交的偏光成分，但若藉由上層的有機光電轉換膜192a之膜厚來控制吸收 率，關於吸收對象之偏光成分也讓其以某種程度之比率而穿透，則在下層中也可偵測略無偏光的黃色。
又如圖的中央所示，在第1光偵測層12之上層中的一個像素中吸收洋紅之偏光成分(M∥)，在下層所對應之像素中吸收洋紅之剩餘之成分時，可見光線之中扣除了該當洋紅波長帶的綠(G)之無偏光係會穿透，因此在第2光偵測層16所對應之像素中，其會被吸收而偵測。再者如圖的右側所示，在第1光偵測層12之上層中的一個像素中吸收青藍之偏光成分(Cy∥)，在下層所對應之像素中吸收青藍之剩餘之成分時，可見光線之中扣除了該當青藍波長帶的紅(R)之無偏光係會穿透，因此在第2光偵測層16所對應之像素中，其會被吸收而偵測。
若設計成如此構成，則在最下層之第2光偵測層16中，藍、綠、紅之無偏光線之資訊係會個別地獲得，因此進行去馬賽克處理等而可將其本身當作全彩之自然光影像而利用於顯示等。又第1光偵測層12之上層所致之偵測值影像係和圖24同樣地，藉由適宜實施內插處理、去馬賽克處理，而可在各方位上獲得偏光彩色影像。又，藉由第1光偵測層12之上層及下層之偵測值影像在對應之像素中進行相加就可獲得各色之無偏光成分，基於其而亦可生成無偏光彩色影像。
甚至，藉由第1光偵測層12之上層及下層所致之偵測值影像的和、與第2光偵測層16之各色之無偏光線之偵測值影像進行相加以整合波長帶，而獲得自然光 之亮度影像。即使如此設計，相較於使用彩色濾光片的情形，可獲得光線損失較少的高感度之影像。
圖27係藉由有機光電轉換膜將偏光成分作為色彩資訊而加以取得時的攝像元件之結構的另一例以剖面圖來表示。此外與圖25中所示的攝像元件相同的構成係標示相同符號並省略說明。攝像元件210，係將圖25所示的攝像元件200的第2光偵測層16，以選擇性將所定顏色之光線做光電轉換的無機光電轉換層來加以構成。詳言之，目前為止所說明的攝像元件中，取代將穿透第1光偵測層12的光線進行光電轉換的光電轉換元件54a、54b，而是具有將用來偵測穿透光線之中藍色成分所需之無機光電轉換層212a、212b、用來偵測紅色成分所需之無機光電轉換層214a、214b，上下設置而成的構成。
無機光電轉換層212a、212b、214a、214b係分別為具有pn接合的光二極體，將藍色或紅色之波長帶或其一部分予以吸收而轉換成電荷並累積在內部。藉由此種光電轉換層將光線之色彩成分在元件之縱方向上予以分離而偵測的技術係為公知，例如被揭露於日本特開2013-183056號公報。另一方面，攝像元件210之中構成第1光偵測層12的上層的有機光電轉換膜192a、192b、及下層的有機光電轉換膜202a、202b，係設計成選擇性吸收綠色而進行光電轉換的有機材料。
和參照圖25所說明的相同，將第1光偵測層12之上層，作為往所定之軸方向配向的膜而設成偵測偏 光成分的膜，並將下層設成非配向的膜，藉此可於第1光偵測層12中吸收綠色的波長帶。結果，從第1光偵測層12之上層係獲得綠色之偏光影像，藉由將第1光偵測層12之上層及下層的偵測值相加而獲得綠色的無偏光影像，從第2光偵測層16係獲得藍色、紅色的無偏光影像。
此時，關於各方位之偏光成分，係和目前為止同樣地，隨應於不同配向軸之膜之配置而獲得離散性的偵測值，但是關於綠、藍、紅之色成分，係在全部像素中一開始就獲得偵測值。因此內插處理係只有在偏光影像之生成時進行即可，關於無偏光線之彩色影像係不需要進行去馬賽克處理。又，亦不將偏光資訊限定成1色，相較於獲得3色份之偏光資訊時，應內插的間隔變窄，因此誤差變小。
圖28係藉由有機光電轉換膜將偏光成分作為色彩資訊而加以取得時的攝像元件之結構的另一例以剖面圖來表示。此外與圖27中所示的攝像元件相同的構成係標示相同符號並省略說明。攝像元件220，係將圖27所示的攝像元件210的第1光偵測層12中的2層的有機光電轉換膜，設成只有上層的有機光電轉換膜192a、192b1層。此第1光偵測層12，係和圖23所說明的攝像元件190的第1光偵測層12相同結構。但是圖28的攝像元件220的情況下，作為第1光偵測層12的有機光電轉換膜192a、192b，使用選擇性吸收綠色的配向膜。
因此如圖24的左側所示，於第1光偵測層12中一旦綠之偏光成分被吸收，則其他成分，亦即與其正交之方位的綠之偏光成分、可見光波長帶之中扣除了綠之波長帶的洋紅之無偏光，係會抵達第2光偵測層16。第2光偵測層16中，和圖27的情形相同，藉由無機光電轉換層212a、212b、214a、214b，將洋紅之光線在元件之縱方向分離成藍色、紅色之成分並予以偵測。但是在此情況下，作為入射至上層之無機光電轉換層212a、212b的光線，是含有已經穿透過第1光偵測層12的綠之偏光成分，因此藍色之偵測結果中會容易產生誤差。
於是，在搭載攝像元件210的攝像裝置中，係在圖16所示的攝像裝置160之中，取代感度差調整部85而改為設置色彩成分控制部，從藍色用的無機光電轉換層212a、212b所致之偵測值影像，去除綠之偏光成分之資訊。圖29係圖示了色彩成分控制部之機能區塊之構成。色彩成分控制部250係含有：感度差調整部252、去除對象成分推定部254、各色影像生成部256。感度差調整部252，係隨應於第1光偵測層12中的綠之偵測感度與第2光偵測層16的無機光電轉換層212a、212b的綠之偵測感度的差，將兩者所致之偵測值影像的綠成分之階度予以對齊。
具體而言，藉由對第1光偵測層12之偵測值Og(x,y)乘算係數kg(x,y)，以將階度算出成配合於第2光偵測層16的無機光電轉換層212a、212b之感度的換算值 Og_con(x,y)如下。
Og_con(x,y)=kg(x,y)×Og(x,y)
此處，(x,y)係為像素之2維陣列的座標。係數kg(x,y)，係藉由攝像裝置之運用前或初期之校準而被決定如下。
首先將佔據視野全體的灰色的均勻之被攝體面，以無偏光的綠色之光源均勻照光的狀態下，進行攝影。此時，入射光係只有綠成分所成，因此被第2光偵測層16的無機光電轉換層212a、212b所偵測的對象，係只有穿透過第1光偵測層12的綠之偏光成分。因此，以使得此時的第1光偵測層12之偵測值之換算值係與第2光偵測層16的藍用的無機光電轉換層212a、212b之偵測值一致的方式，來決定係數kg(x,y)。
亦即在上記條件下，若假設獲得第1光偵測層12所致之偵測值Og_in(x,y)與第2光偵測層16的藍用的無機光電轉換層212a、212b所致之偵測值Sb_in(x,y)，則以滿足下式的方式，算出kg(x,y)。
Sb_in(x,y)=kg(x,y)×Og_in(x,y)
此處係數kg(x,y)係在影像全體中位於所定範圍內時，則亦可設成不隨像素之位置座標而變的定數kg。例如亦可藉由將藍用的無機光電轉換層212a、212b所致之影像全體之像素值之總和Σ Sb_in(x,y)除以第1光偵測層12所致之影像全體之像素值之總和Σ Og_in(x,y)，來決定定數k。
感度差調整部252，係將如此所被設定的係數kg，乘算至從第1光偵測層12所輸出的，綠之偏光成分之偵測值影像之各像素，以將其階度予以調整，然後，連同從第2光偵測層16所輸出的藍色及紅色之偵測值影像之資料，一起輸出至去除對象成分推定部254。去除對象成分推定部254，係從藍色之偵測值影像去除綠之偏光成分。此處，依存於第1光偵測層12中的有機光電轉換膜192之各配向軸之膜之配置，藍色之偵測值影像中所含之偏光成分之方位也會發生位置依存性。
於是去除對象成分推定部254，係使用第1光偵測層12所致之偵測值影像之調整後之資料，將應從藍色之偵測值影像去除之偏光成分之值，按照每一位置而加以推定。然後各色影像生成部256，係從藍色之偵測值影像之各像素值，減去已被推定之綠色之偏光成分之值，以在包含藍色的全色中，完成偵測值影像。結果而言，使階度配合於第2光偵測層16之感度而成的綠色之偏光影像，在對應之像素中與其正交之方位的綠色之偏光影像、藍之無偏光影像、紅之無偏光影像之資料，會被獲得。色彩成分控制部250，係藉由將這些輸出至缺陷偵測部88及缺陷補正部86，以進行缺陷補正或其後的輸出用影像之生成處理。
圖30係去除對象成分推定部254推定應從藍色之偵測值影像去除的綠色之偏光成分之值之手法的說明圖。同圖(a)係圖示第1光偵測層12的4×4之像素列，(b) 係圖示位於其下層的第2光偵測層16的無機光電轉換層212a、212b的4×4之像素列。前者係將(a)中如實線箭頭所示之方位的綠之偏光成分予以吸收、偵測。其結果為，後者之像素值中係會含有(b)中以點線箭頭所示的方位之綠之偏光成分，因此推定其量。
例如若著眼(b)的中粗線所圍繞的像素，則在(a)所示的第1光偵測層12所對應之位置(粗虛線)之周圍，係如斜線所示，獲得與注目像素相同方位之偏光成分。因此若利用這些，(b)的各像素中的偏光成分之值就可高精度地推定。例如亦可如(a)的斜線之像素所示，將周圍之4像素之像素值之平均值當作推定值，亦可利用更廣範圍中的同方位之偏光成分之值，以既存之手法進行內插而加以推定。
如此一來，去除對象成分推定部254，係若對無機光電轉換層212a、212b所致之偵測值影像之全像素，推定像素值中所含之綠之偏光成分，則各色影像生成部256，係藉由從該當偵測值影像之各像素值減去偏光成分，就可生成純粹只有藍色之成分作為像素值的影像。此時從藍色減去的綠之偏光成分，亦即利用第1光偵測層12之偵測值影像的綠之偏光成分之推定值，也是預先以影像資料的方式加以生成。
其後，對偏光影像適宜實施缺陷偵測、補正處理，然後生成自然光之彩色影像、和綠之偏光影像。自然光之彩色影像之中綠色之像素值，係將第1光偵測層 12之階度調整後的偵測值影像、和去除對象成分推定部254所推定的綠色之偏光成分之影像予以相加而生成。兩者係於相同位置之像素中呈現正交之偏光成分，因此藉由相加就可復原原本的無偏光。藍色之像素值，係為從無機光電轉換層212a、212b所致之偵測值影像減去綠色之偏光成分之推定值而成的影像，紅色之像素值，係可將無機光電轉換層214a、214b之偵測值影像直接利用。
綠色之偏光影像生成之際係首先，將第1光偵測層12之偵測值影像中離散獲得的各方位之偏光成分予以抽出然後將像素位置做適宜偏移，以在相同位置上生成表示4方位之偏光成分的4個偏光影像。此時點上由於像素值還是離散的，因此接著使用如上述所生成的無偏光線的綠之影像的高頻成分，基於其分布而將這些4個偏光影像分別進行內插以完成4方位之偏光影像。藉由利用無偏光影像的高頻成分，就可提高內插之精度。
接著，例示使用目前為止所述的攝像裝置來取得被攝體之資訊的技術。使用偏光件或偏光板來取得被攝體表面之法線的技術，係例如國際公開第2009/147814號等所揭露，在先前就已經有被研究。亦即，將來自被攝體之表面的反射光以偏光相機加以取得，基於最小亮度被觀測到時的偏光角而取得物體表面之方位角。從2個視點來進行之，就可唯一決定物體表面之法線。
本實施形態的攝像元件，係可將相同視點之偏光資訊和自然光之資訊，在像素層次下對準位置合的狀 態下而加以取得，因此可利用其來取得各種資訊或是可提高取得精度。圖31係圖示了本實施形態的影像處理系統之構成例。影像處理系統300係含有立體相機310和影像處理裝置320。此外立體相機310和影像處理裝置320係可如圖示般地是個別的個體而以有線或無線建立通訊來進行資料之收送訊，亦可為兩者是一體含有的資訊處理裝置等之形態而藉由內部之匯流排等來進行資料之收送訊。
立體相機310，係將與目前為止所述的攝像裝置之任一者相同構成的2個攝像裝置，以具有已知間隔的方式，予以左右配置而成的相機。影像處理裝置320係含有：從立體相機310取得影像資料的影像資料取得部362、在已取得之左右影像資料間調整感度差異的感度差調整部364、基於左右偏光影像而生成法線地圖的法線地圖生成部366、基於左右自然光影像及法線地圖而生成景深地圖的景深地圖生成部368、生成應輸出之資料的輸出資料生成部380。
影像資料取得部362，係從立體相機310所具備的攝像裝置360a、360b，分別取得自然光之影像及偏光成分之影像之資料。亦即，來自左右視點的自然光之影像、和來自左右視點的4方位份的偏光影像之資料，會被取得。在動畫攝影時，係以所定之畫格速率而持續取得資料。已取得之資料係以每畫格等所定之單位而暫時保存在未圖示的記憶體中，感度差調整部364等係在適當的時序上加以讀出。感度差調整部364，係以一對來自左右視點 的自然光之影像，和一段來自左右視點的各方位之偏光影像，來分別調整輸出位準。
例如，每一影像地計算平均亮度值，以使其成為同位準的方式，而對其中一方施予增益。亦可將在自然光之影像上所施加的增益，利用於來自相同視點的偏光影像之增益。法線地圖生成部366，係使用左右之4方位份的偏光影像，求出被攝體表面之法線向量，將其映射至影像平面而生成法線地圖。此處理係可適用，使用立體偏光相機而取得被攝體之法線資訊的如上述的先前技術。景深地圖生成部368係首先，使用已經做過位準調整的左右之自然光之影像，來生成景深地圖。
具體而言，從左右之自然光影像偵測對應點，根據其視差而以三角測量之原理來算出該當對應點從攝像面起算之距離，藉由映射至影像平面以生成景深地圖。使用立體影像而生成景深地圖的技術，係於先前的立體相機中已經被實用化。然而在模樣或皺紋等之特徵點較少的均勻表面之被攝體等情況下，由於難以偵測特徵點，結果而言距離的算出上會含有較多誤差，或是無法算出等等，在景深地圖上有時後會產生資料闕漏。
於是本實施形態的景深地圖生成部368，係利用法線地圖生成部366所生成之法線地圖來提升景深地圖之精度。具體而言，基於法線向量之分布而取得被攝體之面的連續性。藉此，即使是藉由對應點偵測而得到距離的點是離散性，仍可特定其周圍之像是否表示連續的相同 面，因此可將對應點無法偵測的領域之距離值，根據法線向量而予以算出。
景深地圖生成部368係亦可還在對應點之偵測本身採用偏光影像，將偏光影像中所呈現之物體表面的細緻凹凸，當作特徵點來利用。在本實施形態中，自然光之影像與偏光影像中的像之位置，於攝影階段中是在像素層次為一致，因此不需要之後將兩者做位置對準。其結果為，即使看起來特徵點較少的被攝體，仍可高精度地取得景深地圖。
輸出資料生成部380，係在已被生成的法線地圖、景深地圖、及影像資料取得部362所取得的自然光之影像等之資料之中，將必要的資料，輸出至外部的輸出裝置。或者，亦可使用這些資料進行所定之資訊處理的結果，而生成顯示影像或聲音之資料而加以輸出。應輸出之資料或應進行之資訊處理，係隨著影像處理系統300的使用目的而可為多樣。
例如，使用高精度獲得的景深地圖來特定出被攝體在真實空間中的位置，隨應於其而對自然光之彩色影像施以加工或生成對被攝體之運動有所反應的遊戲畫面等等。將如此所被生成的影像之資料，對輸出裝置也就是顯示器在適切的時序上予以輸出，則可顯示隨應於被攝體之運動而變化的動畫。但是如上述，輸出態樣係不限於此。
若依據上述的本實施形態，則在攝像元件 中，設置將有機光電轉換材料往所定之軸方向配向之膜所成的第1光偵測層、和將穿透其之光線予以吸收並進行光電轉換之元件所成的第2光偵測層，所層積而成的結構。藉此，例如2個方位之偏光成分，或是1個方位之偏光成分與自然光，這類至少2種類之資訊，可在像素層次的相同位置上，加以取得。甚至，藉由改變有機光電轉換材料之吸收波長帶或是設置彩色濾光片等等，而可取得偏光資訊與色彩資訊所組合而成的多樣的資訊。
如此，在像素層次上在相同位置上，可同時取得複數資訊，因此使用這些來取得被攝體之形狀或位置之際，不需要使兩者之位置做對合所需之處理。又，即使特徵點較少的被攝體，也不會發生位置對合所涉及之問題。再者，在相同位置上取得複數種類之影像，因此兩者是互相補足地利用，藉此可提高最終輸出的影像之詳細度或精度。具體而言，可將原本的偵測值之缺陷予以補足，或是在內部之處理上，將遺失的高頻成分予以復原、或是推定不明的值等等。又，藉由在相同位置將複數種類之值進行演算，就可生成新種類之資料，結果而言可取得多樣的資訊。
使用一般的自然光之立體影像的景深地圖生成時，無法抽出對應點而會產生距離值未被算出的部分，但藉由取得相同位置的偏光影像，就可生成詳細的景深地圖。具體而言，物體表面的細緻凹凸也是以偏光資訊的方式而被取得，因此可將其當作特徵點來利用。又，將如此 的特徵點當作對應點而得的距離值即使為離散性，從法線地圖所得的面之連續性的觀點來看，仍可獲得較詳細的景深資訊。
又，隨應於配向容易性等製程上的要求、或所被要求的資訊或解析度等運用上之要求，可適宜選擇複數光偵測層之像素領域或結構、材料等，因此可將這些多角的要求予以綜合評估而將適切的態樣做隨機應變。又，藉由獨立控制來自複數光偵測層的資料讀出之時序，隨應於材料所致之感度的差或到讀出所需之配線為止之距離等而誤差較少，且可確實取得必要的最低限之資訊，能夠實現如此的處理體系。
以上，根據實施形態而說明了本發明。上記實施形態係為例示，對這些各構成要素或各處理程序之組合可做各式各樣的變形例，而這些變形例也都屬於本發明的範圍，這件事情係為當業者所自明。
例如在本實施形態中，作為第1光偵測層12，是使用已被配向的有機光電轉換膜，但亦可取而代之，改為利用奈米碳管。近年來，不是使用朝所定軸方向配向的二色性分子，而是使用在同方向上緻密排列的奈米碳管的偏光元件，已被提出許多。甚至，像是Xiaowei.He,et al.,“Photothermoelectric p-n Junction Photodetector with Intrinsic Broadband Polarimetry Based on Macroscopic Carbon Nanotube Films,”ACS Nano 7,7271(2013)中所記載，使用奈米碳管而偵測的技術，也已 被研究。
於是，將第1光偵測層12，以將奈米碳管做緻密排列的結構體和用來讀出其所產生之電荷的電極，來加以構成。在獲得彩色資訊時，亦可如圖20所示，在第1光偵測層12之上方設置彩色濾光片層。藉由使用奈米碳管，可獲得和本實施形態相同的效果，並且可更加提升影像之取得感度。

Claims (14)

  1. 一種攝像元件，其特徵為，含有：第1光偵測層，係含有：具有透光性並已被往所定之軸方向做配向之有機光電轉換膜；和第2光偵測層，係位於比前記第1光偵測層還下層且含有無機光電轉換元件。
  2. 如請求項1所記載之攝像元件，其中，前記第1光偵測層，係將包含前記有機光電轉換膜和夾住其的具有穿透性之電極的結構視為1像素，然後使含有已被往不同軸方向做配向之有機光電轉換膜的像素彼此鄰接而成。
  3. 如請求項2所記載之攝像元件，其中，前記第2光偵測層，係以前記第1光偵測層中的複數像素單位或比1個像素還小的單位，將前記無機光電轉換元件當作像素而具備。
  4. 如請求項3所記載之攝像元件，其中，在前記第1光偵測層與前記第2光偵測層之間，具備讓對應於不同顏色之波長帶之光線穿透的彩色濾光片鄰接而成的彩色濾光片層。
  5. 如請求項3所記載之攝像元件，其中，在前記第1光偵測層之上層，具備讓對應於不同顏色之波長帶之光線穿透的彩色濾光片鄰接而成的彩色濾光片層。
  6. 如請求項5所記載之攝像元件，其中，前記第1光偵測層中的1像素之領域，係對應於前記彩色濾光片層中的複數彩色濾光片之領域。
  7. 如請求項5所記載之攝像元件，其中，前記第1光偵測層中的1像素之領域，係對應於前記彩色濾光片層中的包含鄰接之複數彩色濾光片之各自一部分之領域。
  8. 如請求項1至7之任一項所記載之攝像元件，其中，前記第1光偵測層中所含之有機光電轉換膜係由，將包含對應於複數顏色之波長帶的所定之波長帶之光線進行光電轉換的材料所成。
  9. 如請求項2所記載之攝像元件，其中，前記第1光偵測層係由，將對應於所定顏色之波長帶之光線進行光電轉換的材料所成；前記第2光偵測層，係以前記第1光偵測層中的像素單位，將前記無機光電轉換元件當作像素而具備。
  10. 如請求項9所記載之攝像元件，其中，前記第1光偵測層係還含有：非配向之有機光電轉換膜，係將穿透過前記有機光電轉換膜、並且是與該當有機光電轉換膜所吸收之光線相同波長帶之光線，進行光電轉換。
  11. 如請求項1、2、9及10之任一項所記載之攝像元件，其中，前記第2光偵測層中的前記無機光電轉換元件係具有：將不同波長帶之光線進行光電轉換的複數無機光電轉換層予以層積而成的結構。
  12. 一種影像感測器，其特徵為，具備：像素部，係將如請求項1至11之任一項所記載之攝像元件配置成矩陣狀而成；和控制部，係令構成前記像素部的攝像元件以所定之順序而被驅動以取得電性訊號並依序輸出。
  13. 一種攝像裝置，其特徵為，具備：輸入部，係從請求項12所記載的影像感測器，取得將來自各偵測層的電性訊號視為像素值的影像之資料；和影像生成部，係先將前記影像之資料所表示的複數影像之階度予以調整，然後基於對應之領域中的像素值進行所定之演算，以生成輸出用的影像之資料。
  14. 一種資訊處理裝置，其特徵為，具備：如請求項13所記載之攝像裝置；和記憶體，係將從前記攝像裝置所輸出之複數種類之影像之資料，予以儲存；和輸出資料生成部，係使用前記記憶體中所被儲存之影像之資料來進行資訊處理，並生成表示其結果的輸出資料。
TW105121561A 2015-08-12 2016-07-07 攝像元件、影像感測器、攝像裝置、及資訊處理裝置 TWI655759B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015159577A JP6914001B2 (ja) 2015-08-12 2015-08-12 撮像素子、イメージセンサ、撮像装置、および情報処理装置
JP2015-159577 2015-08-12

Publications (2)

Publication Number Publication Date
TW201711176A TW201711176A (zh) 2017-03-16
TWI655759B true TWI655759B (zh) 2019-04-01

Family

ID=57984431

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105121561A TWI655759B (zh) 2015-08-12 2016-07-07 攝像元件、影像感測器、攝像裝置、及資訊處理裝置

Country Status (4)

Country Link
US (1) US10515999B2 (zh)
JP (1) JP6914001B2 (zh)
TW (1) TWI655759B (zh)
WO (1) WO2017026385A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061273A1 (ja) * 2015-10-05 2017-04-13 ソニー株式会社 撮像装置、製造方法
JP2018029280A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
EP3509294B1 (en) * 2016-08-31 2020-08-12 Sony Corporation Image processing device and image processing method
KR102514047B1 (ko) 2018-02-20 2023-03-24 삼성전자주식회사 복수의 기능이 통합된 이미지 센서 및 이를 포함하는 이미지 센서 모듈
US11538843B2 (en) * 2018-04-09 2022-12-27 Sony Semiconductor Solutions Corporation Imaging unit, method for manufacturing the same, and electronic apparatus
JP2020017688A (ja) * 2018-07-27 2020-01-30 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
JP2022031994A (ja) * 2018-12-14 2022-02-24 パナソニックＩｐマネジメント株式会社 光センサ
US10955236B2 (en) * 2019-04-05 2021-03-23 Faro Technologies, Inc. Three-dimensional measuring system
JP7293020B2 (ja) 2019-07-19 2023-06-19 キヤノン株式会社 撮像素子、およびこれを備える撮像装置
JP7461725B2 (ja) 2019-09-12 2024-04-04 株式会社ジャパンディスプレイ 検出装置
CN110854145A (zh) * 2019-11-01 2020-02-28 Oppo广东移动通信有限公司 一种像素结构、图像传感器及终端
JP2021141446A (ja) * 2020-03-05 2021-09-16 キヤノン株式会社 撮像装置及びその制御方法
US20240031703A1 (en) * 2020-12-16 2024-01-25 Sony Semiconductor Solutions Corporation Light detection apparatus, light detection system, electronic equipment, and mobile body
JP2022157160A (ja) * 2021-03-31 2022-10-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置
US20230073737A1 (en) * 2021-09-03 2023-03-09 Visera Technologies Company Limited Solid-state image sensor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104335352A (zh) * 2012-05-24 2015-02-04 汉阳大学校产学协力团 影像传感器及其操作方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1295721A (zh) 1998-02-02 2001-05-16 优尼爱克斯公司 可切换感光灵敏度的有机二极管
JP2006100766A (ja) * 2004-08-31 2006-04-13 Fuji Photo Film Co Ltd 光電変換素子、及び撮像素子、並びに、これらに電場を印加する方法。
JP4951224B2 (ja) 2005-08-23 2012-06-13 富士フイルム株式会社 光電変換膜、光電変換素子、及び撮像素子、並びに、これらに電場を印加する方法
JP2008135479A (ja) * 2006-11-27 2008-06-12 Konica Minolta Holdings Inc 光電変換素子、光センサアレイ及び放射線画像検出器
US8169518B2 (en) * 2007-08-14 2012-05-01 Fujifilm Corporation Image pickup apparatus and signal processing method
JP2009049524A (ja) * 2007-08-14 2009-03-05 Fujifilm Corp 撮像装置及び信号処理方法
JP4435867B2 (ja) 2008-06-02 2010-03-24 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP5537905B2 (ja) * 2009-11-10 2014-07-02 富士フイルム株式会社 撮像素子及び撮像装置
JP2011176525A (ja) * 2010-02-24 2011-09-08 Ricoh Co Ltd 偏光イメージング装置、その製造方法及び撮像装置
JP5702074B2 (ja) 2010-03-23 2015-04-15 ソニー株式会社 固体撮像装置
JP5682437B2 (ja) 2010-09-07 2015-03-11 ソニー株式会社 固体撮像素子、固体撮像装置、撮像機器、及び、偏光素子の製造方法
JP5790077B2 (ja) * 2011-03-30 2015-10-07 ソニー株式会社 偏光有機光電変換素子の製造方法
JP2012212978A (ja) * 2011-03-30 2012-11-01 Nikon Corp 撮像素子および撮像装置
JP2013183056A (ja) * 2012-03-02 2013-09-12 Sony Corp 光電変換素子、光電変換素子の製造方法、固体撮像装置および電子機器
JP2014057231A (ja) 2012-09-13 2014-03-27 Ricoh Co Ltd 撮像装置
JP6192428B2 (ja) * 2013-08-20 2017-09-06 オリンパス株式会社 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104335352A (zh) * 2012-05-24 2015-02-04 汉阳大学校产学协力团 影像传感器及其操作方法

Also Published As

Publication number Publication date
JP6914001B2 (ja) 2021-08-04
JP2017038011A (ja) 2017-02-16
TW201711176A (zh) 2017-03-16
WO2017026385A1 (ja) 2017-02-16
US10515999B2 (en) 2019-12-24
US20180204882A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
TWI655759B (zh) 攝像元件、影像感測器、攝像裝置、及資訊處理裝置
JP6566749B2 (ja) 撮像素子、イメージセンサ、および情報処理装置
JP6693712B2 (ja) 撮像装置および情報処理装置
JP6488203B2 (ja) 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法
US10043290B2 (en) Image processing to enhance distance calculation accuracy
US10015416B2 (en) Imaging systems with high dynamic range and phase detection pixels
CN104052918B (zh) 信号处理单元和信号处理方法
TWI388877B (zh) 具有第一及第二透鏡陣列的成像設備
TWI535292B (zh) 使用具有異質的成像器的整體式相機陣列的影像捕捉和處理
US20120188389A1 (en) Method and apparatus for parallax correction in fused array imaging systems
US20150381869A1 (en) Image processing methods for image sensors with phase detection pixels
JP2015521411A (ja) πフィルタ群を用いてパターン化されたカメラモジュール
JP2011145559A (ja) 撮像装置
JP5274299B2 (ja) 撮像装置
CN101662590A (zh) 图像拾取装置和图像处理装置
JP6422924B2 (ja) 撮像装置および被写体情報取得方法
JP6821028B2 (ja) 撮像装置および画像データ読み出し方法
US10931902B2 (en) Image sensors with non-rectilinear image pixel arrays
US10410374B2 (en) Image sensors with calibrated phase detection pixels
US11178372B1 (en) Image signal processor, image signal processing method and electronic device thereof
WO2019176209A1 (ja) 固体撮像装置
Rebiere et al. Color Pixel Reconstruction for a Monolithic RGB-Z CMOS Imager