TWI661283B - 使用相位偏移全息影像之影像感測器 - Google Patents

使用相位偏移全息影像之影像感測器 Download PDF

Info

Publication number
TWI661283B
TWI661283B TW107115257A TW107115257A TWI661283B TW I661283 B TWI661283 B TW I661283B TW 107115257 A TW107115257 A TW 107115257A TW 107115257 A TW107115257 A TW 107115257A TW I661283 B TWI661283 B TW I661283B
Authority
TW
Taiwan
Prior art keywords
phase
green
cell
hologram
pixels
Prior art date
Application number
TW107115257A
Other languages
English (en)
Other versions
TW201910941A (zh
Inventor
Kuo Feng Lin
林國峰
Chin Chuan Hsieh
謝錦全
Original Assignee
Visera Technologies Company Limited
采鈺科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visera Technologies Company Limited, 采鈺科技股份有限公司 filed Critical Visera Technologies Company Limited
Publication of TW201910941A publication Critical patent/TW201910941A/zh
Application granted granted Critical
Publication of TWI661283B publication Critical patent/TWI661283B/zh

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645—Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/01—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/045—Fourier or lensless Fourier arrangement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0454—Arrangement for recovering hologram complex amplitude
    • G03H2001/0458—Temporal or spatial phase shifting, e.g. parallel phase shifting method
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/11—Electro-optic recording means, e.g. CCD, pyroelectric sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Holo Graphy (AREA)
  • Optical Filters (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本發明係提供一種影像感測器，包括：複數個光電元件，用以接收一入射光，其中該複數個光電元件排列為複數個單元格，且各單元格包括一第一光電元件及一第二光電元件，其中在各單元格中之該第一光電元件係擷取在一第一相位之一第一像素，且在各單元格中之該第二光電元件係擷取在一第二相位之一第二像素，其中該第一相位係不同於該第二相位。

Description

使用相位偏移全息影像之影像感測器
本發明係有關於影像感測器，特別是有關於一種使用相位偏移全息影像(phase-shifting hologram)之無鏡頭影像感測器(lens-free image sensor)。
隨著科技進步，具有照相機的電子裝置已變得非常普及。然而，在傳統照相機(亦稱為彩色影像感測裝置)中的模組式鏡頭(modular lens)通常是擷取入射光並將光線轉換為數位影像之必要元件。然而，因為傳送照像技術之限制，均需要鏡頭以形成影像，且模組式鏡頭會佔了照相機中之大部份的可利用空間。因為可攜式電子裝置的尺寸變得愈來愈小，大尺寸的模組式鏡頭並不適用於這些裝置。
因此，需要一種無鏡頭影像感測器以減少照相機之尺寸。
本發明係提供一種影像感測器，包括：複數個光電元件，用以接收一入射光，其中該複數個光電元件排列為複數個單元格，且各單元格包括一第一光電元件及一第二光電元件，其中在各單元格中之該第一光電元件係擷取在一第一相位 之一第一像素，且在各單元格中之該第二光電元件係擷取在一第二相位之一第二像素，其中該第一相位係不同於該第二相位。
100‧‧‧相位偏移數位全息影像裝置
110‧‧‧雷射光源
120‧‧‧感測器陣列
111‧‧‧光束發射器
101、103‧‧‧光束分離器
102‧‧‧壓電轉換鏡
104‧‧‧反射鏡
200‧‧‧影像感測器
220‧‧‧感測器陣列
221‧‧‧光電元件
230‧‧‧基板
251-254‧‧‧光電元件
250‧‧‧單元格
450‧‧‧巨單元格
410-440‧‧‧單元格
411-414、421-424、431-434、441-444‧‧‧光電元件
500‧‧‧彩色影像感測器
510‧‧‧濾波器陣列
520‧‧‧感測器陣列
521‧‧‧光電元件
530-560‧‧‧單元格
531-534、541-544、551-554、561-564‧‧‧光電元件
570‧‧‧巨單元格
700‧‧‧影像感測器
720‧‧‧感測器陣列
721‧‧‧光電元件
730‧‧‧基板
750‧‧‧單元格
751-752‧‧‧光電元件
800‧‧‧彩色影像感測器
810‧‧‧濾波器陣列
820‧‧‧感測器陣列
821‧‧‧光電元件
830、840、850、860‧‧‧單元格
831-832、841-842、851-852、861-862‧‧‧光電元件
870‧‧‧巨單元格
第1圖係顯示一相位偏移數位全息影像裝置的功能方塊圖。
第2A圖係顯示依據本發明一實施例中之影像感測器的側視圖。
第2B圖係顯示依據本發明第2A圖之實施例中之影像感測器的俯視圖。
第2C圖係顯示依據本發明第2A圖之實施例中之影像感測器的斜視圖。
第2D圖係顯示依據本發明另一實施例中之影像感測器之斜視圖。
第3圖係顯示依據本發明一實施例中用於一影像感測器之4步驟相位偏移全息成像方法的流程圖。
第4A圖係顯示依據本發明又一實施例中之影像感測器的俯視圖。
第4B圖係顯示依據本發明第4A圖之實施例中之影像感測器的斜視圖。
第5A圖係顯示依據本發明一實施例中之彩色影像感測器的側視圖。
第5B圖係顯示依據本發明第5A圖之實施例中之彩色影像 感測器的俯視圖。
第5C圖係顯示依據本發明第5A圖之實施例中之彩色影像感測器的斜視圖。
第5D圖係顯示依據本發明中第5A圖之實施例中之一部份詳細側視圖。
第5E圖係顯示依據本發明中第5A圖之實施例中之另一部份詳細側視圖。
第6圖係顯示依據本發明一實施例中用於一彩色影像感測器之四步驟相位偏移全息投影方法的流程圖。
第7A圖係顯示依據本發明一實施例中之一影像感測器的側視圖。
第7B圖係顯示依據本發明第7A圖之實施例中之影像感測器的俯視圖。
第7C圖係顯示依據本發明第7A圖之實施例中之影像感測器的斜視圖。
第7D圖係顯示依據本發明另一實施例中之影像感測器之斜視圖。
第8A圖係顯示依據本發明一實施例中之彩色影像感測器的側視圖。
第8B圖係顯示依據本發明第8A圖之實施例中之彩色影像感測器的俯視圖。
為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如 下。
第1圖係顯示一相位偏移數位全息影像裝置的功能方塊圖。如第1圖所示，相位偏移數位全息影像裝置100包括一雷射光源110、一光束發射器111、光束分離器101及103、一壓電轉換鏡(piezoelectric transducer mirror)102、一反射鏡104、及一感測器陣列120。由雷射光源110所發出之雷射光線會由光束發射器111所強化，且由光束發射器111所發出之雷射光線會被光束分離器分離為一物件光線(object light)及一參考光線(reference light)。參考光線會被壓電轉換鏡102所反射，且會相位調變該參光線。藉由對參考光線進行偏移一固定相位，可取得不同的全息影像以推導出物件波(object wave)之複數振幅(complex amplitude)。
舉例來說，參考波之初始相位為0，且每一步驟會改變π/2。假設使用四步驟相位偏移數位全息成像演算法(4-step phase-shifting digital holography algorithm)，則干涉圖樣(interference patterns)在不同相位(例如0、π/2、π、及3π/2)之強度(intensity)可分別由方程式(1)~(4)所表示：
在取得在相位0、π/2、π、及3π/2之干涉圖樣的強 度後，物件光的複數振幅(complex amplitude)可由方程式(5)計算而得：
物件光之複數振幅有時可稱為複數全息影像，因為可經由執行數位倒傳遞(digital back-propagation)由該複數振幅Ψ 0 取得物件光在物件平面之振幅分布。
因此，必需知道參考光線之複數振幅以計算物件波。通常而言，參考光線係為一平面波(plane wave)或是一球面波(spherical wave)，故其相位可不經由量測而得。本發明領域中具有通常知識者當可了解使用在不同相位之物件波以重建物件影像之技術，故其細節於此不再贅述。
需注意的是在第1圖之例子中所介紹的相位偏移數位全息影像裝置100需在每一步驟改變相位，且亦需要耗費時間來改變相位、計算干涉圖樣之強度、並重建影像。因此，將相位偏移數位全息影像裝置100用於目前在市場上的任意可攜式電子裝置並不實際。
然而，使用相位偏移數位全息成像演算法之相位延遲的概念係可用於本發明中之影像感測器。第2A圖係顯示依據本發明一實施例中之影像感測器的側視圖。為了便於說明，舉例來說，影像感測器200為一單色影像感測器(mono-color image sensor)。如第2A圖所示，影像感測器200包括一感測器陣列220。感測器陣列220包括複數個光電元件221用以接收一入射光。光電元件221可經由半導體製程而產生在一基板230上 (如第2C及2D圖所示)。需注意的是，在影像感測器200中並未使用任何鏡頭，且為了便於說明，在第2A圖中之感測器陣列220並未繪示光電元件221之相對高度(厚度)。
第2B圖係顯示依據本發明第2A圖之實施例中之影像感測器的俯視圖。第2C圖係顯示依據本發明第2A圖之實施例中之影像感測器的斜視圖。
如第2B圖所示，感測器陣列220包括複數個單元格(unit cell)250，其中各單元格250具有4個光電元件，其排列為一2x2陣列。舉例來說，光電元件251、252、253、及254具有不同高度，且光電元件251、252、253、及254之每一者的高度表示相關的一全息影像之特定相位。光電元件251、252、253、及254之高度可由下列方式程計算而得：
其中λ表示一特定波長；n表示光電元件之材料的折射率(refractive index)；δ m 表示一給定的相位值，例如0、π/2、π、及3π/2。需注意的是在感測器陣列220中之所有光電元件可由相同材料所實現，故其均有相同的折射率。更詳細而言，4步驟相位偏移數位全息成像演算法係整合進影像感測器200之結構中。舉例來說，光電元件251~254之高度分別為d0、d1、d2、d3，且分別相應至相位δ0、δ1、δ2、δ3。相位δ0、δ1、δ2、δ3之數值分別為0、π/2、π、及3π/2。因為高度d0~d3符合方程式(6)，故高度d0、d1、d2、d3之數值可分別計算為0、λ/4n、λ/2n、3λ/4n。光電元件251~254之高度差異係繪示於第2C圖。需注 意的是單位格250係重複排列於感測器陣列220之中，且在各單位格250中之光電元件可擷取具有在四個不同相位中之一個別相位的像素。舉例來說，在各單位格250中之光電元件251、252、253、及254可分別擷取在第一相位的一第一像素、在第二相位之一第二像素、在第三相位之一第三像素、以及在第四相位之一第四像素。因為第一像素、第二像素、第三像素、及第四像素係分別由各單位格250中之光電元件251~254所擷取，第一像素、第二像素、第三像素、及第四像素之位置實質上是相同的。舉例來說，用於相位δ0之全息影像可由各單位格250中之光電元件251所擷取之像素而得。類似地，用於相位δ1、δ2、δ3之全息影像可由各單位格250中之光電元件252、253、及254所分別擷取之像素而得。
在取得四個相位之全息影像後，在傅立葉域(Fourier domain)之物件波可由方程式(5)計算而得。接著，可對該物件波進行反傅立葉變換以重建在空間域(spatial domain)之物件影像。選擇性地，可預先估計用於將傅立葉域之物件波轉換為空間域之物件影像的轉換函式H(x,y)，故可進行該物件波與該轉換函式之摺積(convolution)運算以得到物件影像。
第2D圖係顯示依據本發明另一實施例中之影像感測器之斜視圖。在另一實施例中，在單位格250中之光電元件251~254之位置與第2B圖相同，但在單位格250中之光電元件251~254的高度亦相同，如第2D圖所示。舉例來說，光電元件251~254可由具有折射率的不同材料所製成。更詳細而言，各光電元件之折射率係符合下列方程式(7)：
在方程式(7)中，高度d為一常數，且折射率n m 為一變數。4步驟相位偏移數位全息成像演算法亦可應用於此實施例。舉例來說，在此實施例中，4步驟相位偏移數位全息成像演算法之相位為π/4、3π/4、5π/8、及7π/8。給定高度d為0.5λ，光電元件251~254之材料的折射率之範圍為0.5~1.2。
第3圖係顯示依據本發明一實施例中用於一影像感測器之4步驟相位偏移全息成像方法的流程圖。在步驟S310，取得在不同相位的四個相位偏移全息影像。舉例來說，在第2C圖或第2D圖中之影像感測器200可用於下述實施例。詳細而言，此四個相位偏移全息影像係分別相應於相位0、π/2、π、及3π/2。
在步驟S320，依據在不同相位的該四個相位偏移全息影像以計算在傅立葉域的一物件波。舉例來說，可利用方程式(1)~(4)以計算在不同相位(例如相位0、π/2、π、及3π/2)之全息影像的強度，且可利用方程式(5)以計算物件波。然而，為了簡化物件波之計算過程，物件波φ0之計算可近似於下列方程式(8)：
在步驟S330，依據該物件波以重建該物件影像。舉例來說，物件波φ0係在傅立葉域且物件影像係在空間域，因此可在物件波φ0上套用一反傅立葉變換以重建物件影像。選擇性地，可預先估計用於將傅立葉域之物件波轉換為空間域之物 件影像的轉換函式H(x,y)，故可進行該物件波與該轉換函式之摺積(convolution)運算以得到物件影像。
第4A圖係顯示依據本發明又一實施例中之影像感測器的俯視圖。第4B圖係顯示依據本發明第4A圖之實施例中之影像感測器的斜視圖。如第2B圖之實施例所述，各單元格包括了四個光電元件，且其排列為一2x2陣列。請參考第4A圖，在另一實施例中，感測器陣列220包括複數個巨單元格(macro unit cell)，且各巨單元格包括四個單元格，其排列為一2x2單元格陣列。詳細而言，各巨單元格包括16個光電元件，其排列為一4x4陣列。
舉例來說，巨單元格450包括單元格410、420、430、440，且各單元格包括4個光電元件，且在各單元格中之各光電元件係分別擷取在四個不同相位中之一個別相位的一像素。在單元格410、420、430、440中之光電元件之高度係遵循在前述實施例所介紹之四步驟相位偏移全息成像方法，例如分別相應於相位0、π/2、π、及3π/2。此外，在巨單元格450中之的單元格410、420、430、及440中有兩個有被旋轉。詳細而言，在影像感測器相關的斜視圖中，為了防止莫列效應(Moire effect)產生在各個擷取的全息影像，單元格430係逆時針旋轉90度相對於單元格410，且單元格440係順時針旋轉90度相對於單元格420。
需注意的是在第4A圖中之單元格430及440之旋轉僅為一例子，本發明並不限於此。在巨單元格450中之一或多個單元格可用一預定排列方式(例如使用一或多個預定角度)進 行旋轉以防止莫列效應產生。
第5A圖係顯示依據本發明一實施例中之彩色影像感測器的側視圖。彩色影像感測器500包括一濾波器陣列510及一感測器陣列520。濾波器陣列510包括複數個彩色濾波器，例如紅色濾波器511、綠色濾波器512、藍色濾波器513。舉例來說，兩個綠色濾波器、一個紅色濾波器、以及一個藍色濾波器可以2x2彩色濾波器陣列之方式排列為一拜耳圖樣(Bayer Pattern)。感測器陣列520包括複數個光電元件521，用以透過濾波器陣列510接收入射光。光電元件521係可排列為複數個單元格(unit cell)。為了便於說明，第5A圖中之感測器520並未繪示在感測器陣列520中之光電元件的相對高度。
第5B圖係顯示依據本發明第5A圖之實施例中之彩色影像感測器的俯視圖。第5C圖係顯示依據本發明第5A圖之實施例中之彩色影像感測器的斜視圖。如第5B圖所示，單元格530、540、550、及560係排列為一2x2陣列，其係相應至濾波器陣列510中之一2x2彩色濾波器陣列。因此，單元格530、540、550、及560係透過濾波器陣列510中之2x2彩色濾波器陣列以分別接收綠光、藍光、紅光、及綠光。詳細而言，在巨單元格570中之四個單元格530、540、550、及560係用以分別擷取在四個不同相位(例如0、π/2、π、及3π/2)的綠色像素、藍色像素、紅色像素、及綠色像素。當在感測器陣列520中之光電元件係由相同材料所製成，在單元格530、540、550、及560中之光電元件531~534、541~544、551~554、561~564之高度設計係依照前述實施例中之方程式(6)，故其細節於此不再贅述。然而， 方程式(6)係設計用於具有固定波長之單一色彩。
給定λR、λG、及λB分別代表紅光、綠光、及藍光之波長，因為紅光具有最長的波長，且藍光具有最短的波長，故可推導出上述波長之關係為：λR>λG>λB。因此，假設在感測器陣列520中之光電元件係由相同材料所製成，在單元格550中之光電元件551~554係用於接收紅光，故光電元件551~554比在巨單元格570中之其他單元格中之光電元件具有相對較高的高度。意即，在各單元格中之光電元件的高度係與所接收之光線的波長成比例。
舉例來說，請參考第5C圖，在單元格550中之光電元件551~554係用以接收紅光，故光電元件551~554與用於接收綠光之單元格530中之具有相同位置(co-located)之光電元件531~534相比，會具有相對較高的高度。
第5D圖係顯示依據本發明中第5A圖之實施例中之一部份詳細側視圖。第5E圖係顯示依據本發明中第5A圖之實施例中之另一部份詳細側視圖。在第5D圖中之側視圖係繪示了用於接收綠光之單元格530中的光電元件531~532以及用於接收紅光之單元格550中的光電元件551~552的相對高度。對於相同相位來說，光電元件551比光電元件531具有較高的高度，且光電元件552比光電元件532具有較高的高度。
第5E圖中之側視圖係繪示了用於接收綠光之單元格530中的光電元件531~532以及用於接收藍光之單元格540中的光電元件541~542的相對高度。對於相同相位來說，光電元件531比光電元件541具有較高的高度，且光電元件532比光 電元件542具有較高的高度。
因為巨單元格570在感測器陣列520之係重複排列，故可藉由分別結合由在感測器陣列52中之複數個巨單元格的單元格530、540、550、及560所擷取之像素以取得四個相位偏移全息影像，故總共可取得16個相位偏移全息影像。需注意的是，由單元格530所擷取的綠色相位偏移全息影像係不同於單元格560所擷取的綠色相位偏移全息影像。舉例來說，總共16個相位偏移全息影像可為(Rδ 0 ,Rδ 1 ,Rδ 2 ,Rδ 3 )、(G 1 δ 0 ,G 1 δ 1 ,G 1 δ 2 ,G 1 δ 3 )、(Bδ 0 ,Bδ 1 ,Bδ 2 ,Bδ 3 )、及(G 2 δ 0 ,G 2 δ 1 ,G 2 δ 2 ,G 2 δ 3 )，其中綠色相位偏移全息影像(G 1 δ 0 ,G 1 δ 1 ,G 1 δ 2 ,G 1 δ 3 )係由單元格530所擷取，且綠色相位偏移全息影像(G 2 δ 0 ,G 2 δ 1 ,G 2 δ 2 ,G 2 δ 3 )係由單元格560所擷取。
第6圖係顯示依據本發明一實施例中用於一彩色影像感測器之四步驟相位偏移全息投影方法的流程圖。與第3圖之流程圖不同，在第6圖中之流程圖係用於一彩色影像感測器。在步驟S610，取得在不同色彩通道及不同相位的16張相位偏移全息影像。舉例來說，可使用第5圖所示的彩色影像感測器500。如上所述，16張相位偏移全息影像分別為(Rδ 0 ,Rδ 1 ,Rδ 2 ,Rδ 3 )、(G 1 δ 0 ,G 1 δ 1 ,G 1 δ 2 ,G 1 δ 3 )、(Bδ 0 ,Bδ 1 ,Bδ 2 ,Bδ 3 )、及(G 2 δ 0 ,G 2 δ 1 ,G 2 δ 2 ,G 2 δ 3 )。
在步驟S620，依據在不同色彩通道及不同相位的16張相位偏移全息影像以計算在傅立葉域中之各色彩通道的物件波。
在步驟S630，依據各色彩通道之物件波以重建各 色彩通道之物件影像。詳細而言，對於彩色影像感測器來說有四個色彩通道，例如一紅色通道、一藍色通道、以及二個綠色通道，且用於單一色彩通道之計算物件波以及重建物件影像之計算過程可參考第3圖之實施例，故其細節於此不再贅述。
因此，在執行步驟S630後可取得分別代表紅色通道、藍色通道、以及兩個綠色通道的四張物件影像，且與彩色影像感測器500所耦接的影像信號處理器(未繪示)可利用此四張物件影像以重建原始彩色影像。
第7A圖係顯示依據本發明一實施例中之一影像感測器的側視圖。為了便於說明，舉例來說，影像感測器700係為一單色影像感測器(mono-color image sensor)。如第7A圖所示，影像感測器700包括一感測器陣列720。感測器陣列720包括複數個光電元件用以接收一入射光。光電元件721可經由半導體製程而產生在一基板730上。需注意的是，在影像感測器200中並未使用任何鏡頭，且為了便於說明，在第7A圖中之感測器陣列720並未繪示光電元件721之相對高度(厚度)。
第7B圖係顯示依據本發明第7A圖之實施例中之影像感測器的俯視圖。第7C圖係顯示依據本發明第7A圖之實施例中之影像感測器的斜視圖。
如第7B圖所示，感測器陣列720包括複數個單元格750，其中各單元格包括兩個光電元件，其排列為一2x1陣列。舉例來說，光電元件751及752具有不同高度，且光電元件751及752分別的高度係表示一相應的全息影像之一特定相位。舉例來說，在感測器陣列720中係使用二步驟正交相位偏移全息 成像方法，且兩個不同的相位可為0及π/2。在取得在相位的干涉圖樣之強度後，可利用方程式(9)計算物件光之複數振幅：
舉例來說，光電元件751及752之高度可利用方程式(10)計算而得：
其中λ表示一特定波長；n表示光電元件之材料的折射率(refractive index)；δ m 表示一給定的相位值，例如0及π/2。需注意的是在感測器陣列720中之所有光電元件可由相同材料所實現，故其均有相同的折射率。更詳細而言，2步驟正交相位偏移數位全息成像演算法係整合進影像感測器700之結構中。舉例來說，光電元件752及752之高度分別為d0及d1，且分別相應至相位δ0及δ1。相位δ0及δ1之數值分別為0及π/2(或是π及3π/2)。因為高度d0~d1符合方程式(10)，故高度d0及d1之數值可分別計算為0及λ/4n。光電元件751及752之高度差異係繪示於第7C圖。需注意的是單位格750係重複排列於感測器陣列720之中，且在各單位格750中之光電元件可擷取具有在二個不同相位中之一個別相位的像素。舉例來說，在各單位格750中之光電元件751及752可分別擷取在第一相位的一第一像素、以及在第二相位之一第二像素。因為第一像素及第二像素係分別由各單位格750中之光電元件751~752所擷取，第一像素及第二像素之位置實質上是相同的。舉例來說，用於相位δ0之全息 影像可由各單位格750中之光電元件751所擷取之像素而得。類似地，用於相位δ1之全息影像可由各單位格750中之光電元件752所擷取之像素而得。
在取得二個相位之全息影像後，在傅立葉域(Fourier domain)之物件波可由方程式(9)計算而得。接著，可對該物件波進行反傅立葉變換以重建在空間域(spatial domain)之物件影像。選擇性地，可預先估計用於將傅立葉域之物件波轉換為空間域之物件影像的轉換函式H(x,y)，故可進行該物件波與該轉換函式之摺積(convolution)運算以得到物件影像。
第7D圖係顯示依據本發明另一實施例中之影像感測器之斜視圖。在另一實施例中，在單位格750中之光電元件751~752之位置與第7B圖相同，但在單位格750中之光電元件751~752的高度亦相同，如第7D圖所示。舉例來說，光電元件751~752可由具有折射率的不同材料所製成。更詳細而言，各光電元件之折射率係符合下列方程式(11)：
在方程式(11)中，高度d為一常數，且折射率n m 為一變數。2步驟正交相位偏移數位全息成像演算法亦可應用於此實施例。舉例來說，在此實施例中，2步驟正交相位偏移數位全息成像演算法之相位為0及π/2(或是π及3π/2)。給定高度d為0.5λ，光電元件751及752之材料的折射率可依據方程式(11)計算而得。
第8A圖係顯示依據本發明一實施例中之彩色影像 感測器的側視圖。彩色影像感測器800包括一濾波器陣列810及一感測器陣列820。濾波器陣列810包括複數個彩色濾波器，例如複數個紅色濾波器、複數個綠色濾波器、及複數個藍色濾波器。舉例來說，兩個綠色濾波器、一個紅色濾波器、以及一個藍色濾波器可以2x2彩色濾波器陣列之方式排列為一拜耳圖樣(Bayer Pattern)。感測器陣列820包括複數個光電元件821，用以透過濾波器陣列810接收入射光。為了便於說明，第8A圖中之感測器820並未繪示在感測器陣列820中之光電元件的相對高度。
第8B圖係顯示依據本發明第8A圖之實施例中之彩色影像感測器的俯視圖。如第8B圖所示，單元格830、840、850、及860係分別接收綠光、藍光、紅光、及綠光。單元格830、840、850、及860之每一者均包括兩個光電元件，且具有一相應的色彩濾波器。舉例來說，單元格830、840、850、及860係經由濾波器陣列810以分別接收綠光、藍光、紅光、及綠光。詳細而言，可利用單元格830、840、850、及860以形成具有拜耳圖樣的巨單元格870。
在此實施例中，使用了二步驟正交相位偏移全息成像方法。舉例來說，在各單元格中的兩個光電元件係具有不同高度，其係設計為用以接收在不同相位(例如0及π/2)之像素。
當在感測器陣列820中之光電元件係由相同材料所製成，在單元格830、840、850、及860中之光電元件831~832、841~842、851~852、861~862之高度設計係依照前述實施例中之方程式(6)，故其細節於此不再贅述。然而，方程式 (6)係設計用於具有固定波長之單一色彩。
給定λR、λG、及λB分別代表紅光、綠光、及藍光之波長，因為紅光具有最長的波長，且藍光具有最短的波長，故可推導出上述波長之關係為：λR>λG>λB。因此，假設在感測器陣列820中之光電元件係由相同材料所製成，在單元格850中之光電元件851~852係用於接收紅光，故光電元件851~852比在巨單元格870中之其他單元格中之光電元件具有相對較高的高度。
與第5圖中之感測器陣列520相比，因為在感測器陣列520中之巨單元格的尺寸為4x4且在感測器陣列820中之巨單元格之尺寸為4x2，故使用感測器陣列820可在垂直方向具有兩倍的解析度。然而，使用感測器陣列820以取得物件波之計算複雜度也變得更高。舉例來說，在二步驟正交相位偏移全息成像方法中之物件波可利用方程式(12)計算而得：
綜上所述，本發明係提供一種無鏡頭影像感測器。藉由排列具有不同高度之光電元件於一感測器陣列中，且上述高度係設計用於在四步驟(或二步驟)相位偏移全息成像演算，故可利用由光電元件所擷取之相位偏移全息影像以重建物件影像。因此，使用本發明之影像感測器則在照相機模組中並不需要模組鏡頭，故整個照相機模組之成本可降低且其厚度也能變得更薄。
本發明雖以較佳實施例揭露如上，然其並非用以 限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (13)

  1. 一種影像感測器，包括：複數個光電元件，用以接收一入射光，其中該複數個光電元件排列為複數個單元格，且各單元格包括一第一光電元件及一第二光電元件，其中在各單元格中之該第一光電元件係擷取在一第一相位之一第一像素，且在各單元格中之該第二光電元件係擷取在一第二相位之一第二像素，其中該第一相位係不同於該第二相位。
  2. 如申請專利範圍第1項所述之影像感測器，其中各單元格更包括一第三光電元件以擷取在一第三相位之一第三像素、以及一第四光電元件以擷取在一第四相位之一第四像素，其中該第一相位、該第二相位、該第三相位、及該第四相位均不同。
  3. 如申請專利範圍第2項所述之影像感測器，其中在各單元格中之該第一光電元件、該第二光電元件、該第三光電元件、及該第四光電元件係由一特定材料所製成，且具有不同高度，其中該第一相位、該第二相位、該第三相位、及該第四相位分別為0、π/2、π、及3π/2。
  4. 如申請專利範圍第2項所述之影像感測器，其中在各單元格中之該第一光電元件、該第二光電元件、該第三光電元件、及該第四光電元件係由不同材料所製成，且具有相同高度，其中該第一相位、該第二相位、該第三相位、及該第四相位分別為π/4、3π/4、5π/8、及7π/8。
  5. 如申請專利範圍第1項所述之影像感測器，其中一第一相位偏移全息影像及一第二相位偏移全息影像係藉由分別合併由該複數個單元格所擷取在該第一相位之該等第一像素及在該第二相位之該等第二像素而得，其中依據該第一相位偏移全息影像及該第二相位偏移全息影像以計算一物件波，且對該物件波套用一反轉換以重建一物件影像。
  6. 如申請專利範圍第2項所述之影像感測器，其中一第一相位偏移全息影像、一第二相位偏移全息影像、一第三相位偏移全息影像、及一第四相位偏移全息影像係藉由分別合併由該複數個單元格所擷取在該第一相位之該等第一像素、在該第二相位之該等第二像素、在該第三相位之該等第三像素、及在該第四相位之該等第四像素而得，其中依據該第一相位偏移全息影像、該第二相位偏移全息影像、該第三相位偏移全息影像、及該第四相位偏移全息影像以計算一物件波，且對該物件波套用一反轉換以重建一物件影像。
  7. 如申請專利範圍第2項所述之影像感測器，其中該複數個單元格係排列為複數個巨單元格，且各巨單元格包括四個單元格，其排列為一2x2陣列，且在各巨單元格中之該四個單元格之至少一者係以一個別預定角度旋轉。
  8. 如申請專利範圍第1項所述之影像感測器，更包括：一濾波器陣列，包括：一第一綠色濾波器及一第二綠色濾波器以從該入射光取出綠光；一紅色濾波器以從該入射光取出紅光；以及一藍色濾波器以從該入射光取出藍光。
  9. 如申請專利範圍第8項所述之影像感測器，其中該複數個單元格係排列為複數個巨單元格，且各巨單元格包括一第一單元格、一第二單元格、一第三單元格、及一第四單元格，且其係排列為一2x2陣列，其中該第一綠色濾波器、該第二綠色濾波器、該紅色濾波器、及該藍色濾波器係排列為一拜耳圖樣(Bayer Pattern)，其中在各巨單元格中之該第一單元格、該第二單元格、該第三單元格、及該第四單元格之一該第一光電元件及該第二光電元件之高度係分別與綠光、綠光、紅光、及藍光之波長成比例。
  10. 如申請專利範圍第8項所述之影像感測器，其中該複數個單元格係排列為複數個巨單元格，且各巨單元格包括一第一單元格、一第二單元格、一第三單元格、及一第四單元格，且其係排列為一2x2陣列，其中各單元格包括一第三光電元件以擷取在一第三相位之一第三像素、以及一第四光電元件以擷取在一第四相位之一第四像素，其中該第一相位、該第二相位、該第三相位、及該第四相位均不同。
  11. 如申請專利範圍第10項所述之影像感測器，其中一第一綠色相位偏移全息影像、一第二綠色相位偏移全息影像、一第三綠色相位偏移全息影像、及一第四綠色相位偏移全息影像可藉由分別合併由該等第一單元格所擷取在該第一相位之該等第一像素、在該第二相位之該等第二像素、在該第三相位之該等第三像素、及在該第四相位之該等第四像素而得，其中一第五綠色相位偏移全息影像、一第六綠色相位偏移全息影像、一第七綠色相位偏移全息影像、及一第八綠色相位偏移全息影像可藉由分別合併由該等第二單元格所擷取在該第一相位之該等第一像素、在該第二相位之該等第二像素、在該第三相位之該等第三像素、及在該第四相位之該等第四像素而得，其中一第一紅色相位偏移全息影像、一第二紅色相位偏移全息影像、一第三紅色相位偏移全息影像、及一第四紅色相位偏移全息影像可藉由分別合併由該等第三單元格所擷取在該第一相位之該等第一像素、在該第二相位之該等第二像素、在該第三相位之該等第三像素、及在該第四相位之該等第四像素而得，其中一第一藍色相位偏移全息影像、一第二藍色相位偏移全息影像、一第三藍色相位偏移全息影像、及一第四藍色相位偏移全息影像可藉由分別合併由該等第四單元格所擷取在該第一相位之該等第一像素、在該第二相位之該等第二像素、在該第三相位之該等第三像素、及在該第四相位之該等第四像素而得。
  12. 如申請專利範圍第11項所述之影像感測器，其中依據該第一綠色相位偏移全息影像、該第二綠色相位偏移全息影像、該第三綠色相位偏移全息影像、及該第四綠色相位偏移全息影像以計算一第一綠色物件波，且對該第一綠色物件波套用一反轉換以重建一第一綠色物件影像，其中依據該第五綠色相位偏移全息影像、該第六綠色相位偏移全息影像、該第七綠色相位偏移全息影像、及該第八綠色相位偏移全息影像以計算一第一綠色物件波，且對該第二綠色物件波套用一反轉換以重建一第二綠色物件影像，其中依據該第一紅色相位偏移全息影像、該第二紅色相位偏移全息影像、該第三紅色相位偏移全息影像、及該第四紅色相位偏移全息影像以計算一紅色物件波，且對該紅色物件波套用一反轉換以重建一紅色物件影像，其中依據該第一藍色相位偏移全息影像、該第二藍色相位偏移全息影像、該第三藍色相位偏移全息影像、及該第四藍色相位偏移全息影像以計算一藍色物件波，且對該藍色物件波套用一反轉換以重建一藍色物件影像。
  13. 如申請專利範圍第10項所述之影像感測器，其中在各巨單元格中之該第一單元格、該第二單元格、該第三單元格、及該第四單元格之一該第一光電元件、該第二光電元件、該第三光電元件、及該第四光電元件之高度係分別與綠光、綠光、紅光、及藍光之波長成比例。
TW107115257A 2017-08-04 2018-05-04 使用相位偏移全息影像之影像感測器 TWI661283B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/669,548 2017-08-04
US15/669,548 US10423122B2 (en) 2017-08-04 2017-08-04 Lens-free image sensor using phase-shifting hologram

Publications (2)

Publication Number Publication Date
TW201910941A TW201910941A (zh) 2019-03-16
TWI661283B true TWI661283B (zh) 2019-06-01

Family

ID=65229527

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107115257A TWI661283B (zh) 2017-08-04 2018-05-04 使用相位偏移全息影像之影像感測器

Country Status (4)

Country Link
US (1) US10423122B2 (zh)
JP (1) JP6677696B2 (zh)
CN (1) CN109388049B (zh)
TW (1) TWI661283B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11317039B1 (en) * 2021-01-06 2022-04-26 Visera Technologies Company Limited Image-sensing device
TWI811109B (zh) * 2022-09-16 2023-08-01 國立中正大學 全息圖檢測方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI301615B (en) * 2004-04-06 2008-10-01 Samsung Electronics Co Ltd Hologram recording and reproducing apparatus and hologram reproducing apparatus
US20090153729A1 (en) * 2007-12-17 2009-06-18 Jari Hiltunen Reflowable Camera Module With Integrated Flash
US20100208096A1 (en) * 2004-08-06 2010-08-19 Nobuhiro Takeda Image capturing apparatus
US20110157445A1 (en) * 2009-12-25 2011-06-30 Sony Corporation Semiconductor device and method of manufacturing the same, and electronic apparatus
US20110273597A1 (en) * 2010-05-07 2011-11-10 Sony Corporation Solid-state imaging device, method of manufacturing solid-state imaging device, and electronic apparatus
CN104103654A (zh) * 2013-04-04 2014-10-15 全视科技有限公司 图像传感器以及成像装置
CN104252844A (zh) * 2014-09-23 2014-12-31 京东方科技集团股份有限公司 像素电路及其驱动方法、有机发光显示面板及显示装置
TW201616853A (zh) * 2014-10-27 2016-05-01 聯詠科技股份有限公司 用於影像感測裝置的色彩濾波陣列及其製造方法
TWI549509B (zh) * 2013-03-12 2016-09-11 蘋果公司 混合式影像感測器
JP2017037273A (ja) * 2015-08-13 2017-02-16 大日本印刷株式会社 ホログラム構造体
TW201720134A (zh) * 2015-11-18 2017-06-01 愛思開海力士有限公司 影像感測器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152176A (ja) * 2008-12-25 2010-07-08 Mitsubishi Electric Corp 投写型表示装置
EP3136079B1 (en) 2009-10-20 2020-02-12 The Regents of The University of California Incoherent lensfree cell holography and microscopy on a chip
US10108145B2 (en) 2012-08-31 2018-10-23 National University Corporation Kyoto Institute Of Technology Digital holography device and digital holography play method
EP2778601A1 (en) * 2013-03-15 2014-09-17 Siemens Healthcare Diagnostics Inc. Optical metrology by light beam analysis
US10061125B2 (en) * 2014-03-04 2018-08-28 California Institute Of Technology Directional optical receiver
JP2017110991A (ja) * 2015-12-16 2017-06-22 セイコーエプソン株式会社 計測システム、計測方法、ロボット制御方法、ロボット、ロボットシステムおよびピッキング装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI301615B (en) * 2004-04-06 2008-10-01 Samsung Electronics Co Ltd Hologram recording and reproducing apparatus and hologram reproducing apparatus
US20100208096A1 (en) * 2004-08-06 2010-08-19 Nobuhiro Takeda Image capturing apparatus
US20090153729A1 (en) * 2007-12-17 2009-06-18 Jari Hiltunen Reflowable Camera Module With Integrated Flash
US20110157445A1 (en) * 2009-12-25 2011-06-30 Sony Corporation Semiconductor device and method of manufacturing the same, and electronic apparatus
US20110273597A1 (en) * 2010-05-07 2011-11-10 Sony Corporation Solid-state imaging device, method of manufacturing solid-state imaging device, and electronic apparatus
TWI549509B (zh) * 2013-03-12 2016-09-11 蘋果公司 混合式影像感測器
CN104103654A (zh) * 2013-04-04 2014-10-15 全视科技有限公司 图像传感器以及成像装置
CN104252844A (zh) * 2014-09-23 2014-12-31 京东方科技集团股份有限公司 像素电路及其驱动方法、有机发光显示面板及显示装置
TW201616853A (zh) * 2014-10-27 2016-05-01 聯詠科技股份有限公司 用於影像感測裝置的色彩濾波陣列及其製造方法
JP2017037273A (ja) * 2015-08-13 2017-02-16 大日本印刷株式会社 ホログラム構造体
TW201720134A (zh) * 2015-11-18 2017-06-01 愛思開海力士有限公司 影像感測器

Also Published As

Publication number Publication date
JP2019033467A (ja) 2019-02-28
CN109388049B (zh) 2021-01-01
US10423122B2 (en) 2019-09-24
CN109388049A (zh) 2019-02-26
JP6677696B2 (ja) 2020-04-08
TW201910941A (zh) 2019-03-16
US20190041794A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
CN107111118B (zh) 用于厚样本的epi照明傅立叶重叠关联成像
Tahara et al. Roadmap of incoherent digital holography
US10911668B2 (en) Imaging apparatus, image processing apparatus, imaging system, image processing method, and recording medium employing first and second Fresnel Zone plates with corresponding image sensors
JP6721698B2 (ja) 撮像装置
US20120044320A1 (en) High resolution 3-D holographic camera
JP7122153B2 (ja) ホログラム記録装置及び像再生装置
TWI661283B (zh) 使用相位偏移全息影像之影像感測器
US20220206205A1 (en) Systems and methods for parallel polarization analysis
Cossairt et al. Digital refocusing with incoherent holography
JP6646619B2 (ja) 撮像装置
WO2021003380A1 (en) Calibration-free phase shifting procedure for self-interference holography
JP2023016864A (ja) 撮像装置および方法
KR102578652B1 (ko) 이미지-감지 디바이스
KR102215493B1 (ko) 인라인 디지털 홀로그래피 시스템
JP2019533174A (ja) 高精細度で電磁波を解析するための方法および装置
Scheidt et al. Artifacts in single pixel imaging of complex light fields
Du et al. PSF-engineered snapshot full-Stokes polarizing-spectral-imaging via metasurface with reciprocally encoded anisotropic detour phase
WO2024105664A1 (en) Imaging system and method
Mishra A Modified Self-Interference Based Incoherent Digital Holographic Recording System
JP2023077325A (ja) 撮像装置及び撮像方法
JP2021184033A (ja) 光変調素子及び位相計測装置
JP2021110866A (ja) 観察装置および観察方法
TW201843543A (zh) 共光程螺旋相位數位全像系統及其方法
JPWO2017203661A1 (ja) デジタルホログラフィック撮像装置