TWI480583B - 以色相關波前編碼延伸透鏡系統景深的系統及其方法 - Google Patents

以色相關波前編碼延伸透鏡系統景深的系統及其方法 Download PDF

Info

Publication number
TWI480583B
TWI480583B TW101119678A TW101119678A TWI480583B TW I480583 B TWI480583 B TW I480583B TW 101119678 A TW101119678 A TW 101119678A TW 101119678 A TW101119678 A TW 101119678A TW I480583 B TWI480583 B TW I480583B
Authority
TW
Taiwan
Prior art keywords
image
optical system
transfer function
optical
color
Prior art date
Application number
TW101119678A
Other languages
English (en)
Other versions
TW201305602A (zh
Inventor
Lu Gao
Adam Douglas Greengard
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW201305602A publication Critical patent/TW201305602A/zh
Application granted granted Critical
Publication of TWI480583B publication Critical patent/TWI480583B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)

Description

以色相關波前編碼延伸透鏡系統景深的系統及其方法
本發明是有關於一種以色相關波前編碼延伸透鏡系統景深的系統及其方法。
典型的照相機具有受限制之景深(焦深)。景深取決於照相機之光圈，於此較小的光圈導致一相對較大的景深(例如，一針孔照相機提供無限的景深)。然而，大光圈及大景深兩者是同時期望的。一種對於這個問題之一般方法係為'波前編碼'，其提供一個具有一延伸景深(EDoF)之影像。在這個基本方法之內，理想上是可更進一步延伸透鏡系統之景深以改善照相機性能。
本系統使用一相位遮罩，譬如一種分離式相位遮罩或一種與既存的透鏡元件整合之相位遮罩，用以利用一色相關的方式來對一影像進行波前編碼，藉以利用一種對於每個色彩通道R、G及B而言呈現分離之不同的光學轉移函數(OTF)，來產生一種軸向地分離的影像，而個別的色彩通道之OTF達成一延伸景深且在一受限的空間頻率範圍之內不包含零。
於一實施例中，只有單一色彩通道係利用單一反捲積濾光片(deconvolution filter)被處理，以取代個別色彩通道之分離處理。於本實施例中，所使用之信號處理係為影像從RGB色空間至YUV色空間之轉移，藉由使用從模型 而來之預先測量的點擴散函數(PSF)或點擴散函數(PSF)之Y通道之反捲積，然後，轉移回到RGB色空間。U與V通道係維持未被處理。
圖1A係為顯示用以提供延伸景深(EDoF)之本光學系統100之例示的高階元件圖。如圖1A所示，在一例示的實施例中，本系統100包含一色相關的波前編碼透鏡系統104，其包含一相位遮罩101(或一種嵌入相位遮罩函數之既存的透鏡元件(例如透鏡103))，以及一取像透鏡(或複合透鏡組件)103，用以將由一場景所接收之光107聚焦成為一影像平面127。光學系統100更包含一影像感測器105(例如，電荷耦合裝置"CCD"或互補式金氧半導體裝置"CMOS")，其之一個表面係接近影像平面127，用以擷取一種入射於影像平面之光之電子呈現。系統100亦包含一個具有相關記憶體115之處理器110，影像處理演算法118與被感測器105所擷取之數位影像120係儲存於記憶體115中。
感測器105具有一覆蓋的彩色濾光片馬賽克117，其可具有一貝爾圖形或其他馬賽克圖案，例如那個相關於圖5說明於下之圖案。彩色濾光片馬賽克117從而為感測器105之特定群組之像素而準備，以在相關之不同的光譜傳輸頻帶中操作；於此，相關之每個光譜傳輸頻帶是由濾光片馬賽克117之類似的元件遞送至它們各個像素之一個範圍的波長所構成。感測器105在一受限的空間頻率範圍(亦 即，一個終究受限於感測器之像素至像素間距之空間頻率範圍，但亦可被定義為一個小於受限於像素至像素間距之範圍之空間頻率之範圍)之內提供輸出。
本透鏡系統104合併一色波前編碼元件或透鏡103，用以藉由使透鏡103被設計以提供一預定數量之色差而達到軸向分色，而同時，至少一色彩通道之光學轉移函數(OTF)橫跨在一延伸焦深內之空間頻率的某個範圍不包含零值。因此，以下將透鏡103稱為一種'色波前編碼透鏡'。
整合遮罩/透鏡
圖1B係為顯示一例示的整合遮罩/透鏡106之圖。於一實施例中，如圖1B所示，透鏡系統104包含一個與一色波前編碼透鏡整合之波前編碼相位遮罩，以形成單一整合相位遮罩/色波前編碼透鏡106，其詳細被設計以提供一色波前編碼函數。於此所說明的每個實施例結合波前編碼與色差以提供EDoF，且係為說明於下之波前編碼取像技術之實現。
利用波前編碼之取像
波前編碼以保留以光學像差(例如散焦)的形式存在而形成之影像之某些實施樣態之這樣的方式，來修正一感測器式光學系統。當期望一最終(例如人類可視)影像時，可能採用信號處理以對一個形成於感測器上之中間影像進行解碼。信號處理係由編碼所決定，而編碼係藉由使用一相位遮罩(例如元件101)之系統光學而對波前印入。這 種信號處理將由感測器之像素陣列之寬度、高度以及間距所提供之空間整合納入考量。一種使用波前編碼之系統中的最終影像係為對此波前編碼之光學與解碼中間影像之信號處理之組合結果，用以形成最終影像。
更明確而言，在波前編碼中，一種供一透鏡用之適當的光學轉移函數係藉由使用一詳細設計的相位遮罩(波前編碼元件)而被建構，用以產生具有可操控資訊(例如景深)之影像之點擴散函數。相位遮罩使光學轉移函數在遠離透鏡之對焦位置或影像平面之某些範圍之內實質上維持固定。相位遮罩係被建構並安置以改變光學系統之光學轉移函數，以在遍及比由未改變的光學轉移函數所提供的一更大範圍的物距，使改變的光學轉移函數實質上對於物體與透鏡之間的一未知的距離不敏感。遍及更大範圍之物距之OTF之不靈敏度，意指所產生之影像對這種範圍之距離是不敏感的，亦即，增加系統之景深。然而，增加的景深通常導致調變轉移函數(MTF)之減少，調變轉移函數被數學定義為OTF之模數，且遍及一空間頻率範圍對應於影像之對比。MTF越高，於一既定空間頻率下之對比就越大。
數位處理可被使用以還原遮罩之MTF減少，從而恢復影像之對比，而改變的OTF意指影像遍及延伸之景深仍維持對準焦點。針對儲存影像執行景深後處理，用以藉由還原由相位遮罩所導致的MTF減少來恢復影像，俾能移除遮罩之效果(除增加的景深以外)。
一種用以延伸一光學系統之景深之相位遮罩101可能 由下述方式所構成：藉由檢驗數個候補遮罩函數之意義不明的函數(ambiguity functions)，用以決定哪個特定遮罩函數具有一種遍及一預定或特定範圍之物距而最靠近固定值的光學轉移函數；並藉由製造一種具有那個特定候補之遮罩函數之遮罩。舉例而言，特定範圍可能是正常景深的1.001倍，或正常景深2倍或更多倍。
本方法採用一種相位遮罩(例如圖1A中之相位遮罩101)，用以以點擴散函數(PSF)容忍散焦這樣的方式修改一非相干取像系統(例如波前編碼透鏡系統104)，而光學轉移函數(OTF)在一個相關之光譜傳輸頻帶之內(例如在光學系統之每個色彩通道之內)沒有零值之區域，從而允許數位處理被使用以恢復取樣的中間影像之對比。
再者，因為OTF容忍散焦，所以相同的數位處理恢復一較廣範圍之散焦之影像之對比。這種結合的光學-數位系統產生之PSF可與繞射限制的PSF比較但遍及一遠遠更大的區域之聚焦。於此使用專門用語'波前編碼'以說明利用一相位遮罩來修改一非相干光學系統及一接收的非相干波前之一般過程，用以相較於不具有相位遮罩且在不需要將零導入至OTF的情況下之一未改變的OTF，導致對物距不敏感的一改變的OTF。藉由只修改接收的波前之相位，特定波前編碼技術在不損失光的情況下允許EDoF被達成。
在於此顯示之每一個實施例中，透鏡系統104包含一相位遮罩，其取一EDoF表面之形式(譬如一種三次式(cubic))。
以下，方程式1說明一種三次式相位遮罩(cubic phase mask)之形式：方程式1 z=α(x3 +y3 )
於此，α 係為一種用於控制最大數量之波前調變之比例描繪常數，而x與y係為垂直於光學軸線之空間座標。
如果一種具有以方程式1所數學描述的形式之光學表面係被設置於一透鏡系統之光圈(aperture stop)(例如圖1A所顯示之波前編碼透鏡系統104)，或如果那個形式係與一個靠近光圈之透鏡結合以產生如圖1B所示之整合遮罩/透鏡元件106，則可延伸透鏡系統之焦深。每個型式之相位遮罩具有一操作範圍，遍及此操作範圍具有一延伸景深。在上述描述一簡單的三次式相位系統之方程式1中，這個範圍係由α 之數值所決定。
相位遮罩之效應可能藉由使用一反捲積濾光片而移除，反捲積濾光片被應用至藉由波前編碼透鏡系統104而形成之中間影像。一般而言，一反捲積濾光片係藉由一種提供光學系統MTF之反函數之數位信號處理演算法而被實現。舉例而言，可應用一維納濾波器(Wiener filter)(Fales等人，"取樣影像資料之維納還原：端對端分析(Wiener restoration of sampled image data：end-to-end analysis)"，J.Opt.Soc.Am.A期刊，第5卷，第3號，第300-314頁(1988))。在本系統中，反捲積/過濾係藉由一個或多個影像處理演算法118而執行。
不同形式之相位遮罩101或整合相位遮罩/透鏡106可取決於特定應用而依據本光學系統被實現。
圖2係為顯示在一例示實施例中，藉由本系統而執行之步驟之流程圖。如圖2所示，於步驟205下，來自待被取像之一場景之光107通過透鏡組件104，於其中相位遮罩101利用波前編碼來產生一中間影像212，其係於步驟210被感測器105所記錄。
波前編碼以保留以光學像差(例如散焦)的形式存在而形成之影像之某些實施樣態之這樣的方式，來修正一感測器式光學系統。可能採用信號處理以對一個形成於感測器上之中間影像進行解碼。當被使用時，信號處理係由編碼所決定，而編碼係藉由使用一相位遮罩(例如圖1A中之相位遮罩101)之系統光學而對波前印入。一種利用波前編碼之系統中的最終影像係為對此波前編碼之光學與解碼中間影像之信號處理之組合結果，用以形成最終影像。
在本系統中，一種供一透鏡用之適當的光學轉移函數係藉由使用一詳細設計的相位遮罩101而被建構，用以產生具有可操控資訊(例如景深)之影像之點擴散函數。透鏡系統104利用一種對每個對應的色彩通道R、G及B而言呈現分離之分離光學轉移函數，來形成三個軸向分離影像[例如，如圖4所示之影像401、402以及403，說明於下]。除了在色彩通道之間的軸向分色以外，每個色彩通道之OTF亦顯示波前編碼特徵。
於步驟215下被執行之數位處理可反轉相位遮罩101 之光學轉移函數修改效果，藉以透過一增加的景深產生一對焦影像之解析度以生成EDoF影像222。於一實施例中，針對R、G及B通道資訊執行景深後處理。於此特定實施例中，於步驟215下，在中間影像230中具有波前編碼之R、G及B通道接著藉由使用由演算法118所實現之濾光片而被重建。於步驟235下，R'、G'及B'通道接著被結合，用以生成一種具有跨越R、G及B影像之組合的景深之一EDoF之最終影像。
圖3係為顯示在一替代實施例中，圖2之步驟215中所執行之處理之例示的細節圖。於本實施例中，針對儲存的Y通道資訊執行景深後處理，用以藉由反轉由遮罩101所達成之光學傳輸改造來恢復影像。如圖3所示，在處理一影像時，於步驟310下，影像首先係從RGB色空間轉移成YUV色空間。在YUV色空間中，亮度係以Y表示，而U與V係為色度(色彩)成分。Y'係為Y通道之被處理(被過濾或被反捲積)的型式。
在一種具有波前編碼之單色透鏡中，三個色彩(R、G、B)之每一個的調變轉移函數(MTF)係非常接近，而對本色波前編碼透鏡103而言，三個色彩之MTF相當不同。白色MTF是類似的事實係有利於本方法之操作。透鏡101故意具有每個透鏡達成之某些數量之軸向色差。正常地，一透鏡設計使軸向色彩最小化，且設計一種具有軸向色彩之透鏡之方法係與其他透鏡的方法相同，除了為零軸向色彩最佳化以外，透鏡103係被最佳化持續一非零數量之軸 向色彩。更明確而言，透鏡103係被設計成具有某些預定或特定數量之色差，其係為所需要之景深延伸之數量之函數；舉例而言，特定色差可能在一特定延伸景深之內於相關之空間頻率下而由最小MTF需求所決定。舉例而言，為了達到最大的延伸景深，可增加在鄰近色彩通道之間的軸向分色，直到兩個離焦MTF之間的相交點符合一特別取像應用之最小MTF需求為止。對於某些機器視覺應用而言，一典型的最小MTF需求於相關之空間頻率下大約為0.2。
在YUV色空間中，Y通道(亮度通道)本質上是一白色通道，且係為三個色彩通道R、G及B之組合。於步驟315下，Y通道係利用一種被設計以增加MTF回到一類似繞射限制的反應之反捲積濾光片而被過濾，藉以建立一Y'通道。在本系統中，於步驟320下，U與V通道(色度通道)係維持未被處理(步驟317)並與被處理的Y'通道再結合，用以產生一Y'UV影像。於步驟325下，此影像接著被轉移回到RGB色空間，用以生成具有延伸景深之最終的R'G'B'影像222。因為只有Y通道被處理，所以於本實施例中只關心白色MTF。
圖4係為顯示一例示透鏡系統104之合成的EDoF 414之圖400。如圖4所示，一取像透鏡之景深可藉由結合一影像之R、G及B通道而被延伸，藉由一適當的色波前編碼透鏡103而被捲繞。透鏡之連續的對焦景深係藉以在提供紅色、綠色及藍色影像成分(411+412+413)之連續的對焦影像之最高共同的離焦MTF(以箭頭415表示)之處，被 擴張至在位於最接近的對焦藍色影像成分411之物距411'與位於最遠的對焦紅色影像成分413之物距413'之間的範圍414。
如圖4所示，藉由分離R、G及B離焦MTF，平均(遍及所有波長或色彩之平均值)離焦MTF在長達此距離411+412+413之內是接近固定的。因為平均MTF係對應至影像之亮度通道，所以亮度通道中之一清晰影像(具有高MTF之影像)可藉由對落在遍及整個411+412+413範圍之任何焦點平面中的物體反捲積而被恢復。因為人眼對於亮度通道中之MTF最敏感，所以縱使色度通道係相對較模糊的，這種影像對一觀察者似乎是清晰的(亦即，它們具有較低的MTF)。
再者，因為平均MTF遍及這個範圍是接近固定的，所以不管一物體落入哪個焦點平面，供恢復亮度通道中之一清晰影像之反捲積濾光片是相同的，所以可利用單一線性過濾操作來完成整個銳化操作。在一傳統透鏡中，R、G及B離焦MTF將近乎彼此重疊，使得平均離焦MTF本質上只延伸以箭頭412表示之距離。
具有白色像素之感測器濾光片馬賽克
圖5A係為顯示具有一習知技術之拜耳馬賽克圖案之單一的四像素濾光片單元500之圖。圖5B係為顯示一種依據本例示實施例所修正之一馬賽克圖案中的單元501之例示圖，而圖5C係為一種包含一陣列之單元501之彩色濾光片馬賽克117(圖1)之例示圖。於本實施例中，本透 鏡系統100使用一感測器陣列105，其包含一濾光片馬賽克501，其中一'白色像素'513置換貝爾圖形之每個單元中之其中一個綠色像素(例如像素511)。
於本實施例中，感測器105包含一個具有一彩色濾光片馬賽克117之感測器陣列，其包含RGBW(紅色、綠色、藍色以及'白色'或透明性)濾光片之圖案501，每一個係被設置在影像感測器105之各個像素(或像素感測器)上面以過濾/擷取色彩資訊。正常地，貝爾圖形之每個單元包含兩個綠色像素510/511、一個紅色像素508以及一個藍色像素509，如圖5A所示。於圖5B所顯示之本實施例中，一對應的拜耳馬賽克之每個單元501中之其中一個綠色像素(510或511)係被置換成一'白色像素'513(亦即一個沒有彩色濾光片之像素)，用以提供增加的光收集及一增加的信號雜訊比，如果個別的色彩通道並未被處理，則其是可能的，由圖3之實施例得知。
特徵之組合
上述特徵與以下主張的那些特徵可能在不背離於此之範疇之下以各種方式作結合。下述例子顯示可能的組合：
(a)一種用以產生具有延伸景深之一影像之光學系統可包含一色波前編碼透鏡，藉由產生在藉以建立的一影像中之特定色差提供傳輸通過它之光之軸向分色。光學系統之一光學轉移函數可達成一延伸景深，且在相關之至少一光譜傳輸頻帶之內，在一受限的空間頻率範圍之內不包含零。
(b)在以(a)表示之光學系統中，特定色差可能在一特定延伸焦深之內，於相關之空間頻率下，由一最小調變轉移函數(MTF)需求所決定。
(c)在以(a)或(b)表示之光學系統中，可能有三個相關之光譜傳輸頻帶，其分別對應於光學系統之色彩通道。
(d)在以(a)至(c)表示之任何一種光學系統中，受限的空間頻率範圍之一最大空間頻率可能小於一個受限於此系統之一感測器之像素對像素間距之空間頻率。
(e)以(a)至(d)表示之任何一種光學系統可包含一個改變光學系統之光學轉移函數之相位遮罩，以在遍及比由未改變的光學轉移函數所提供的一更大範圍的物距，使從而改變的光學轉移函數實質上對於一物體與透鏡之間的距離不敏感。可能針對影像執行數位處理，用以藉由反轉由相位遮罩所產生之調變轉移函數的減少來產生一個具有該延伸景深之被處理影像。
(f)一種用以產生具有延伸景深之一影像之光學系統可包含一色波前編碼透鏡及一相位遮罩，其中傳輸通過光學系統之光係被聚焦成為一影像平面。色波前編碼透鏡藉由提供一個入射在影像平面上之中間影像中的特定色差來提供軸向分色。相位遮罩使光學系統之一光學轉移函數在一個遠離影像平面之特定範圍之內實質上維持固定。光學系統之光學轉移函數達成一延伸景深，且在相關之至少一光譜傳輸頻帶之內，在一受限的空間頻率範圍之內不包含零。
(g)在以(f)表示之光學系統中，特定色差可能在一特定延伸焦深之內，於相關之一空間頻率下而由一最小調變轉移函數(MTF)需求所決定。
(h)在以(f)或(g)表示之光學系統中，中間影像可能被一影像感測器所擷取以產生中間影像之一電子呈現。
(i)在以(f)至(h)表示之任何一種光學系統中，可能針對中間影像之電子呈現執行數位處理，用以反轉由相位遮罩所產生之調變轉移函數的減少來生成最終影像。
(j)在以(f)至(i)表示之任何一種光學系統中，相關之光譜傳輸頻帶可能是傳輸通過光學系統之光之至少一帶寬。
(k)以(f)至(j)表示之任何一種光學系統可更包含一影像感測器，用以擷取一種入射於影像平面之光之電子呈現。感測器可能覆蓋有一個包含複數個單元之彩色濾光片馬賽克，每一個單元包含一片紅色濾光片、一片綠色濾光片、一片藍色濾光片以及一片透明濾光片。每一個濾光片可能安置在影像感測器之各個像素上面。
(l)一種達成延伸景深之光學系統可包含：一色相關的波前編碼透鏡系統，其包含一色波前編碼透鏡及一相位遮罩，其中透鏡系統將傳輸通過它之光聚焦成為一影像平面；一影像感測器，用以擷取一種入射於影像平面之光之電子呈現；以及一處理器，具有相關的記憶體，一影像處理演算法係儲存於記憶體中。色波前編碼透鏡可能被設計以提供形成於感測器上之一中間影像中之特定色差。中間影像可能藉由使用此演算法而隨後被處理器所處理，用以 生成一個具有延伸景深之最終影像。
(m)在以(l)表示之光學系統中，相位遮罩可使光學系統之一光學轉移函數在一個遠離一對焦位置之特定範圍之內實質上維持固定，且可能針對儲存影像執行數位處理，用以藉由反轉由相位遮罩所產生之調變轉移函數的減少來生成最終影像。
(n)在以(l)或(m)表示之光學系統中，透鏡系統之連續的對焦景深可能在提供紅色、綠色及藍色影像成分之連續對焦影像之一最高共同的離焦調變轉移函數之處，被擴張至一個在位於一最接近的對焦藍色影像成分之一物距與位於一最遠的對焦紅色影像成分之一物距之間的範圍。
(o)在以(l)至(n)表示之任何一種光學系統中，色相關的波前編碼透鏡系統可能藉由將相位遮罩與色波前編碼透鏡整合成為單一單元而形成。
(p)在以(l)至(o)表示之任何一種光學系統中，影像感測器可能覆蓋有一個包含複數個單元之彩色濾光片馬賽克，每一個單元包含一片紅色濾光片、一片綠色濾光片、一片藍色濾光片以及一片透明濾光片。每一個濾光片可能安置在影像感測器之各個像素上面。
(q)一種用以產生具有延伸景深之影像之方法可包括：光學地耦合一相位遮罩及一色波前編碼透鏡以形成一光學系統，其將傳輸通過光學系統之光聚焦成為影像。色波前編碼透鏡可藉由產生影像中之特定色差來提供傳輸通過它之光之軸向分色。光學系統之一光學轉移函數在相關 之一光譜傳輸頻帶之內可不包含零。
(r)在以(q)表示之方法中，特定色差可能在一特定延伸焦深之內，於相關之一空間頻率下而由一最小調變轉移函數需求所決定。
(s)在以(q)或(r)表示之方法中，傳輸通過光學系統之光可能被聚焦成為一影像平面。相位遮罩可使光學系統之光學轉移函數在一個遠離影像平面之特定範圍之內實質上維持固定。
(t)在以(q)至(s)表示之任何一種方法中，光學系統之光學轉移函數在傳輸通過光學系統之光之至少一帶寬之內可不包含零。
(u)在以(q)至(s)表示之任何一種方法中，可能針對影像執行數位處理，用以藉由反轉由相位遮罩所產生之調變轉移函數的減少來生成一個具有該延伸景深之被處理影像。
(v)一種用於增加一光學系統之景深以將從一物體所接收之光聚焦成為一影像平面之方法，其中光學系統之特徵為一未改變的光學轉移函數並包含一影像感測器以儲存一個入射於影像平面之光之呈現，此方法可包含：建構一光學相位遮罩，其包含一景深增加特徵以產生光學系統之一改變的光學轉移函數，以在遍及一特定範圍之物距(其大於由未改變的光學轉移函數所提供的那個範圍的物距)，使改變的光學轉移函數實質上對於在物體與透鏡之間的距離不敏感。此方法亦可包含建構一色波前編碼透鏡， 其藉由提供入射在影像平面上之一中間影像中之特定色差來提供傳輸通過它之光之軸向分色，將光學遮罩與色波前編碼透鏡設置在物體與感測器之間，並提供中間影像之景深後處理，用以反轉由光學遮罩與色波前編碼透鏡所產生的調變轉移函數的減少。
(w)在以(v)表示之方法中，特定色差可能在一特定延伸焦深之內於相關之空間頻率下而由一最小調變轉移函數需求所決定。
(x)在以(v)或(w)表示之方法中，遮罩建構步驟可包含檢驗複數個候補遮罩函數之意義不明的函數，用以決定哪個特定遮罩功能具有一種遍及一特定範圍之物距而最靠近固定值的光學轉移函數，並建構具有此特定遮罩函數之光學遮罩。
本發明已詳細並參考其特定實施例作說明，吾人應注意到在不背離以下申請專利範圍所定義之本發明之範疇之下，可能作修改與變化。因此，吾人應考慮到本系統並未受限於其詳細揭露的實施樣態。
100‧‧‧光學系統/透鏡系統
101‧‧‧遮罩/透鏡
103‧‧‧色波前編碼透鏡/取像透鏡/複合透鏡組件
104‧‧‧波前編碼透鏡系統/透鏡組件
105‧‧‧感測器/感測器陣列
106‧‧‧色波前編碼透鏡/透鏡元件/整合相位遮罩/透鏡/整合遮罩
107‧‧‧光
110‧‧‧處理器
115‧‧‧記憶體
117‧‧‧濾光片馬賽克
118‧‧‧影像處理演算法
120‧‧‧數位影像
127‧‧‧影像平面
205、210、215、235‧‧‧步驟
212‧‧‧中間影像
222‧‧‧R'G'B'影像
230‧‧‧中間影像
310、315、317、320、325‧‧‧步驟
400‧‧‧圖
401、402、403‧‧‧影像
411‧‧‧對焦藍色影像成分
411'‧‧‧物距
412‧‧‧箭頭
413‧‧‧對焦紅色影像成分
413'‧‧‧物距
414‧‧‧範圍
415‧‧‧箭頭
500‧‧‧濾光片單元
501‧‧‧單元/圖案/濾光片馬賽克
508‧‧‧紅色像素
509‧‧‧藍色像素
510‧‧‧綠色像素
511‧‧‧像素
513‧‧‧白色像素
圖1A係為顯示本系統之一個實施例之例示元件之圖；圖1B係為顯示一例示的整合遮罩/透鏡之圖；圖2係為顯示藉由一個實施例中之本系統而執行之例示步驟之流程圖；圖3係為顯示利用波前編碼而在一影像之處理中被執行之例示步驟圖； 圖4係為顯示一例示的色差透鏡之組合EDoF之圖；圖5A係為顯示一習知技術之拜耳(Bayer)馬賽克圖案之圖；圖5B係為顯示一種依據本系統被修正之拜耳馬賽克圖案之圖；以及圖5C係為一種包含一陣列之單元之彩色濾光片馬賽克之例示圖。
100‧‧‧光學系統/透鏡系統
101‧‧‧遮罩/透鏡
103‧‧‧色波前編碼透鏡/取像透鏡/複合透鏡組件
104‧‧‧波前編碼透鏡系統/透鏡組件
105‧‧‧感測器/感測器陣列
107‧‧‧光
110‧‧‧處理器
115‧‧‧記憶體
118‧‧‧影像處理演算法
120‧‧‧數位影像

Claims (10)

  1. 一種光學系統，用以產生一種具有延伸景深之影像，該光學系統包含：一色波前編碼透鏡，藉由在它所建立之一影像中產生特定色差來提供傳輸通過它之光之軸向分色；其中該光學系統之一光學轉移函數達成一延伸景深，且在相關之至少一光譜傳輸頻帶之內，在一受限的空間頻率範圍之內不包含零；一相位遮罩，其改變該光學系統之該光學轉移函數，以在遍及比由該未改變的光學轉移函數所提供的一更大範圍的物距，使從而改變的該光學轉移函數實質上對於一物體與該透鏡之間的距離不敏感；及一數位處理器，其針對該影像執行數位處理，用以藉由反轉由該相位遮罩所產生之調變轉移函數的減少，來產生一種具有該延伸景深之被處理影像。
  2. 如申請專利範圍第1項所述之光學系統，其中該特定色差係在一特定延伸焦深之內於相關之該空間頻率下由一最小調變轉移函數之需求所決定。
  3. 如申請專利範圍第1項所述之光學系統，其中有三個相關之該光譜傳輸頻帶，其分別包含該光學系統之每個色彩通道。
  4. 如申請專利範圍第1項所述之光學系統，其中該受限的空間頻率範圍之一最大空間頻率係小於受限於該系統之一感測器之像素至像素間距之一空間頻率。
  5. 一種光學系統，用以產生具有延伸景深之一影像，該光學系統包含：一色波前編碼透鏡及一相位遮罩，其中傳輸通過該光學系統之光係被聚焦成為一影像平面；其中該色波前編碼透鏡藉由提供入射在該影像平面上之一中間影像中的特定色差來提供軸向分色；其中該相位遮罩使該光學系統之一光學轉移函數在一個遠離該影像平面之特定範圍之內實質上維持固定；以及其中該光學系統之該光學轉移函數達成一延伸景深，且在相關之至少一光譜傳輸頻帶之內，在一受限的空間頻率範圍之內不包含零。
  6. 如申請專利範圍第5項所述之光學系統，其中該特定色差係在一特定延伸焦深之內於相關之一空間頻率下由一最小調變轉移函數需求所決定。
  7. 如申請專利範圍第5項所述之光學系統，其中該中間影像係被一影像感測器所擷取，用以產生該中間影像之一電子呈現。
  8. 如申請專利範圍第7項所述之光學系統，其中，針對該中間影像之該電子呈現執行數位處理，用以藉由反轉由該相位遮罩所產生之調變轉移函數的減少來生成最終影像。
  9. 如申請專利範圍第5項所述之光學系統，其中，相關之該光譜傳輸頻帶係為傳輸通過該光學系統之該光之至少一帶寬。
  10. 如申請專利範圍第5項所述之光學系統，更包含一影像感測器，用以擷取一個入射於該影像平面之該光之電子呈現，其中該感測器係覆蓋有一個包含複數個單元之彩色濾光片馬賽克，每一個單元包含一片紅色濾光片、一片綠色濾光片、一片藍色濾光片以及一片透明濾光片，其中各該濾光片係被安置在該影像感測器之各個像素上面。
TW101119678A 2011-05-31 2012-05-31 以色相關波前編碼延伸透鏡系統景深的系統及其方法 TWI480583B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/149,707 US8610813B2 (en) 2011-05-31 2011-05-31 System and method for extending depth of field in a lens system by use of color-dependent wavefront coding

Publications (2)

Publication Number Publication Date
TW201305602A TW201305602A (zh) 2013-02-01
TWI480583B true TWI480583B (zh) 2015-04-11

Family

ID=47260348

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101119678A TWI480583B (zh) 2011-05-31 2012-05-31 以色相關波前編碼延伸透鏡系統景深的系統及其方法

Country Status (6)

Country Link
US (1) US8610813B2 (zh)
EP (1) EP2715447B1 (zh)
CN (1) CN103703413B (zh)
HK (1) HK1192328A1 (zh)
TW (1) TWI480583B (zh)
WO (1) WO2012166995A2 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9124797B2 (en) 2011-06-28 2015-09-01 Microsoft Technology Licensing, Llc Image enhancement via lens simulation
FR2977962B1 (fr) * 2011-07-13 2013-07-26 Thales Sa Systeme optique a codage de pupille asservi
JP5361976B2 (ja) * 2011-08-25 2013-12-04 キヤノン株式会社 画像処理プログラム、画像処理方法、画像処理装置及び撮像装置
US9137526B2 (en) * 2012-05-07 2015-09-15 Microsoft Technology Licensing, Llc Image enhancement via calibrated lens simulation
US9065993B1 (en) 2012-07-31 2015-06-23 Google Inc. Fixed focus camera with lateral sharpness transfer
CN105103534B (zh) * 2013-03-27 2018-06-22 富士胶片株式会社 摄像装置及校准方法
CN112114414B (zh) * 2013-05-10 2023-08-11 株式会社尼康 可换镜头
JP6173156B2 (ja) * 2013-10-02 2017-08-02 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
KR102159256B1 (ko) * 2013-11-25 2020-09-23 삼성전자 주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
WO2015083162A1 (en) * 2013-12-05 2015-06-11 B.G. Negev Technologies And Applications Ltd., At Ben-Gurion University Method for extended depth of field imaging
CN103760671B (zh) * 2014-01-17 2015-12-02 中国科学院西安光学精密机械研究所 基于滤波器稳定的波前编码最优相位掩膜板参数获取方法
WO2015118385A1 (en) * 2014-02-07 2015-08-13 Sony Corporation Method and apparatus for reducing color fringing in composite images
JP6256132B2 (ja) * 2014-03-14 2018-01-10 株式会社リコー 撮像システム
CN104539825B (zh) * 2014-12-18 2018-04-13 北京智谷睿拓技术服务有限公司 信息发送、接收方法及装置
CN104834089B (zh) * 2015-04-09 2017-06-27 中国科学院西安光学精密机械研究所 波前编码成像系统及超分辨处理方法
US9495590B1 (en) * 2015-04-23 2016-11-15 Global Bionic Optics, Ltd. Extended depth-of-field biometric system
CN105516697B (zh) 2015-12-18 2018-04-17 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
WO2017217115A1 (ja) * 2016-06-17 2017-12-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び画像処理システム
EP3721621A4 (en) * 2017-12-05 2021-08-25 Airy3d Inc. LUMINOUS FIELD IMAGE PROCESSING FOR DEPTH ACQUISITION
CN108012136B (zh) * 2017-12-08 2019-06-21 北京信息科技大学 一种基于模糊函数刻画的聚焦扫描与计算成像方法
FR3080933B1 (fr) * 2018-05-03 2021-04-23 Thales Sa Procede d'insensibilisation a la defocalisation par masque de phase d'un spectrometre pour instruments d'observation embarques
JP7111842B2 (ja) 2018-06-07 2022-08-02 モービルアイ ヴィジョン テクノロジーズ リミテッド 高解像度自動車用レンズとセンサ
BE1027429B1 (nl) * 2019-11-07 2021-02-08 Innovate Prec Besloten Vennootschap Met Beperkte Aansprakelijkheid Werkwijze en apparaat voor het verkrijgen van een beeld met uitgebreide scherptediepte
CN117562488A (zh) * 2023-11-14 2024-02-20 卓外（上海）医疗电子科技有限公司 基于波前编码技术的荧光内窥镜摄像系统及成像方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1478966B1 (en) * 2002-02-27 2007-11-14 CDM Optics, Incorporated Optimized image processing for wavefront coded imaging systems
US20100226011A1 (en) * 2009-03-05 2010-09-09 Raytheon Company Method and Apparatus for Accurate Imaging with an Extended Depth of Field

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4808501A (en) 1985-10-15 1989-02-28 Polaroid Corporation, Patent Dept. Method for manufacturing an optical filter
US5096801A (en) 1989-04-03 1992-03-17 Fuji Photo Film Co., Ltd. Color image recording method
JP3275010B2 (ja) 1995-02-03 2002-04-15 ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド 拡大された被写界深度を有する光学システム
US7218448B1 (en) 1997-03-17 2007-05-15 The Regents Of The University Of Colorado Extended depth of field optical systems
AU3779299A (en) * 1998-05-01 1999-11-23 University Technology Corporation Extended depth of field optical systems
US6711302B1 (en) 1999-10-20 2004-03-23 Eastman Kodak Company Method and system for altering defects in digital image
JP4565192B2 (ja) 2003-03-31 2010-10-20 オムニビジョン テクノロジーズ， インコーポレイテッド 画像システムにおける収差を生じる影響を最小化するための、システムおよび方法
JP3824237B2 (ja) 2003-09-05 2006-09-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US8045017B2 (en) 2004-05-20 2011-10-25 Omnivision Technologies, Inc. Methods and systems for detecting flash rate of surrounding lights for controlling camcorder frame rate
US7822285B2 (en) 2004-05-20 2010-10-26 Omnivision Technologies, Inc. Methods and systems for locally adaptive image processing filters
US8563913B2 (en) * 2004-09-14 2013-10-22 Omnivision Technologies, Inc. Imaging systems having ray corrector, and associated methods
CN101052910B (zh) * 2004-09-14 2010-05-05 Cdm光学有限公司 低高度成像系统及相关方法
US7224540B2 (en) * 2005-01-31 2007-05-29 Datalogic Scanning, Inc. Extended depth of field imaging system using chromatic aberration
US20060204861A1 (en) * 2005-03-14 2006-09-14 Eyal Ben-Eliezer Optical mask for all-optical extended depth-of-field for imaging systems under incoherent illumination
FR2919733B1 (fr) * 2007-08-03 2010-04-09 Dxo Labs Systeme optique muni d'un dispositif d'accroissement de sa profondeur de champ
US8072574B2 (en) 2008-02-25 2011-12-06 LensVector Tunable liquid lens with reduced aberration
US8184218B2 (en) 2008-06-21 2012-05-22 Lensvector Inc. Optically hidden electromagnetic source for generation of spatially non uniform magnetic field and tunable devices made thereof
US8149377B2 (en) 2008-06-22 2012-04-03 Lensvector Inc. Tunable-focusing liquid crystal lens cell and method of fabrication thereof
WO2010017694A1 (zh) * 2008-08-15 2010-02-18 北京泰邦天地科技有限公司 一种等模糊中间像获取装置
CN101887170B (zh) * 2009-05-13 2015-04-22 北京泰邦天地科技有限公司 一种抑制气动光学效应的成像方法和系统
JP5075795B2 (ja) * 2008-11-14 2012-11-21 株式会社東芝 固体撮像装置
US8587681B2 (en) * 2008-11-21 2013-11-19 Omnivision Technologies, Inc. Extended depth of field for image sensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1478966B1 (en) * 2002-02-27 2007-11-14 CDM Optics, Incorporated Optimized image processing for wavefront coded imaging systems
US20100226011A1 (en) * 2009-03-05 2010-09-09 Raytheon Company Method and Apparatus for Accurate Imaging with an Extended Depth of Field

Also Published As

Publication number Publication date
EP2715447A4 (en) 2015-02-25
TW201305602A (zh) 2013-02-01
US20120307133A1 (en) 2012-12-06
HK1192328A1 (zh) 2014-08-15
WO2012166995A2 (en) 2012-12-06
CN103703413A (zh) 2014-04-02
US8610813B2 (en) 2013-12-17
CN103703413B (zh) 2016-08-17
EP2715447A2 (en) 2014-04-09
WO2012166995A3 (en) 2013-02-28
EP2715447B1 (en) 2018-07-18

Similar Documents

Publication Publication Date Title
TWI480583B (zh) 以色相關波前編碼延伸透鏡系統景深的系統及其方法
US10306158B2 (en) Infrared imaging system and method of operating
US8310587B2 (en) Compact camera optics
EP2664153B1 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
JP5830348B2 (ja) 撮像装置
Martinello et al. Dual aperture photography: Image and depth from a mobile camera
JP6525718B2 (ja) 画像処理装置、その制御方法、および制御プログラム
Guichard et al. Extended depth-of-field using sharpness transport across color channels
KR101265432B1 (ko) 촬상 소자 및 이것을 사용하는 촬상 장치
US9071737B2 (en) Image processing based on moving lens with chromatic aberration and an image sensor having a color filter mosaic
CN105556944A (zh) 高分辨率薄多孔径成像系统
JP2010145693A (ja) 画像表示装置及び撮像装置
JP2011211669A (ja) 画像処理装置、撮像装置および画像処理プログラム
CN103458162B (zh) 用于分区图像传感器的透镜阵列
JP2008211679A (ja) 撮像装置およびその方法
JP6017347B2 (ja) コード読取り装置
JP2018107794A (ja) 画像生成装置及び撮像装置
US20140184859A1 (en) Imaging device
RU2595759C2 (ru) Способ и устройство для захвата изображения и одновременного извлечения глубины
JP5159715B2 (ja) 画像処理装置
JP6976754B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
Tisse et al. Extended depth-of-field (EDoF) using sharpness transport across colour channels
JP2018170757A (ja) 画像生成装置及び撮像装置
Rueda et al. Compressive spectral imaging based on colored coded apertures
JP2010074826A (ja) 撮像装置および画像処理プログラム