TW201713108A - 標定成安裝在全光相機之感測器，被濾色器陣列部份罩覆的微影像區至少一個再聚焦影像色彩組成份之決定方法，光場資料獲取裝置，電腦程式製品，以及非暫態電腦可讀式載波媒體 - Google Patents

標定成安裝在全光相機之感測器，被濾色器陣列部份罩覆的微影像區至少一個再聚焦影像色彩組成份之決定方法，光場資料獲取裝置，電腦程式製品，以及非暫態電腦可讀式載波媒體 Download PDF

Info

Publication number
TW201713108A
TW201713108A TW105119022A TW105119022A TW201713108A TW 201713108 A TW201713108 A TW 201713108A TW 105119022 A TW105119022 A TW 105119022A TW 105119022 A TW105119022 A TW 105119022A TW 201713108 A TW201713108 A TW 201713108A
Authority
TW
Taiwan
Prior art keywords
sensor
color
image area
micro
color filter
Prior art date
Application number
TW105119022A
Other languages
English (en)
Other versions
TWI699117B (zh
Inventor
班諾特 汎德美
希瑟 波爾
路易斯 雪瓦利爾
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201713108A publication Critical patent/TW201713108A/zh
Application granted granted Critical
Publication of TWI699117B publication Critical patent/TWI699117B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/005—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for correction of secondary colour or higher-order chromatic aberrations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/22—Absorbing filters
    • G02B5/223—Absorbing filters containing organic substances, e.g. dyes, inks or pigments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

一種標定成安裝於全光相機1之感測器4，包括至少一個微影像區5，標定成感測由微透鏡陣列3折射之微影像，微影像區5是至少部份被濾色器陣列6所罩覆，其中當遠離微影像區5之中心(xi,j,yi,j)，濾色器陣列6的彩色飽和即遞減。

Description

標定成安裝在全光相機之感測器，被濾色器陣列部份罩覆的微影像區至少一個再聚焦影像色彩組成份之決定方法，光場資料獲取裝置，電腦程式製品，以及非暫態電腦可讀式載波媒體
本案內容領域係關於光場成像。更具體而言，本案內容有關彩色光場影像之記錄技術。
尤其是本案內容涉及濾色器陣列(CFA)，標定成安裝在全光相機之感測器上。
此節旨在為讀者介紹技術之諸面向，與下述和/或所請求本案內容之諸要旨有關。此項論述相信有助於提供讀者背景資訊，方便更佳明瞭本案內容之諸要旨。因此，須知此等陳述係就此觀點閱讀，並非納入先前技術。
習知影像擷取裝置是在二維度感測器上描繪三維度場景。於操作當中，習知擷取裝置會擷取二維度(2D)影像，表示到達裝置內感測器(或光檢測器)上各點之光量。然而，此2D影像不含有關到達感測器(可稱為光場)的光線之方向性分佈資訊。例如在獲取之時，會失去縱深。因此，習知擷取裝置無法儲存關於從場景分佈光之大部份資訊。
光場擷取裝置(亦稱為「光場資料獲取裝置」)已設計成，從該場景的不同視點擷取光，以測量場景之四維(4D)光場。因此，藉測量與沿感測器相交的各光束行進之光量，此等裝置即可擷取額外光學資訊(有關光線集束方向性分佈之資訊)，利用後處理提供新的成像應用。由光場擷取裝置獲取/獲得之資訊，稱為光場資料。光場擷取裝置於此界定為，能夠擷取光場資料之任何裝置。
光場資料處理包括特別是但不限於產生場景之再聚焦影像、產生場景之透視圖、產生場景之縱深映圖、產生場延伸縱深(EDOF)影像、 產生立體影像，和/或其任何組合。
在若干現有的光場擷取裝置組群中，「全光裝置」或「全光相機」，把位於主透鏡影像焦域之微透鏡陣列具體化，並且是在每微透鏡投影一微影像的感測器前。在下文裡，標定要投影一(或若干)微影像的感測器區，稱為「微影像區」或「感測器微影像」或「感測器之微影像」或「曝光區域」或「投影區域」。結果所得場景原始影像，是屬於一和/或另一感測器微影像的感測器全部像素總和。再由微影像區與其中心像素之相對位置，賦予光場的角度資訊。根據此原始影像，可進行由某一視點摘取所擷取場景影像，亦稱為「解多工化」。解多工化過程可見於資料轉換，從2D原始影像轉換至4D光場。所得解多工化光場資料可由視圖矩陣表示，其中所有視圖均在橫向和縱向對齊。
關於色彩檢測，大多數感測器的像素只是記錄所通過可視光子量，不管其色彩。為獲取彩色4D光場資料，從背景技術已知把濾色器陣列(CFA)安裝在感測器頂。例如，Bayer公司的過濾器通常使用CFA涵蓋2×2像素，有三個不同顏色，即紅(R)、綠(G)、藍(B)，按照R,G,G,B順序，位於2×2矩陣內。然而，技術專家均知以下說明中使用「濾色器陣列」，不止指涉Bayer公司的過濾器，也涉及技術上所有變通CFA。
此技術之主要缺點是，降低感測器的光敏性，因為至少一半光子被CFA阻擋。此外，在感測器微影像的邊緣，可能發生色差，所以影響到所描繪影像之品質。試圖解決此等問題，US2014/0146201A1專利申請案揭示一種CFA，只罩覆感測器微影像之一部份。然而，不足以改善感測器之光敏性。
因此，亟需提供一種感測器，對先前技術顯示改進。
尤其是需提供此等感測器，其特點為更佳光敏性，又能維持滿意的色彩靈敏性，並限制出現色差之虞。
本說明書指涉之「一具體例」、「具體例」、「實施具體例」，指所述具體例可含有特殊特點、結構或特徵，惟每一具體例不一定含有特殊特點、結構或特徵。此外，此等詞語不一定指涉同一具體例。又，就一具體例所述特殊特點、結構或特徵，係在技術專家知識範圍內，擬議影響 其他具體例之該項特點、結構或特徵，不論是否明說。
在技術之一特別具體例中，揭示標定成安裝於全光相機之感測器。感測器包括至少一微影像區，標定成感測受微透鏡陣列折射之微影像，微影像係被濾色器陣列所至少部份覆罩。離微影像區中心愈遠，濾色器陣列之色彩飽和愈低。
下述中，「部份覆罩」指涉CFA位置相較於感測器微影像(微影像區)而言。在一具體例中，此等CFA覆罩整體感測器微影像。在另一具體例中，CFA只覆罩感測器微影像之一部份，有無包含微影像區之中心均可。根據所考慮CFA點與感測器微影像中心間之距離，距離愈大，此點之色彩飽和愈低。
當愈接近感測器微影像邊界，CFA的色彩飽和度愈低，可以比先前技術之CFA擷取更多光子。所以，如此感測器之特點在於改進光敏性。此外，由於在中心的像素被光子照明，其色差比通過主透鏡光瞳邊界之光子少，故此等感測器亦可限制出現色差之虞，又能保持其色彩靈敏性於滿意水準。
在一具體例中，濾色器陣列之中心相當於微影像區之中心。
由於色差現象，感測器微影像中心像素，細部和色彩比位於感測器微影像邊界的像素明銳。因此，以等值CFA表面言，CFA定位在感測器微影像中心，得以增進所描述微透鏡影像之品質。
按照一具體例，濾色器陣列之色彩飽和從微影像區中心(xi,j,yi,j)到微影像區邊界遞減。
在一具體例中，濾色器陣列的色彩飽和從1(在微影像區中心)到0(接近微影像區邊界)不等。
在一具體例中，CFA為Bayer公司過濾器，而色彩組成份是在HSV色彩空間內賦予： 其中(x,y)為微透鏡(i,j)下方之像素座標，(xi,j,yi,j)為微透鏡影像區中心座標，p為二相鄰微影像區個別中心間之距離。
從微影像區中心(xi,j,yi,j)到邊界如此滑順之飽和變化，可防止再聚焦影像色彩飽和之梯級效應。
在一具體例中，微影像區只被濾色器陣列部份罩覆。
按照此特別CFA部署，相當於所記錄光子數對光子總數之比較高，因為CFA罩覆之像素較少。因此，感測器的光敏性，勝於罩覆整體感測器微影像之CFA。
在一具體例中，濾色器陣列在微影像區中心只罩覆4×4像素區。
按照此特殊部署，各微透鏡影像罩覆50.26像素，只有16像素接收較少光。感測器微影像收集來自16像素之減量光子，和來自剩餘像素之可視光子。所以，此等感測器擷取超過84%的光子，較之先前技術之CFA大為改善。舉例而言，對於罩覆全部像素的普通Bayer圖型而言，此比率降到約50%。
在技術之一特別具體例中，揭示一種方法，決定被濾色器陣列部份罩覆的微影像區之至少一再聚焦影像色彩組成份RX。此方法包括：˙決定被濾色器陣列所罩覆微影像區像素之再聚焦影像Ra,b，其中當愈離開微影像區之中心(xi,j,yi,j)，濾色器陣列之色彩飽和愈低；˙決定未被濾色器陣列所罩覆微影像區像素之再聚焦影像RT；˙決定由再聚焦影像Ra,b和再聚焦影像RT組合之色彩組成份RX；其中決定色彩組成份RX，是實施對再聚焦影像RT之權值。
該權值之實施具有優點，即分辨受到較大光差所損之光子，和較少受到主透鏡光差影響之光子。技術專家均知「色彩組成份」係指所實施CFA之任何色彩組成份。例如，考量到Bayer過濾器所罩覆感測器，所要決定之色彩組成份，可為紅、綠或藍組成份。
在技術之一特別具體例中，本案內容係關於電腦程式製品，可從通訊網路下載，和/或記錄於電腦可讀式和/或處理器可執行之媒體。此等電腦程式製品包括程式碼指令，可實施其方法。
在技術之一特別具體例中，本案內容係關於非暫態電腦可讀 式載波媒體，包括記錄在其上之電腦程式製品，可利用處理器運作，含有程式碼指令，以實施其方法。
雖未明說，本案諸具體例可藉任何組合或副組合方式採用。
1‧‧‧全光相機
2‧‧‧主透鏡
3‧‧‧微透鏡陣列
4‧‧‧感測器
5‧‧‧微影像區
6‧‧‧濾色器陣列(CFA)
7‧‧‧決定被濾色器陣列所罩覆微影像區像素之再聚焦影像Ra,b
8‧‧‧決定未被濾色器陣列所罩覆微影像區像素之再聚焦影像RT
9‧‧‧決定由再聚焦影像Ra,b和再聚焦影像RT組合之色彩組成份RX
10‧‧‧計算器裝置
11‧‧‧處理器
12‧‧‧儲存單位
13‧‧‧介面單位
14‧‧‧匯流排
本案內容參照附圖說明如下，當可更佳明瞭，附圖為實施例，不限制保護範圍，附圖中：第1圖為通常Bayer過濾器之簡略表示圖；第2圖為HSV彩色空間之簡略表示圖；第3圖為各種濾色器之像素回應曲線圖；第4圖為全光相機之簡略表示圖；第5圖為全光相機感測器所記錄光場資料之簡略表示圖；第6圖為全光相機W>P之簡略表示圖；第7圖為全光相機W<P之簡略表示圖；第8圖為色差現象之簡略表示圖；第9圖為全光相機之簡略表示圖；第10圖為全光相機感測器為各種光線波長所記錄光場資料之簡略表示圖；第11圖為全光相機被Bayer過濾器所罩覆感測器記錄之光場資料簡略表示圖；第12圖為本案內容一具體例全光相機感測器所記錄光場資料之簡略表示圖；第13圖為被CFA部份罩覆的感測器所記錄光場資料之簡略表示圖；第14圖為進行本案內容一具體例方法時所實施接續步驟之流程圖；第15圖為本案內容一具體例決定再聚焦影像色彩組成份的裝置之簡略方塊圖。
圖中諸組件不一定按照比例，可以有輕重程度之別，以表示本案內容原則。
本案內容基本概念和某些具體例之特別細節，規範如下述和如第1-13圖所示，以供徹底明瞭此等具體例。然而，技術專家均知，本案 內容可有其他具體例，或是可以不具有下述若干細節加以實施。
普通概念
濾色器陣列
彩色影像通常每像素都由三個色彩組成份形成。通常組成份為紅色、綠色和藍色，稍微相當於眼睛的色彩靈敏性。不幸，大多數感測器記錄進入像素之可視光子，係與光子波長無關。為使灰級感測器進入色彩能力之感測器，通常在感測器上安裝濾色器陣列(CFA)。最常用CFA是所謂Bayer圖型(過濾器)，由2×2像素製成，複雜於感測器上方，如第1圖所示。
以CFA記錄之影像不完整，因為每像素只記錄一色。以Bayer圖型而言，指定像素另二色之計算，是以內插法為之，按照所謂去鑲嵌化演算法使用周圍色彩，見美國專利US5506619A〈單一感測器彩色電子相機中適應性色彩計畫內插法〉。此等演算法影響影像品質，且需要大量計算。
相對於RGB和HSV色彩空間之觀念
RGB(紅綠藍)是用來檢定具有三色組成份的像素色彩之色彩空間。此三個數值可轉換成其他彩色空間，例如色調飽和值(HSV)色彩空間。HSV空間如第2圖所示，亦界定色彩梯度，從純色(指定色調、飽和及數值設定最大)到白色(同樣色調，飽和設定0，數值設定最大)。
從RGB色彩空間轉換到HSV色彩空間，以下述進行：△=max(R,G,B)-min(R,G,B)
從HSV轉換至RGB色彩空間是由下列進行：
P=V(1-S)
Q=V(1-S{H'})
T=V(1-S(1-{H'})) 其中{H}指H'的分部。從三重點(P,V,Q)可界定值(R,G,B)，視I=[H']而定，是小於H'的最大整數。若I=0，(R,G,B)=(V,T,P)；若I=1，(R,G,B)=(Q,V,P)；若I=2，(R,G,B)=(P,V,T)；若I=3，(R,G,B)=(P,Q,V)；若I=4，(R,G,B)=(T,P,V)；若I=5，(R,G,B)=(V,P,Q)。
前述方程式假設，三個色彩組成份是0和1間之真數。從而，組成份H和S為0和1間之真數，而H為0至360度間之真數。
如前述指出，CFA之重大缺點是有些光子被濾色器所阻，因而降低感測器之靈敏度。例如，使用Bayer圖型，至少有一半光子會損失在過濾器內。第3圖繪示對於柯達公司感測器之各種濾色器，收集多少光子與進入像素總數光子之對照。感測器之效率大受濾色器的影響。
全光相機之說明
第4圖繪示簡略全光相機1，由主透鏡2、微透鏡陣列3和感測器4製成。主透鏡2接收來自客體域欲擷取場景(圖上未示)之光，並描繪透過位於主透鏡影像域的微透鏡陣列3之光。在一具體例中，此微透鏡陣列3包含複數圓形微透鏡，配置成二維(2D)陣列。在另一具體例中，此等微透鏡具有不同形狀，例如橢圓形，不悖本案內容之範圍，各微透鏡具有透鏡性能，把相對應微影像之光，導至感測器4上專用區：感測器微影像5。
在一具體例中，於各透鏡周圍微透鏡陣列3，與感測器4之間，設有一些隔體，以防來自一透鏡之光，與來自其他透鏡之光，在感測器側重搭。
4D光場資料
在感測器4上擷取之影像，是由配置於2D影像內的2D小影像收集製成。各小影像是利用微透鏡陣列3之微透鏡(i,j)產生。第5圖繪示感測器4所記錄影像之實施例。各微透鏡(i,j)產生微影像，以圓圈表示(小影像之形狀，視微透鏡形狀而定，通常為圓形)。像素座標以(x,y)標示。P為二接續微影像5間之距離。微透鏡(i,j)的選擇是，使p大於像素規模δ。微透鏡影像區5以其座標(i,j)指示。有些像素(x,y)可能接收不到來自任何微透鏡(i,j)之任何光；此等像素(X)即棄用。誠然，微透鏡間之空間被罩覆，以防光子微透鏡通到外部(若微透鏡呈四方形，則不需罩覆)。微透鏡影像 (i,j)的中心(xi,j,yi,j)位在感測器4上，於座標(xi,j,yi,j)處。θ是像素方形格與微透鏡方形格間之角度。(xi,j,yi,j)可利用下式計算，考量(x0,0,y0,0)為微透鏡影像(0,0)之像素座標：
此式假設微透鏡陣列3是遵循方形格配置。然而，本案內容不限於此格，同樣可應用於六角形格或甚至非規形格。
第5圖亦繪示場景的物象，可在若干接續性微透鏡影像目視(黑點)。物象二接續視圖間之距離為w，此距離亦稱為「視差」。
光場相機之光學性能
在前述諸節中介紹的距離p和w，賦予像素單位。乘以像素規模，分別轉換成實體單位距離(公尺)P和W：W=δw和P=δp此等距離視光場相機特點而定。
第6和7圖繪示假設為完美薄透鏡模式之簡略光場。主透鏡有焦距F和孔徑Φ。微透鏡陣列是由焦距f的微透鏡製成，微透鏡陣列之間距為Φ。微透鏡陣列與主透鏡之距離D，而與感測器之距離d，物象(圖上見不到)與主透鏡距離z(左方)。此物象被主透鏡聚焦在與主透鏡距離z'(右方)。第6和7圖分別繪示D>z'和D<z'的情況。在此二情況下，微透鏡影像焦點視d和f而定。
視差W因物象距離z而異。
影像再聚焦
光場相機之主要性能是，計算2D再聚焦影像之可能性，其中再聚焦距離可自由調節。只要位移和調焦微透鏡影像，即可把4D光場資料投影於2D影像，再合計於2D影像內。位移量控制再聚焦距離。4D光場像素(x,y,i,j)投影於再聚焦2D影像座標(X,Y)，是由下式界定： 其中s控制2D再聚焦影像之規模，而g控制再聚焦影像之聚焦距離。
色差議題
如第8圖所示，色差議題來自透鏡不完美，會防止點源全部 色彩聚焦在同一影像平面。
研究色差在全光相機系統內之衝擊，如第9和10圖所示，可觀察到視波長而定之會聚平面變化，平移到也是視波長而定之視差W變化。
就此而言，技術專家明白，進到主透鏡2邊界的光子，受到色差影響，遠勝於進到光瞳中間的光子。如今，通過主透鏡光瞳的中間和邊界之光子，即分別集在感測器微影像5之中心(xi,j,yi,j)和邊界。因此，集在感測器微影像5邊界的光子，受到色差影響，遠勝於集在中心(xi,j,yi,j)附近的光子。
換言之，各微透鏡影像之影像品質，從中心(xi,j,yi,j)到邊界有所變化。在感測器微影像5中心的像素，帶有比位於感測器微影像5邊界的像素，更敏銳細部和色彩。
安裝於全光相機上之CFA
為記錄彩色4D光場，令CFA位於記錄4D光場之感測器。例如，假設CFA是座標(a,b)的M×M像素製成，其(a,b)[0,M[2。4D光場加色彩參數，成為5D光場(x,y,i,j,ca,b)，其中ca,b是CFA座標(a,b)之色彩。第11圖繪示Bayer圖型(M=2)設定在記錄4D光場之感測器頂部。
5D光場之再聚焦，是以方程式(2)進行，但單獨應用於CFA之各色彩ca,b。因此，可得M2再聚焦影像Ra,b，再合併計算RGB再聚焦影像之三個色彩組成份：Rred，和Rblue。
例如，以Bayer圖型情況而言，M=2，c0,0=紅，c1,1=藍，c1,0=c1,0=綠。RGB再聚焦影像之三色組成份等於Rred=R0,0，Rgreen=(R0,1+R1,0)/2，而Rred=R1,1。
本案內容第一具體例之說明
第12圖繪示本案內容一具體例之感測器4。此感測器4可安裝於全光相機1上，包括複數微影像區5，各被CFA6所罩覆。
感測器4為CCD(電荷耦合裝置)型，使用CMOS(互補金屬氧化物半導體)技術。惟技術專家知道，此等感測器4可另外把神經形態光波質感測器(例如人造矽網膜)，或先前技術已知之任何他型光感測器具體化。
CFA 6如第12圖所示，為Bayer過濾器。惟技術專家均知，此等CFA 6可另外把RGBE過濾器、CYYM過濾器，或先前技術已知CFA任何他型具體化，不違本案內容。
在本案內容之一具體例中，CFA 6的色彩飽和自中心(X)朝感測器微影像5遞減。第12圖上段表示色彩飽和如此遞減，就分別位在中心(xi,j,yi,j)的像素，以及離中心(xi,j,yi,j)在一、二、三像素，其色彩飽和設定於100%,50%,25%,12.5%。
在本案內容另一具體例中，如第12圖下段所示，色彩飽和係按照函數f賦予，在[0.0,1.0]間之數值往回，並且從f(d=0)降到f(p/2)：
在此特別具體例中，色彩飽和從在感測器微影像5中心(xi,j,yi,j)的1，到其邊界的0，呈線性變化。色彩組成份是由HSV色彩空間賦予：
飽和從微影像區5的中心(xi,j,yi,j)到邊界如此滑順變化，可防止再聚焦影像色彩飽和之梯級效應。
在此CFA之飽和遞降，可以比通常Bayer過濾器捕集更多光子，所以能改進感測器4之光靈敏性。此外，由於在中心(xi,j,yi,j)的像素是利用比路過主透鏡光瞳邊界的光子色差較少的光子所照明，故此等感測器4得以限制色差出現之虞，仍保持令人滿意的色彩靈敏性。
本案內容第二具體例之說明
按照本案內容第二具體例，CFA 6只應用在感測器微影像5之一部份。第13圖繪示以全光相機1拍攝的4D光場，其微透鏡陣列3具有方形格，間距Φ=8δ(8像素)。Bayer圖型只在各感測器微影像5的中心(xi,j,yi,j)複製4×4像素。微透鏡影像的直徑等於p=Φ(D+d)/D。但因(D+ d)/D很接近1.0，可考慮由微透鏡陣列之間距賦予微透鏡影像之直徑。
此特別設計使感測器4對光靈敏性，勝過罩覆感測器微影像5整體之CFA 6。
如第13圖所示，具有CFA 6一定色彩飽和之第二具體例感測器，測試其操作條件。對於此等感測器4，各微透鏡影像罩覆50.26像素，但只有16個像素(即Bayer圖型罩覆之4×4像素)接收到減量光。感測器微影像5聚集來自16個像素之一半光子，和來自其餘像素之全部可視光子。所記錄光子量為總數光子之(50.26-16＊0.5)/50.26=84%。此項比率高出罩覆全部像素的Bayer圖型典型的50%。
技術專家均知，以第二具體例感測器4情況言，CFA的色彩飽和從感測器微影像5的中心(xi,j,yi,j)遞減至邊界，相當於所記錄光子對總數光子之比率甚高，進一步改進感測器4之光靈敏性。
計算RGB再聚焦影像
下述係關於本案內容第二具體例之感測器4。技術專家當知如此實施方式可應用於本案內容之第一具體例之感測器4，不違本案內容之範圍。
茲考慮本案內容第二具體例之感測器4，可計算M2再聚焦影像Ra,b，相當於CFA圖型之M2過濾器，加上單一聚焦影像RT，相當於未被濾色器6罩覆之像素。
有若干方法可用來把M2再聚焦影像Ra,b和RT再聚焦影像，轉換成再聚焦影像之三色組成份：Rred,Rgreen和Rblue。例如以Bayer圖型而言，M=2，c0,0=紅，c1,1=藍，c1,0=c1,0=綠。RGB再聚焦影像之三色組成份，可利用Rred=(R0,0+RT)/2,Rgreen=(R0,1/2+R1,0/2+RT)/2和Rred=(R1,1+RT)/2計算。顯然，可用其他組合，不違本案內容範圍。
如第14圖所示，本案內容此一具體例方法包括：˙決定7被濾色器陣列6所罩覆微影像區像素(i,j)之再聚焦影像Ra,b；˙決定8未被濾色器陣列6所罩覆微影像區像素(i,j)之再聚焦影像RT；˙決定9由再聚焦影像Ra,b和再聚焦影像RT組合之色彩組成份RX。決定RX 9對再聚焦影像RT實施權值(W)。
技術專家均知「色彩組成份」表示所實施CFA之任何色彩組成份。例如，考慮到Bayer過濾器罩覆之感測器，要決定之色彩組成份是紅色Rr、綠色Rg或藍色Rb組成份。
RT再聚焦影像的影像品質，比其他Ra,b再聚焦影像低，因為其收集光子受主透鏡2的光差影像影響更多。顧及此影像性能，視局部對比，把RT與Ra,b混合。例如，RT相對於Ra,b的權值(W)，在Ra,b局部識別的組織週圍較低。
要把RT相對於Ra,b的此項權值W，實施到Ra,b與RT組合，其優點是可分辨遭受較大光差的光子，與受到主透鏡光差影響較少的光子。
第15圖為一簡略方塊圖，繪示本案內容具體例之裝置10，以決定被濾色器陣列6所部份罩覆的微影像區5之至少一個再聚焦影像色彩組成份RX。此等裝置10含有處理器11、儲存單位12、介面單位13和感測器4，利用匯流排14連接。當然，計算器裝置10之組件，可使用以匯流排14連接以外之連接方式連接。
處理器11控制裝置10之操作。儲存單位12儲存要由處理器11執行的至少一程式，和各種資料，包含全光影像資料、處理器11進行計算所用參數、處理器11進行計算之中間資料等等。處理器11可由任何已知之適當硬體、軟體，或硬體和軟體組合所形成。例如，處理器11可由專用硬體形成，諸如處理電路，或可程式規劃之處理單位，諸如CPU(中央處理單位)，執行儲存於其記憶體內之程式。
儲存單位12可以任何適當儲存器，或能夠以電腦可讀式儲存程式、資料等之機構形成。儲存單位12之實施例包含非暫態電腦可讀式儲存媒體，諸如半導體記憶裝置、磁性、光學或磁光式記錄媒體，載錄於讀寫單位內。程式促使處理器11進行一種過程，按照參照第14圖之上述本案內容具體例，決定由濾色器陣列6部份罩覆的微影像區5之至少一再聚焦影像色彩組成份RX。
介面單位13提供裝置10和外部裝置間之介面。介面單位13可經由有線或無線通訊，與外部單位通訊。在此具體例中，外部裝置可為全光相機。在此情況下，全光影像可從全光相機，經介面單位13，輸入到裝置10，再儲存於儲存單位12。
裝置10和全光相機可經由有線或無線通訊，彼此通訊。
雖然，第15圖上只圖示一個處理器11，凡技術專家均知，此等處理器可包括不同模組和單位，具體化本案內容具體例裝置10所進行之功用，諸如：˙決定濾色器陣列6所罩覆微影像區像素(i,j)的再聚焦影像Ra,b用之模組；˙決定濾色器陣列6未罩覆微影像區像素(i,j)的再聚焦影像RT用之模組；˙將再聚焦影像Ra,b和再聚焦影像RT組合，以決定色彩組成份RX用之模組。
此等模組可以彼此通訊和合作之若干處理器9具體化。
技術專家均知，本案原理之要旨可以系統、方法或電腦可讀式媒體具體化。因此，本案原理之要旨可採取形式為完全硬體具體例、完全軟體具體例(包含韌體、常駐軟體、微碼等等)，或組合軟體和硬體要旨之具體例。
當本案原理以一或若干硬體組件實施時，須知硬體組件包括處理器，為積體電路，諸如中央處理單位、和/或微處理器、和/或應用特定積體電路(ASIC)、和/或應用特定指令設定處理器(ASIP)、和/或圖學處理單位(GPU)、和/或物理處理單位(PPU)、和/或數位訊號處理器(DSP)、和/或影像處理器、和/或音訊處理器、和/或多核處理器。此外，硬體組件亦可包括基帶處理器(例如包括記憶體單位，和韌體)、和/或無線電積體電路(可包括天線)，收發無線電訊號。在一具體例中，硬體組件順應一項或多項標準，諸如ISO/IEC 18092/ECMA-340,ISO/IEC 21481/ECMA-352,GSMA,StoLPaN,ETSI/SCP(智慧卡平台),GlobalPlatform(即安全元件)。在一變化例中，硬體組件為射頻識別(RFID)標籤。在一具體例中，硬體組件包括電路、致能藍芽通訊、和/或Wifi通訊、和/或Zigbee通訊、和/或USB通訊、和/或Firewire通訊和/或NFC(為近場)通訊。
再者，本案原理之要旨可採取電腦可讀式儲存媒體之形式，一或以上電腦可讀式儲存媒體之任何組合，均可加以利用。
因此，例如，可知任何流程、流程圖、狀態過渡圖、偽碼等，表示各種過程，可實質上呈現於電腦可讀式儲存媒體，並利用電腦或處理器如此執行，不論此類電腦或處理器是否明白圖示。
雖然本案內容已參照一或以上實施例說明，技術專家當認知，任何形式和細部之改變，並不悖本案內容和/或申請專利範圍。
4‧‧‧感測器
5‧‧‧微影像區
6‧‧‧濾色器陣列(CFA)

Claims (11)

  1. 一種標定成安裝在全光相機(1)之感測器(4)，包括至少一微影像區(5)，標定於感測由微透鏡陣列(3)折射之微影像，微影像區(5)係被濾色器陣列(6)至少部份罩覆，其中濾色器陣列(6)離開微影像區(5)之中心(xi,j,yi,j)愈遠，其色彩飽和即愈減者。
  2. 如申請專利範圍第1項之感測器(4)，其中濾色器陣列(6)中心，相當於微影像區(5)中心(xi,j,yi,j)者。
  3. 如申請專利範圍第1至2項之任一項感測器(4)，其中濾色器陣列(6)之色彩飽和，從微影像區(5)之中心(xi,j,yi,j)至微影像區(5)之邊界遞減者。
  4. 如申請專利範圍第1至3項之任一項感測器(4)，其中濾色器陣列(6)之色彩飽和，從微影像區(5)之中心(xi,j,yi,j)為1至微影像區(5)之邊界為0變化者。
  5. 如申請專利範圍第4項之感測器(4)，其中濾色器陣列(6)為Bayer過濾器，而色彩組成份係在HSV色彩空間內賦予： 其中(x,y)為在微透鏡下方的像素座標(i,j)，而(xi,j,yi,j)是微影像區(5)中心座標，p為二相鄰微影像區(5)個別中心(xi,j,yi,j)間之距離者。
  6. 如申請專利範圍第1至5項之任一項感測器(4)，其中微影像區(5)只被濾色器陣列(6)部份罩覆者。
  7. 如申請專利範圍第6項之感測器(4)，其中濾色器陣列(6)在微影像區(5)之中心(xi,j,yi,j)，只罩覆4×4像素區者。
  8. 一種被濾色器陣列部份罩覆的微影像區(5)至少一個再聚焦影像色彩組成份RX之決定方法，包括：˙決定(7)被濾色器陣列(6)罩覆的微影像區像素(i,j)之再聚焦影 像Ra,b，其中離微影像區(5)之中心(xi,j,yi,j)愈遠，其色彩飽和愈低；˙決定(8)未被濾色器陣列(6)罩覆的微影像區像素(i,j)之再聚焦影像RT；˙把再聚焦影像Ra,b和再聚焦影像RT組合，決定(9)色彩組成份RX；其中決定(9)對再聚焦影像RT實施權值(W)者。
  9. 一種光場資料獲取裝置，包括感測器(4)，感測器(4)包括至少一微影像區(5)，標定成感測被微透鏡陣列(3)折射之微影像，微影像區(5)係被濾色器陣列(6)至少部份罩覆，其中濾色器陣列(6)離微影像區(5)中心(xi,j,yi,j)愈遠，其色彩飽和即愈降低者。
  10. 一種電腦程式製品，可從通訊網路下載和/或錄製到可利用電腦讀取和/或利用處理器執行之媒體上，包括程式碼指令，以實施申請專利範圍第8項之方法者。
  11. 一種非暫態電腦可讀式載波媒體，包括錄製其上之電腦程式製品，能夠利用處理器運作，含有程式碼指令，以實施申請專利範圍第8項之方法者。
TW105119022A 2015-06-30 2016-06-17 標定成安裝在全光相機之感測器，被濾色器陣列部份罩覆的微影像區至少一個再聚焦影像色彩組成份之決定方法，光場資料獲取裝置，電腦程式製品，以及非暫態電腦可讀式載波媒體 TWI699117B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306053.8 2015-06-30
EP15306053.8A EP3113478A1 (en) 2015-06-30 2015-06-30 Plenoptic foveated camera

Publications (2)

Publication Number Publication Date
TW201713108A true TW201713108A (zh) 2017-04-01
TWI699117B TWI699117B (zh) 2020-07-11

Family

ID=53724155

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105119022A TWI699117B (zh) 2015-06-30 2016-06-17 標定成安裝在全光相機之感測器，被濾色器陣列部份罩覆的微影像區至少一個再聚焦影像色彩組成份之決定方法，光場資料獲取裝置，電腦程式製品，以及非暫態電腦可讀式載波媒體

Country Status (6)

Country Link
US (1) US9900582B2 (zh)
EP (2) EP3113478A1 (zh)
JP (1) JP6887223B2 (zh)
KR (1) KR20170003423A (zh)
CN (1) CN106331445B (zh)
TW (1) TWI699117B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102502452B1 (ko) * 2016-02-15 2023-02-22 삼성전자주식회사 이미지 센서 및 복원 이미지 생성 방법
US20170332000A1 (en) * 2016-05-10 2017-11-16 Lytro, Inc. High dynamic range light-field imaging
US10830879B2 (en) * 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
EP3486866A1 (en) 2017-11-15 2019-05-22 Thomson Licensing A method for processing a light field video based on the use of a super-rays representation
CN111670576B (zh) * 2017-12-05 2022-10-25 艾瑞3D有限公司 用于深度获取的光场图像处理方法
WO2019125349A1 (en) 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
EP3540499A1 (en) 2018-03-13 2019-09-18 Thomson Licensing Image sensor comprising a color splitter with two different refractive indexes
EP3540479A1 (en) 2018-03-13 2019-09-18 Thomson Licensing Diffraction grating comprising double-materials structures
EP3591700A1 (en) 2018-07-02 2020-01-08 Thomson Licensing Image sensor comprising a color splitter with two different refractive indexes, and different height
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
CN110595365B (zh) * 2019-09-19 2021-06-25 上海兰宝传感科技股份有限公司 一种减少激光三角位移传感器检测色差的自适应算法
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506619A (en) 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US6882364B1 (en) 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
US7012643B2 (en) * 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
SE0402576D0 (sv) * 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
JP2007311447A (ja) * 2006-05-17 2007-11-29 Sanyo Electric Co Ltd 光電変換装置
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
JP5239417B2 (ja) 2008-03-14 2013-07-17 凸版印刷株式会社 マイクロレンズアレイの製造方法及び濃度分布マスク及びその設計方法
US8358365B2 (en) * 2009-05-01 2013-01-22 Samsung Electronics Co., Ltd. Photo detecting device and image pickup device and method thereon
US8179457B2 (en) * 2009-06-23 2012-05-15 Nokia Corporation Gradient color filters for sub-diffraction limit sensors
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US8284293B2 (en) * 2010-07-07 2012-10-09 Aptina Imaging Corporation Image sensors with graded refractive index microlenses
JP5713816B2 (ja) * 2011-03-16 2015-05-07 株式会社東芝 固体撮像装置及びカメラモジュール
US20130076966A1 (en) * 2011-09-22 2013-03-28 John Norvold Border Digital imaging system with refocusable imaging mode
US8831377B2 (en) * 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US8948545B2 (en) * 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
JP5591851B2 (ja) * 2012-03-15 2014-09-17 株式会社東芝 固体撮像装置および携帯情報端末
US9300932B2 (en) 2012-05-09 2016-03-29 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
JP5537618B2 (ja) 2012-08-01 2014-07-02 キヤノン株式会社 撮像装置
JP2015060067A (ja) * 2013-09-18 2015-03-30 株式会社東芝 撮像レンズ及び固体撮像装置

Also Published As

Publication number Publication date
CN106331445B (zh) 2021-01-12
EP3113479B1 (en) 2020-10-21
TWI699117B (zh) 2020-07-11
JP6887223B2 (ja) 2021-06-16
JP2017017690A (ja) 2017-01-19
CN106331445A (zh) 2017-01-11
US9900582B2 (en) 2018-02-20
EP3113479A1 (en) 2017-01-04
EP3113478A1 (en) 2017-01-04
KR20170003423A (ko) 2017-01-09
US20170006278A1 (en) 2017-01-05

Similar Documents

Publication Publication Date Title
TWI699117B (zh) 標定成安裝在全光相機之感測器，被濾色器陣列部份罩覆的微影像區至少一個再聚焦影像色彩組成份之決定方法，光場資料獲取裝置，電腦程式製品，以及非暫態電腦可讀式載波媒體
CN107105141B (zh) 图像传感器、图像处理方法、成像装置和移动终端
CN102227746B (zh) 立体图像处理装置、方法和立体成像设备
CN105611124B (zh) 图像传感器、成像方法、成像装置及终端
US10334229B2 (en) Method for obtaining a refocused image from a 4D raw light field data using a shift correction parameter
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
JP5406151B2 (ja) ３次元撮像装置
CN102378015A (zh) 使用亮度和色度传感器的图像捕获
CN111201780B (zh) 成像装置和方法以及图像处理装置和方法
CN103098480B (zh) 图像处理装置及方法、三维摄像装置
CN107534718A (zh) 光场的元数据
JP5882789B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN104521231A (zh) 图像处理装置、摄像装置及图像处理装置的控制程序
US10366478B2 (en) Method and device for obtaining a HDR image by graph signal processing
US20190110028A1 (en) Method for correcting aberration affecting light-field data
US20210211580A1 (en) Phase detection autofocus (pdaf) optical system
CN109685853A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US9706186B2 (en) Imaging apparatus for generating parallax image data
CN103888663A (zh) 图像处理设备、图像拾取设备和图像处理方法
CN109151281A (zh) 一种获得深度信息的像素孔径偏移相机
US20210208482A1 (en) Phase detection autofocus (pdaf) optical system
JP2016099322A (ja) 撮像装置、撮像装置の制御方法およびプログラム
KR102354298B1 (ko) Qbc 패턴에 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법
JP2019191681A (ja) 画像処理装置、その制御方法およびプログラム