TW201524208A - 光場照相機及其電訊裝置 - Google Patents

光場照相機及其電訊裝置 Download PDF

Info

Publication number
TW201524208A
TW201524208A TW103138627A TW103138627A TW201524208A TW 201524208 A TW201524208 A TW 201524208A TW 103138627 A TW103138627 A TW 103138627A TW 103138627 A TW103138627 A TW 103138627A TW 201524208 A TW201524208 A TW 201524208A
Authority
TW
Taiwan
Prior art keywords
color filter
array
microlenses
microlens
light field
Prior art date
Application number
TW103138627A
Other languages
English (en)
Inventor
Valter Drazic
Neus Sabater
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of TW201524208A publication Critical patent/TW201524208A/zh

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/957Light-field or plenoptic cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

本案提供一種光場照相機,包括定焦透鏡(20)、小透鏡陣列(21)、感光器陣列(13),其中第一濾色器陣列(22)配置在該小透鏡陣列上,而第二濾色器配置在該感光器陣列(13)上。

Description

光場照相機及其電訊裝置
本發明係關於光場照相機用光學總成界域。
按照先前技術,已知場景的不同視圖,需要光場照相機(plenoptic camera,亦稱為light-field camera)。第1圖表示先前技術之此類光場照相機1。光場照相機1由與感光器陣列13(亦稱為影像感測器13)之透鏡配置所組成。感光器陣列13包括大量m的感光器131,132,133至13m,配置成X列Y行柵格,m相當於X乘Y。濾色器陣列(CFA)12配置在感光器陣列13上。CFA 12通常在感光器陣列上配置RGB(紅、綠、藍)濾色器,RGB配置採取Bayer濾波器鑲嵌(filter mosaic)。通常一濾色器(紅、綠或藍色濾色器)係按照預定圖型,與一感光器關聯,在Bayer濾波之例中,那圖型包括50%綠色、25%紅色和25%藍色,此圖型即稱為RGBG、GRGB或RGGB圖型。透鏡配置包括定焦透鏡10,亦稱為主透鏡,和小透鏡陣列11,包括複數n微透鏡111,112,11n,其中n係大於或等於2之正整數。微透鏡111,112,11n配置方式是,在光學上各與複數感光器關聯。光學上與一微透鏡關聯之感光器數,相當於光場照相機1拍攝場景之觀賞次數。欲得不同景觀,原影像(即感光器陣列13拍攝之色彩感測器資料)經解鑲嵌,再解多工化。解鑲嵌步驟後,在各視圖之各圖元位置獲得RGB影像資料值。
解鑲嵌和解多工化步驟會引起視圖串擾偽影和損失色彩資訊偽影(尤其是光學上與微透鏡關聯之圖元數為偶數時)。視圖上損失色彩資訊意味色成份RGB(即紅、綠或藍),在視圖上損失。因此,與微透鏡關係之圖元數,無論是偶數或奇數,視途會遭受到串擾和/或損失色彩資訊。
本發明之目的,在於克服先前技術此等缺點之一。
更具體言之,本發明之目的是在增進使用光場光學總成所拍攝場景之影像品質。
本發明係關於一種光場光學總成,包括定焦透鏡(primary lens)和小透鏡陣列(lenslet array),小透鏡陣列包括複數微透鏡,濾色器陣列是配置在小透鏡陣列上。
按照特殊特徵,濾色器陣列包括複數濾色器,複數濾色器是按照預定圖型,在光學上與複數微透鏡關聯,其方式是各單一濾色器與不同微透鏡呈光學關聯。
預定圖型宜使二綠色濾色器、一藍色濾色器和一紅色濾色器,分別與配置成二行二列之四個微透鏡集合的各微透鏡關聯。
按照特別特徵,複數微透鏡之一透鏡幾何形狀,是按照與微透鏡呈光學關聯之濾色器調節。
複數微透鏡之各微透鏡具有平面側和凸面側,小透鏡陣列具有第一側,稱為平面側,形成複數微透鏡之平面側;和第二側,稱為凸面側,形成複數微透鏡之凸面側,濾色器陣列係配置在第一側。
按照另一特徵,小透鏡陣列之第二側面朝定焦透鏡。
複數微透鏡的各微透鏡第一側和第二側均為凸面,小透鏡陣列有第一側,形成複數微透鏡之第一凸面側,和第二側,形成複數微透鏡之第二凸面側,小透鏡陣列之第二側朝向定焦透鏡,濾色器陣列配置在第一側。
按照特別特徵,複數微透鏡之各微透鏡均為圓形。
按照另一特徵,複數微透鏡之各微透鏡均為長方形或方形。
複數微透鏡之各微透鏡以六角形為宜。
本發明又關於包括光場光學總成之光場照相機。
按照良好特點,光場照相機包括感光器陣列,第二濾色器陣列配置在感光器陣列上。
光場照相機宜包括感光器陣列,包括複數感光器,複數感光器中至少二感光器與複數微透鏡之各微透鏡呈光學關聯。複數感光器之一群至少二感光器,與複數微透鏡之各微透鏡呈光學關聯;第二濾色器陣列包括複數第二濾色器,複數第二濾色器係按照預定圖型,與感光器群呈光學關聯,使各單一第二濾色器與不同群感光器呈光學關聯。
按照特殊特徵,在小透鏡陣列和感光器陣列間形成間隙。
按照又一特徵,在第一濾色器陣列和第二濾色器陣列間形成間隙。
按照另一特徵,濾色器陣列面向感光器陣列。
本發明又涉及包括光場照相機之電訊裝置。
3‧‧‧影像平面
8‧‧‧光場照相機
13‧‧‧感光器陣列
20‧‧‧定焦透鏡
21‧‧‧小透鏡陣列
22‧‧‧第一濾色器陣列
30‧‧‧平面
31,32,33‧‧‧微透鏡
40‧‧‧小透鏡陣列部份
41‧‧‧濾色器陣列部份
50,51‧‧‧光學相空間
61-66‧‧‧視圖
70,71‧‧‧感光器陣列
81‧‧‧第二濾色器陣列
91,92‧‧‧第二濾色器
93,94‧‧‧微透鏡
131,132,133...13m‧‧‧感光器
201‧‧‧光場光學總成
202‧‧‧照相機本體
211,212...21n‧‧‧微透鏡
221,222...22n‧‧‧第一濾色器
321-326‧‧‧光線
341-348‧‧‧點
351-356‧‧‧感光器
401-414‧‧‧微透鏡
411-424‧‧‧濾色器
500,504‧‧‧角度
501,505‧‧‧點
502,503,506,507‧‧‧濾色器
701-712‧‧‧微透鏡
811,812...81n‧‧‧第二濾色器
900,901‧‧‧光線
911-915,921-925‧‧‧感光器
第1圖表示先前技術之光場照相機;第2圖表示本發明特別具體例之光場光學總成;第3圖表示本發明特別具體例,第2圖之光線束通過光場光學總成,並產生場景的不同視圖;第4圖表示本發明特別具體例,與第2圖光場光學總成的小透鏡陣列關聯之濾色器陣列;第5A和5B圖表示本發明特別具體例,具有微透鏡的場景點與第2圖光場光學總成濾色器關聯之光學相空間表示法;第6圖表示本發明特別具體例,第3圖不同視圖一旦解多工化之表示法;第7A和7B圖表示本發明二特別具體例,第2圖光場光學總成之微透鏡配置;第8圖為本發明特別具體例之光場照相機;第9圖為第8圖所示本發明特別具體例光場照相機之詳圖。
本發明參照附圖說明即可更為明白,其他特點和優點即可清楚瞭解。
本發明茲參見包括定焦透鏡(亦稱主透鏡)和小透鏡陣列的光場光學總成特別具體例加以說明。主透鏡包括一或若干透鏡,而小透鏡陣列包括複數微透鏡,即至少二微透鏡。按照此特別具體例,第一濾色器陣列配置在小透鏡陣列上。
按照本原理之較佳具體例,第二濾色器陣列配置在包括上述光場光學總成的光場照相機之感光器陣列上。
須知「濾色器陣列配置在小透鏡陣列上」,意味濾色器陣列和小透鏡陣列並置。濾色器陣列可置於小透鏡陣列上,與小透鏡陣列面直 接接觸(即濾色器陣列與小透鏡陣列間直接接觸,在濾色器陣列和小透鏡陣列間無任何附加層),或是置於小透鏡陣列上,與小透鏡陣列面不直接接觸(即濾色器陣列和小透鏡陣列間不直接接觸,例如有一或數微米深的一或若干透明層,與濾色器陣列和/或小透鏡陣列關聯,把濾色器陣列與小透鏡陣列分開)。
須知「濾色器陣列配置在感光器陣列上」,意味濾色器陣列和感光器陣列並置。濾色器陣列係置於感光器陣列上,與感光器陣列面直接接觸(即濾色器陣列和感光器陣列間直接接觸,在濾色器陣列和感光器陣列間無任何附加層),或置於小透鏡陣列上,與感光器陣列面不直接接觸(即濾色器陣列和感光器陣列間不直接接觸,例如有一或數微米深的一或若干透明層,與濾色器陣列和/或感光器陣列關聯,把濾色器陣列與感光器陣列分開)。
把濾色器陣列配置在小透鏡陣列上,取代在感光器陣列上(一如先前技術所為),能夠減少視圖間串擾和/或損失色彩資訊,並增進影像品質,係場景使用光場光學總成之先決條件。把附加濾色器陣列配置在感光器陣列上,甚至更加減少視圖間串擾偽影。
第2圖表示本發明特別而非限制性具體例之光場光學總成201(亦稱為光場透鏡單位)。光場光學總成201包括定焦透鏡20,類似第1圖之定焦透鏡10。定焦透鏡20宜由一或以上透鏡元件形成。光場光學總成201亦包括小透鏡陣列21,包括至少二微透鏡211,212,21n。為說明起見,小透鏡陣列21顯示較少量微透鏡,但微透鏡數量可延伸到數千,甚1百萬或數百萬微透鏡。濾色器陣列22配置在小透鏡陣列21上。濾色器陣列22宜包括複數濾色器221,222,22n,例如3個濾色器,即例如一紅色濾色器、一綠色濾色器和一藍色濾色器。濾色器宜按照預定圖型配置,使各單一濾色器(即紅、綠或藍色)與不同微透鏡呈光學關聯。例如濾色器221(紅、綠或藍色)與微透鏡211呈光學關聯,濾色器222(紅、綠或藍色)與微透鏡212呈光學關聯,而濾色器22n(紅、綠或藍色)與微透鏡21n呈光學關聯。微透鏡與濾色器關聯,意味通過指定微透鏡之全部光線,亦通過與此指定微透鏡呈光學關聯之濾色器。濾色器就微透鏡之配置例,就第4圖詳述如下。
光場光學總成201宜形成適於與照相機本體202關聯之透鏡單位。照相機本體包括感光器陣列13,包括複數m感光器131,132,133至13m。各感光器相當於感光器陣列所拍攝場景的原影像之圖元,各圖元涵蓋場景之一部份(亦稱點)。為說明起見,感光器陣列13顯示較少量感光器131至13m。自然,感光器數不限於第2圖所示,而是可延伸到任何數量的感光器,例如數千或數百萬感光器,例如12.4兆圖元,一圖元相當於一感光器(例如相當於4088×3040圖元/感光器陣列)。為使光場光學總成201與照相機本體202關聯,光場光學總成201包括第一附件,而照相機本體包括第二附件,第一和第二附件相容。有賴第一和第二附件,光場光學總成201可截入照相機本體202內,或是光場光學總成201可與照相機本體202螺合。構成與照相機本體關聯的透鏡單位之此等第一和第二附件例,可參見日本專利申請案JP2013-105151A,公告於2013年5月30日。第一和第二附件構成方式為,光場光學總成201和照相機本體202一旦已放在一起,光場光學總成201和照相機本體202即形成一種光場照相機,在每次拍攝場景時,可拍攝到一場景之複數視圖。為此,感光器陣列13之複數感光器,可與小透鏡陣列22之各微透鏡221至22n呈光學關聯。例如,小透鏡陣列22之各微透鏡221至22n尺寸相當於2×1、4×4或10×10感光器之陣列。與單一微透鏡呈光學關聯的複數感光器之各感光器,可按照視圖角度,拍攝代表場景圖元之原資料,詳如參見第3和4圖所示。按照變化例,光場光學總成201和照相機本體202形成單一本體,並且可以組裝,不會拆散。
較佳方式是,小透鏡陣列21的各微透鏡都有平面側和凸面側。凸面側宜朝定焦透鏡定向,而相反側,即平面側,朝感光器陣列13。小透鏡陣列21之第一側稱為平面側,形成微透鏡211至21n之平面側。小透鏡陣列21之第二側稱為凸面側,形成微透鏡211至21n之凸面側。濾色器陣列22宜配置在小透鏡陣列21之第一側,小透鏡陣列21之第一側定向朝(或面朝)感光器陣列13。按照變化例,濾色器陣列22配置在小透鏡陣列21之第二側,即凸面側。按照變化例,小透鏡陣列21之各微透鏡形成二對立凸面側。小透鏡陣列21則包括二凸面側,濾色器陣列22係配置在定向朝(或面朝)定焦透鏡20之凸面側,或定向朝(或面朝)感光器陣列 13之凸面側上。
小透鏡陣列21的各微透鏡211至21n之幾何形狀,係按照與其光學關聯之濾色器調節。微透鏡之幾何形狀包括微透鏡凸面側的曲率半徑。則與紅色濾色器光學關聯之小透鏡陣列21的微透鏡,全部具有同樣的第一曲率半徑;與綠色濾色器光學關聯之小透鏡陣列21的微透鏡,全部具有同樣的第二曲率半徑,與第一曲率半徑不同;與藍色濾色器光學關聯之小透鏡陣列21的微透鏡,全部具有同樣的第三曲率半徑,與第一和第二曲率半徑不同。誠然,微透鏡之焦距,視透鏡之曲率半徑和光折射率二者而定,折射率因光的波長而定,光各成份(例如紅、綠、藍成份)之波長彼此不同。由於一微透鏡是與一特殊濾色器(例如紅、綠或藍色濾色器)光學關聯,故指定之微透鏡會使集中在濾色器的色彩周圍之光成份波長,通過指定之微透鏡(例如藍色濾色器關聯之微透鏡會使波長集中在藍色周圍),而指定微透鏡之曲率半徑宜適應與其關聯的濾色器之色成份。下式可用來為色成份計算最適合曲率半徑: 其中P為微透鏡功率;f為微透鏡焦距;n為透鏡材料之折射率;R1為最接近光源,即最接近定焦透鏡的透鏡表面之曲率半徑(有符號);R2為最遠離光源,即最接近感光器陣列的透鏡表面之曲率半徑;t為透鏡之厚度(相當於沿二表面頂點間微透鏡軸線之距離,即相當於沿微透鏡軸線之微透鏡最大厚度)。
按照變化例,與二不同濾色器(例如紅和藍色濾色器,或藍和綠色濾色器)光學關聯之微透鏡,全部具有同樣曲率半徑,而與其他濾色器(例如分別為綠色濾色器或紅色濾色器)光學關聯之微透鏡,具有曲率半徑與二不同濾色器之微透鏡作用者不同。按照另一變化例,小透鏡陣列21之全部微透鏡具有同樣幾何形狀(即同樣曲率半徑),無論其光學關聯之濾色器為何。此變化例之優點為微透鏡製法簡化,因微透鏡全部一致。
小透鏡陣列21是按照技術人員熟知之任何方法製造。小透 鏡陣列21係例如使用聚合物在玻璃上之措施製造,包含打印或複製過程,把小透鏡陣列21製成聚合物附在透明玻璃表面。小透鏡陣列之微透鏡例如使用照相平版術成型,以獲得適當曲率,尤其是在凸面側。小透鏡陣列21之一側,宜按照預定圖型塗以濾色器,如參照第4圖所述。濾色器陣列例如直接製造在小透鏡陣列上,例如以明膠染色、染色聚醯亞胺、加色聚醯亞胺和加色丙烯酸酯,以照相平版印刷和電極澱積法,或按照技術專家公知之任何方法施加。按照變化例,在濾色器陣列22上形成鈍化層,加以保護。按照變化例,濾色器陣列是與小透鏡陣列分別製造。按照此變化例,濾色器陣列22與小透鏡陣列21,例如利用黏合技術組裝。濾色器陣列22可直接置於小透鏡陣列上,即濾色器陣列22和小透鏡陣列之間可直接接觸。按照另一實施例,濾色器陣列置於小透鏡陣列上,不直接接觸,例如在濾色器陣列22和小透鏡陣列21間有一透明層。
小透鏡陣列21和感光器陣列13間宜形成間隙。當濾色器陣列22配置在小透鏡陣列21朝向感光器陣列13之側面,可知小透鏡陣列21和感光器陣列13間形成之間隙,是形成於濾色器陣列22和感光器陣列13之間。間隙可由空氣、折射率n之光學材料(例如玻璃層),或包括至少一層空氣層和至少一光學材料層之複數層所構成。使用玻璃層形成間隙之優點是,保持小透鏡陣列在每一位置與感光器陣列之距離相同,且可視需要縮短此距離。設d為小透鏡陣列輸出與感光器陣列間沿縱軸線之距離,在小透鏡陣列和感光器陣列間,有折射率n(n>1,例如n=1.5)的光學材料之一層,得以設定距離於d/n,不需修飾d。藉適用/修飾形成間隙的光學材料層折射率,即可適用/修飾代表小透鏡陣列和感光器陣列間距離之參數,不需修飾距離d。按照一具體例,小透鏡陣列21置設並調節至與感光器陣列13大約一焦距f(即焦距±5%),其f即為微透鏡之焦距。小透鏡陣列21聚焦在光場光學總成201的定焦透鏡20之影像平面,而小透鏡陣列21之微透鏡則聚焦無限遠。按照另一具體例,為提高或最大化空間解像度,即達成微透鏡影像更明銳、更高度空間解像度,微透鏡聚焦在利用光場光學總成201內側和小透鏡陣列21前方之定焦透鏡(即在小透鏡陣列21和定焦透鏡20間)產生的影像,代替聚焦在定焦透鏡本身上。按照此具體例,小透鏡陣列21可定位在與感光器陣列13距離大於f或小於f。例如,小透 鏡陣列21可位於與感光器陣列13距離4/3f,或f倍數之其他距離,例如0.5f、1.5f或3/4f。
第3圖繪示按照本發明特別且非限制性具體例,光線射束通過光場光學總成。第3圖表示有三道光線射束,分別通過三個微透鏡31,32,33,微透鏡31至33屬於小透鏡陣列21。通過微透鏡31,32,33之前,光線已通過定焦透鏡20。諸點P1 341,P2 342,P3 343,P4 344,P5 345,P6 346,P7 347和P8 348,相當於來自定焦透鏡(第3圖上未示)和影像平面3之光線間交叉。光線321,322,323,324,325,326通過微透鏡33,代表來自場景之光,其影像是以包括光場光學總成201之光場照相機拍攝,並在通過微透鏡33之前,通過定焦透鏡20。平面30代表第2圖所示感光器陣列13之平面。圖元351,352,353,354,355,356(各相當於感光器陣列之感光器),分別相當於諸點P3 343,P4 344,P5 345,P6 346,P7 347,P8 348,分別沿光線321,322,323,324,325,326通過微透鏡33之投射點。光線321與通過微透鏡33中心的水平線形成一角度θ1;光線322與通過微透鏡33中心的水平線形成一角度θ2;光線323與通過微透鏡33中心的水平線形成一角度θ3;光線324與通過微透鏡33中心的水平線形成一角度θ4;光線325與通過微透鏡33中心的水平線形成一角度θ5;而光線326與通過微透鏡33中心的水平線形成一角度θ6。各感光器351至356分別拍攝諸點343至348之影像資料,與諸點343至348之位置資料關聯,位置資料相當於與射到感光器351至356的光線321至326關聯之角度θ1至θ6。按照第3圖之非限制性具體例,經由不同微透鏡之若干角度,即6個角度θ1至θ6,可觀視到影像平面之相同點。影像平面同一點之視圖數,相當於與微透鏡呈光學關聯之感光器數。例如點P4 344是按照觀視角度θ2沿光線322透過微透鏡33,也按照觀視角度θ3沿光線327透過微透鏡32,按照觀視角度θ4沿光線328透過微透鏡31觀視,但也可按照觀視角度θ1、θ5和θ2,即使第3圖上未示。
當然,與微透鏡光學關聯之感光器數不限6個,第3圖是2D(即平面斷面圖)代表例。與微透鏡光學關聯之感光器數,可包括例如從2個感光器迄若干打,甚至一百或數百感光器,按照同樣觀視角度拍攝平面影像3的諸點影像資料之若干感光器,即屬於與同樣微透鏡光學關聯的感光器陣列同一行的感光器(或按照界定觀視角度所選協定之直列,即分別就水平 面或直立面而言),可按照同樣觀視角度,拍攝若干點之影像資料。
與微透鏡光學關聯的感光器數也不限整數,亦可延伸到非整數,例如X+1/2或X+1/3,其中X為整數。
第4圖繪示本發明特殊而非限制性具體例之濾色器陣列一部份41,與第2圖光場光學總成201的小透鏡陣列21之一部份40關聯。小透鏡陣列部份40包括14個微透鏡401至414,按照2列7行配置。第4圖所示濾色器陣列(CFA)部份41,相當於小透鏡陣列部份40。CFA部份41包括14個面積411至424,14個面積411至424各相當且關聯一不同之微透鏡401至414。按照第4圖之實施例,各微透鏡401至414具有四方形,各面積411至424具有同樣四方形,意即一面積411至424之表面與微透鏡401至414之表面一致。按照此具體例,微透鏡之全表面塗佈濾色器。第4圖CFA部份包括三個不同濾色器,例如紅色濾色器、綠色濾色器和藍色濾色器,按照預定圖型,使各單一濾色器與不同微透鏡光學關聯。濾色器和微透鏡光學關聯,意味通過指定微透鏡之全部光線,也通過與指定微透鏡光學關聯之濾色器。第4圖所示預定圖型,稱為RGGB圖型,代表「紅」「綠」「綠」「藍」圖型。誠然,對四色濾色器之區塊(或同等方式之四個微透鏡區塊,按照二列二行),例如濾色器411,418,412,419,左上濾色器411為「藍色」,右上濾色器418為「綠色」,左下濾色器412為「綠色」,而右下濾色器419為「紅色」。換言之,預定圖型使二綠色濾色器、一藍色濾色器和一紅色濾色器,分別與配置成二行二列的四個微透鏡集合之各微透鏡關聯。在全部濾色器陣列上四個濾色器之區塊(例如包含濾色器413,420,414,421之區塊;包含濾色器415,422,416,423之區塊),重複此預定圖型。若小透鏡陣列的微透鏡數為四的倍數,「藍色」濾色器涵蓋表面佔25%,「綠色」濾色器涵蓋表面佔50%,而「紅色」濾色器涵蓋表面佔25%。在各濾色器411至424上展示圖元陣列,對各濾色器而言,相當於與濾色器光學關聯的感光器投射在濾色器上。各圖元陣列宜具有同樣圖元數,包括6行L1至L6和6列C1至C6。同行圖元宜按照同樣觀視角度看/拍攝,L1行之圖元係按照相對於水平面的觀視角度θ1看(類似相對於直立面之C1),L2行之圖元係按照相對於水平面的觀視角度θ2看(類似相對於直立面之C2),L3行之圖元係按照相對於水平面的觀視角度θ3看(類似相對於直 立面之C3),L4行之圖元係按照相對於水平面的觀視角度θ4看(類似相對於直立面之C4),L5行之圖元係按照相對於水平面的觀視角度θ5看(類似相對於直立面之C5),而L6行之圖元係按照相對於水平面的觀視角度θ6看(類似相對於直立面之C6)。
當然,列數和行數不限於6,可包括2至例如10,20或50。預定圖型也不限於RGGB圖型。按照變化例,預定圖型可為RGBE圖型,綠色濾色器之一修飾成「翠綠」(為四色濾色器區塊);CYYM圖型,有一「青綠」濾色器、二「黃色」濾色器和一「紫紅」濾色器(為四色濾色器區塊);CYGM圖型,有一「青綠」濾色器、一「黃色」濾色器、一「綠色」濾色器和一「紫紅」濾色器;RGBW圖型,有一「紅色」濾色器、一「綠色」濾色器、一「藍色」濾色器和一「白色」濾色器,可能有若干配置(例如配置在四色濾色器區塊,「白色」為左上濾色器、「紅色」為右上濾色器、「藍色」為左下濾色器,而「綠色」為右下濾色器;或配置在4×4濾色器區塊,第一行為白色、藍色、白色、綠色,第一行下方之第二行為藍色、白色、綠色、白色,第二行下方之第三行為白色、綠色、白色、紅色,而第三行下方之第四行為綠色、白色、紅色、白色)。
微透鏡之形式也不限於四方形。微透鏡亦可採取長方形或任何其他形式。第7A和7B圖提供微透鏡可採取的形式之二不同實施例。
第7A圖繪示特別具體例第一非限制性微透鏡配置實施例,微透鏡具有的形式不同於方形。在第7A圖上,各微透鏡701至712為圓形,微透鏡701至712具有同樣半徑。為使小透鏡陣列涵蓋感光器陣列70最佳(其一部份如第7B圖所示),微透鏡701至712宜配置成梅花形,因此減少與微透鏡無光學關聯之感光器數量。一如第4圖具體例,微透鏡701至712按照預定圖型塗佈濾色器陣列。第7A圖所示圖型,相當於2×2微透鏡圖型,與RGGB圖型相當,即四個微透鏡區塊(或換言之,為四個濾色器區塊)配置成二行二列,與左上微透鏡701關聯之左上濾色器為「藍色」,與右上微透鏡702關聯之右上濾色器為「綠色」,與左下微透鏡704關聯之左下濾色器為「綠色」,而與右下微透鏡705關聯之右下濾色器為「紅色」。為每一區塊四個微透鏡,例如微透鏡707,708,710,711組成之區塊,重複此圖型,以涵蓋全部小透鏡陣列21。當然,預定圖型可為與RGGB圖型不 同之任何圖型,例如RGBE圖型、CYYM圖型、CYGM圖型或RGBW圖型,形成2×2微透鏡區塊或4×4微透鏡區塊。
第7B圖繪示特別具體例第二非限制性微透鏡配置實施例,微透鏡具有的形式不同於方形。在第7B圖上,各微透鏡711至714具有一致之六角形。為使小透鏡陣列涵蓋感光器陣列71最佳(其一部份如第7B圖所示),微透鏡701至712宜配置成梅花形,因此減少與微透鏡無光學關聯之感光器數量。與第7A圖配置相較之下,第7B圖配置優點是,在位於若干六角形微透鏡間之空間內,並無未被微透鏡覆蓋之感光器。一如第4圖具體例,微透鏡711至714按照預定圖型,塗佈濾色器陣列。第7B圖所示圖型相當於2×2微透鏡圖型,與RGGB圖型相當,即四個微透鏡區塊(或換言之,四個濾色器之區塊),以二行二列配置,與左上微透鏡711關聯的左上濾色器為「藍色」,與右上微透鏡712關聯的右上濾色器為「綠色」,與左下微透鏡713關聯的左下濾色器為「綠色」,而與右下微透鏡714關聯之右下濾色器為「紅色」。為小透鏡陣列的每一區塊四個微透鏡,重複此圖型,以涵蓋全部小透鏡陣列21。當然,預定圖型可為與RGGB圖型不同之任何圖型,例如RGBE圖型、CYYM圖型、CYGM圖型或RGBW圖型,形成2×2微透鏡區塊或4×4微透鏡區塊。
第5A和5B圖繪示光學相空間(optical phase space),按照本發明特別之非限制性具體例,表示場景諸點與第2圖光場光學總成的諸點和濾色器之關聯。
第5A圖顯示在光學相空間50(位置和角度)內,從點501 x0,y0到x0,y13(其座標以在感光器陣列之空間內表示),可由角度500和色彩RGB(不論紅、綠或藍色)看出。第5A圖繪示場景諸點501與微透鏡L01至L07(分別相當於第4圖微透鏡Lens01 401至Lens07 407)以及濾色器502和503間之關聯。濾色器502是平均灰調繪示,相當於與微透鏡L01,L03,L05,L07(在第4圖上分別標示401,403,405,407)關聯之濾色器「藍色」(即標示411,413,415,417)。濾色器503以灰調繪示,相當於與微透鏡L02,L04,L06(在第4圖上分別標示402,404,406)關聯之濾色器「綠色」(即標示412,414,416)。例如,x0,y0點以角度θ1通過透鏡L02所見為綠色圖元,同一點以角度θ3通過透鏡L01所見為藍色圖元;x0,y6點以角度θ1通過透鏡L05所見 為藍色圖元,以角度θ3通過透鏡L04所見為綠色圖元,而以以角度θ5通過透鏡L03所見為藍色圖元。
第5B圖顯示在光學相空間51(位置和角度)內,從點505x1,y0到x1,y13(其座標以在感光器陣列之空間內表示),可由角度504和色彩RGB(不論紅、綠或藍色)看出。第5B圖繪示場景諸點505與微透鏡L11至L17(分別相當於第4圖微透鏡Lens11 408至Lens17 414)以及濾色器506和507間之關聯。濾色器506以淺灰色繪示,相當於與微透鏡L11,L13,L15,L17(在第4圖上分別標示408,410,412,414)關聯之濾色器「綠色」(即標示418,420,422,424)。濾色器507以深灰色繪示,相當於與微透鏡L12,L14,L16(在第4圖上分別標示409,411,413)關聯之濾色器「紅色」(即標示419,421,423)。例如,x1,y0點以角度θ1通過透鏡L12所見為紅色圖元,同一點以角度θ3通過透鏡L11所見為綠色圖元;x1,y6點以角度θ1通過透鏡L15所見為綠色圖元,以角度θ3通過透鏡L14所見為紅色圖元,而以以角度θ5通過透鏡L13所見為綠色圖元。
第6圖繪示按照本發明特別之非限制性具體例,展示根據不同觀視角度θ1至θ6一旦解多工化之不同視圖61至66,不同視圖61至66之解多工化終究要收集圖元,屬於同樣觀視方向,即屬於同樣觀視角度θ1至θ6,除第5A和5B圖外為直線。視圖61包括按照觀視角度θ1所見之全部圖元;視圖62包括按照觀視角度θ2所見之全部圖元;視圖63包括按照觀視角度θ3所見之全部圖元;視圖64包括按照觀視角度θ4所見之全部圖元;視圖65包括按照觀視角度θ5所見之全部圖元;而視圖66包括按照觀視角度θ6所見之全部圖元。在第6圖清楚可見,各視圖61至66包括Bayer般表示法之全部所需色彩,不損失色彩資訊,即全部圖元均與紅、綠或藍色成份關聯,毫無例外,所有視圖均包括RGB成份,按照BCFA(Bayer濾色器陣列)組態配置:淺灰相當於「綠色」成份,中灰相當於「藍色」成份,而深灰相當於「紅色」成份,如第4,5A,5B,7A,7B圖所示。不論與微透鏡關聯的圖元/感光器數是偶數或奇數,所得全部視圖61至66的色彩全部配置成BCFA組態,而偶數圖元/感光器則無視圖串擾。
第8圖繪示按照本案原理具體例之光場照相機8。光場照相機8元件凡與第2圖光場照相機元件一致者,標示相同參照號碼。光場照 相機8的光場光學總成,宜與第二圖之光場光學總成一致。因此,光場照相機8包括定焦透鏡20,有至少二個微透鏡211,212,21n之小透鏡陣列21,配置在小透鏡陣列21上之第一濾色器陣列22,以及包括複數感光器131,132,133至13m之感光器陣列13。第二濾色器陣列81配置在感光器陣列13上。當第一濾色器陣列配置在小透鏡陣列21朝向感光器陣列13之側面時,第二濾色器陣列81宜配置在感光器陣列13朝向小透鏡陣列21或朝向第一濾色器陣列22之側面。當第一濾色器陣列22配置在小透鏡陣列21朝向感光器陣列13之側面時,在第二濾色器陣列81和小透鏡陣列21之間,或第二濾色器陣列81和第一濾色器陣列22之間,宜設有間隙。間隙可由空氣,或具有折射率n之光學材料(例如玻璃層),或包括至少一層空氣層和至少一光學材料層之複數層所組成。第二濾色器陣列81宜包括複數第二濾色器811,812至81n,正如第一濾色器陣列22,例如三個濾色器,即例如一個紅色濾色器、一個綠色濾色器和一個藍色濾色器。第二濾色器宜按照從第一濾色器形成第一濾色器陣列22所用已定圖型(即紅、綠、藍)配置。意即通過第一濾色器陣列22的第一濾色器(按照實施例為紅、綠或藍)之光線全部(或幾乎全部,即例如光線超過95%或超過98%),均通過色彩與第一濾色器陣列22之第一濾色器(即按照實施例分別為紅、綠或藍)相同的第二濾色器陣列81之第二濾色器。第一濾色器陣列22的色彩圖型與第二濾色器陣列81的色彩圖型間之如此連貫性,詳見第9圖。複數感光器之一組至少2個感光器,係與複數微透鏡之各微透鏡呈光學關聯。第二濾色器陣列81包括複數第二濾色器,複數第二濾色器係按已定圖型,與感光器組呈光學關聯,使各單一第二濾色器與不同組的感光器呈光學關聯。
第9圖按照本案原理之具體例,簡略繪示第一濾色器陣列22和第二濾色器陣列81間之關係。為指出與微透鏡陣列21的指定微透鏡93(或94)光學關聯的感光器陣列13之感光器組911至915(或921至925),繪示光線900(虛線)(或實線901)離開定焦透鏡20周緣,通過微透鏡93(或94)之光學中心。此等光線900(或901)在感光器陣列上形成之面積,相當於與微透鏡93(或94)光學關聯之感光器。此組感光器911至915(或921至925)與第二濾色器陣列81之第二濾色器91(或92)呈光學關聯,此第二濾色器91(或92)之色彩,和與微透鏡93(或94)關聯的第一濾 色器之色彩相同。因此,與指定微透鏡93(或94)光學關聯的感光器組之感光器,即覆蓋第二濾色器,其色彩和與指定微透鏡93(或94)光學關聯的第一濾色器陣列22之第一濾色器相同。為決定第二濾色器陣列81的各濾色器之色彩,對各第二濾色器重複同樣道理。意即第二濾色器陣列81的色彩圖型,與第一濾色器陣列22之色彩圖型相同。如此配置得以把可能通過微透鏡(因而通過第一濾色器陣列22關聯的濾色器),而誤擊到與此微透鏡無光學關聯的感光器組之感光器的光線濾除。誠然,若與舉例微透鏡關聯的濾色器之色彩,例如為紅色,則只有與紅色的濾色器關聯之感光器,會接收通過第一濾色器陣列22的紅色濾色器之光線。此舉即能減少視圖串擾之偽影。第9圖上只繪示第二濾色器陣列81之二個第二濾色器91,92,以求簡明。當然,第二濾色器數不限於2,宜等於第一濾色器陣列22的第一濾色器數量(亦等於小透鏡陣列21之微透鏡數),以涵蓋感光器陣列13之表面。
回到第4圖非限制性實施例,第一濾色器陣列22已決色彩圖型是RGGB圖型,對各四個濾色器區塊重複。此同樣圖型亦用來形成第二濾色器陣列81,此圖型之指定第二濾色器所涵蓋感光器,相當於投射在第一濾色器陣列22相對應第一濾色器上之感光器。以第一濾色器陣列22的第一濾色器411(藍色)為例,第二濾色器陣列的相對應第二濾色器會有同樣色彩(即按照第4圖實施例為「藍色」),而第二濾色器此「藍色」濾色器涵蓋之感光器組,會相當於投射在濾色器411上之感光器(如具有L1至L6行和C1至C6列的圖元柵格之圖元所示)。
第二濾色器陣列81的第二濾色器形式,宜與第一濾色器陣列的第一濾色器形式相同(例如方形、長方形或圓形)。按照變化例,第二濾色器陣列81的第二濾色器形式,可與第一濾色器陣列22的第一濾色器形式不同(第一濾色器陣列22的第一濾色器可為圓形,例如相當於微透鏡形式,而第二濾色器陣列81的第二濾色器可為方形)。
當然,視圖的圖元與色彩成份間之關聯,不限於BCFA組態,視濾色器在小透鏡陣列上之配置而定。使用濾色器含有不同於RGB之色彩成份,例如翠綠色、黃色或紫紅色,可得與RGB不同之色彩成份。
當然,本發明不限於前述具體例。
尤其是,本發明不系於光場光學總成,但可延伸至整合如此光場光學總成之任何裝置,例如包括感光器陣列之光場照相機,或包括感光器陣列之電訊裝置。
電訊裝置包含例如智慧型電話、智慧型手錶、圖板、電腦、行動電話、可攜式/個人數位助理器(PDA),以及便利終端使用者中間資訊通訊之其他裝置。
8‧‧‧光場照相機
13‧‧‧感光器陣列
20‧‧‧定焦透鏡
21‧‧‧小透鏡陣列
22‧‧‧第一濾色器陣列
81‧‧‧第二濾色器陣列
131,132,133...13m‧‧‧感光器
201‧‧‧光場光學總成
202‧‧‧照相機本體
211,212...21n‧‧‧微透鏡
221,222...22n‧‧‧第一濾色器
811,812...81n‧‧‧第二濾色器

Claims (14)

  1. 一種光場照相機(8),包括定焦透鏡(20)、小透鏡陣列(21)和感光器陣列(13),小透鏡陣列(21)包括複數微透鏡(211,212,21n),其特徵為,第一濾色器陣列(22)配置在該小透鏡陣列(21)上,而第二濾色器陣列(81)配置在該感光器陣列(13)上者。
  2. 如申請專利範圍第1項之光場照相機(8),其中第一濾色器陣列(22)包括複數第一濾色器(221,222,22n),複數第一濾色器(221,222,22n)係按照已定圖型與複數微透鏡(211,212,21n)光學關聯,使各單一之第一濾色器(221;222;22n)與不同微透鏡(211;212;21n)呈光學關聯者。
  3. 如申請專利範圍第2項之光場照相機(8),其中感光器陣列(13)包括複數感光器,複數感光器的一組(93,94)至少二個感光器(911,912,913,914,915)係與複數微透鏡之各微透鏡(93)光學關聯,且其中第二濾色器陣列(81)包括複數第二濾色器(91,92),複數第二濾色器(91,92)係按照該已定圖型,與感光器組(93,94)光學關聯,使各單一第二濾色器(91)與不同組之感光器(911至915)光學關聯者。
  4. 如申請專利範圍第2或3項之光場照相機(8),其中已定圖型使二綠色濾色器(412,418)、一藍色濾色器(411)和一紅色濾色器(419),分別與配置成二行二列的四個微透鏡集合(401,402,408,409)之各微透鏡關聯者。
  5. 如申請專利範圍第2或3項之光場照相機(8),其中該複數微透鏡(211,212,21n)之微透鏡幾何形狀,係按照與該微透鏡呈光學關聯之第一濾色器調節者。
  6. 如申請專利範圍第1至3項之任一項光場照相機(8),其中複數微透鏡(211,212,21n)之各微透鏡具有平面側和凸面側,小透鏡陣列(21)具有第一側,稱平面側,形成複數微透鏡之平面側,和第二側,稱凸面側,形成複數微透鏡之凸面側,第一濾色器陣列(22)係配置於該第一側者。
  7. 如申請專利範圍第6項之光場照相機(8),其中小透鏡陣列(21)之該第二側朝向定焦透鏡(20)者。
  8. 如申請專利範圍第1至3項之任一項光場照相機(8),其中複數微透鏡(211,212,21n)的各微透鏡之第一側和第二側二者均凸面,小透鏡陣列(21)具有第一側,形成複數微透鏡的第一凸面側,和第二側,形成複數微透鏡 的第二凸面側,小透鏡陣列(21)之第二側朝向定焦透鏡(20),濾色器陣列(22)係配置在該第一側上者。
  9. 如申請專利範圍第1至3項之任一項光場照相機(8),其中複數微透鏡之各微透鏡係圓型者。
  10. 如申請專利範圍第1至3項之任一項光場照相機(8),其中複數微透鏡之各微透鏡係長方型或方型者。
  11. 如申請專利範圍第1至3項之任一項光場照相機(8),其中複數微透鏡之各微透鏡係六角型者。
  12. 如申請專利範圍第1至3項之任一項光場照相機(8),其中在小透鏡陣列(21)和感光器陣列(13)間形成間隙者。
  13. 如申請專利範圍第11項之光場照相機(8),其中第一濾色器陣列(22)朝向第二濾色器陣列(81)者。
  14. 一種電訊裝置,包括申請專利範圍第1至3項之任一項光場照相機者。
TW103138627A 2013-11-08 2014-11-07 光場照相機及其電訊裝置 TW201524208A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP20130290275 EP2871830A1 (en) 2013-11-08 2013-11-08 Optical assembly for plenoptic camera

Publications (1)

Publication Number Publication Date
TW201524208A true TW201524208A (zh) 2015-06-16

Family

ID=49765421

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103138627A TW201524208A (zh) 2013-11-08 2014-11-07 光場照相機及其電訊裝置

Country Status (3)

Country Link
EP (1) EP2871830A1 (zh)
TW (1) TW201524208A (zh)
WO (1) WO2015067764A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3177011A1 (en) * 2015-12-02 2017-06-07 Thomson Licensing Acquisition device for a plenoptic camera and method of processing a raw image acquired with the acquisition device
US20210144313A1 (en) * 2019-11-09 2021-05-13 Microsoft Technology Licensing, Llc Logo camera
KR20210124807A (ko) * 2020-04-07 2021-10-15 에스케이하이닉스 주식회사 이미지 센싱 장치
GB202104485D0 (en) * 2021-03-30 2021-05-12 Cambridge Entpr Ltd Microscopic imaging method and apparatus

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4967873B2 (ja) * 2007-07-13 2012-07-04 ソニー株式会社 撮像装置
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
US8358365B2 (en) * 2009-05-01 2013-01-22 Samsung Electronics Co., Ltd. Photo detecting device and image pickup device and method thereon
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US9184199B2 (en) * 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
JP5627622B2 (ja) * 2012-03-15 2014-11-19 株式会社東芝 固体撮像装置および携帯情報端末
WO2013169671A1 (en) * 2012-05-09 2013-11-14 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation

Also Published As

Publication number Publication date
EP2871830A1 (en) 2015-05-13
WO2015067764A1 (en) 2015-05-14

Similar Documents

Publication Publication Date Title
CN103119516B (zh) 光场摄像装置和图像处理装置
JP6341969B2 (ja) 画像センサ構造
US9853073B2 (en) Image sensor for producing vivid colors and method of manufacturing the same
CN102625034B (zh) 图像拾取单元
CN103686102B (zh) 摄像装置以及摄像系统
US8854525B2 (en) Imaging device, imaging system, and imaging method
CN109716177B (zh) 用于色度分离的超表面透镜组件
JP6016396B2 (ja) 撮像素子および撮像装置
US20090219432A1 (en) Sensor with multi-perspective image capture
JP5001471B1 (ja) 撮像装置、撮像システム、及び撮像方法
US20110157451A1 (en) Imaging device
JP2013093554A (ja) 撮像素子および撮像装置
US10096636B2 (en) Light field imaging device and method for fabricating the same
TW201524208A (zh) 光場照相機及其電訊裝置
CN112219153B (zh) 包括具有两种不同折射率的颜色分离器的图像传感器
WO2015152423A1 (ja) 撮像素子、撮像装置および画像処理装置
US11844258B2 (en) Organic light-emitting diode display panel and display apparatus
KR20150130411A (ko) 자동입체 디스플레이 디바이스
CN107329267B (zh) 近眼显示器及近眼显示系统
JP2004085965A (ja) 立体撮像装置および立体表示装置
JP2006019627A (ja) 固体撮像素子
US9819924B2 (en) Image pickup element and image pickup apparatus
CN202221761U (zh) 一种改善定焦镜头成像清晰度的图像传感器
JP6232108B2 (ja) 撮像素子および撮像装置
TW202308373A (zh) 抑制耀斑影像感測器