TWI447469B - 計算攝像型數位相機 - Google Patents

Description

計算攝像型數位相機

本發明涉及一種數位相機，特別設計一種計算攝像型(computational photography)數位相機。

目前，數位相機多採用馬達驅動鏡頭變焦及/或對焦以獲得高清晰的圖像。然而，一方面，馬達大多結構複雜(如常見的音圈馬達包括有音圈、永磁元件及包履殼等元件)，不利於組裝，且體積較大，不利於數位相機的小型化。另一方面，近景拍攝時，鏡頭的景深較小，往往僅能實現單點對焦，圖像整體清晰度不理想。

為此，業界提出一種計算攝像型數位相機，其在成像光路加入特殊的光學元件，如編碼孔徑(coded aperture)、光罩(mask)，波前片(wavefront optical element)，以捕獲像側的四維光場(4-dimension light field)訊息，並對捕獲到的四維光場資訊進行後端數位對焦處理(digital refocusing)。如此，可獲得全對焦(all in focus)的圖像。

然而，特殊光學元件的製作工藝要求非常高，製作成本高。另外，在光路中加入編碼孔徑或光罩會引起光丟失(light loss)，導致圖像亮度不足。而在數位相機的光路中加入波前片，後端的數位對焦處理計算量非常大。

有鑒於此，有必要提供一種可實現全對焦且製作成本低的計算攝像型數位相機。

一種計算攝像型數位相機，其包括一鏡頭、一影像感測器、一液晶元件及一數位對焦處理器。該液晶元件設置於該影像感測器前，其上形成有一週期性圖案電極。該週期性圖案電極具有一週期性圖案電極函數。該影像感測器用於獲取經該鏡頭及該液晶元件的光場資訊以獲得一圖像函數。該數位對焦處理器包括一傅立葉變換器、一去卷積器、一反傅立葉變換器及一重對焦器。該傅立葉變換器用於對該週期性圖案電極函數及該圖像函數進行傅立葉變換以分別得到一週期性圖案電極頻域函數及一圖像頻域函數。該去卷積器用於對該圖像頻域函數進行去除該週期性圖案電極頻域函數的去卷積運算，以得到一本征圖像頻域函數。該反傅立葉變換器用於對該本征圖像頻域函數進行反傅立葉變換，以得到一本征圖像函數。該重對焦器用於依據該本征圖像函數確定該影像感測器上各點實現對焦的焦距，以實現該影像感測器的全對焦。

該計算攝像型數位相機採用該液晶元件作為特殊光學元件並利用該數位對焦處理器進行數位重對焦，可實現全對焦。由於液晶元件技術及行業成熟，該液晶元件易於製作，製作成本低。

請參閱圖1，本發明第一實施方式的計算攝像型數位相機100包括一鏡頭10、一影像感測器20、一液晶元件30及一數位對焦處理器40。

鏡頭10可以為簡單的定焦鏡頭，可僅包括鏡筒12及收容於鏡筒12內的鏡片14。優選地，鏡片14為非球面玻璃鏡片，以更好的傳遞物側的光場資訊至像側。本實施方式中，鏡頭10為變焦鏡頭，可實現近距拍攝及遠距拍攝。

一般地，遠景拍攝時，物距較大，對應地，景深非常大。一般認為此時拍攝物(圖未示)經鏡頭10可在影像感測器20上形成清晰的圖像，無須啟動液晶元件30及數位對焦處理器40。而近景拍攝時，物距較小，對應地，景深較小，一般無法實現拍攝物的全對焦(all in focus)。此時，有必要啟動液晶元件30及數位對焦處理器40，以進行數位重對焦(digital refocusing，詳參下文)。

影像感測器20可以為電荷耦合器(charge-coupled device, CCD)或互補金屬氧化物半導體(complementary metal-oxide semiconductor，CMOS)感測器。影像感測器20設置於鏡頭10的像側。優選地，影像感測器20設置於鏡頭10的像平面處。

請同時參閱圖2，液晶元件30為一液晶面板，其上形成有一週期性圖案電極32。液晶元件30靠近影像感測器20設置於鏡頭10與影像感測器20之間。另外，鏡頭10的光軸穿過週期性圖案電極32的中心與影像感測器20的中心。若以週期性圖案電極32的中心為原點，影像感測器20的寬度方向軸，影像感測器20的高度方向為軸，建立空間坐標系；週期性圖案電極32在軸的空間頻率為，週期性圖案電極32在軸的空間頻率為，則週期性圖像電極32的空間函數可表示為(1)。

可以理解，在近景拍攝時，若對週期性圖案電極32施加一電壓，週期性圖案電極32處的光學特性將發生變化。如，週期性圖案電極32處的折射率將變化為，其中，為液晶元件30的本征折射率，為施加電壓後週期性圖案電極32處的折射率變化量。如此，穿過週期性圖案電極32處的光線的光程發生變化。對應地，影響感測器20獲得的不再是平面(2-dimension)的光場資訊，而可以獲得四維光場資訊。如此，便可通過對四維光場資訊的處理，獲得全對焦圖像(詳參下文關於數位對焦處理器40得描述)。一般地，在空間坐標系上，液晶元件30的折射率可表示為(2)。

本實施方式的週期性圖案電極32為一連串同心圓環322，圓環322之間的間隔相同，內外徑差相等。當然，週期性圖案電極32並不限於本實施方式，可採用其他的週期性圖案電極，如圖3所示的矩形螺旋線324、圖4所示的圓斑陣列326及圖5所示的斜方斑陣列328。

數位對焦處理器40包括一傅立葉變換(Fourier transform)器42、一去卷積(deconvolution)器44、一反傅立葉變換(inverse Fourier transform)器46及一重對焦器(refocusing unit)48。

傅立葉變換器42用於在近景拍攝時對影像感測器20輸出的空間域上的圖像函數(振幅函數)進行傅立葉變換得到圖像函數的頻域函數，其中，，分別為頻域上軸及軸上的變數。具體地，依據傅立葉光學(Fourier optics)可得到：

(3)，

其中為虛數單位，為工作波長，為近景拍攝時對應影像感測器20上各點實現對焦的對應的焦距(即可記為)。

另外，傅立葉變換器42還用於對週期性圖像電極32的空間函數進行傅立葉變換得到週期性圖像電極32的頻域函數。一般地，為已知函數，因此，可得到確定的關於，的。

去卷積器44用於對進行去卷積運算。根據圖像處理原理可知應為空間域上的本征圖像函數與週期性圖像電極32的空間函數的卷積，即(4)。因此，根據數學理論可得：(5)，其中表示對進行傅立葉變換。如此，可推得對進行去除的去卷積運算為：(6)。依據圖像處理理論，對進行去除的去卷積運算相當於在頻域上將影像感測器20獲得的信號中關於週期性圖案電極32的信號濾除掉。

反傅立葉變換器46用於對進行反傅立葉變化以得到。由上各式，特別是(1)，(3)，(6)可得為帶有變數,,的函數。

重對焦器48用於確定影像感測器20上各點的以使對應點實現對焦。具體地，將各點的座標值代入便可得到。如此，通過計算各點的，便可得到全對焦的圖像。另外，通過計算點的的最大差異，還可得到全對焦情況下，圖像的景深。

計算攝像型數位相機100採用液晶元件30作為特殊光學元件並利用數位對焦處理器40進行數位重對焦，可實現全對焦。由於液晶元件技術及行業成熟，液晶元件30易於製作，製作成本低。另外，液晶元件30對光場的調製(code)是通過改變特定光線(穿過週期性圖案電極32的光線)的光程實現的，而非像編碼孔徑或光罩通過對特定光線的攔截實現，可避免光丟失，也不存在波前面調製(wavefront coding)引起的計算量過大的問題。

可以理解，液晶元件30的設置並不限於本實施方式，其可以設置於影像感測器20前的任意位置，如嵌設於鏡頭10內或設置於鏡頭10前。

綜上所述，本發明確已符合發明專利之要件，遂依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，自不能以此限制本案之申請專利範圍。舉凡熟悉本案技藝之人士援依本發明之精神所作之等效修飾或變化，例如該散射部可包括由複數第一條形凹槽圍成且分佈規律的格子圖案及沿該鏡片光軸向外呈放射螺旋狀的複數第二條形凹槽組成的螺旋圖案等，皆應涵蓋於以下申請專利範圍內。

100‧‧‧計算攝像型數位相機
324‧‧‧矩形螺旋線
10‧‧‧鏡頭
326‧‧‧圓斑陣列
12‧‧‧鏡筒
328‧‧‧斜方斑陣列
14‧‧‧鏡片
40‧‧‧數位對焦處理器
20‧‧‧影像感測器
42‧‧‧傅立葉變換器
30‧‧‧液晶元件
44‧‧‧去卷積器
32‧‧‧週期性圖案電極
46‧‧‧反傅立葉變換器
322‧‧‧同心圓環
48‧‧‧重對焦器

圖1為本發明第一實施方式的計算攝像型數位相機的示意圖。

圖2為圖1的計算攝像型數位相機的液晶元件的示意圖。

圖3為本發明第二實施方式的液晶元件的示意圖。

圖4為本發明第三實施方式的液晶元件的示意圖。

圖5為本發明第四實施方式的液晶元件的示意圖。

100‧‧‧計算攝像型數位相機

40‧‧‧數位對焦處理器

10‧‧‧鏡頭

42‧‧‧傅立葉變換器

12‧‧‧鏡筒

44‧‧‧去卷積器

14‧‧‧鏡片

46‧‧‧反傅立葉變換器

20‧‧‧影像感測器

48‧‧‧重對焦器

30‧‧‧液晶元件

Claims (10)

1. 一種計算攝像型數位相機，其包括一鏡頭及一影像感測器；其中，該計算攝像型數位相機還包括一液晶元件及一數位對焦處理器；該液晶元件設置於該影像感測器前，其上形成有一週期性圖案電極；該週期性圖案電極具有一週期性圖案電極函數；該影像感測器用於獲取經該鏡頭及該液晶元件的光場資訊以獲得一圖像函數；該數位對焦處理器用於包括一傅立葉變換器、一去卷積器、一反傅立葉變換器及一重對焦器；該傅立葉變換器用於對該週期性圖案電極函數及該圖像函數進行傅立葉變換以分別得到一週期性圖案電極頻域函數及一圖像頻域函數；該去卷積器用於對該圖像頻域函數進行去除該週期性圖案電極頻域函數的去卷積運算，以得到一本征圖像頻域函數；該反傅立葉變換器用於對該本征圖像頻域函數進行反傅立葉變換，以得到一本征圖像函數；該重對焦器用於依據該本征圖像函數確定該影像感測器上各點實現對焦對應的焦距，以實現該影像感測器的全對焦。
2. 如申請專利範圍第1項所述的計算攝像型數位相機，其中，該鏡頭為定焦鏡頭或變焦鏡頭。
3. 如申請專利範圍第1項所述的計算攝像型數位相機，其中，該鏡頭包括一鏡筒及設置於該鏡筒內至少一鏡片。
4. 如申請專利範圍第3項所述的計算攝像型數位相機，其中，該至少一鏡片包括至少一非球面玻璃鏡片。
5. 如申請專利範圍第1項所述的計算攝像型數位相機，其中，該影像感測器為電荷耦合器或互補金屬氧化物半導體感測器。
6. 如申請專利範圍第1項所述的計算攝像型數位相機，其中，該影像感測器設置於該鏡頭的像平面處。
7. 如申請專利範圍第1項所述的計算攝像型數位相機，其中，該液晶元件為一液晶面板。
8. 如申請專利範圍第1項所述的計算攝像型數位相機，其中，該液晶元件設置於該鏡頭與該影像感測器之間、該鏡頭內或該鏡頭前。
9. 如申請專利範圍第1項所述的計算攝像型數位相機，其中，該週期性圖案電極為多個同心圓環、矩形螺旋線、圓斑陣列或斜方斑陣列。
10. 如申請專利範圍第1項所述的計算攝像型數位相機，其中，該鏡頭的光軸穿過該週期性圖案電極的中心及該影像感測器的中心。