TW201537975A - 利用光場相機產生全景深影像的方法及光場相機 - Google Patents

Abstract

一種利用光場相機產生全景深影像的方法，該光場相機包括一主鏡頭、一具有多個微型鏡頭的微型鏡頭陣列、一感光元件及一影像處理單元，該方法包含下列步驟：(a)該主鏡頭收集來自於一場景之光場資訊，並使該光場資訊分別經由該等微型鏡頭成像在該感光元件的不同位置上以形成多個微影像；(b)該影像處理單元從每一微影像中選取相同之一特定位置上的一個像素之像素值、或該像素與其臨近像素之像素值的加權平均值；以及(c)該影像處理單元將該(b)步驟中所選取的該等像素值或該等加權平均值依據其所對應之微影像所在位置進行排列，進而產生該全景深影像。

Description

利用光場相機產生全景深影像的方法及光場 相機

本發明是有關於一種利用光場相機產生全景深影像的方法。

習知全景深的影像之製作方式，大多採用多種不同攝影條件進行拍攝所得的多張影像組合而成。所謂攝影條件係只由光圈、快門、焦距等參數組合而成，藉由改變攝影條件中的一或多個參數進而對同一場景拍攝出不同的多張影像，再透過清晰度判別方法來將這些影像組合成一張清晰的影像。

此外，在產生全景深影像的過程中，尚須藉由使用者根據經驗判斷被攝場景中各個物件分布，以決定需要拍攝多少不同攝影條件的影像。再者，拍攝完畢之後，使用者尚須對所選取的影像進行後製處理，例如透過電腦軟體的影像合成等，才能合成一張全景深影像。其平均總拍攝時間相當長，且繁複的過程對於使用者來說極為不便。現在已經有利用反運算的方式將影像製作成全景深照片，其技術是對影像中模糊的地區作銳化(de-convolution) 運算，不同模糊程度作不同程度的銳化，但此方式需要大量的運算，需要較長的運算時間。因此，上述習知之方法顯有可改進之處。

有鑑於此，本發明旨在提供一種利用光場相機產生全景深影像的方法，其不須透過後製並能節省總拍攝時間，且能有效率地降低產生全景深影像過程中之計算量。

因此，本發明之目的，即在提供一種利用光場相機產生全景深影像的方法，此方法可以在幾乎沒有或不需要任何計算的時間，即時得到全景深影像的照片。

於是本發明利用光場相機產生全景深影像的方法，該光場相機包括一主鏡頭、一具有多個微型鏡頭的微型鏡頭陣列、一感光元件及一影像處理單元，該方法包含下列步驟。

首先，該主鏡頭收集來自於一場景之光場資訊，並使該光場資訊分別經由該等微型鏡頭成像在該感光元件的不同位置上以形成多個微影像。

接著，該影像處理單元從每一微影像中選取相同之一特定位置上的一個像素之像素值、或該像素與其臨近像素之像素值的加權平均值。

繼而，該影像處理單元將選取的該等像素值或該等加權平均值依據其所對應之微影像所在位置進行排列，進而產生該全景深影像。

本發明之另一目的，即在提供一種快速即時產生全景深影像的光場相機。

該光場相機包含一主鏡頭、一微型鏡頭陣列、一感光元件及一影像處理單元。

該微型鏡頭陣列設置在該感光元件前方，並具有多個微型鏡頭，較佳的情況是，該等多個微型鏡頭的大小相等。

該主鏡頭設置在該微型鏡頭陣列前方，用於收集來自於一場景之光場資訊，並使該光場資訊分別經由該等微型鏡頭成像在該感光元件的不同位置上以形成多個微影像。

該影像處理單元用於從每一微影像中選取相同之一特定位置上的一個像素之像素值、或該像素與其臨近像素之像素值的加權平均值，並將所選取的該等像素值或該等加權平均值依據其所對應之微影像所在位置進行排列，進而產生該全景深影像。

1‧‧‧光場相機

100‧‧‧場景

11‧‧‧主鏡頭

12‧‧‧微型鏡頭陣列

13‧‧‧感光元件

14‧‧‧影像處理單元

2‧‧‧微影像

201~204‧‧‧像素

205~206‧‧‧像素

207‧‧‧像素

3‧‧‧全景深影像

41~46‧‧‧步驟

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一示意圖，說明本發明光場相機之一較佳實施例；圖2是一示意圖，說明本發明較佳實施例中，多個微影像及一全景深影像之一對應關係；圖3是一示意圖，說明本發明較佳實施例中，每一微 影像數量為偶數個時的一第一種態樣；圖4是一示意圖，說明本發明較佳實施例中，每一微影像數量為偶數個時的一第二種態樣；圖5是一示意圖，說明本發明較佳實施例中，每一微影像數量為奇數個時的態樣；以及圖6是一流程圖，說明本發明之利用光場相機產生全景深影像的方法之一較佳實施例。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1與圖2，本發明光場相機之較佳實施例，該光場相機1包含一主鏡頭11、一微型鏡頭陣列12、一感光元件13、一影像處理單元14及一影像合成單元15。

其中，該微型鏡頭陣列12係設置在該主鏡頭11及該感光元件13之間，並具有多個微型鏡頭；在本較佳實施例中，該等微型鏡頭以矩陣方式來進行排列，其數目一共為M×N個。

其中，該主鏡頭11用於收集來自於一場景100之光場資訊，並使該光場資訊分別經由該等微型鏡頭成像在該感光元件13的不同位置上以形成多個微影像2；在本較佳實施例中，每一微影像2具有多個像素並對應於每一微型鏡頭，且在較佳的情況下是，每一微影像2均具有相同的像素數目。

其中，該影像處理單元14用於從每一微影像2中選取相同對應之一特定位置上的一個像素值、或該像素與其臨近像素之像素值的加權平均值，並將選取的該等像素值或該等加權平均值依據其所對應之微影像2所在位置進行排列，進而產生該全景深影像3；在本較佳實施例中，該特定位置可為每一微影像2的任何一點像素中的其中一像素所在之位置，此外，由每一微影像中之不同特定位置的單一像素之像素值、或該像素與其鄰近像素之像素值的加權平均值所形成的全景深影像3即如不同視角的全景深影像3；因此，該特定位置係對應於k個視角中的其中一視角；其中，k為每一微影像2中的像素數目。

值得一提的是，上述原理係利用在每一微影像2中選取單一像素之像素值或該像素與其臨近像素之像素值的加權平均值之技術，如同模擬針孔(pinhole)成像概念，使其成像結果不但具有全景深的特性，且幾乎沒有或不需要任何演算法的計算時間進行再對焦(refocus)，並可即時得到一張全景深影像3的照片。也就是說，本發明乃是使用光場相機1的原始數據，自該等微影像2中選取相同對應位置的一個像素或該像素與其臨近像素之像素值的加權平均值來進行影像合成，而可以極快速地(例如在0.5秒或不到1秒內)並且幾乎不使用任何計算資源的情況下，就獲得該全景深影像3的照片，且具有一定高程度的解析度。而利用本發明的技術得到全景深影像3後，接著可以進行很多的應用(application)，包括利用此全景深影像3當 作媒介來計算其深度圖(depth map)等，任何光場相機的硬體，將會使用到這樣的軟體技術，因為可以在很短的時間做出全景深照片。

以下係以該影像處理單元14從每一微影像2中選取相同對應之該特定位置上的單一像素之像素值為例來說明。如圖2所示，假設每一微影像2分別具有25個像素；因此，若欲選擇觀看某一視角的全景深影像3時，則會有25個不同的視角可作為選擇，進而可透過該影像處理單元14分別選取該視角在每一微影像2中所對應相同位置的像素，來形成對應於該視角的全景深影像3。此外，如圖2可知，P、Q、R像素分別在不同的微影像2中之相同的相對位置上，假設P、Q、R像素在其所屬的微影像2中所在的該特定位置，係對應於所選定的第k個視角，而像素P、Q、R其分別所屬的該等微影像2係分別成像在感光元件13中的A、B、C三個位置上；因此，對應於該第k個視角之該全景深影像3，其像素p、q、r之所在位置則分別與像素P、Q、R其分別所屬的該等微影像2在該感光元件13中之成像相對位置相互對應，即，舉例來說，由於位於A位置的微影像2在位於B位置的微影像2之左方，因此，像素p則在像素q的左方，以此類推，位於A位置的微影像2在位於C位置的微影像2之上方，因此，像素p則在像素r的上方。其中，為了便於說明，圖2中只繪製了M×N個微影像中的部分的微影像2。

為了便於敘述，以下在圖3至圖5中將該等微 影像2分別編號為2a、2b、2c。

較佳地，若每一微影像2的像素數目為偶數個時，即每一微影像之水平及垂直方向像素的數目均為偶數個(如圖3所示之態樣)，亦或，在每一微影像之水平及垂直方向中，其中一個的像素數目須為偶數個且另一個的像素數目須為奇數個(如圖4所示之態樣)；在此情況下，該特定位置可為每一微影像2中之靠近中央之任一像素。

舉例來說，請參考圖3，假設該等微影像2a、2b、2c中水平與垂直方向的像素數目均為偶數個之情況時，該等微影像2a、2b、2c中靠近中央之任一像素則有四種選擇，即分別為靠近中央之左上方、右上方、左下方、右下方像素；其中，以選取靠近中央之左上方像素作為該特定位置為例，則分別為像素201a、201b、201c；其中，以選取靠近中央之右上方像素作為該特定位置為例，則分別為像素202a、202b、202c；其中，以選取靠近中央之左下方像素作為該特定位置為例，則分別為像素203a、203b、203c；其中，以選取靠近中央之右下方像素作為該特定位置為例，則分別為像素204a、204c、204c。

或者，舉例來說，請參考圖4，假設該等微影像2a、2b、2c中水平與垂直方向的像素數目，其中一個為偶數個且另一個為奇數個之情況時，該等微影像2a、2b、2c中靠近中央之任一像素則有二種選擇，以圖4為例，該等微影像2a、2b、2c中的水平方向像素數目為偶數個且垂直方向像素數目為奇數個，則可做為選項的像素則有靠近中 央之左邊像素與靠近中央之左邊像素；其中，以選取靠近中央之左邊像素作為該特定位置為例，則分別為像素205a、205b、205c；其中，以選取靠近中央之右邊像素作為該特定位置為例，則分別為像素206a、206b、206c；但不限於此，該等微影像2a、2b、2c水平方向像素數目亦可為奇數個且垂直方向像素數目亦可為偶數個。

較佳地，若每一微影像2的像素數目為奇數個時，即每一微影像之水平及垂直方向像素的數目均為奇數個(如圖5所示之態樣)；在此情況下，該特定位置可為每一微影像2中之中央像素，亦即為圖5中的像素207a、207b、207c。較佳地，每一微影像2中之中央像素或靠近中央之任一像素的光來自於主鏡頭11的中央部分。

其中，該影像處理單元14還可在產生該全景深影像3後，進一步利用一內插演算法以提高該全景深影像3之解析度，使其解析度由M×N放大至2M×2N；舉例來說，經由第一次內插後的該全景深影像3其解析度為(2M-1)×(2N-1)，接著可在內插後的該全景深影像3中複製其最上方或最下方的一列像素以使該垂直方向解析度擴大為2M列，再接著複製其最左側或最右側的一行像素以使該水平方向解析度擴大為2N行，但不限於此，甚至亦可藉由相同方式將該全景深影像3放大至4M×4N之解析度。

由於利用針孔成像所形成的該全景深影像3本身沒有模糊現象，故用內插的效果會很好，例如內插到寬高各兩倍或各四倍後，從肉眼視覺上來看就變得很犀利； 在本較佳實施例中，該內插演算法可為最鄰近內插法(Nearest-neighborhood interpolation)、雙線性內插法(Bilinear interpolation)及雙立方內插法(Bi-cubic interpolation)等等，但不限於此，其計算之細節係為熟習此項技術者所熟知，故不在此贅述。

其中，該全景深影像3在進行完內插處理後，該影像處理單元14還用以將內插後的全景深影像3進行銳化處理，並得到一銳化後之全景深影像3，以強化內插後的全景深影像3中的邊緣及輪廓，使該銳化後之全景深影像3具有更清晰的視覺效果。

請參閱圖1、圖2及圖5，上述之用於產生該全景深影像之光場相機可配合本發明產生全景深影像之方法的較佳實施例作說明，其步驟如下。

首先，如步驟41所示，該主鏡頭11收集來自於一場景100之光場資訊。

接著，如步驟42所示，該光場資訊分別經由該等微型鏡頭並成像在該感光元件13的不同位置上，進而形成多個微影像2。

接著，如步驟43所示，該影像處理單元14從每一微影像2中相同對應之一特定位置上選取一個像素之像素值、或該像素與其臨近像素之像素值的加權平均值；其中，該特定位置可為每一微影像2的任何一點像素中的其中一像素所在之位置，且係對應於k個視角中的其中一視角，其中，k為每一微影像2中的像素數目。

較佳地，若每一微影像2的像素數目為偶數個時，則該特定位置可為每一微影像2中之靠近中央之任一像素，以圖3之態樣為例，該特定位置可選取如像素201a~201c所構成群組、如像素202a~202c所構成群組、如像素203a~203c所構成群組、或如像素204a~204c所構成群組，上述四種群組中的其中一群組；或者，若以圖4之態樣為例，則可選取如像素205a~205c所構成群組、或如像素206a~206c所構成群組，上述二種群組中的其中一群組。

或者，較佳地，若每一微影像2的像素數目為奇數個時，則該特定位置為每一微影像2中之中央像素，如圖5中的像素207a~207c。

值得一提的是，若該影像處理單元14所選取像素值為該像素與其臨近像素之像素值的加權平均值時，則該像素為每一微影像2中相同對應之特定位置上的像素，其鄰近像素可為該像素之周圍上、下、左、右之鄰近像素，且該像素及其之鄰近像素權重值總和為1，但不限於此，該等鄰近像素的數量及該等權重值可依據需求不同而調整。

接著，如步驟44所示，該影像處理單元14將該步驟43中所選取的該等像素值或該等加權平均值依據其所對應之微影像2所在位置進行排列，進而產生該全景深影像3。

接著，如步驟45所示，該影像處理單元14利 用一內插演算法以提高該全景深影像3之解析度。

繼而，如步驟46所示，該影像處理單元14將提高完解析度的該全景深影像3進行銳化處理，以得到一銳化後之全景深影像3。

綜上所述，本發明藉由該影像處理單元14，可根據欲觀看的視角，從已成像在該感光元件13中的該等微影像2中分別選取對應該視角的單一像素之像素值或該像素與其臨近像素之像素值的加權平均值，進而形成對應該視角的全景深影像3，其產生全景深影像3的過程中，不須經由任何繁複的計算，亦不須拍攝多張不同焦距之影像，因此可以很有效率地省下大量的計算時間或拍攝時間；除此之外，由於本發明之技術可以很快速地產生多個不同視角的全景深影像3，繼而可進一步應用該等不同視角的全景深影像3來計算出深度圖(depth map)，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

41~46‧‧‧步驟

Claims (10)

1. 一種利用光場相機產生全景深影像的方法，該光場相機包括一主鏡頭、一具有多個微型鏡頭的微型鏡頭陣列、一感光元件及一影像處理單元，該方法包含下列步驟：(a)該主鏡頭收集來自於一場景之光場資訊，並使該光場資訊分別經由該等微型鏡頭成像在該感光元件的不同位置上以形成多個微影像；(b)該影像處理單元從每一微影像中選取相同對應之一特定位置上的一個像素之像素值、或該像素與其臨近像素之像素值的加權平均值；以及(c)該影像處理單元將該(b)步驟中所選取的該等像素值或該等加權平均值依據其所對應之微影像所在位置進行排列，進而產生該全景深影像。
2. 如請求項1所述的方法，其中，在該(b)步驟中，該特定位置為每一微影像的任何一點像素中的其中一像素所在之位置且係對應於k個視角中的其中一視角，其中，k為每一微影像中的像素數目。
3. 如請求項1所述的方法，其中，在該步驟(b)中，該特定位置為每一微影像中之中央像素或靠近中央之任一像素。
4. 如請求項1所述的方法，還包含該(c)步驟之後的一步驟(d)，該影像處理單元利用一內插演算法以提高該全景深影像之解析度。
5. 如請求項4所述的方法，還包含該(d)步驟之後的一步驟(e)，該影像處理單元將提高完解析度的該全景深影像進行銳化處理，以得到一銳化後之全景深影像。
6. 一種光場相機，包含：一感光元件；一微型鏡頭陣列，設置在該感光元件前方，並具有多個微型鏡頭；一主鏡頭，設置在該微型鏡頭陣列前方，用於收集來自於一場景之光場資訊，並使該光場資訊分別經由該等微型鏡頭成像在該感光元件的不同位置上以形成多個微影像；以及一影像處理單元，用於從每一微影像中選取相同對應之一特定位置上的一個像素之像素值、或該像素與其臨近像素之像素值的加權平均值，並將選取的該等像素值或該等加權平均值依據其所對應之微影像所在位置進行排列，進而產生該全景深影像。
7. 如請求項6所述的光場相機，其中，該特定位置為每一微影像的任何一點像素中的其中一像素所在之位置且係對應於k個視角中的其中一視角，其中，k為每一微影像中的像素數目。
8. 如請求項6所述的光場相機，其中，該特定位置為每一微影像中之中央像素或靠近中央之任一像素。
9. 如請求項6所述的光場相機，其中，該影像處理單元用於利用一內插演算法以提高該全景深影像之解析度。
10. 如請求項9所述的光場相機，其中，該影像處理單元用於將提高完解析度的該全景深影像進行銳化處理，以得到一銳化後之全景深影像。