TWI690898B

TWI690898B - 影像合成方法

Info

Publication number: TWI690898B
Application number: TW107142112A
Authority: TW
Inventors: 張耀宗
Original assignee: 緯創資通股份有限公司
Priority date: 2018-11-26
Filing date: 2018-11-26
Publication date: 2020-04-11
Also published as: CN111225137B; CN111225137A; US10930016B2; US11367221B2; US20200167962A1; US20210142518A1; TW202020804A

Abstract

一種影像合成方法，包含以參考小光圈攝取第一影像；以參考大光圈攝取第二影像；根據第一影像的相應畫素與相鄰畫素以及第二影像的相應畫素，以得到參考色彩權重；根據所得到的參考色彩權重，查詢關係表以得到相應距離；根據所得到的相應距離及所期望的光圈，查詢關係表以得到相應色彩權重；及根據相應色彩權重，對第一影像的相應畫素及其相鄰畫素的色彩值作加權運算，以得到合成影像的相應畫素的色彩值。

Description

影像合成方法

本發明係有關一種影像處理，特別是一種影像合成系統與方法。

景深(depth of field, DOF)是指相機可以清楚成像的距離範圍，離開此範圍的物件則會逐漸模糊。景深可藉由調整光圈來決定。N(光圈值)=f(焦距)/D(光圈直徑)，也可表示為D=f/N，一般光圈值N可為1, 1.4, 2, 2.8, 4, 5.6, 8, 11等。縮小光圈(或者增加光圈值)會增加景深；相反的，增大光圈(或者減小光圈值)則會減少景深。例如，光圈值為4的相應光圈小於光圈值為2的相應光圈，但是前者的相應景深則大於後者的相應景深。

當拍攝遠處的風景時，一般會使用較小光圈以得到較大的景深。當拍攝近處的人物時，則會使用較大光圈以得到較小的景深。如此需不斷修正光圈，才能達到預想的效果，因此對於一般使用者會造成不便利性。淺景深效果可藉由軟體後製方式來得到，但是景深效果通常不夠真實。

因此亟需提出一種新穎的機制，以改善傳統影像拍攝的諸多缺點。

鑑於上述，本發明實施例的目的之一在於提出一種影像合成方法，用以實現不同景深的效果。

根據本發明實施例之一，影像合成方法包含提供關係表，其記載距離、光圈與色彩權重；以參考小光圈攝取第一影像；以參考大光圈攝取第二影像；根據第一影像的相應畫素與相鄰畫素的色彩值以及第二影像的相應畫素的色彩值，以得到參考色彩權重；根據所得到的參考色彩權重，查詢關係表以得到相應距離；根據所得到的相應距離及所期望的光圈，查詢關係表以得到相應色彩權重；及根據相應色彩權重，對第一影像的相應畫素及其相鄰畫素的色彩值作加權運算，以得到合成影像的相應畫素的色彩值。

根據本發明另一實施例，影像合成方法包含以第一光圈攝取第一影像；以第二光圈攝取第二影像，其中第二光圈大於第一光圈；根據第一影像與第二影像以得到相應畫素的色差；根據色差與第一影像的相鄰畫素，以得到相鄰畫素色彩權重；及提供相鄰畫素色彩權重與深度值的關係，並根據所得到的相鄰畫素色彩權重及該關係，以得到相應深度值。

本發明在於結合兩張不同光圈的景深照片，利用影像處理技術產生另外光圈下不同的景深效果的照片。依據本發明之一實施例，其技術如下：1.利用不同光圈大小，連續拍攝兩張不同光圈（景深）的照片，或同時拍攝兩張不同光圈的照片。2.得到兩張景深效果不同的照片，一張小光圈（大景深），一張大光圈（小景深）。3.依據兩張照片，得出對應畫素之色差，色差越小者，表示此畫素（Pixel）於對焦景深內，越接近影像之對焦處，因此雖於大光圈下，影像受旁邊畫素影響較小。色差越大者，表示此畫素於對焦景深外，越遠離影像之對焦處，因此於大光圈下，影像受旁邊畫素影響較大。當然，若是此畫素與相鄰畫素的顏色差距越大，所造成的色差也越大，若是此畫素與相鄰畫素的顏色差距較小，所造成的色差也較小，所以知道色差外，我們再根據相鄰畫素色彩資訊，可以得出相鄰畫素影響程度，根據此資訊，可以對此畫素做影像處理，實現不同光圈（景深範圍）的效果，其處理裝置及方法將於後說明。

第一圖顯示本發明第一實施例之影像合成方法100的流程圖，用以建立關係表。本實施例之影像合成方法100可使用單鏡頭影像系統200A或雙鏡頭影像系統200B來執行。第二A圖顯示本發明實施例之單鏡頭影像系統200A的系統方塊圖，第二B圖顯示本發明實施例之雙鏡頭影像系統200B的系統方塊圖。

如第二A圖所示，單鏡頭影像系統200A可包含影像攝取裝置201、處理器202、光圈控制裝置203及記憶單元204。影像攝取裝置201可包含二維相機，具有可變光圈，用以攝取二維影像。在一例子中，影像攝取裝置201係設於行動裝置(例如行動電話)內。此外，影像攝取裝置201還可包含快門、閃光或/且曝光補償機制，用以獲取清晰影像。處理器202執行控制程式，藉由光圈控制裝置203以調整影像攝取裝置201的光圈大小。此外，處理器202接收影像攝取裝置201所攝取的複數影像並進行影像處理。記憶單元204(例如動態隨機存取記憶體或靜態隨機存取記憶體)儲存影像攝取裝置201所攝取的複數影像、處理器202所執行的控制程式及處理後的影像。

如第二B圖所示，雙鏡頭影像系統200B可包含第一影像攝取裝置201A、第二影像攝取裝置201B、處理器202、第一光圈控制裝置203A、第二光圈控制裝置203B及記憶單元204。第一影像攝取裝置201A可包含二維相機，用以攝取影像。類似的情形，第二影像攝取裝置201B可包含二維相機，用以攝取影像。在一例子中，第一影像攝取裝置201A與第二影像攝取裝置201B係設於行動裝置(例如行動電話)內。此外，第一影像攝取裝置201A或第二影像攝取裝置201B還可包含快門、閃光或/且曝光補償機制，用以獲取清晰影像。處理器202執行控制程式，藉由第一光圈控制裝置203A、第二光圈控制裝置203B以分別調整第一影像攝取裝置201A、第二影像攝取裝置201B的光圈大小。此外，處理器202接收第一影像攝取裝置201A、第二影像攝取裝置201B所攝取的影像並進行影像處理。記憶單元204(例如動態隨機存取記憶體或靜態隨機存取記憶體)儲存第一影像攝取裝置201A、第二影像攝取裝置201B所攝取的影像以及處理器202所執行的控制程式及處理後的影像。在一例子中，第一影像攝取裝置201A與第二影像攝取裝置201B具有固定但相異的光圈。因此，雙鏡頭影像系統200B可省略第一光圈控制裝置203A與第二光圈控制裝置203B。

如第一圖所示的影像合成方法100，於步驟11，以基準小光圈(例如光圈值為11)攝取第一基準影像，且於步驟12，以基準大光圈(例如光圈值為4)攝取第二基準影像。其中，基準小光圈的光圈尺寸小於基準大光圈的光圈尺寸。在一實施例中，可使用第二A圖所示的單鏡頭影像系統200A連續執行步驟11與步驟12，但順序不限於第一圖所示。在另一實施例中，可使用第二B圖所示的雙鏡頭影像系統200B同時執行步驟11與步驟12。

接著，於步驟13，根據第一基準影像與第二基準影像的複數畫素位置，建立距離、光圈與色彩權重的關係表。在本實施例中，根據第一基準影像與第二基準影像的同一位置的畫素的色差，以表示與焦點的距離。當色差愈小，則愈接近焦點(亦即距離愈近)；反之，則愈遠離焦點(亦即距離愈遠)。

請參考第十圖、第十一圖及第十二圖及其相關說明，其中說明了相機成像的原理。由第十圖、第十一圖及第十二圖及其相關說明可知，若物體在焦距處其成像範圍僅會涵蓋一個畫素的話，則當物體在焦距之外時其成像範圍會較大而可能會涵蓋超過一個畫素，且當距離愈遠(亦即愈遠離焦點)時，則成像範圍會涵蓋到相鄰的畫素就愈廣。第三A圖例示當距離近而接近焦點時，成像範圍僅涵蓋一個畫素P _i,j(其中i ,j 代表畫素的位置座標)，形成清晰的影像，即第一基準影像。第三B圖例示當距離遠而遠離焦點時，成像範圍涵蓋到畫素P _i,j的相鄰畫素，形成模糊的影像，即第二基準影像。

當使用兩張照片P1及P2分別當作第一基準影像與第二基準影像，且其中的對應像素若是分別以P1ij與P2ij表示時，其色差是指兩者顏色差距，可以用各種不同的方式來界定，茲說明如下。在一實施例中，第一基準影像的畫素P1 _i,j與第二基準影像的畫素P2 _i,j的色差Δ(P1 _i,j,P2 _i,j)可表示如下：

其中，R1 _i,j, G1 _i,j, B1 _i,j分別為第一基準影像的畫素P1 _i,j的紅色值、綠色值、藍色值，R2 _i,j, G2 _i,j, B2 _i,j分別為第二基準影像的畫素P2 _i,j的紅色值、綠色值、藍色值，N代表補償值。

在一實施例中，若採用光圈固定模式，第一基準影像與第二基準影像於攝取時的快門與感光度相同，則前述補償值N表示基準大光圈與基準小光圈的入光量的比值。補償值N可表示為第二基準影像的光圈面積與第一基準影像的光圈面積的比值，亦即N=(第二基準影像的光圈面積/第一基準影像的光圈面積)。在另一實施例中，若採用光圈優先模式，第一基準影像與第二基準影像於攝取時的快門與感光度會作相應調整，則補償值N可設為1，亦即此時不需另作補償。

在一實施例中，補償值N可表示為第二基準影像的亮度平均值LP2與第一基準影像的亮度平均值LP1的比值，亦即N=LP2/LP1，LP2與LP1分別表示如下：

其中R1 _ave、G1 _ave、B1 _ave、R2 _ave、G2 _ave、B2 _ave分別代表相應原色(primary color)C的亮度平均值，可表示如下：

，C _k= R1 _k、G1 _k、B1 _k、R2 _k、G2 _k、B2 _k，n表示基準影像中之畫素個數

在另一實施例中，根據第一基準影像與第二基準影像同一位置的畫素的色差比(而非色差)，以表示距離。色差比可定義為第一基準影像的畫素P1 _i,j與第二基準影像的畫素P2 _i,j的色差Δ(P1 _i,j,P2 _i,j)與第一基準影像的畫素P1 _i,j的亮度LP1 _i,j的比值，亦即色差比=Δ(P1 _i,j,P2 _i,j)/(LP1 _i,j)，其中畫素P1 _i,j的亮度LP1 _i,j為個別R1 _i,j、G1 _i,j、B1 _i,j顏色亮度之平方和開方值，可表示如下：

在又一實施例中，另一種色差比定義可以是個別R、G、B顏色之色差比之平方和開方值，可表示如下：

在又一實施例中，係考量個別原色的色差，可表示如下式，其中N為光圈面積補償值；而當於再一實施例中而不考慮因光圈造成亮度差異時，則可將其中的補償值N設為1： R _i,j色差=R1 _i,j-R2 _i,j/N G _i,j色差=G1 _i,j-G2 _i,j/N B _i,j色差=B1 _i,j-B2 _i,j/N

由於造成顏色差異原因包括光圈、離對焦點距離、相鄰畫素色彩等之關係，因此要產生不同光圈的新照片，最重要是需要知道相鄰畫素色彩影響權重，若能得出影響權重，就能產生新光圈下的照片。

此外，色差比越大，表示此畫素受旁邊畫素影響越大，同時也是表示此畫素的顏色影響相鄰畫素顏色的比重也越高，因此可得如下結論：(1)同一畫素，光圈越大，此畫素受相鄰畫素影響越大，色差及/或色差比也越大；(2)同一畫素，離對焦點越遠，此畫素受相鄰畫素影響越大，色差及/或色差比也越大；(3)同一畫素，與相鄰畫素色彩差異越大，色差及/或色差比也越大。

再者，當光圈值越小，則光圈直徑越大，而此畫素受旁邊畫素影響越大，同時也表示此畫素的顏色影響相鄰畫素顏色的比重也越高；當光圈值越大，則光圈直徑越小，而此畫素受旁邊畫素影響越小，同時也表示此畫素的顏色影響相鄰畫素顏色的比重也越低。

一影像之畫素i,j在靠近對焦點時，因為其對應影像之點其光皆聚焦於此畫素上，並未影響相鄰畫素之色彩，且相對地，影像鄰近此畫素之點對此畫素也沒有影響。同時，這也表示在小光圈下，每一個畫素的顏色沒有受到鄰近畫素影響，亦即，在小光圈時，Pij = pij*1，其中Pij表示畫素ij之色彩資訊，pij表示在小光圈下之畫素ij之色彩資訊。

但是，在大光圈底下，每個畫素受其相鄰畫素影響會較大。在大光圈時，畫素Pij可能為下列各種情形，視其靠近或遠離對焦處而定。第四A圖、第四B圖、第四C圖與第四D圖例示在大光圈底下，每個離開對焦點的畫素Pij對相鄰畫素的影響的各種情形，如其中PA，PB，PC，PD等圖所示。

第四A圖中PA影像表示畫素Pij靠近對焦點，沒有影響相鄰畫素，也未受相鄰畫素影響。Pij = pij*N，其中N=大光圈與小光圈之亮度比。

第四B圖中PB影像表示畫素Pij離開對焦點，有影響相鄰畫素，同樣也受相鄰畫素影響。Pij = (pi-1,j +pi+1,j +pi,j-1 +pi,j+1)*0.1N +pij*0.6N，其中0.1N，0.6N只是一種因離開對焦處時造成顏色影響之權重比率描述，也可能是另外的權重值，可利用實驗取得。而各小光圈畫素對Pij 權重比率總合=(4)*0.1N+(1)*0.6N=100%N=N，亦即等於大光圈與小光圈之亮度比。換句話說，在不考慮因為大光圈與小光圈之亮度比的情況下，權重比率總合等於1。

第四C圖中PC影像表示畫素Pij更遠離對焦點，更影響相鄰畫素，同樣也更受相鄰畫素影響。Pij = (pi-1,j +pi+1,j +pi,j-1 +pi,j+1)*0.13N +(pi-1,j-1 +pi-1,j+1 +pi+1,j-1 +pi+1,j+1)*0.05N +pij*0.28N，其中0.13N，0.05N，0.28N是一種因遠離對焦處時造成顏色影響之ㄧ種權重比率描述，也可能是另外的權重值，可利用實驗取得。而各小光圈畫素對Pij 權重比率總合=(4)*0.13 N +(4)*0.05 N +(1)*0.28 N =100%N=N，亦即等於大光圈與小光圈之亮度比。而在不考慮因為大光圈與小光圈之亮度比的情況下，權重比率總合等於1。

第四D圖中PD影像表示畫素Pij又更遠離對焦點，又更影響相鄰畫素，同樣也又更受相鄰畫素影響。Pij = (pi-1,j +pi+1,j +pi,j-1 +pi,j+1)*0.14N +(pi-1,j-1 +pi-1,j+1 +pi+1,j-1 +pi+1,j+1)*0.06N +pij*0.20N，其中0.14N，0.06N，0.20N是另一種因遠離對焦處時造成顏色影響之ㄧ種權重比率描述，也可能是另外的權重值，可利用實驗取得。而各小光圈畫素對Pij 權重比率總合=(4)*0.14 N +(4)*0.06 N +(1)*0.20 N =100%N=N，亦即等於大光圈與小光圈之亮度比。而在不考慮因為大光圈與小光圈之亮度比的情況下，權重比率總合等於1。

第四E圖例示畫素p _i,j及其相鄰的畫素。由上述可知，在一實施例中，若以p _i,j表示第一基準影像的畫素(i,j)的色彩值，則第二基準影像的畫素(i,j)的色彩值P _i,j可表示為在第一基準影像中的相應畫素(i,j)及其相鄰畫素(p _i-1,j), (p _i+1,j), (p _i,j-1), (p _i,j+1), (p _i-1,j-1), (p _i-1,j+1), (p _i+1,j-1), (p _i+1,j+1)的加權和(weighted sum)，可表示如下： P _i,j=p _i,j*N1+(p _i-1,j+p _i+1,j+p _i,j-1+p _i,j+1)*N2+(p _i-1,j-1+p _i-1,j+1+p _i+1,j-1+p _i+1,j+1)*N3 (1) 其中N1、N2及N3代表色彩權重。而各小光圈畫素對Pij 權重比率總合= N1 +N2 +N3 =100%N=N，亦即等於大光圈與小光圈之亮度比；而在不考慮因為大光圈與小光圈之亮度比的情況下，色彩權重比率總合等於1。

上述相應畫素色彩權重N1係相關於畫素p _i,j，第一相鄰畫素色彩權重N2則相關於畫素p _i,j的左、右、下、上相鄰畫素(p _i-1,j), (p _i+1,j), (p _i,j-1), (p _i,j+1)，而第二相鄰畫素色彩權重N3係相關於畫素p _i,j的左下、左上、右下、右上相鄰畫素(p _i-1,j-1), (p _i-1,j+1), (p _i+1,j-1), (p _i+1,j+1)。在另一實施例中，可僅考量色彩權重N1與N2(亦即N3=0)。在本發明之一實施例中雖以左、右、下、上畫素作為相鄰畫素，然而相鄰畫素的位置與數目並不限定於所示，可依實際應用作調整。類似的情形，在本發明之另一實施例中是以左下、左上、右下、右上畫素作為另一種相鄰畫素。然而，相鄰畫素的位置與數目並不限定於以上各實施例所示，在本發明之又一實施例中，可依實際應用作調整。

以紅綠藍(RGB)色彩模型為例，根據第一基準影像的畫素(i,j)及相鄰畫素的色彩值與第二基準影像的畫素(i,j)的色彩值為已知，可求得色彩權重N1, N2及N3。亦即，Pij可由第二基準影像中得知，且pij, (pi-1,j), (pi+1,j), (pi,j-1), (pi,j+1), (pi-1,j-1), (pi-1,j+1), (pi+1,j-1), (pi+1,j+1)等9個色彩值可由第一基準影像中得知，而式子 Pij = pij*N1 +(pi-1,j +pi+1,j +pi,j-1 +pi,j+1)*N2 +(pi-1,j-1 +pi-1,j+1 +pi+1,j-1 +pi+1,j+1)*N3有三個數值N1、N2、N3需要求解，且第一基準影像中每一個畫素P都有三個顏色R、G、B，分別可得到一個方程式，故可解出N1、N2、N3。此外，在有些情況R、G、B並不只一組解，例如周遭顏色和此畫素一樣顏色，此時雖然無法得出唯一解，但在這種情形，任意選取一組也沒問題，因為在求取新光圈下的照片時，所合成出來的顏色不會有差異。另一個可行的方式，是參考此畫素縱向方向上方(或下方、或左方、或右方)的畫素之N1、N2、N3，如此循上（或循下、或循左、或循右）參考到邊界處顏色差異畫素，就可得解N1、N2、N3。

茲舉一例說明如下。請參考表一，在某一較大光圈下(例如大光圈：f/2) P2之畫素與小光圈下(例如小光圈f/8)P1之畫素間，於不同距離時之色差與色彩權重關係，由於相機及鏡頭設計會有差異，因此上述之色彩權重N1, N2, N3可以利用實驗來求取，其中色差比是用很小、小、小中、中、中大、大等文字描述。另外，色彩權重N1, N2, N3也可以利用設計資料來求取。表一

請參考表二，色差比也可以用數值方式呈現而分成數區，例如10％，20％，30％，40％，50％等。在介於這些已知色差比區段之間的其他色差比，則可以利用內插方式去得取對應之N1, N2, N3。例如15％就用10％，20％內差法求取，N1=0.58N, N2=0, N3=0.105N。表二

於建立了第一基準影像與第二基準影像之距離、光圈與色彩權重的關係表後，接著於步驟14，以異於基準小光圈及基準大光圈的第三光圈攝取第三基準影像。於步驟15，根據第一基準影像與第三基準影像的複數畫素位置，建立距離、光圈與色彩權重的關係表，其作法類似於步驟13。使用相異的第三光圈重複執行步驟14與步驟15，直到已達預設數量則結束流程，因而得到複數個相異的第三基準影像。第五圖例示本發明實施例之影像合成方法100所建立之距離、光圈與色彩權重的關係表，其中距離Z1至Z4由近至遠，光圈B至F由小至大。

第六圖顯示本發明第一實施例之影像合成方法600的流程圖，用以產生期望光圈的合成影像。於步驟61，以參考小光圈(例如光圈值為11)攝取第一影像，且於步驟62，以參考大光圈(例如光圈值為4)攝取第二影像。在一實施例中，可使用第二A圖所示的單鏡頭影像系統200A連續執行步驟61與步驟62，但順序不限於第六圖所示。在另一實施例中，可使用第二B圖所示的雙鏡頭影像系統200B同時執行步驟61與步驟62。

於步驟63，根據第一影像的相應畫素與相鄰畫素的色彩值以及第二影像的相應畫素的色彩值，以前述方法(如式子（1）)得到參考色彩權重。接著，於步驟64，根據(步驟63)所得到的參考色彩權重，查詢(第一圖所建立的)關係表(如第五圖所例示)以得到相應距離。

於步驟65，根據(步驟64)所得到的相應距離及所期望的光圈，查詢關係表以得到相應的色彩權重。如果相應距離介於關係表的兩個數據之間，可藉由內插法來得到相應的色彩權重。最後，於步驟66，根據(步驟65所得到)相應的色彩權重，據以對第一影像的相應畫素及其相鄰畫素的色彩值作加權運算而得到合成影像的相應畫素的色彩值，可表示如前述式(1)。

舉例而言，當有一畫素，根據上述方式求出在基準大光圈L(f/4)下之色彩權重為N1 _LZ2、N2 _LZ2、N3 _LZ2，並進而求出其所在位置距離於Z2處。若此時要產生的照片其光圈為f/2.8，則由第五圖得知所要的色彩權重為N1 _EZ2、N2 _EZ2、N3 _EZ2。依據基準小光圈下此畫素及相鄰畫素之色彩資訊及得到之權重資訊N1 _EZ2、N2 _EZ2、N3 _EZ2，可以得到所要光圈下之色彩資訊。依據本發明之一實施例，若所想要之光圈大於所建立之光圈時，則以上表中最大光圈F(f/2)替代。依據本發明之另一實施例，若所得到的色彩權重已經超上表中最大值時，則用最遠距離Z4替代。

第七圖顯示本發明第二實施例之影像合成方法700的流程圖。本實施例之影像合成方法700可使用單鏡頭影像系統200A(第二A圖)或雙鏡頭影像系統200B(第二B圖)來執行。

於步驟71，以第一光圈攝取第一影像，且於步驟72，以第二光圈攝取第二影像，其中第二光圈大於第一光圈。在一實施例中，可使用第二A圖所示的單鏡頭影像系統200A連續執行步驟71與步驟72，但順序不限於第七圖所示。在另一實施例中，可使用第二B圖所示的雙鏡頭影像系統200B同時執行步驟71與步驟72。第八圖例示第一影像P1的相應畫素P1 _ij與第二影像P2的相應畫素P2 _ij。

於步驟73，根據第一影像與第二影像以得到相應畫素的色差Δ(P1 _i,j,P2 _i.j)。第二影像的畫素P2 _i,j可表示為第一影像的相應畫素及其相鄰畫素的加權和，可表示如下： P2 _i,j=P1 _i,jxW1+P1' _i,jxW2 (2) 其中W1為相應畫素色彩權重，W2為相鄰畫素色彩權重，P1' _i,j代表畫素P1 _i,j之相鄰畫素的平均值，可表示如下： P1' _i.j=Ave(P1 _i-1,j,P1 _i+1,j,P1 _i,j-1,P1 _i,j+1) 其中Ave()代表平均值函數。

式(2)當中的相應畫素色彩權重W1類似於式(1)當中的相應畫素色彩權重N1，式(2)當中的相鄰畫素色彩權重W2類似於式(1)當中的相鄰畫素色彩權重N2。

色差Δ(P1 _i,j,P2 _i.j)可表示為Δ(P1 _i,j,P2 _i.j)=P2 _i,j-P1 _i,j，將式(2)代入可得到： Δ(P1 _i,j,P2 _i.j)=P1 _i,jx(W1-1)+P1' _i,jxW2

若採用光圈固定模式，於步驟71、步驟72攝取第一影像、第二影像時的快門與感光度相同，則W1可設為1，則色差可表示為： Δ(P1 _i,j,P2 _i.j)=P1' _i,jxW2 (3A)

若採用光圈優先模式，於步驟71、步驟72攝取第一影像、第二影像時有調整其他的補償機制(例如快門、感光度等)，則第二影像的畫素P2 _i,j與色差可表示為： P2 _i,j=P1 _i,jx(1/N)+P1' _i,jx(W2/N) Δ(P1 _i,j,P2 _i.j)=P1 _i,jx(1/N-1)+P1' _i,jx(W2/N) (3B) 其中N代表補償係數。

於步驟74，根據色差與第一影像的相鄰畫素平均色彩值(式(3A))，或者根據色差、相鄰畫素平均色彩值與第一影像的相應畫素的色彩值(式(3B))，以得到相鄰畫素色彩權重W2。

最後，於步驟75，藉由已知的相鄰畫素色彩權重與深度值(depth)關係(如第九圖例示的相鄰畫素色彩權重與深度值的關係曲線，其可由第一圖所得到之關係表轉換得到)，可根據(步驟74得到的)相鄰畫素色彩權重W2以得到相應深度值。深度值代表物體與相機之距離(亦即物距)。藉此，步驟71/72所得到的二維影像(例如第一影像)配合步驟75所得到的深度值，即可形成三維影像。例如，根據二維影像、深度值可得到視角差(disparity)，並可得到左影像與右影像。當左影像與右影像同時播放時，會顯現立體影像效果。如果(步驟74得到的)相鄰畫素色彩權重W2介於第九圖的兩個數據之間，可藉由內插法來得到相應深度值。

第十圖顯示相機成像示意圖，其中例示出一物體所在位置與焦距所在位置的相對位置對其成像的影響。第十圖中顯示有A、B、C三個在相機的同一方位(orientation)上但距離相機遠近不同的位置，其中A位於對焦距離處，B位於比A更接近鏡頭的位置，C位於比A更遠離鏡頭的位置。當一物體位於相機對焦處的點A時，拍攝時物體在感光裝置上會形成清楚影像。當物體位於比相機對焦處更接近相機處的點B時，此物體要在感光裝置後方才能聚集成清楚影像，因此其在感光裝置上會形成模糊不清楚影像。當物體位於比相機對焦處更遠離相機處的點C時，此物體要在感光裝置前方才能聚集成清楚影像，因此其在感光裝置上也會形成模糊不清楚影像。

第十一圖顯示相機成像示意圖，其中例示出光圈大小對一物體成像的影響。在第十一圖中顯示有在相機焦距以外的同一位置A處的物體(在這個例子中A處到相機的距離小於焦距)，利用三種不同的光圈大小L、M、S下在感光裝置上成像的結果，其中L＞M＞S。物體在大光圈L時，由於無法完全聚焦於感光裝置上，成像區域比較大些，這表示對鄰近畫素造成較多的顏色影響。物體在中光圈M時，也無法完全聚焦於感光裝置上，但比大光圈好些，成像區較小些，這表示對鄰近畫素造成稍小一些的顏色影響。物體在小光圈S時，由於能聚焦於感光裝置上，成像區域更小，這對鄰近畫素造成的顏色影響非常小。因此，大光圈下景深短，不在對焦處附近的物體，會呈現較大範圍的成像，進而影響相鄰畫素，形成模糊不清的影像。反之，小光圈下景深長，意思是即便是在距離對焦處較遠的物體，都可以形成清晰的影像。

第十二圖顯示相機成像示意圖，其中例示出在同一光圈下物體所在位置對成像的影響。第十二圖中，光圈是固定的，當物體在A處，距離鏡頭比對焦位置較近一些，在感光裝置上的成像如中央的小圓圈，而當物體在B處時，距離比A處更近鏡頭一些，在感光裝置上的成像如外圍的大圓圈。也就是說，距離對焦位置越遠(不管是越靠近鏡頭或越遠離鏡頭)，成像範圍就較大，更會影響相鄰畫素的顏色，影像也就越糢糊。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

100:影像合成方法 11:以基準小光圈攝取第一基準影像 12:以基準大光圈攝取第二基準影像 13:建立距離、光圈與色彩權重的關係表 14:以第三光圈攝取第三基準影像 15:建立距離、光圈與色彩權重的關係表 16:判斷是否已達預設數量 200A:單鏡頭影像系統 200B:雙鏡頭影像系統 201:影像攝取裝置 201A:第一影像攝取裝置 201B:第二影像攝取裝置 202:處理器 203:光圈控制裝置 203A:第一光圈控制裝置 203B:第二光圈控制裝置 204:記憶單元 600:影像合成方法 61:以參考小光圈攝取第一影像 62:以參考大光圈攝取第二影像 63:得到參考色彩權重 64:根據參考色彩權重查表以得到相應距離 65:根據期望光圈及相關距離查表以得到相應色彩權重 66:根據相應色彩權重以得到合成影像 700:影像合成方法 71:以第一光圈攝取第一影像 72:以第二光圈攝取第二影像 73:得到相應畫素的色差 74:得到相鄰畫素色彩權重 75:根據相鄰畫素色彩權重以得到深度值 P_i,j畫素 p_i-1,j-1~p_i+1,j+1畫素 Z1~Z4:距離 A~F:光圈 N1~N3:色彩權重 P1:第一影像 P2:第二影像 P1_i,j:畫素 P2_i,j:畫素 L、M、S:光圈大小 PA:影像 PB:影像 PC:影像 PD:影像

第一圖顯示本發明第一實施例之影像合成方法的流程圖。第二A圖顯示本發明實施例之單鏡頭影像系統的系統方塊圖。第二B圖顯示本發明實施例之雙鏡頭影像系統的系統方塊圖。第三A圖與第三B圖例示不同距離的相應成像範圍。第四A圖、第四B圖、第四C圖與第四D圖例示在大光圈底下，每個離開對焦點的畫素Pij對相鄰畫素的影響的各種情形。第四E圖例示畫素及其相鄰的畫素。第五圖例示本發明實施例之影像合成方法所建立之距離、光圈與色彩權重的關係表。第六圖顯示本發明第一實施例之影像合成方法的流程圖。第七圖顯示本發明第二實施例之影像合成方法的流程圖。第八圖例示第一影像的相應畫素與第二影像的相應畫素。第九圖例示相鄰畫素色彩權重與深度值的關係曲線。第十圖顯示相機成像示意圖，其中例示物體所在位置與焦距所在位置的相對位置對其成像的影響。第十一圖顯示相機成像示意圖，其中例示光圈大小對一物體成像的影響。第十二圖顯示相機成像示意圖，其中例示在同一光圈下物體所在位置對成像的影響。

600:影像合成方法

61:以參考小光圈攝取第一影像

62:以參考大光圈攝取第二影像

63:得到參考色彩權重

64:根據參考色彩權重查表以得到相應距離

65:根據期望光圈及相關距離查表以得到相應色彩權重

66:根據相應色彩權重以得到合成影像

Claims

一種影像合成方法，包含：提供一關係表，其記載距離、光圈與色彩權重；以一參考小光圈攝取一第一影像；以一參考大光圈攝取一第二影像；根據該第一影像的相應畫素與相鄰畫素的色彩值以及該第二影像的相應畫素的色彩值，以得到參考色彩權重；根據所得到的該參考色彩權重，查詢該關係表以得到相應距離；根據所得到的該相應距離及所期望的一光圈，查詢該關係表以得到相應色彩權重；及根據該相應色彩權重，對該第一影像的相應畫素及其相鄰畫素的色彩值作加權運算，以得到一合成影像的相應畫素的色彩值。
根據申請專利範圍第1項所述之影像合成方法，其中該第一影像與該第二影像係以單鏡頭影像系統依序攝取。
根據申請專利範圍第1項所述之影像合成方法，其中該第一影像與該第二影像係以雙鏡頭影像系統同時攝取。
根據申請專利範圍第1項所述之影像合成方法，其中該第二影像的相應畫素的色彩值表示為該第一影像的相應畫素及其相鄰畫素的加權和，其中該色彩權重包含一相應畫素色彩權重與至少一相鄰畫素色彩權重。
根據申請專利範圍第4項所述之影像合成方法，其中該第二影像的相應畫素P _i,j的色彩值表示為該第一影像的相應畫素p _i,j及其相鄰畫素的加權和，其表示如下: P _i,j=p _i,j*N1+(p _i-1,j+p _i+1,j+p _i,j-1+p _i,j+1)*N2+(p _i-1,j-1+p _i-1,j+1+p _i+1,j-1+p _i+1,j+1)*N3 其中N1代表該相應畫素色彩權重，N2與N3代表該相鄰畫素色彩權重。
根據申請專利範圍第1項所述之影像合成方法，其中該關係表的建立包含以下步驟：以一基準小光圈攝取一第一基準影像；以一基準大光圈攝取一第二基準影像；根據該第一基準影像與該第二基準影像的複數畫素位置，建立該關係表；以異於該基準小光圈及該基準大光圈的至少一第三光圈攝取至少一第三基準影像；及根據該第一基準影像與該至少一第三基準影像的複數畫素位置，建立該關係表。
根據申請專利範圍第6項所述之影像合成方法，其中該距離係以該第一基準影像與該第二基準影像之色差或色差比表示。
根據申請專利範圍第7項所述之影像合成方法，其中該第一基準影像的畫素P1 _i,j與該第二基準影像的畫素P2 _i,j的色差Δ(P1 _i,j,P2 _i,j)表示如下：
其中R1 _i,j, G1 _i,j, B1 _i,j分別為該第一基準影像的畫素P1 _i,j的紅色值、綠色值、藍色值，R2 _i,j, G2 _i,j, B2 _i,j分別為該第二基準影像的畫素P2 _i,j的紅色值、綠色值、藍色值，N代表補償值。
根據申請專利範圍第8項所述之影像合成方法，其中該補償值為該第二基準影像的光圈面積與該第一基準影像的光圈面積的比值。
根據申請專利範圍第8項所述之影像合成方法，其中該補償值為該二基準影像的亮度平均值與該第一基準影像的亮度平均值的比值。
根據申請專利範圍第7項所述之影像合成方法，其中該色差比定義為該第一基準影像的畫素P1 _i,j與該第二基準影像的畫素P2 _i,j的色差Δ(P1 _i,j,P2 _i,j)與該第一基準影像的畫素P1 _i,j的亮度LP1 _i,j的比值，表示如下：
其中R1 _i,j, G1 _i,j, B1 _i,j分別為該第一基準影像的畫素P1 _i,j的紅色值、綠色值、藍色值。
根據申請專利範圍第7項所述之影像合成方法，其中該色差比定義個別R、G、B顏色之色差比之平方和開方值，表示如下：
其中R1 _i,j, G1 _i,j, B1 _i,j分別為該第一基準影像的畫素P1 _i,j的紅色值、綠色值、藍色值，R2 _i,j, G2 _i,j, B2 _i,j分別為該第二基準影像的畫素P2 _i,j的紅色值、綠色值、藍色值，N代表補償值。
根據申請專利範圍第12項所述之影像合成方法，其中該補償值N為該第二基準影像的光圈面積與該第一基準影像的光圈面積的比值。
一種影像合成方法，包含以一第一光圈攝取一第一影像；以一第二光圈攝取一第二影像，其中該第二光圈大於該第一光圈；根據該第一影像與該第二影像以得到相應畫素的色差；根據該色差與該第一影像的相鄰畫素，以得到相鄰畫素色彩權重；及提供相鄰畫素色彩權重與深度值的關係，並根據所得到的該相鄰畫素色彩權重及該關係，以得到相應深度值。
根據申請專利範圍第14項所述之影像合成方法，其中該第一影像與該第二影像係以單鏡頭影像系統依序攝取。
根據申請專利範圍第14項所述之影像合成方法，其中該第一影像與該第二影像係以雙鏡頭影像系統依序攝取。
根據申請專利範圍第14項所述之影像合成方法，其中該第二影像的相應畫素的色彩值表示為該第一影像的相應畫素及其相鄰畫素的加權和，其中該色彩權重包含一相應畫素色彩權重與一相鄰畫素色彩權重。
根據申請專利範圍第17項所述之影像合成方法，其中該相鄰畫素色彩權重係根據該色差與該第一影像的相鄰畫素的平均值而得到。
根據申請專利範圍第18項所述之影像合成方法，其中該第二影像的相應畫素P2 _i,j的色彩值表示為該第一影像的相應畫素P1 _i,j及其相鄰畫素的平均值P1' _i,j的加權和，其表示如下： P2 _i,j=P1 _i,jxW1+P1' _i,jxW2 P1' _i.j=Ave(P1 _i-1,j,P1 _i+1,j,P1 _i,j-1,P1 _i,j+1) 其中W1為相應畫素色彩權重，W2為相鄰畫素色彩權重，Ave()代表平均值函數。
根據申請專利範圍第14項所述之影像合成方法，更包含：根據該第一影像及該深度值以得到一左影像與一右影像。