TW201818353A - 虛擬物件之影像合成方法與裝置 - Google Patents

Abstract

一種虛擬物件之影像合成方法與裝置。此虛擬物件之影像合成方法包括提供場景的第一深度影像及此場景的第一二維影像；提供此虛擬物件的第二深度影像；根據此第一深度影像中的目標位置及此第二深度影像的基準點，調整此虛擬物件在此第一深度影像中的第二深度值；根據此第一二維影像的光源方向，調整後之第二深度值及此第一深度影像中的此目標位置的第一深度值，重繪此虛擬物件之第二二維影像；以及合成此第一二維影像及此第二二維影像。

Description

虛擬物件之影像合成方法與裝置

本揭露是有關於一種虛擬物件之影像合成方法與裝置。

將一個具深度資訊的虛擬物件放入影像中時，可以有兩種情況，一是放在深度影像(depth image)中，深度影像具有深度資訊以及正確的遠近空間感；另一是放在二維影像(2D image)中，因為二維影像是使用攝影機實際拍攝的畫面，故具有很好的畫質，無論是物體的邊界、顏色、光影變化，都與現實環境的表現相同。

但是在將具深度資訊的虛擬物件放入二維場景影像中時，由於二維場景影像沒有深度資訊，所以可能會出現對虛擬物件的立體感錯誤，或是具深度資訊的虛擬物件會蓋住應該在虛擬物件前方的物體。

如何能將具深度資訊的虛擬物件放入二維場景影像時，能夠考慮到二維場景影像的光影變化、空間感，以及物體被遮蔽的問題，同時能兼具畫面外觀的畫質，實為未來發展亟欲尋求突破的議題之一。

本發明之虛擬物件之影像合成方法與系統是以第一二維影像為背景，放入虛擬物件，在重繪虛擬物件時，同時考慮第一二維影像的光源分布、遮蔽效果，以及遠近空間感，提升虛擬物件呈現在場景中的真實度。

根據本發明之一實施例，提出一種虛擬物件之影像合成方法，包括以下步驟：提供場景的第一深度影像及此場景的第一二維影像；提供此虛擬物件的第二深度影像；根據此第一深度影像中的目標位置及此第二深度影像的基準點，調整此虛擬物件在此第一深度影像中的第二深度值；根據此第一二維影像的光源方向、調整後之第二深度值、以及此第一深度影像中的此目標位置的第一深度值，重繪此虛擬物件之第二二維影像；以及合成此第一二維影像及此第二二維影像。

根據本發明之另一實施例，提出一種虛擬物件之影像合成裝置，包括攝影機、物件提供單元、以及處理器。此攝影機用以提供場景之第一深度影像與場景之第一二維影像。此物件提供單元用以提供此虛擬物件之第二深度影像。此處理器包括深 度調整單元、光源提供單元、以及重繪單元。此深度調整單元用以根據此第一深度影像中的目標位置及此第二深度影像的基準點，調整此虛擬物件在第一深度影像中的第二深度值。此光源提供單元用以分析此第一二維影像之光源方向。此重繪單元用以根據調整後之第二深度值、此第一深度影像中的此目標位置之第一深度值，以及光源方向，重繪此虛擬物件之第二二維影像，並合成此第一二維影像及此第二二維影像。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉各種實施例，並配合所附圖式，作詳細說明如下：

100‧‧‧虛擬物件之影像合成裝置

110‧‧‧攝影機

120‧‧‧物件提供單元

130‧‧‧處理器

131‧‧‧深度調整單元

132‧‧‧光源提供單元

132A‧‧‧分群模組

132B‧‧‧計算模組

133‧‧‧重繪單元

RP‧‧‧基準點

D1‧‧‧第一深度影像

D2‧‧‧第二深度影像

D12‧‧‧合成後之深度影像

G1‧‧‧選取元件

G2‧‧‧第一判斷元件

G3‧‧‧分群元件

G4‧‧‧第二判斷元件

G5‧‧‧排除元件

G6‧‧‧第三判斷元件

I‧‧‧像素點之實際顏色的亮度

I1‧‧‧第一二維影像

I12‧‧‧合成後之二維影像

I2‧‧‧第二二維影像

I3‧‧‧第三二維影像

I4‧‧‧第四二維影像

L‧‧‧像素點之光源方向

N‧‧‧像素點之法向量

OL‧‧‧目標位置

S110、S120、S130、S140、S150‧‧‧流程步驟

ρ‧‧‧物體表面的反射率

λ‧‧‧環境均勻光的亮度

第1圖為根據本發明一實施例之虛擬物件之影像合成裝置的示意圖。

第2圖為根據本發明又一實施例之虛擬物件之影像合成裝置的示意圖。

第3圖為根據本發明一實施例之一種虛擬物件之影像合成方法之流程圖。

第4圖為根據第3圖之一種虛擬物件之影像合成方法之第一與第二二維影像、第一與第二深度影像、合成後之深度影像、目標位置、基準點、以及合成後之二維影像之範例示意圖。

第5圖為根據本發明一實施例之第一二維影像的光源方向之分析方法之流程圖。

第6圖為根據本發明一實施例之第一二維影像的分群步驟之流程圖。

第7圖為根據本發明一實施例之分群模組之示意圖。

第1圖為根據本發明一實施例之虛擬物件之影像合成裝置的示意圖。第2圖為根據本發明又一實施例之虛擬物件之影像合成裝置的示意圖。第1圖與第2圖的差異在於第2圖的光源提供單元132更包括一分群模組132A與一計算模組132B。第3圖為根據本揭露一實施例之一種虛擬物件之影像合成方法之流程圖。請同時參照第2圖與第3圖，虛擬物件之影像合成裝置100包括攝影機110、物件提供單元120、以及處理器130。攝影機110用以提供場景的第一深度影像D1與該場景的第一二維影像I1，例如是一單色相機、或彩色相機與紅外線照相機的結合，用以提供該場景的黑白影像、灰階影像或是彩色影像的第一二維影像I1，以及提供該場景的第一深度影像D1。物件提供單元120，用以提供該虛擬物件之第二深度影像D2，物件提供單元120例如是一光碟片、一隨身碟等。第二深度影像D2可以從該虛擬物件之第三二維影像I3產生一深度平面，並將第三二維影像I3貼在該深度平面上而得到。

處理器130包括深度調整單元131、光源提供單元132、以及重繪單元133。深度調整單元131用以根據該場景的第 一深度影像D1中的目標位置OL以及第二深度影像D2的基準點(reference point)RP，調整虛擬物件在第一深度影像D1中的一第二深度值。光源提供單元132用以分析第一二維影像I1之光源方向。重繪單元133用以根據調整後之第二深度值、目標位置OL在第一深度影像D1中的第一深度值、以及光源方向，重繪虛擬物件之第二二維影像I2，並合成第一二維影像I1及第二二維影像I2。處理器130用以進行各種程序，包括深度調整程序、光源提供程序、重繪程序，處理器130例如是一晶片、一電路、一電路板或儲存數組程式碼之記錄媒體。在第一深度影像D1中的目標位置OL與虛擬物件(在第二深度影像D2中)之基準點RP均可以由使用者指定或是預設值。

第4圖為根據第3圖之一種虛擬物件之影像合成方法，第一二維影像I1與第二二維影像I2、第一深度影像D1與第二深度影像D2、合成後之深度影像D12、目標位置OL、基準點RP、以及合成後之二維影像I12之範例示意圖。請同時參照第2~4圖，在步驟S110中，提供場景的第一深度影像D1及該場景之第一二維影像I1。在一實施例中，場景的第一深度影像D1與該場景之第一二維影像I1座標對應。在一實施例中，場景的第一深度影像D1與該場景之第一二維影像I1可由攝影機110提供。因為第一深度影像D1與第一二維影像I1之間的對應關係，使得重繪虛擬物件時，可以繪製出與第一二維影像I1相同角度的二維影像I2。當第一二維影像I1為複數個不同角度的二維影像時，在重繪 虛擬物件之第二二維影像步驟中，利用對應該些第一二維影像之攝影機參數，重繪複數個不同角度的此虛擬物件的第二二維影像。

在步驟S120中，提供此虛擬物件的第二深度影像D2。在步驟S130中，根據在第一深度影像D1中的目標位置OL及第二深度影像D2的基準點RP，調整此虛擬物件在第一深度影像D1中的第二深度值。在一實施例中，請參照第3圖，第一深度影像D1的深度值分布為0至255，場景(第一深度影像D1)中之目標位置OL之深度值為100；第二深度影像D2之深度值分布為0至20，此虛擬物件(在第二深度影像D2中)之基準點RP之深度值為10。深度調整單元131將第二深度影像D2放入第一深度影像D1時(如虛擬物件與場景的合成後之深度影像D12)，是將此虛擬物件(在第二深度影像D2中)之基準點RP對準場景(第一深度影像D1)中之目標位置OL，也就是將此虛擬物件(在第二深度影像D2中)之基準點RP之深度值由10調整為110。如此一來，此虛擬物件在場景(第一深度影像D1)中之深度值被更新為100至120。在此步驟完成時，此虛擬物件之遮蔽狀態也已確認，例如在合成後之深度影像D12中，此虛擬物件之局部已被電腦螢幕所遮蔽。

在步驟S120中，提供該虛擬物件之第二深度影像D2之步驟中，還可以包括提供複數個不同角度之虛擬物件的第四二維影像I4，並在重繪第二二維影像I2的步驟中，挑選預定角度的第四二維影像I4進行重繪。若無預定角度的第四二維影像I4，則 例如以內插方式產生預定角度的第四二維影像I4進行重繪。

在步驟S140中，根據第一二維影像I1的光源方向、調整後之第二深度值、以及目標位置OL的第一深度值，重繪虛擬物件之第二二維影像I2。該虛擬物件已被更新的一深度值在前述實施例中為110。場景(第一深度影像D1)中之目標位置OL之該深度值在前述實施例中為100。第一二維影像I1的光源方向在第4圖會詳細說明。

在步驟S150中，合成第一二維影像I1及第二二維影像I2，得到合成後之二維影像I12。當該虛擬物件之局部被第一二維影像I1的一物件(如第3圖中合成後之深度影像D12中之電腦螢幕)遮蔽時，重繪第二二維影像I2時，挖空該虛擬物件被遮蔽的部分(如第3圖中第二二維影像I2之左下方)。

第5圖為根據本發明一實施例之第一二維影像I1的光源方向之分析方法流程圖。請同時參照第2至5圖。處理器130之光源提供單元132用以分析第一二維影像I1之一光源方向。光源提供單元132更包括一分群模組132A與一計算模組132B。第一二維影像I1的光源方向之計算可以利用朗伯反射模型(Lambertian reflectance model)如公式(1)：I=ρλ(NL)

利用公式(1)計算第一二維影像I1的光源方向時，以一個像素點為基本計算單位，其中I代表一個像素點之實際顏色 的亮度(intensity)，可由攝影機110提供。N為一個像素點之法向量(surface normal)，ρ為物體表面的反射率(albedo of the surface)，λ則是環境均勻光的亮度(intensity of the illuminant)，而ρλ為像素點分群後的平均顏色。L為一個像素點之光源方向(lighting direction)。當計算第一二維影像I1的光源方向時，因為光源的位置固定，可將公式(1)對I微分，得到公式(2)：dI=d(ρλ(N．L))=ρλ(dN．L)

由此可知，物體表面的法向量可作為物體表面顏色變化的基準。因為公式(2)中只有L為未知，因此可以求出每一像素點之光源方向。

進一步說明，在計算第一二維影像I1的光源方向時，分群模組132A根據第一二維影像I1，對第一二維影像I1的各像素點的實際顏色進行分群。計算模組132B根據第一深度影像D1，獲得第一二維影像I1中各像素點的法向量N。在計算各像素點的法向量N時，在一實施例中，可先將第一深度影像D1轉為立體的三角網格(3D triangular mesh)，對各像素點之三角網格計算法向量N。計算模組132B計算分群後各群組的一平均顏色ρλ。計算模組132B更根據各像素點的法向量N、各像素點的實際顏色I、以及各群組的平均顏色ρλ，計算各像素點之光源方向L，並加總第一二維影像I1的所有像素點之該些光源方向後平均，得到第一二維影像I1的所有像素點之該些光源方向之一平均值，作為第一二維影像I1之一光源方向。

第6圖為本發明一實施例之第一二維影像I1的分群步驟之流程圖。第7圖為根據本發明一實施例之分群模組之示意圖。請同時參照第1至7圖。分群模組132A包括選取元件G1、第一判斷元件G2、分群元件G3、第二判斷元件G4、排除元件G5、第三判斷元件G6。分群模組132A執行之分群步驟如下。在一實施例中，選取元件G1選取第一二維影像I1中的一尚未被分群之像素點。第一判斷元件G2搜尋該像素點周圍之複數個其他像素點，判斷這些其他像素點之顏色是否與該像素點之顏色相近。舉例而言，第一判斷元件G2對選取的該像素點搜尋最接近該像素點的8個像素點(該像素點與其周圍像素點構成3乘3的四邊形)。當這些其他像素點之顏色與該像素點之顏色相近，分群元件G3則將這些其他像素點與該像素點分為同一群組。第二判斷元件G4判斷周圍是否還有尚未被搜尋之其他像素點。若沒有尚未被搜尋之其他像素點，排除元件G5則在該群組內進行排除極端顏色之像素點；若有尚未被搜尋之其他像素點，則第一判斷元件G2再次進行搜尋該像素點周圍之複數個其他像素點，判斷這些其他像素點之顏色是否與該像素點之顏色相近。若第一判斷元件G2判斷這些其他像素點之顏色與該像素點之顏色不相近，則第二判斷元件G4進行判斷周圍是否還有尚未被搜尋之其他像素點。第三判斷元件G6判斷是否第一二維影像I1中的所有像素點都已經被分群？若所有像素點都已經被分群，則結束分群步驟，若仍有像素點尚未被分群，則重新回到選取元件G1選取該第一二維影像I1中的一尚未被分群像素點之步驟。

進一步說明如何在群組內進行排除極端顏色之像素 點。針對每一群組內的像素，對顏色與像素點數量進行一統計分析。在一實施例中，將場景之第一二維影像I1的各像素點的實際顏色以三原色：紅色、藍色、綠色表示，對群組內的紅色、藍色、綠色分別繪製像素點之數量對應三種顏色強度的分布圖，分別計算三種顏色之標準差。判斷是否該群組內有像素點的紅色、藍色、綠色之其中一顏色超過該對應顏色之一預設值。舉例而言，在一群組之像素點數量與紅色強度分布圖中，可以得到像素點數量與紅色強度分布圖之標準差。在一實施例中，若一像素點在顏色強度的分布圖中的落點位置超過兩倍標準差，則該像素點為極端顏色之像素點，可以將該像素點排除在該群組之外。一像素點在三原色的分布位置可能會不同，在一實施例中，當一像素點的紅色、藍色、綠色之其中一種顏色超過該對應顏色之兩倍標準差，則將該像素點排除在該群組之外。在一實施例中，對應顏色之預設值為該對應顏色在該同一群組內之N倍標準差，N大於0的有理數。在另一實施例中，可以是當一像素點的紅色、藍色、綠色之其中兩種顏色超過該對應顏色之兩倍標準差，才被排除。被排除後的像素點，會重新進行分群。

在實際應用上，本發明之虛擬物件之影像合成方法與裝置除了可以應用於醫療手術，或是擴增實境(Augmented Reality，AR)遊戲。也可以應用在房屋仲介業者銷售展示新屋，或是室內設計業者展示家具實際放入屋內的視覺效果。

本發明之虛擬物件之影像合成方法與系統是以第 一二維影像為背景，放入虛擬物件，在重繪虛擬物件時，同時考慮第一二維影像的光源分布、遮蔽效果、以及遠近空間感，提升虛擬物件呈現在場景中的真實度。

綜上所述，雖然本揭露已以各種實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (23)

1. 一種虛擬物件之影像合成方法，包括：提供一場景的一第一深度影像及該場景的一第一二維影像；提供該虛擬物件的一第二深度影像；根據該第一深度影像中的一目標位置及該第二深度影像的一基準點，調整該虛擬物件在該第一深度影像中的一第二深度值；根據該第一二維影像的一光源方向、調整後之第二深度值、以及該第一深度影像中的該目標位置的一第一深度值，重繪該虛擬物件的一第二二維影像；以及合成該第一二維影像及該第二二維影像。
2. 如申請專利範圍第1項所述之虛擬物件之影像合成方法，其中重繪該虛擬物件之該第二二維影像的步驟更包括：當該虛擬物件的局部被該第一二維影像的一物件遮蔽時，重繪該第二二維影像時，挖空該虛擬物件被遮蔽的部分。
3. 如申請專利範圍第1項所述之虛擬物件之影像合成方法，其中該場景之該第一二維影像為複數個不同角度的二維影像。
4. 如申請專利範圍第3項所述之虛擬物件之影像合成方法，其中在重繪該虛擬物件之該 第二二維影像步驟中，利用對應該些第一二維影像之攝影機參數，重繪複數個不同角度的該虛擬物件的第二二維影像。
5. 如申請專利範圍第1項所述之虛擬物件之影像合成方法， 其中當提供該虛擬物件之該第二深度影像之步驟中，還包括提供複數個不同角度之該虛擬物件的第四二維影像，並在重繪該虛擬物件之該第二二維影像的步驟中，挑選預定角度的該些第四二維影像進行重繪。
6. 如申請專利範圍第5項所述之虛擬物件之影像合成方法，其中該預定角度的該些第四二維影像，是以內插方式產生。
7. 如申請專利範圍第1項所述之虛擬物件之影像合成方法，其中該光源方向之分析方法包括：根據該場景之該第一深度影像，獲得該第一二維影像中各像素點的一法向量；根據該場景之該第一二維影像，獲得該像素點的一實際顏色；對該像素點的該實際顏色進行分群；計算分群後各群組的一平均顏色；根據該像素點的法向量、該像素點的該實際顏色、以及該群組的平均顏色，計算該像素點之一光源方向；以及加總該第一二維影像的所有像素點之該些光源方向後平均，得到該場景之該第一二維影像的所有像素點之該些光源方向的一平均值，作為該第一二維影像的該光源方向。
8. 如申請專利範圍第7項所述之虛擬物件之影像合成方法，其中對該像素點的該實際顏色進行分群之步驟包括：選取該第一二維影像中的一尚未被分群之像素點； 搜尋該像素點周圍之複數個其他像素點，判斷該些其他像素點之顏色是否與該像素點之顏色相近；若該些其他像素點之顏色與該像素點之顏色相近，則分為同一群組；判斷周圍是否還有尚未被搜尋之其他像素點；若沒有尚未被搜尋之其他像素點，則在該同一群組內進行排除極端顏色之像素點；以及判斷是否該第一二維影像中的所有像素點都已經被分群，若所有像素點都已經被分群，則結束分群。
9. 如申請專利範圍第8項所述之虛擬物件之影像合成方法，其中在判斷該些其他像素點之顏色是否與該像素點之顏色相近的步驟中，若該些其他像素點之顏色與該像素點之顏色不相近，則進到判斷周圍是否還有尚未被搜尋之其他像素點的步驟。
10. 如申請專利範圍第9項所述之虛擬物件之影像合成方法，其中在判斷周圍是否還有尚未被搜尋之其他像素點的步驟中，若有尚未被搜尋之其他像素點，則回到搜尋該像素點周圍之複數個其他像素點，判斷該些其他像素點之顏色是否與該像素點之顏色相近的步驟。
11. 如申請專利範圍第9項所述之虛擬物件之影像合成方法，其中判斷是否該第一二維影像中的所有像素點都已經被分群之步驟中，若仍有像素點尚未被分群，則重新回到該選取該第一二維影像中的一尚未被分群之像素點的步驟。
12. 如申請專利範圍第9項所述之虛擬物件之影像合成方 法，其中在該同一群組內進行排除極端顏色之像素點更包括：將該同一群組內各像素點的該實際顏色以紅色、藍色、綠色表示，判斷是否該同一群組內有像素點的紅色、藍色、綠色之其中一顏色超過該對應顏色之一預設值，則於該同一群組內將其中一顏色超過該對應顏色之該預設值的該像素點排除。
13. 如申請專利範圍第12項所述之虛擬物件之影像合成方法，其中該對應顏色之該預設值為該對應顏色在該同一群組內之N倍的標準差，N為大於0的有理數。
14. 如申請專利範圍第1項所述之虛擬物件之影像合成方法，其中該場景的該第一深度影像與該第一二維影像座標對應。
15. 一種虛擬物件之影像合成裝置，包括一攝影機，用以提供一場景之一第一深度影像與該場景之一第一二維影像；一物件提供單元，用以提供該虛擬物件之一第二深度影像；以及一處理器，其中該處理器包括：一深度調整單元，用以根據該第一深度影像中的一目標位置及該第二深度影像的一基準點，調整該虛擬物件在該第一深度影像中的一第二深度值；一光源提供單元，用以分析該第一二維影像之一光源方向；以及一重繪單元，用以根據調整後之第二深度值，該第一深度 影像中的該目標位置之一第一深度值，以及該光源方向，重繪該虛擬物件之一第二二維影像，並合成該第一二維影像及該第二二維影像。
16. 如申請專利範圍第15項所述之虛擬物件之影像合成裝置，其中該重繪單元重繪該虛擬物件之一第二二維影像時，當該虛擬物件的局部被該第一二維影像的一物件 遮蔽時，重繪該第二二維影像時，挖空該虛擬物件被遮蔽的部分。
17. 如申請專利範圍第15項所述之虛擬物件之影像合成裝置，其中該光源提供單元更包括：一分群模組，對該第一二維影像中各像素點的一實際顏色進行分群；以及一計算模組，根據該第一深度影像，計算該第一二維影像中該像素點的一法向量，並計算分群後各群組的一平均顏色，計算該像素點之一光源方向，得到該第一二維影像中所有像素點之該些光源方向之一平均值。
18. 如申請專利範圍第17項所述之虛擬物件之影像合成裝置，其中該分群模組對該第一二維影像中各像素點的一實際顏色進行分群更包括：一選取元件，選取該第一二維影像中的一尚未被分群之像素點；一第一判斷元件，搜尋該像素點周圍之複數個其他像素點，判斷該些其他像素點之顏色是否與該像素點之顏色相近； 一分群元件，若該些其他像素點之顏色與該像素點之顏色相近，則分為同一群組；一第二判斷元件，判斷周圍是否還有尚未被搜尋之其他像素點；一排除元件，若沒有尚未被搜尋之其他像素點，則在該同一群組內進行排除極端顏色之像素點；以及一第三判斷元件，判斷是否該第一二維影像中的所有像素點都已經被分群，若所有像素點都已經被分群，則結束分群。
19. 如申請專利範圍第18項所述之虛擬物件之影像合成裝置，其中若該第一判斷元件判斷該些其他像素點之顏色與該像素點之顏色不相近，則該第二判斷元件進行判斷周圍是否還有尚未被搜尋之其他像素點。
20. 如申請專利範圍第18項所述之虛擬物件之影像合成裝置，其中該第二判斷元件判斷周圍還有尚未被搜尋之其他像素點，則重新回到該第一判斷元件進行搜尋該像素點周圍之複數個其他像素點，判斷該些其他像素點之顏色是否與該像素點之顏色相近。
21. 如申請專利範圍第18項所述之虛擬物件之影像合成裝置，其中該第三判斷元件判斷該第一二維影像中，若仍有像素點尚未被分群，則重新回到該選取元件，選取該第一二維影像中的一尚未被分群之像素點。
22. 如申請專利範圍第18項所述之虛擬物件之影像合成裝置，其中該排除元件在同一群組內進行排除極端顏色之像素點更 包括：將該同一群組內各像素點的該實際顏色以紅色、藍色、綠色表示，判斷是否該同一群組內有像素點的紅色、藍色、綠色之其中一顏色超過該對應顏色之一預設值，則於該同一群組內將其中一顏色超過該對應顏色之該預設值的該像素點排除。
23. 如申請專利範圍第22項所述之虛擬物件之影像合成裝置，其中該對應顏色之該預設值為該對應顏色在該同一群組內之N倍標準差，N為大於0的有理數。