TW202126035A

TW202126035A - 影像合成系統及其方法

Info

Publication number: TW202126035A
Application number: TW109138214A
Authority: TW
Inventors: 克莉斯汀維爾甘; 吉斯特巴托洛米斯威爾赫摩斯黛米安納斯凡
Original assignee: 荷蘭商皇家飛利浦有限公司
Priority date: 2019-11-05
Filing date: 2020-11-03
Publication date: 2021-07-01
Also published as: BR112022008494A2; JP2023500513A; US20220383596A1; WO2021089340A1; US11823340B2; EP3819873A1; CA3159790A1; CN114930404A; EP4055568A1; KR20220090574A

Abstract

一種影像合成系統包含接收描述一場景之至少部分的場景資料之接收器(201, 203, 205)；物體資料從一觀看區描述一3D物體，該觀看區具有相對於該物體之一相對姿勢、及該場景中之一觀看姿勢。一姿勢判定器電路(207)回應於該場景資料及該觀看姿勢而判定在該場景中之該物體的一物體姿勢；及一視圖合成電路(209)從該物體資料、該物體姿勢、及該觀看姿勢產生該物體之一視圖影像。一電路(211)判定對應於處於該物體姿勢之該物體的該觀看區之該場景中的一觀看區域。該姿勢判定器電路(207)判定該觀看姿勢相對於該觀看區域的一距離測量，且若該距離測量滿足一標準則改變該物體姿勢，該標準包括該觀看姿勢與該觀看區域的一姿勢之間的一距離超過一臨限的一要求。

Description

影像合成系統及其方法

本發明係關於一種影像合成系統，且具體而言，但非排他地，係關於一種用於混合實境、擴增實境、或虛擬實境應用之支援視圖合成的影像合成設備。

近年來，影像及視訊應用之種類及範圍實質上增加，且持續發展及推出利用及消耗視訊的新服務及方式。

例如，一項越來越流行的服務係依使觀看者能夠主動地且動態地與系統互動以改變演現參數的方式來提供影像序列。在許多應用中，一項非常吸引人的特徵係改變觀看者的有效觀看位置及觀看方向之能力，例如諸如允許觀看者在呈現的場景中移動及環視。

此類特徵可具體地允許提供虛擬實境體驗給使用者。這可允許使用者例如在虛擬環境中（相對）自由四處移動且動態地改變其位置及其注視之處。一般而言，此類虛擬實境(Virtual Reality, VR)應用係基於場景的三維模型，其中動態評估該模型以提供特定請求的視圖。此方法在例如用於電腦及主控台的遊戲應用（諸如在第一人稱射擊遊戲類別中）係衆所周知的。

另一實例係擴增實境(Augmented Reality, AR)或混合實境(Mixed Reality, MR)應用，其中虛擬產生的內容與局部環境的感知混合。例如，使用者可配戴眼鏡或允許該使用者直接地看見其周遭的頭戴裝置，同時亦包含允許顯示虛擬內容使得其可由該使用者感知的顯示器。該虛擬內容可調適於真實世界視圖。例如，MR系統可允許使用者看見局部環境，其中額外（例如，虛擬）物體之外觀呈現在該場景中。

類似地，在VR經驗中，額外內容（諸如虛擬物體）可與描述虛擬場景之模型分開提供，且VR系統可利用該場景的演現此類物體，使得提供給該使用者的視圖包括在該場景中之物體。

在AR及MR應用中，因此可利用電腦圖形（諸如3D電腦產生的物體）來覆蓋真實背景。在VR應用中，可例如利用電腦圖形（諸如其並非該場景之該模型的部分之3D電腦產生的物體）來覆蓋虛擬背景。

物體可具體地係3D物體，該3D物體與觀看者的觀點對準，且在提供給使用者的視圖影像中之3D物體的表示可調適於觀看者之移動，使得該等物體紙對於該觀看者而言呈現在該場景中。例如，隨著觀看者移動，物體的外觀被改變，使得其被從不同觀看方向來看。

然而，為了能夠產生該物體從不同觀看方向之此類視圖，需要由足夠完整的資料來表示該物體，以較佳地允許從相對於物體的任何觀看位置及定向來產生視圖。此在一些應用中可係可行的，但在許多應用中，諸如在物體係從真實世界擷取而產生時，表示物體的資料可係有限的。

例如，物體可係已由複數個攝影機擷取之真實物體，該複數個攝影機係以給定攝影機間距離配置在線中。攝影機之數目一般係相對地有限的，且實際上經常使用具有約3至10個攝影機之攝影機承架。然而，此類物體的問題在於，物體的擷取一般係相當有限的，而準確的資料可用於在物體前方的觀看位置，不足的資料經常係針對其他觀看位置來獲取。例如，可能沒有針對在物體之後方或側面的觀看位置之任何資料的擷取。此可能使得無法合成一些位置/定向的視圖，或可能至少導致影像品質的實質劣化。

具體而言，視圖合成物體係衍生為源自具有深度之多視圖(multi-view with depth, MVD)擷取的投射。此類物體可利用色度鍵入(chroma-keying)而，例如，從原本的MVD擷取分段出來。然而，針對從MVD內容合成的影像物體，高品質成像一般受限於物體前方的位置，且因此可能難以或不可能產生所有位置的覆蓋內容。因此，針對許多觀看者位置/姿勢或觀看者可採用的位置/姿勢可獲得的經劣化品質可實質上受限以確保足夠的品質。

因此，一改善方法將係有利的。具體而言，允許改善的操作、增加的彈性、改善的虛擬/擴增/混合實境體驗、減少的複雜度、促進的實施方案、增加的合成影像品質、改善的演現、針對使用者之增加的（可能為虛擬的）移動自由度、改善的使用者體驗及/或改善的效能及/或操作之方法將是有利的。

因此，本發明尋求單獨或採用任何組合較佳地緩和、減輕、或消除上文提及之缺點的一或多者。

根據本發明之一態樣，提供一種影像合成系統，其包含：一第一接收器，其經配置以接收描述一三維場景之至少部分的場景資料；一第二接收器，其經配置以接收描述一三維物體的物體資料，該物體資料提供來自一觀看區之該三維物體的視覺資料，該觀看區具有相對於該三維物體之一相對姿勢；一第三接收器，其經配置以接收在該三維場景中之一觀看者的一觀看姿勢；一姿勢判定器電路，其經配置以回應於該場景資料及該觀看姿勢而判定在該三維場景中之該三維物體的一物體姿勢；一視圖合成電路，其經配置以從該視覺資料、該物體姿勢、及該觀看姿勢產生一視圖影像，該視圖影像包含在該三維場景中之該三維物體的一視圖，其中該三維物體係處於該物體姿勢且係從該觀看姿勢觀看；一電路，其經配置以針對該三維物體的該物體姿勢及該觀看區的該相對姿勢判定在該三維場景中之一觀看區域，該觀看區域對應於處於該物體姿勢之該三維物體的該三維場景中之該觀看區；其中該姿勢判定器電路經配置以判定該觀看姿勢相對於該物體姿勢之該觀看區域的一距離測量，並回應於該距離測量滿足一第一標準而改變該物體姿勢，該第一標準包括該觀看姿勢與該觀看區域的一姿勢之間的一距離超過一第一臨限的一要求，且該視圖合成電路經配置以針對該距離不超過該第一臨限之該觀看姿勢的至少一些改變從不同角度產生該三維物體之該視圖，且該姿勢判定器電路經配置以判定在該物體姿勢之該改變後的一新物體姿勢，該新物體姿勢之該判定係受到該距離測量不滿足該新物體姿勢之該第一標準的一限制。

本發明可提供在許多實施例中之一經改善的使用者體驗。其可允許在影像品質與用於AR、VR、及/或MR應用之移動自由度之間的經改善權衡。

該方法可例如啟用或促進一應用，其中一合成虛擬物體可與一場景合併，使得該物體在該場景中相對於小移動將呈現為一正常物體，但若需要可調適並改變位置及/或定向，以維持足夠高品質。

該方法可例如允許基於待合成物體（諸如由多個視圖及深度表示的物體）的有限擷取及表示之經改善的AR/VR/MR應用。

該觀看區可係該物體資料經指定為足以用於影像合成的一組觀看姿勢。該觀看區的該等姿勢係相對於該3D物體來判定。該觀看區可獨立於該場景且可相關於一擷取座標系統或物體座標系統。

該觀看區域可係一組觀看姿勢，其包含在將該3D物體添加至該場景時與該觀看區重合的該三維場景中之該等觀看姿勢。該觀看區域可係在該場景中之一區域，該區域在該物體根據該物體姿勢而定位且定向時與該觀看區重合。該觀看區域可由該三維場景中的該等姿勢所組成，該等姿勢在該物體根據該物體姿勢而定位且定向時屬於該觀看區。

該觀看區可係相對於該物體所描述/定義之一組姿勢。該觀看區域可係相對於該三維場景所描述/定義之一組姿勢。該觀看區可係相對於一物體或擷取座標系統所描述/定義之一組姿勢。該觀看區域可係相對於一場景座標系統所描述/定義之一組姿勢。

該場景資料可係該三維場景的完整或部分說明。該場景資料可包含描述該場景中之一或多個物體的位置及輪廓的資料。該場景物體可係虛擬物體，或可係用於MR/AR應用之真實世界物體。

一姿勢可係一位置及/或定向。該新物體姿勢可係該物體姿勢所改變成的姿勢。

針對真實世界三維場景（具體而言，針對AR/MR應用），該場景資料可例如係使用電腦視覺演算法來自動產生。

根據本發明之一可選特徵，該觀看區域係至少一二維區域。

根據本發明之一可選特徵，該距離不超過用於在與該物體姿勢不同的方向上之至少一些觀看姿勢的該臨限。

在一些實施例中，該距離取決於該觀看姿勢與該觀看區域的一姿勢之間的一定向差。在一些實施例中，該觀看區域包括具有相對於該物體姿勢的不同定向之姿勢。在一些實施例中，該觀看區域包含在至少兩個維度上變化的姿勢。在一些實施例中，該觀看區域係至少一三維區域。在一些實施例中，該觀看區域具有針對至少一定向維度的一延伸。在一些實施例中，該觀看區域具有針對至少一定向維度及至少一位置維度的一延伸。在一些實施例中，該距離包括一定向距離貢獻。在一些實施例中，該距離包括一位置距離貢獻及一定向距離貢獻兩者。

根據本發明之一可選特徵，該姿勢判定器電路經配置以不針對在該距離測量滿足一標準時之變化的觀看姿勢而改變該物體姿勢，該標準包括該觀看姿勢與該觀看區域的一姿勢之間的距離不超過一第二臨限的一要求。

此可提供在許多實施例中之一經改善的使用者體驗，及/或可提供經改善的及/或經促進的操作。其可具體地允許一呈現，使得該3D物體的該視圖係相對於觀看者之移動以與真實物體將會的相同方式來改變。

根據本發明之一可選特徵，物體姿勢之該改變包括該物體姿勢之一位置的一改變。

此可提供在許多實施例中之一經改善的使用者體驗，及/或可提供經改善的及/或經促進的操作。物體姿勢之該改變可包括一平移改變。

根據本發明之一可選特徵，物體姿勢之該改變包括該物體姿勢之一定向的一改變。

此可提供在許多實施例中之一經改善的使用者體驗，及/或可提供經改善的及/或經促進的操作。物體姿勢之該改變可包括一旋轉改變。

根據本發明之一可選特徵，該場景資料包括用於在該三維場景中之至少一場景物體的資料，且該姿勢判定器電路經配置以判定在該改變後的一新物體姿勢，該判定係受到從該三維物體的該觀看姿勢不會有由該至少一場景物體遮擋的一限制。

此可提供在許多實施例中之一經改善的使用者體驗，及/或可提供經改善的及/或經促進的操作。

根據本發明之一可選特徵，該場景資料包括用於在該三維場景中之至少一物體的物體資料，且該姿勢判定器電路經配置以判定在該改變後的一新物體姿勢，該判定係受到在該三維場景中的該至少一物體與該新觀看姿勢的該三維物體之間沒有重疊的一限制。

根據本發明之一可選特徵，該觀看區包含一參考姿勢，且該姿勢判定器電路經配置以在該改變後將一新物體姿勢朝向該參考姿勢與該觀看姿勢之一對準偏向。

此可提供在許多實施例中之一經改善的使用者體驗，及/或可提供經改善的及/或經促進的操作。該姿勢判定器電路可經配置以藉由評估複數個姿勢之一偏好測量來判定該新物體姿勢，且該偏向可係使得該參考姿勢越接近於該觀看姿勢，則該偏好測量越高。具有最高偏好測量的姿勢可經選擇為該新物體姿勢。

該偏向可係使得針對一給定候選姿勢在該參考姿勢與該觀看姿勢之間的距離越小，則選擇該候選姿勢作為該新物體姿勢的改變越高。

該偏向可使得將滿足該新物體姿勢之選擇的所有限制且在該參考姿勢與該觀看姿勢之間的一距離測量係最低之該姿勢選擇為該新物體姿勢。

在一些實施例中，該姿勢判定器電路可經配置以改變該物體姿勢來使該參考姿勢與該觀看姿勢對準。在一些實施例中，該姿勢判定器電路經配置以在該改變後選擇一新物體姿勢，使得該參考姿勢與該觀看姿勢相同。

根據本發明之一可選特徵，該姿勢判定器電路經配置以在該改變後判定一新物體姿勢，該判定係受到該距離測量不滿足該新觀看姿勢之該第一標準的一限制。

根據本發明之一可選特徵，該姿勢判定器電路經配置以在該改變後將一新物體姿勢朝向在該改變前相對於一物體姿勢的一最小姿勢差異偏向。

該姿勢判定器電路可經配置以藉由評估複數個姿勢之一偏好測量來判定該新物體姿勢，且該偏向可係使得該姿勢越接近於在該改變前的該姿勢，則該姿勢的該偏好測量越高。具有最高偏好測量的姿勢可經選擇為該新物體姿勢。

該偏向可係使得在一給定候選姿勢與先前物體姿勢之間的距離越小，則選擇該候選姿勢作為該新物體姿勢的改變越高。

該偏向可使得將滿足該新物體姿勢之選擇的所有限制且在該姿勢與該先前物體姿勢之間的一距離測量係最低之該姿勢選擇為該新物體姿勢。

根據本發明之一可選特徵，該場景資料包括用於在該三維場景中之至少一場景物體的資料，且該姿勢判定器電路經配置以判定在該改變後的一新物體姿勢，該判定係受到從該至少一場景物體的該觀看姿勢不會有由該三維物體遮擋的一限制。

根據本發明之一可選特徵，該姿勢判定器電路經配置以對該場景之一區域的姿勢執行一搜尋，來找出滿足複數個限制之該改變後的一新物體姿勢。

根據本發明之一可選特徵，該三維物體的該表示包含該三維物體的一多視圖影像及深度表示。

根據本發明之一可選特徵，該場景資料提供該三維場景之至少部分的一視覺模型，且該視圖合成電路經配置以回應於該視覺模型係來自與該三維物體之該視圖混合的該觀看姿勢之該場景的一視圖而產生該視圖影像。

根據本發明之一態樣，提供一種影像合成之方法，其包含：接收描述一三維場景之至少部分的場景資料；接收描述一三維物體的物體資料，該物體資料提供來自一觀看區之該三維物體的視覺資料，該觀看區具有相對於該三維物體之一相對姿勢；接收在該三維場景中之一觀看者的一觀看姿勢；回應於該場景資料及該觀看姿勢而判定在該三維場景中之該三維物體的一物體姿勢；從該視覺資料、該物體姿勢、及該觀看姿勢產生一視圖影像，該視圖影像包含在該三維場景中之該三維物體的一視圖，其中該三維物體係處於該物體姿勢且係從該觀看姿勢觀看；針對該三維物體的該物體姿勢及該觀看區的該相對姿勢判定在該三維場景中之一觀看區域，該觀看區域對應於處於該物體姿勢之該三維物體的該三維場景中之該觀看區；且進一步包含：判定該觀看姿勢相對於該物體姿勢之該觀看區域的一距離測量，並回應於該距離測量滿足一第一標準而改變該物體姿勢，該第一標準包括該觀看姿勢與該觀看區域的一姿勢之間的一距離超過一第一臨限的一要求，其中產生該視圖影像包括針對該距離不超過該第一臨限之該觀看姿勢的至少一些改變從不同角度產生該三維物體之該視圖，且改變該等物體姿勢包含判定在該物體姿勢之該改變後的一新物體姿勢，該新物體姿勢之該判定係受到該距離測量不滿足該新物體姿勢之該第一標準的一限制。

可提供一種影像合成系統，其包含：一第一接收器，其用於接收場景資料，該場景資料描述在一第一座標系統（一場景座標系統）中表示之一三維場景的至少部分；一第二接收器，其用於接收描述一三維物體的物體資料，該物體資料提供來自一觀看區之該三維物體的視覺資料，該觀看區具有相對於該三維物體之一相對姿勢；一第三接收器，其用於接收在該三維場景中之一觀看者的一觀看姿勢，該觀看姿勢係相對於該第一座標系統；一姿勢判定器電路，其用於回應於該場景資料及該觀看姿勢而判定在該第一座標系統中之該三維物體的一物體姿勢；一視圖合成電路，其用於從該視覺資料、該物體姿勢、及該觀看姿勢產生一視圖影像，該視圖影像包含來自該觀看姿勢之處於該物體姿勢的該三維物體之一視圖；一電路，其用於針對該三維物體的該物體姿勢及該觀看區的該相對姿勢判定在該第一座標系統中之一觀看區域，該觀看區域對應於處於該物體姿勢之該三維物體的該第一座標系統中之該觀看區；其中該姿勢判定器電路經配置以判定該觀看姿勢相對於該物體姿勢之該觀看區域的一距離測量，並回應於該距離測量滿足一第一標準而改變該物體姿勢，該第一標準包括該觀看姿勢與該觀看區域的一姿勢之間的一距離超過一第一臨限的一要求。

可提供一種影像合成系統，其包含：一第一接收器(201)，其用於接收描述一三維場景之至少部分的場景資料；一第二接收器(203)，其用於接收描述一三維物體的物體資料，該物體資料提供來自一觀看區之該三維物體的視覺資料，該觀看區具有相對於該三維物體之一相對姿勢；一第三接收器(205)，其用於接收在該三維場景中之一觀看者的一觀看姿勢；一姿勢判定器電路(207)，其用於回應於該場景資料及該觀看姿勢而判定在該三維場景中之該三維物體的一物體姿勢；一視圖合成電路(209)，其用於從該視覺資料、該物體姿勢、及該觀看姿勢產生一視圖影像，該視圖影像包含在該三維場景中之該三維物體的一視圖，其中該三維物體係處於該物體姿勢且係從該觀看姿勢觀看；一電路(211)，其用於針對該三維物體的該物體姿勢及該觀看區的該相對姿勢判定在該三維場景中之一觀看區域，該觀看區域對應於處於該物體姿勢之該三維物體的該三維場景中之該觀看區；其中該姿勢判定器電路(207)經配置以判定該觀看姿勢相對於該物體姿勢之該觀看區域的一距離測量，並回應於該距離測量滿足一第一標準而改變該物體姿勢，該第一標準包括該觀看姿勢與該觀看區域的一姿勢之間的一距離超過一第一臨限的一要求。

可提供一種影像合成之方法，其包含：接收描述一三維場景之至少部分的場景資料；接收描述一三維物體的物體資料，該物體資料提供來自一觀看區之該三維物體的視覺資料，該觀看區具有相對於該三維物體之一相對姿勢；接收在該三維場景中之一觀看者的一觀看姿勢；回應於該場景資料及該觀看姿勢而判定在該三維場景中之該三維物體的一物體姿勢；從該視覺資料、該物體姿勢、及該觀看姿勢產生一視圖影像，該視圖影像包含在該三維場景中之該三維物體的一視圖，其中該三維物體係處於該物體姿勢且係從該觀看姿勢觀看；針對該三維物體的該物體姿勢及該觀看區的該相對姿勢判定在該三維場景中之一觀看區域，該觀看區域對應於處於該物體姿勢之該三維物體的該三維場景中之該觀看區；且進一步包含：判定該觀看姿勢相對於該物體姿勢之該觀看區域的一距離測量，並回應於該距離測量滿足一第一標準而改變該物體姿勢，該第一標準包括該觀看姿勢與該觀看區域的一姿勢之間的一距離超過一第一臨限的一要求。

本發明的此等及其他態樣、特徵、及優點將參考下文描述的（一或多個）實施例闡明且將係顯而易見的。

在許多擴增實境(AR)、混合實境(MR)、或甚至虛擬實境(VR)應用中，可能所欲的是添加一分開的或額外的3D物體至經感知環境。例如，針對AR及MR，合成物體可經整合/合併/覆蓋真實背景。作為一實例，使用者可配戴眼鏡或允許使用者看到真實環境（諸如使用者所存在之房間）的頭戴裝置，同時亦包含可呈現合成虛擬電腦圖形的顯示器。顯示器可用以顯示合成物體的視圖，使得物體可被感知為存在房間中的（虛擬）物體。針對VR體驗，真實世界的視圖可由從表示一虛擬場景的場景資料所產生的背景來置換。在此情況中，可分開提供並產生用於虛擬場景及3D物體的資料。因此，在VR應用中，可基於場景資料來產生一背景，且此背景可由從描述3D物體之分開的3D資料所產生的電腦圖形來覆蓋。

呈現3D物體使得其與觀看者的觀點對準，且可產生視圖以反映使用者之移動及姿勢改變。因此，隨著使用者移動，3D物體的視圖改變以反映3D物體將如何被看見，若其係定位在場景中的真實物體。進一步，為了使3D物體在該場景中看起來像一正常物體，該3D物體之視圖必須與該場景對準。例如，可能所欲的是使物體看起來係定位/站立在房間的地板上，且此需要3D物體的視圖之定位動態地改變來匹配在眼鏡/顯示器中之地板上的相同點之移動。例如，在混合實境中，電腦圖形物體必須適配至其所定位的環境中。為了感知為逼真，物體必須不會落下通過桌子或黏到天花板上等。

在本領域中，用語擺置(placement)及姿勢(pose)被用作位置及/或方向/定向之常見用語。例如物體、攝影機、頭部、或觀看之位置及方向/定向之組合可被稱為姿勢或擺置。因此，擺置或姿勢指示可包含六個值/分量/自由度，其中每個值/分量通常描述對應的物體之位置/定位或定向/方向之個別屬性。當然，在許多情形中，擺置或姿勢可用更少的分量予以考量及表示，例如，若認為一或多個分量係被視為固定的或不相關的（例如，若認為所有物體處於同一高度或具有水平定向，則四個分量可提供物體之姿勢之全面表示）。在下文中，用語姿勢(pose)用於指代可由一至六個值（對應於最大可能的自由度）表示的位置及/或定向。用語姿勢可由用語擺置來置換。用語姿勢可由用語位置及/或定向來置換。用語姿勢可由用語位置及定向（若姿勢提供位置及定向兩者之資訊）、由用語位置（若姿勢提供（可能僅有）位置之資訊）、或由定向（若姿勢提供（可能僅有）定向之資訊）來置換。

作為MR應用之實例係一種教學應用程式，其中可產生並呈現一家教之形式的3D物體，使得其呈現出該家教出現在與該應用程式之學生/使用者相同的房間中。因此，在許多情境中，3D物體可係一暫時性改變的3D物體，諸如3D視訊物體。

假設欲覆疊一場景之一3D物體係由完整3D資料所完全描述之一虛擬物體，則可行的是為所有觀看姿勢產生合適視圖，且針對觀看場景之特定位置或定向可無劣化或複雜性發生。然而，在許多情境中，3D物體可能不能從所有可能的視點/姿勢來完全特徵化。例如，3D物體可係由合適的擷取操作所擷取的真實世界物體，然而僅針對有限範圍的姿勢提供完整資料。

作為具體實例，可由從有限擷取區域之數個擷取姿勢擷取的複數個影像（潛在地包括深度資料）所產生的經擷取資料來表示3D物體。為了提供足夠的資料以允許在經擷取視圖影像之間的高品質視圖合成/內插，這些必須彼此接近。然而，為了減少擷取攝影機/姿勢之所需數目，經常僅實際上可行的是涵蓋相對小的擷取區域。

一種經常使用的方法是使用已知為具有深度的多視圖(MVD)擷取。在此一擷取方法中，擷取物體之複數個視圖，導致該物體係由具有在有限擷取區域中用於擷取姿勢之相關聯深度資料的複數個擷取影像來表示。影像可實際上藉由使用包含複數個攝影機及深度感測器的攝影機承架來擷取。

此一擷取系統之一實例顯示於圖1，其顯示在背景103前面之待擷取物體101，該背景具體而言可係綠色螢幕背景。複數個擷取攝影機105係定位在擷取區域105中。該物體可在此一實例中使用，例如，如所屬技術領域中具有通常知識者已知的色度鍵入技術而從MVD擷取影像，例如，分段出來。

因此，擷取之結果可係藉由多視圖影像及深度表示（亦即，藉由針對複數個擷取姿勢所提供的影像及深度）的3D物體之表示。因此，多視圖影像及深度表示可提供來自擷取/觀看區之3D物體的描述。因此，表示3D物體的資料可提供來自觀看區之3D物體的表示，視覺資料提供來自該觀看區之3D物體的描述。該觀看區包含相對於該物體的姿勢，其中所包括之姿勢係該表示提供允許產生視圖影像之資料的姿勢。因此，針對落入相對於物體之該觀看區內的觀看姿勢，有可能產生足夠品質的視圖影像；而針對在相對於該物體之該觀看區外部的觀看姿勢，考慮到不保證可產生足夠品質的視圖影像。

觀看區（一般由其一邊界、輪廓或邊緣所表示）之確切選擇/判定/特徵化當然會取決於個別實施例的特定偏好及要求。例如，在一些實施例中，可判定觀看區直接對應於擷取區，亦即，觀看區可係由擷取姿勢所涵蓋的區。在許多實施例中，可判定觀看區域包含在姿勢與最接近的擷取姿勢之間的距離測量滿足一標準之姿勢。

因此，可產生經標示/經指定/經認為用以表示針對在一觀看區內之姿勢（但非針對在該觀看區外之姿勢）的3D物體之資料。觀看區係相對於3D物體來判定，並可反映所使用的特定擷取程序（諸如，例如，攝影機承架）。觀看區可參考擷取或物體座標系統來描述/界定，且可獨立於場景及場景座標系統來界定。

在許多實施例中，觀看區可定義為R^N 空間之姿勢的子集，其中N可係所考量的維度數目。在許多實施例中，諸如具體而言許多6DoF應用，N等於6且一般將對應於指示位置的三個座標/維度及指示定向（/方向/旋轉）的三個座標。在一些實施例中，N可小於6，對應於一些不被考量（且具體而言，被忽略或被視為固定）的維度。

在一些實施例中，僅考量位置維度或座標，且在一些實施例中僅考量定向維度。然而，在許多實施例中，考量至少一個位置維度及一個定向維度。

觀看區係至少二維，且包括至少二個座標/維度具有不同值的姿勢。在許多實施例中，觀看區係至少三維，且包括至少三個座標/維度具有不同值的姿勢。觀看區一般係至少二維或三維區。觀看區域包含在至少兩個維度上變化的姿勢。

在許多實施例中，觀看區包括具有相對於物體姿勢的不同定向之姿勢。因此，觀看區一般具有針對至少一定向座標/維度的非零延伸。

在大多數實施例中，觀看區具有針對至少一定向維度及至少一位置維度的延伸。因此，在大多數實施例中，位置及定向兩者皆由系統所考量。

圖2繪示可用以提供AR/MR/VR體驗的影像合成設備之實例，其中可在場景中包括如上所述的3D物體。本說明將聚焦於MR應用，諸如，例如，其中家教形式的動態3D物體可覆蓋使用者感知的周圍真實世界環境。然而，將理解的是，在其他實施例中，所述原理可用以提供，例如，VR體驗。

影像合成設備包含第一接收器201，其經配置以接收描述一三維場景之至少部分的場景資料。針對AR/MR應用，場景具體而言係使用者存在於其中的真實世界場景。因此，場景資料可描述使用者存在於其中的房間/環境之性質。針對VR體驗，場景資料可描述一虛擬場景之性質。場景資料可具體地包括描述場景中之一或多個物體的位置及/或輪廓的資料。

場景資料可描述欲插入3D物體之場景的元素或性質。針對AR/MR應用，場景資料可描述真實世界環境之性質，且具體而言可描述在真實世界中的一或多個物體之性質。場景資料可具體地描述在局部環境中之一或多個物體之位置及輪廓。物體可包括牆壁、家具、或存在於該環境中之任何其他物體。

場景可（針對此一情況）例如藉由手動輸入或藉由真實世界環境的掃描來判定。在許多情況下，此可在應用之初始化時完成，或可例如在靜態環境的更永久基礎上完成。

針對VR應用，場景資料可包括描述物體之位置等的資料，且可進一步包含用於該等物體之視覺資料。具體而言，場景資料可係3D場景之全模型。因此，在VR應用中，場景資料可包含足夠資料以允許產生虛擬場景的視圖。

場景資料係參考場景座標系統來提供，亦即，場景中之物體的位置可相對於一場景座標系統來評估。應理解，在一些情境中，場景資料可根據一個場景座標系統來儲存或接收，且此可經轉換成作為處理之部分（例如，作為應用的演現之部分）的不同場景座標系統。

影像合成設備進一步包含第二接收器203，其經配置以接收描述一3D物體的物體資料，該3D物體係覆蓋/合併入由場景資料所表示之場景（例如，取決於應用的真實或虛擬場景）中。

物體資料可提供來自相對於3D物體之觀看區的3D物體之視覺資料。因此，觀看區可相對於3D物體來界定且包含/描述相對於3D物體的姿勢，物體資料包含足夠資料以允許從該等姿勢產生一影像（具有可接受品質）。如先前所述，用於判定觀看區的確切標準可取決於個別實施例的偏好及要求。

在許多實施例中，所接收之物體資料可包括觀看區的指示。例如，物體資料可藉由如先前所述之MVD擷取連同影像及深度圖來產生，觀看區的指示可包括在物體資料中。在其他實施例中，可由第二接收器203本身來判定觀看區。例如，物體資料可包含針對所提供之影像的各者之擷取姿勢的指示（相對於3D物體），且第二接收器203可繼續進行以判定觀看區包括與該等擷取姿勢中之一者的距離小於一臨限的姿勢。所使用的特定距離測量、及臨限之值可取決於特定實施例之特定設計標準來選擇。

觀看區係相對於3D物體來界定，且可根據可稱為物體或擷取座標系統之一座標系統來提供。座標系統可係物體資料參考其之一者，且可獨立於場景。觀看區可例如藉由具有與3D物體之一給定距離及方向的區域來描述。例如，觀看區可由對例如一區域的中心點之姿勢偏移向量來表示，該區域由各座標分量之一組間隔（例如，界定物體座標系統中之一姿勢的六個座標之各者的間隔）來界定。

影像合成設備包含一第三接收器205，其經配置以接收在三維場景中之一觀看者的一觀看姿勢。觀看姿勢表示觀看者從其觀看場景的位置及/或定向，且針對VR應用，觀看姿勢提供場景之視圖所應產生的姿勢。

第一接收器、第二接收器、及第三接收器可依任何合適方式來實施，且可接收來自任何合適來源之資料，包括本地記憶體、網路連接、無線電連接、資料媒體等。

接收器可實施為一或多個積體電路，諸如特定應用積體電路(Application Specific Integrated Circuit, ASIC)。在一些實施例中，接收器可實施為一或多個經程式化處理單元，諸如（例如）作為在合適處理器（諸如中央處理單元、數位信號處理單元、或微控制器等）上運行的韌體或軟體。應理解，在此類實施例中，處理單元可包括板上或外部記憶體、時脈驅動電路系統、介面電路系統、使用者介面電路系統等。此類電路系統可進一步實施為處理單元的部分、積體電路、及/或離散電子電路系統。

影像合成設備進一步包含一姿勢判定器電路207，其經配置以判定在場景中（且具體而言在場景座標系統中）之3D物體的物體姿勢。物體姿勢具體地指示在場景/場景座標系統中之3D物體的位置及/或定向。因此，姿勢判定器電路207可具體地判定應將3D物體定位在場景中之何處以及應如何將其定向。

姿勢判定器電路207可依任何合適方式來實施，包括作為一或多個積體電路，諸如特定應用積體電路(ASIC)。在一些實施例中，接收器可實施為一或多個經程式化處理單元，諸如（例如）作為在合適處理器（諸如中央處理單元、數位信號處理單元、或微控制器等）上運行的韌體或軟體。應理解，在此類實施例中，處理單元可包括板上或外部記憶體、時脈驅動電路系統、介面電路系統、使用者介面電路系統等。此類電路系統可進一步實施為處理單元的部分、積體電路、及/或離散電子電路系統。

影像合成設備進一步包含視圖合成電路209，其經配置以產生用於3D物體的一視圖影像，且具體而言該視圖合成電路可產生對應於如從該觀看姿勢所見之3D物體的影像物體，其中此係如由該物體姿勢所指示來定位及定向。視圖影像可具體地僅包含對應於3D物體之視圖的一影像物體。例如，在一些實施例中，全視圖影像可經產生對應於例如（例如，眼鏡或頭戴裝置之）顯示器的全區，其中僅包括對應於3D物體之視圖的像素，且其中所有其他像素係透明的。此一影像可直接由顯示器顯示。在其他實施例中，所產生之視圖影像可係可定位在顯示器上之合適位置處的影像物體。在此類情境中，視圖影像/影像物體可與指示在顯示器中之視圖影像/物體之位置的位置資訊相關聯。

針對VR應用，影像合成設備可進一步經配置以從場景資料產生反映虛擬場景的影像部分。

視圖合成電路209可依任何合適方式來實施，包括作為一或多個積體電路，諸如特定應用積體電路(ASIC)。在一些實施例中，接收器可實施為一或多個經程式化處理單元，諸如（例如）作為在合適處理器（諸如中央處理單元、數位信號處理單元、或微控制器等）上運行的韌體或軟體。應理解，在此類實施例中，處理單元可包括板上或外部記憶體、時脈驅動電路系統、介面電路系統、使用者介面電路系統等。此類電路系統可進一步實施為處理單元的部分、積體電路、及/或離散電子電路系統。

影像合成設備可因此經配置以從描述3D物體之視覺性質的視覺資料、物體姿勢、及觀看姿勢產生3D物體的視圖影像。視圖影像因此包含處於物體姿勢的三維物體且來自觀看姿勢之視圖。

應理解，一般而言，立體影像/影像物體經產生包含用於右眼的視圖影像/物體及用於左眼的視圖影像/物體。因此，若視圖影像，例如，經由AR/VR頭戴裝置而呈現給使用者，則將呈現為彷彿3D物體確實存在為場景中的3D物體。

應理解，許多演算法及方法係已知用於合成影像，且合成電路209可使用任何合適的方法。

影像合成設備可因此產生3D物體的視圖影像，且可將這些視圖影像合併/覆蓋在場景上。3D物體之視圖經產生使得其可例如呈現在使用者目前存在的房間中之特定位置處且具有特定定向。

進一步，隨著觀看姿勢可對應於場景中到處移動的使用者動態地改變，可持續地更新3D物體的視圖以反映觀看姿勢的改變。3D物體的位置及包括在視圖影像物體中之3D物體的部分可因此動態地改變，使得看起來該物體維持在相同位置處且具有相同定向，亦即，對使用者而言其可似乎在使用者移動時物體在場景/環境中係靜態的。

視圖合成電路209因此經配置以針對觀看姿勢相對於物體姿勢的側向移動來從不同角度產生三維物體的視圖。若觀看者姿勢改變使得其處於與物體姿勢不同的方向/定向，則視圖合成電路209經配置以從不同角度產生三維物體的視圖。因此，隨著觀看者姿勢改變，物體可感知為靜態，且在場景中具有固定定向。觀看者可有效地移動並從不同方向看見物體。物體可具體地經呈現使得其被感知如同場景中的真實物體。圖3可繪示一特定實例，其中虛擬3D物體101係定位在一場景內，該場景係使用者存在於其中的真實世界房間。該房間可包含牆壁301及一些房間物體303，諸如（例如）家具。

場景資料可相對於場景座座標系統描述牆壁301及房間物體303之位置以及其輪廓。3D物體的物體姿勢係相對於相同場景座標系統來判定，如同觀看姿勢（藉由直接參考此場景座標系統來接收或藉由轉換至此場景座標系統）。

由於包括3D物體使得其被感知為場景中之物體，觀看姿勢因此亦表示3D物體被從其觀看的視點及定向，亦即，其表示應產生3D物體之視圖的姿勢。

在開始應用時之起始物體姿勢可根據任何合適的標準或演算法來判定。例如，在一些實施例中，使用者可手動地提供設定3D物體之起始位置及定向的輸入。在許多實施例中，起始物體姿勢可一般基於物體資料及場景資料來自動地設定。可設定起始物體姿勢使得物體處於與物體之任一者的一距離處，且使得其看起來係站立在地板上。例如，起始物體姿勢可經設定為盡可能遠離場景牆壁及家具。此在觀看者平移至觀看區域之外部時可係有益的，因為物體將不會直接與場景物體碰撞，且因此將不需要突然跳躍至場景中之極不同的位置。作為另一實例，在物體係人的情況下，其可係該人正解釋某一性質，例如，機器、廚房、存在於該場景中的家具件。在該情況下，必須選擇起始姿勢，使得其最佳地相關於所解釋的物體。例如，該人可指向該場景中之一給定物體，在此情況中姿勢對於正確感知而言係關鍵的。

用於判定起始物體姿勢的特定要求可係：其應使得所接收的物體資料允許產生3D物體101的影像。因此，可能需要起始物體姿勢以使得相對於起始物體姿勢的起始觀看姿勢匹配於3D物體與觀看區之間的關係。

影像合成設備包含觀看區域電路211，其經配置以判定目前物體姿勢之場景/場景座標系統中的觀看區域。觀看區域係對應於目前物體姿勢之觀看區的場景/場景座標系統中之區域。如所描述，物體資料與一觀看區相關聯，該觀看區係相對於物體資料被視為有效以用於產生表示物體之視圖的（足夠品質的）影像內容之物體姿勢的一組姿勢。此相對觀看區對應於場景/場景座標系統中之一觀看區域，亦即，在該場景/場景座標系統中有包含所接收的物體資料被視為有效之姿勢的觀看區域。

在一些實施例中，觀看區可參考物體或擷取系統，其係獨立於場景座標系統，而觀看區域參考場景座標系統。觀看區域電路211可經配置以基於物體姿勢而在這些之間轉換。

觀看區域電路211經配置以判定對應於目前物體姿勢之觀看區的此觀看區域。

例如，若觀看區係由相對於3D物體之姿勢的偏移向量來給定，則在目前物體姿勢之場景座標系統中的對應姿勢可藉由以此向量偏移目前物體姿勢來產生。觀看區可例如給定為由偏移向量所指示之姿勢周圍的預定區域，且觀看區域可經判定為由偏移向量偏移目前物體姿勢所得之姿勢周圍的對應預定區域。

作為另一實例，可指示相對於物體之擷取位置，且可判定目前物體姿勢之場景座標系統中的對應擷取位置。接著可將觀看區域判定為例如合適的距離測量低於一臨限的該組姿勢。

應理解，許多演算法及方法已知用於在不同座標系統之間轉換，且可使用任何合適的方法而不減損本發明。

類似於觀看區，觀看區域可定義為R^N 空間之姿勢的子集，其中N可係所考量的維度數目。在許多實施例中，諸如具體而言許多6DoF應用，N等於6且一般將對應於指示位置的三個座標/維度及指示定向（/方向/旋轉）的三個座標。在一些實施例中，N可小於6，對應於一些不被考量（且具體而言，被忽略或被視為固定）的維度。

在一些實施例中，僅考量位置維度或座標，且在一些實施例中僅針對觀看區域考量定向維度。然而，在許多實施例中，考量至少一個位置維度及一個定向維度。

觀看區域係至少二維，且包括至少二個座標/維度具有不同值的姿勢。在許多實施例中，觀看區域係至少三維，且包括至少三個座標/維度具有不同值的姿勢。觀看區域一般係至少二維或三維區。觀看區域包含在至少兩個維度上變化的姿勢。

在許多實施例中，觀看區域包括具有相對於物體姿勢的不同定向之姿勢。因此，觀看區域一般具有針對至少一定向座標/維度的非零延伸。

在大多數實施例中，觀看區域具有針對至少一定向維度及至少一位置維度的延伸。因此，在大多數實施例中，位置及定向兩者皆考量。

觀看區域電路211可實施為積體電路，諸如特定應用積體電路(ASIC)。在一些實施例中，觀看區域電路211可實施為經程式化處理單元，諸如（例如）作為在合適處理器（諸如中央處理單元、數位信號處理單元、或微控制器等）上運行的韌體或軟體。應理解，在此類實施例中，處理單元可包括板上或外部記憶體、時脈驅動電路系統、介面電路系統、使用者介面電路系統等。此類電路系統可進一步實施為處理單元的部分、積體電路、及/或離散電子電路系統。

在系統中，姿勢判定器電路207經配置以判定觀看姿勢相對於物體姿勢之觀看區域的距離測量。在一些實施例中，距離測量可係一簡單的二元距離測量，其指示觀看姿勢是否在觀看區域內或是否在此之外。此一距離測量可單純地藉由比較姿勢座標與目前觀看區域的姿勢座標之目前範圍來產生。作為具體實例，可判定觀看姿勢與由偏移向量指示的姿勢之間的差異向量，而若此向量小於在對應方向之觀看區/區域的延伸（例如，自中心參考位置），則距離測量指示觀看姿勢係在觀看區域內，否則指示其在觀看區域外。

作為另一實例，在一些實施例中，可產生一距離測量，該距離測量產生指示從目前觀看姿勢至觀看區域之姿勢的距離之值。觀看區域之此姿勢可例如係一固定參考姿勢（諸如由偏移向量指示的姿勢）或可取決於觀看姿勢，諸如係在觀看區域內的最接近姿勢。距離測量可例如判定姿勢之各座標的差異值，並接著將這些組合成一組合值，該組合值可用作一距離測量。例如，針對位置座標，可判定歐氏距離(Euclidian distance)；而針對定向座標，可使用絕對座標差的總和（或例如可使用指示姿勢之方向的向量之間的簡單角度差）。

姿勢判定器電路207進一步經配置以評估該距離測量是否滿足第一標準，該第一標準包括在觀看姿勢與觀看區域的姿勢之間的距離超過第一臨限之要求。

姿勢判定器電路207可因此根據任何合適的距離判定及要求來判定目前觀看姿勢是否比給定量更遠離觀看區域。應理解，該標準亦可包括其他考量，諸如例如檢測之頻率、從最後檢測起之時間、使用者偏好設定等。亦應理解，在一些實施例中，臨限可係動態地可調適（例如基於先前提及之參數）。確實，在許多實施例中，所應用的臨限可隨不同參數而變動地判定，且如此一來例如可係方向相依（例如，相較於直接朝向或遠離目前物體姿勢之移動允許側向移動的更大距離）。

在許多實施例中，姿勢判定器電路207可僅檢測目前觀看姿勢是否在觀看區域內，例如僅藉由判定二元測量是否指示該觀看姿勢在該觀看區域內。在其他實施例中，可使用更複雜的方法，諸如例如比較非二元距離測量與動態臨限值。在一些實施例中，第一標準可包括觀看姿勢與觀看區域的任何姿勢之間的距離超過第一臨限之要求。臨限可在此情況下設定為零，亦即若觀看姿勢與觀看區域的任何姿勢之間的距離超過零臨限，則滿足該要求。

在許多實施例中，第一標準可包括觀看姿勢與觀看區域的參考姿勢之間的距離超過第一臨限之要求。針對不滿足該要求，參考姿勢可獨立於觀看者姿勢。只要不滿足該要求，參考姿勢可係固定的。在一些實施例中，在滿足該要求時（且具體地在改變物體姿勢時）可改變參考姿勢。

姿勢判定器電路207進一步經配置以回應於距離測量滿足第一標準之檢測而改變物體姿勢。因此，姿勢判定器電路207可檢測目前觀看姿勢移動至觀看區域之外（例如達某距離），且回應於此，其可改變物體姿勢，亦即，其可改變3D物體係在場景中之何處及/或3D物體在場景中的定向。

觀看區域可視為目前物體姿勢之場景/場景座標系統中的觀看區之表示，且因此指示物體資料被視為提供欲產生之物體的視圖之足夠資料的場景中之區域。姿勢判定器電路207可因此判定觀看姿勢已改變達一程度，其中無法依賴物體資料來為欲產生之具有足夠高品質的3D物體之視圖提供足夠完整且準確的資料。

該檢測可導致物體姿勢的改變，使得新觀看姿勢落入新物體姿勢的觀看區域內。因此，具體地，姿勢判定器電路207所判定的新物體姿勢可受到新物體姿勢不滿足第一標準的要求，亦即必須選擇新物體姿勢使得對應於新物體姿勢之觀看區的新觀看區域係使得新觀看姿勢與新物體姿勢的距離測量不滿足第一標準。因此，選擇新物體姿勢使得觀看姿勢不會離新物體姿勢之觀看區域太遠。

作為一特定實例，可判定新物體姿勢使得新/目前觀看姿勢落入新物體姿勢的觀看區域內。

應理解，用於判定新物體姿勢的確切演算法或選擇標準將取決於具體實施例，且可使用許多不同方法。稍後將更詳細描述一些特別有利的考量及標準。

姿勢判定器電路207可經配置以不針對滿足給定標準的情境中之變化的觀看姿勢來改變物體姿勢，諸如距離測量滿足包括該距離不超過第二臨限之標準的標準或要求。

因此，在許多實施例中，物體姿勢可針對至少一些情況及情境係固定的或永久的。具體而言，在許多實施例中，只要不滿足第一標準，則物體姿勢可不改變，且物體姿勢可僅在判定觀看姿勢已移動離觀看區域太遠時改變。

例如，在一些實施例中，只要觀看姿勢在觀看區域內則姿勢判定器電路207可繼續進行以保持物體姿勢固定，而（僅）在距離測量指示觀看姿勢移動至觀看區域之外時改變物體姿勢。在觀看姿勢移動至觀看區域之外時，則改變物體姿勢使得新物體姿勢的觀看區域包括目前觀看姿勢。

在許多實施例及情境中，該方法可對使用者提供經改善的體驗。例如，針對MR應用，可呈現（例如表示家教之）3D物體，使得其經感知為在房間中之一特定位置處且面對使用者。若使用者以相對小的量移動（使得他停留在觀看區域中），則3D物體/家教將看起來表現如真實物體，亦即，使用者可移動至旁邊並從不同角度看家教等。此外，所呈現的影像係處於高品質。然而，若使用者移動離起始姿勢太遠使得他移動至觀看區域之外，則系統不會繼續僅演現來自新姿勢之3D物體/家教的視圖，因為此將由於物體資料所提供的不完整資料而處於低品質。

反之，替代地，檢測到使用者已從起始姿勢移動太遠（例如，至觀看區域外），而3D物體/家教經改變至一新位置及/或定向。例如，3D物體/家教可「跳躍(jump)」至房間中之新位置，使得現在例如直接在目前觀看位置前方看到，及/或定向經改變，使得例如感知到家教已旋轉/轉動以再次直接面對使用者。

在許多實施例中，該方法可特別地確保3D物體的感知品質總是足夠高，且可確保其總是有可能基於可用物體資料來演現3D物體。可針對服務確保較高的最小保證品質。同時，針對大多數一般的運動，可在使用者之移動後達成具有3D物體的視圖之自然體驗（例如，視差等）。

所描述的體驗對許多應用而言可係高度有利的，諸如例如其中除了罕見的時間外學生一般將相對很少移動的教學應用。例如，只要學生保持在書桌前，則可呈現家教的自然感知給學生。然而，若他站起來並移動至房間之不同部分中的椅子，則系統可自動地重新定位及/或重新定向家教以在此新位置處提供對應的體驗給學生。

因此，視圖合成電路209經配置以針對距離不超過第一臨限的觀看姿勢之至少一些移動來從不同角度產生三維物體的視圖。具體而言，針對不會導致超過第一臨限之距離但包含垂直於從物體姿勢至觀看者姿勢的方向之移動分量的任何移動，所產生的物體之視圖將對應於物體的不同觀看角度。

應理解，此將固有地係任允許任何二維移動的何距離及臨限判定的情況，且其針對改變的觀看者姿勢將物體姿勢保持恆定。例如，二（或更高）維觀看區可導致二（或更高）維觀看區域，其可導致不滿足臨限之移動包括具有垂直分量之移動，且因此在物體姿勢係恆定時具有物體之不同觀看角度。

在許多實施例中，第一臨限係使得距離不超過針對在與物體姿勢不同的方向上之至少一些觀看姿勢的第一臨限。因此，此類觀看姿勢之間的改變將不會導致產生新物體姿勢，但將導致觀看姿勢處於與物體不同的方向上，亦即，物體係從不同角度觀看或看到。因此，針對觀看姿勢之此類改變保持物體姿勢恆定將導致針對不同視角產生物體的視圖，亦即，從對應於觀看者之移動的不同角度看到物體。因此，在此類實施例中，在不滿足第一臨限時，物體的視圖可看起來係場景中的正常3D物體，而因此達成更自然的感知。

在許多實施例中，距離測量及/或第一臨限可包括定向分量。因此，距離可取決於觀看姿勢與觀看區域的姿勢之間的定向差。該臨限可同樣地包括該定向之考量。

在許多實施例中，距離/第一臨限可因此包括定向距離貢獻。在大多數實施例中，距離/第一臨限可包括位置距離貢獻及定向距離貢獻兩者。在一些實施例中，距離及/或第一臨限可係多分量值，例如其可被視為向量。

作為一實例，若距離測量的一個分量超過一臨限，則可超過第一臨限，諸如例如若觀看姿勢相對於物體姿勢的分量中之一者的差異超過一臨限值。具體而言，若觀看姿勢之定向改變使得定向值之至少一者與觀看區域內之姿勢的對應定向值不同達多於第一臨限中所含的一臨限值，則姿勢判定器電路207可繼續進行以判定新物體姿勢。

在一些實施例中，第一臨限可係適應性臨限。具體而言，在一些實施例中，姿勢判定器電路207可經配置以回應於物體資料之性質及/或觀看區之性質來調適該臨限。

例如，姿勢判定器電路207可經配置以取決於物體資料（諸如例如基於提供給由多視圖及深度表示所表示的物體之視圖的數目及/或角密度）來調適該臨限。例如，所提供的視圖越多且角密度越高，則可設定越大的臨限，從而導致保持物體姿勢恆定的更大的區域。作為另一實例，可基於用以表示物體的紋理網格之遺失部分的大小來調適該臨限。例如，未提供紋理圖之物體的量越小，則該臨限可越大，導致物體姿勢不會改變的區域增加。

作為另一實例，姿勢判定器電路207可經配置以基於觀看區域之性質來調適該臨限。例如，其可基於觀看區域的大小來調適該臨限。在此一實例中，臨限可針對較小觀看區域而增加且針對較大觀看區域而減少。在許多實施例中，此可在物體之自然3D效果的使用者體驗（例如自然視差、物體係在場景中之真實物體的感知）與所呈現物體的影像品質（例如合成假影及誤差的量）之間提供更有利的權衡。

在檢測到滿足第一標準之觀看姿勢改變時，姿勢判定器電路207可如所提及經配置以改變物體姿勢。在一些實施例中，可改變物體姿勢之定向，使得物體姿勢在環境中經重新定向。例如，若使用者移動太遠至3D物體之側面使得物體資料未提供足夠的資料以演現3D物體的準確視圖（例如未提供3D物體之背側或後側的資料），則姿勢判定器電路207可改變物體姿勢使得3D物體看起來經旋轉以例如再次面對使用者。

替代地或額外地，姿勢判定器電路207可改變物體姿勢以改變場景中之3D物體的位置。例如，若使用者移動太遠至3D物體之側面使得物體資料未提供足夠的資料以演現3D物體的準確視圖（例如未提供3D物體之背側或後側的資料），則姿勢判定器電路207可改變物體姿勢使得在場景中之3D物體的位置係直接在觀看者前面，亦即使得3D物體再次將從前面直接看見。

應理解，在滿足第一標準時改變物體姿勢的所描述方法並非取決於任何特定操作或經施加以判定物體姿勢是初始地或在改變之前或之後的其他標準（受到在改變後之新物體姿勢導致不滿足第一標準）。反之，該方法之確實一優點係其可用於（且合適於）幾乎任何演算法或標準，該演算法或標準以其他方式用於判定物體姿勢。不需要任何特定的初始化或限制，但可例如實施為用以判定物體姿勢的任何所欲演算法之上的「覆蓋(overlay)」或「控制操作(control operation)」。針對物體姿勢，若觀看姿勢改變使得滿足第一標準，則可執行一改變使得第一標準不再滿足。此不取決於具有任何特定性質的物體姿勢，或實際上取決於如何選擇物體姿勢、或使用何標準/演算法於此判定/選擇。

特別地，不取決於任何用於基於觀看姿勢或基於場景資料來判定物體姿勢的特定演算法。所請求之概念的額外操作可覆蓋多樣演算法，且不取決於物體姿勢可如何以其他方式來選擇。

基於場景資料之物體姿勢的判定提供該物體與該場景相關。然而，完成此的確切方式將完全取決於個別實施例的偏好及要求，且基於距離測量來改變物體姿勢的操作不限於用於基於場景資料來判定物體姿勢的任何特定的要求、偏好、或方法。例如，在一些實施例中，可係所欲的是判定起始物體姿勢係盡可能遠離場景中之任何物體；在其他實施例中，可係所欲的是判定起始物體姿勢係緊鄰於一特定物體；在又其他實施例中，可係所欲的是將物體定位在與該物體對比的場景之一部分前面（例如將亮物體定位在暗場景元件前面）等等。依據場景資料而變動之物體姿勢的判定完全係設計決定，且該方法不限於任何特定操作。

類似地，所主張之概念的物體姿勢對於觀看姿勢的相依性在於：若檢測到觀看姿勢改變則改變物體姿勢，使得滿足第一標準，其中該改變係使得新物體姿勢將導致在該改變後滿足第一標準。此概念及操作界定物體姿勢對於觀看姿勢的相依性。其對於可用以基於觀看姿勢來選擇物體姿勢的任何其他方法或演算法而言並非條件式的或必要的，或者在判定物體姿勢時確實是否進一步使用一觀看姿勢。特別地，該概念並非取決於用以判定起始物體姿勢的任何特定方法。此係完全針對個別實施例之設計選擇。

具體而言，操作及優點不限於起始物體姿勢的任何特定判定或起始物體姿勢的任何特定選擇。作為一實例，系統可始於起始姿勢之判定，該起始姿勢經選擇使得物體在場景之暗部分前面（例如在夜間場景的天空中），但除此之外物體姿勢可完全隨機地選擇。系統可接著針對起始物體姿勢及針對目前觀看姿勢評估距離測量及第一標準。若此評估判定滿足第一標準，則系統可繼續進行以將物體姿勢改變至不再滿足第一標準的姿勢。因此，即使（例如）現存的演算法或應用產生非所欲的起始物體姿勢，該方法可（例如）被使用作為將此起始物體姿勢校正至所欲物體姿勢的額外控制。因此，並非取決於用於判定物體姿勢的任何特定演算法或方法，該方法可事實上係用以延伸用於判定物體姿勢的演算法之多樣性，因為其可用以校正或補償此類演算法的非所欲結果。

該方法完全不取決於或相關於起始姿勢係（例如）由作者所選擇的姿勢，或甚至取決於其係所欲的位置。該方法可不用以維持針對物體的所欲姿勢，而是可用以允許相反的效果，即物體姿勢係自動地改變使得其適合於目前觀看姿勢。因此，並非尋求加諸特定物體姿勢，其可允許此自由地判定，且接著若不滿足第一標準則改變。其可允許判定物體姿勢的演算法更多自由度，因為若無法如藉由滿足第一標準所指示者來確保影像品質，則可確保物體姿勢將改變。

在大多數實施例中，姿勢判定器電路207可經配置以修改該物體姿勢（及因此3D物體）之定向及位置兩者。

在一些實施例中，可指定參考姿勢給觀看區。例如，在許多實施例中，可界定用於產生3D物體之影像的較佳姿勢。例如，參考姿勢可係用於包含在觀看區中之所有姿勢的中心姿勢或平均姿勢，或者可例如係擷取姿勢之一者。因此，在許多實施例中，參考姿勢可指示用於3D物體之視圖的較佳姿勢。

姿勢判定器電路207可經配置以藉由將目前觀看姿勢與觀看區之參考姿勢對準來改變物體姿勢。例如，可選擇新物體姿勢，使得其將導致映射至目前觀看姿勢的觀看區之參考姿勢。觀看區之參考姿勢可相對於3D物體來界定，且可映射至場景中之觀看區域中的對應參考姿勢。參考姿勢與觀看姿勢之對準因而重新定位場景中之3D物體，使得其係定位在較佳位置處，諸如其中可達成最佳品質，或例如用以提供與觀看區域之邊緣的最大距離，從而減少所需的改變數目。

作為具體實例，姿勢判定器電路207可使用偏移向量來判定新物體姿勢。例如，新物體姿勢可經判定為在姿勢座標減去偏移向量之後的觀看姿勢之姿勢座標。

在許多實施例中，該方法可提供有利的操作及使用者體驗。其可例如提供一效果，其中使用者可自由地到處移動同時保持在觀看區域中。然而，若觀看姿勢偏離太多，則系統可藉由將3D物體之位置及定向重設至與該目前觀看姿勢之較佳關係來有效地重設3D物體之呈現。

在許多實施例中，亦可考量其他參數或限制，且參考姿勢與觀看姿勢之間的對準可僅係一個考量。然而，在此類情況中，仍可係所欲的是盡可能對準參考姿勢與觀看姿勢（鑑於其他考量），且姿勢判定器電路207可因此將新物體姿勢之選擇朝向觀看姿勢與參考姿勢的對準偏向。

在許多實施例中，姿勢判定器電路207可經配置以判定新物體姿勢，使得避免目前觀看姿勢的遮擋。

具體而言，姿勢判定器電路207可經配置以判定新物體姿勢，使得3D物體未由場景資料所描述的任何場景物體遮擋。例如，基於場景資料，姿勢判定器電路207可判定有未與任何場景物體相交而通至觀看姿勢的直接視線之場景中的所有姿勢。可接著根據給定的偏好要求（例如盡可能近地對準於參考姿勢、最小姿勢改變等）來從這些姿勢選擇新物體姿勢。

在一些實施例中，姿勢判定器電路207可經配置以判定新物體姿勢，使得3D物體未遮擋場景中之一組一或多個場景物體。該組場景物體可包括由場景資料所描述之所有場景物體，或可例如僅包括這些的子集（例如，僅特定類型的物體）。

例如，基於場景資料，姿勢判定器電路207可判定對應於非牆壁之所有場景物體之表面的位置。針對該等位置之各者，可追蹤一直接視線至目前觀看姿勢，且可判定該物體姿勢受到3D物體不與這些線之任一者相交的限制。

在一些實施例中，姿勢判定器電路207可經配置以在物體姿勢之改變後判定新物體姿勢，使得在根據新物體姿勢而定位並定向時在一組場景物體與3D物體之間沒有重疊。再次，該組場景物體可包含所有場景物體或僅包含這些之子集。

姿勢判定器電路207可例如判定一較佳物體姿勢，例如回應於偏好測量，諸如參考姿勢對目前觀看姿勢的最接近對準或物體姿勢的最小改變。其可接著判定針對此姿勢之3D物體的輪廓。若此未導致與場景物體重疊，則可將新物體姿勢設定成此值，而否則可移位物體姿勢直到無重疊發生。

作為另一實例，在一些實施例中，可判定3D物體之最大剖面尺寸（3D物體的兩個點之間的最遠距離），且新物體姿勢可經選擇以接受其與該組場景物體之任何場景物體的距離必須大於此最大剖面尺寸的要求。

在許多實施例中，姿勢判定器電路207可經配置以將新物體姿勢的判定朝向將相對於改變前之物體姿勢之差異最小化的物體姿勢偏向。在一些實施例中，可選擇最小的可能改變同時滿足用於選擇新物體姿勢的其他要求。例如，可判定物體將不遮擋任何場景物體且3D物體不重疊場景物體之場景/場景座標系統中的所有姿勢。這些姿勢與先前物體姿勢之間的差異可根據任何合適的距離測量（例如在位置之間的最小歐氏距離及在定向之間的最小角度）來判定。接著可選擇新物體姿勢作為發現最小距離測量的一者。

此一方法可導致3D物體之呈現中的經感知跳躍被盡可能最小化。

所描述之系統可例如用於其中3D物體係從限制於觀看區的MVD內容合成的應用中。如由觀看姿勢所指示之觀看者的位置無法自原始攝影機位置偏離太多而不會減少所得影像（若實際上可產生的話）之品質。確切的劣化取決於與觀看區域的接近度及所擷取物體的複雜度等。針對與所擷取位置/觀看區域之較大偏離，所描繪之3D物體將由於例如缺乏去遮擋資料或深度圖不準確而遭受變形。圖1繪示MVD物體之擷取的實例，而圖3繪示可如何將此視覺化為實際或虛擬房間中之電腦產生的影像。此一情況的問題在於：觀看者具有由MVD-物體擷取所判定的有限觀看區域，而觀看者可能希望在整個房間中自由地到處移動。所述方法可解決此問題並提供一種觀察者可在房間到處移動而同時維持3D物體之視覺化的良好品質之系統。

此可藉由有效地允許經視覺化的3D物體以受約束的方式「扣合(snap)」在房間各處來達成。例如，在觀看者移出觀看區時，3D物體經重新定位（扣合）並經重新定向，使得觀察者再次被最佳地定位在觀看區的中心處。AR物體之多個重新定位及重新定向係可行的。此外，在保持於觀看區域內時，可動態地改變經視覺化3D物體以反映使用者的移動，從而提供3D物體的自然體驗及視圖。

可判定在一改變後的新物體姿勢，使得其在給定組之限制下最佳化給定標準：例如，可判定新物體姿勢使得相對於觀察者之觀看方向的3D物體之位置盡可能少地改變，而同時確保沒有與場景物體（諸如一件家具）碰撞。作為另一實例，可判定新物體姿勢，使得在觀看姿勢與參考姿勢之間的距離盡可能小，而同時確保沒有與場景物體（諸如一件家具）碰撞。

物體姿勢之判定具體而言可包括下列考量之一或多者，且具體地在一些實施例中所有這些可依漸減的優先程度之下列順序來考量： 1. 避免在3D物體與場景物體之間的碰撞。新物體姿勢應使得其不會與其他物體（諸如牆壁或櫥櫃等）碰撞。在虛擬場景的情況中，可從已知的幾何檢測到碰撞，或可在額外（後設(meta)）資料中手動註解。在真實場景的情況中，有效姿勢可例如使用電腦視覺演算法來判定。 2. 避免由場景物體遮擋3D物體。 3. 選擇物體姿勢之位置，使得達成相對於先前物體位置的最小平移量值。 4. 選擇物體姿勢之定向，使得達成與目前觀看方向相較之下的最小旋轉角度量值。 5. 若未識別到有效姿勢，則搜尋場景中的所有姿勢以識別滿足要求的物體姿勢。

圖4以包含3個櫥櫃(c1,c2,c3)之虛擬或真實房間(r1)的形式繪示一場景之特定實例。在時間t=1時，觀看者位於觀看位置v1處，且3D物體係最佳地顯示在o1處。當觀看者在觀看區域z1中到處移動時，o1保持在相對於r1的相同位置處，亦即在場景中。在t=2時，觀看者移出起始觀看區域至觀看位置v2。然而，與o1的距離保持相同。在此情境中，o2之位置相對於o1未改變（平移量值=0）。僅o2之定向相對於o1改變，亦即物體旋轉朝向觀察者。在t=3時，觀看者移動至v3。針對僅考量3D物體之平移之最小化的標準，所描繪之3D物體將移動至o3_a 。然而，由於此導致碰撞，所描繪之3D物體替代地移動至o3_b 。

在更具體的細節中，MVD物體的演現可包括根據下式而從三維表示至二維表示的投影：

。

在此方程式中，一4×4模型矩陣

將物體i的本地座標轉換成廣域世界座標系統。針對所擷取之MVD 3D物體，在該組視圖中的各視圖具有其自身的起始模型矩陣，該起始模型矩陣將整個組定位在起始世界位置處。

用於多視圖物體的觀看區一般受限於攝影機陣列之原始擷取位置周圍的一些空間。當多視圖3D物體最初擺置在場景中時，觀看者係擺置在觀看區的中心處，例如藉由將攝影機承架的原點映射至接近於觀看者之眼睛的位置（如由觀看姿勢表示）。模型矩陣因此係視圖矩陣的函數：

。

最初，觀看者係藉由假定多視圖擷取係從他的目前頭部位置取得來定位：

。

在360°圖形環境中，由模型矩陣所表示之定向可係任意的，只要沒有與已存在於場景中之其他（圖形）物體的碰撞。

當觀看者開始在場景中到處移動時，很可能他將移出觀看區/區域。為了將觀看者擺置回觀看區中，影像合成設備平移及/或旋轉3D物體，使得用於新物體姿勢之觀看區域涵蓋觀看姿勢。圖5顯示一種方法，其修改3D物體之模型矩陣

，使得觀看者經重新定位在觀看區之中心處。圖5的實例包括3D物體的平移及旋轉兩者。

參考圖5，觀看姿勢在觀看區域的邊界處，且將旋轉

圍繞y軸施加至目前模型矩陣

，接續以

平面中之平移

。該新模型矩陣接著變成：

其中

。

改變觀看者相對於3D物體的位置係經由視圖矩陣V得知。

在一些實施例中，可在擷取座標系統中執行觀看姿勢移出觀看區域的檢測。在此一實例中，可將觀看姿勢之位置轉換成擷取座標：

。

應理解，為了清楚起見，上文描述已參考不同功能電路、單元、及處理器描述本發明之實施例。然而，將明白，可在不同功能電路、單元、或處理器之間使用任何合適的功能分布，而不減損本發明。例如，繪示為由分開的處理器或控制器執行之功能可由相同處理器或控制器實施例。因此，參考特定功能單元或電路僅被視為參考用於提供所描述之功能的合適手段，而非指示嚴格的邏輯或實體結構或組織。

本發明能以包括硬體、軟體、韌體、或彼等之任何組合的任何合適形式實作。本發明可任選地至少部分地實作為在一或多個資料處理及/或數位信號處理器上運行的電腦軟體。本發明之實施例的元件及組件可以任何合適方式實體地、功能地、及邏輯地實作。實際上，功能可以單一單元實作、以複數個單元實作、或實作為其他功能單元的一部分。因此，本發明可以單一單元實作，或可實體地及功能地分布在不同單元、電路、及處理器之間。

通常，影像合成系統、影像合成之方法、及實施該方法之電腦程式的實例由以下實施例來指示。實施例： 1. 一種影像合成系統，其包含：一第一接收器(201)，其用於接收描述一三維場景之至少部分的場景資料；一第二接收器(203)，其用於接收描述一三維物體的物體資料，該物體資料提供來自一觀看區之該三維物體的視覺資料，該觀看區具有相對於該三維物體之一相對姿勢；一第三接收器(205)，其用於接收在該三維場景中之一觀看者的一觀看姿勢；一姿勢判定器電路(207)，其用於回應於該場景資料及該觀看姿勢而判定在該三維場景中之該三維物體的一物體姿勢；一視圖合成電路(209)，其用於從該視覺資料、該物體姿勢、及該觀看姿勢產生一視圖影像，該視圖影像包含在該三維場景中之該三維物體的一視圖，其中該三維物體係處於該物體姿勢且係從該觀看姿勢觀看；一電路(211)，其用於針對該三維物體的該物體姿勢及該觀看區的該相對姿勢判定在該三維場景中之一觀看區域，該觀看區域對應於處於該物體姿勢之該三維物體的該三維場景中之該觀看區；其中該姿勢判定器電路(207)經配置以判定該觀看姿勢相對於該物體姿勢之該觀看區域的一距離測量，並回應於該距離測量滿足一第一標準而改變該物體姿勢，該第一標準包括該觀看姿勢與該觀看區域的一姿勢之間的一距離超過一第一臨限的一要求。 2. 如實施例1之影像合成系統，其中該姿勢判定器電路(207)經配置以不針對在該距離測量滿足一標準時之變化的觀看姿勢而改變該物體姿勢，該標準包括該觀看姿勢與該觀看區域的一姿勢之間的距離不超過一第二臨限的一要求。 3. 如前述實施例中任一項之影像合成系統，其中物體姿勢之該改變包括該物體姿勢之一位置的一改變。 4. 如前述實施例中任一項之影像合成系統，其中物體姿勢之該改變包括該物體姿勢之一定向的一改變。 5. 如前述實施例中任一項之影像合成系統，其中該場景資料包括用於在該三維場景中之至少一場景物體的資料，且該姿勢判定器電路(207)經配置以判定在該改變後的一新物體姿勢，該判定係受到從該三維物體的該觀看姿勢不會有由該至少一場景物體遮擋的一限制。 6. 如前述實施例中任一項之影像合成系統，其中該場景資料包括用於在該三維場景中之至少一物體的物體資料，且該姿勢判定器電路(207)經配置以判定在該改變後的一新物體姿勢，該判定係受到在該三維場景中的該至少一物體與該新觀看姿勢的該三維物體之間沒有重疊的一限制。 7. 如前述實施例中任一項之影像合成系統，其中該觀看區包含一參考姿勢，且該姿勢判定器電路(207)經配置以在該改變後將一新物體姿勢朝向該參考姿勢與該觀看姿勢之一對準偏向。 8. 如前述實施例中任一項之影像合成系統，其中該姿勢判定器電路(207)經配置以在該改變後判定一新物體姿勢，該判定係受到該距離測量不滿足該新觀看姿勢之該第一標準的一限制。 9. 如前述實施例中任一項之影像合成系統，其中該姿勢判定器電路(207)經配置以在該改變後將一新物體姿勢朝向在該改變前相對於一物體姿勢的一最小姿勢差異偏向。 10. 如前述實施例中任一項之影像合成系統，其中該場景資料包括用於在該三維場景中之至少一場景物體的資料，且該姿勢判定器電路(207)經配置以判定在該改變後的一新物體姿勢，該判定係受到從該至少一場景物體的該觀看姿勢不會有由該三維物體遮擋的一限制。 11. 如前述實施例中任一項之影像合成系統，其中該姿勢判定器電路(207)經配置以對該場景之一區域的姿勢執行一搜尋，來找出滿足複數個限制之該改變後的一新物體姿勢。 12. 如前述實施例中任一項之影像合成系統，其中該三維物體的該表示包含該三維物體的一多視圖影像及深度表示。 13. 如前述實施例中任一項之影像合成系統，其中該場景資料提供該三維場景之至少部分的一視覺模型，且該視圖合成電路(209)經配置以回應於該視覺模型係來自與該三維物體之該視圖混合的該觀看姿勢之該場景的一視圖而產生該視圖影像。 14. 一種影像合成之方法，其包含：接收描述一三維場景之至少部分的場景資料；接收描述一三維物體的物體資料，該物體資料提供來自一觀看區之該三維物體的視覺資料，該觀看區具有相對於該三維物體之一相對姿勢；接收在該三維場景中之一觀看者的一觀看姿勢；回應於該場景資料及該觀看姿勢而判定在該三維場景中之該三維物體的一物體姿勢；從該視覺資料、該物體姿勢、及該觀看姿勢產生一視圖影像，該視圖影像包含在該三維場景中之該三維物體的一視圖，其中該三維物體係處於該物體姿勢且係從該觀看姿勢觀看；針對該三維物體的該物體姿勢及該觀看區的該相對姿勢判定在該三維場景中之一觀看區域，該觀看區域對應於處於該物體姿勢之該三維物體的該三維場景中之該觀看區；且進一步包含：判定該觀看姿勢相對於該物體姿勢之該觀看區域的一距離測量，及回應於該距離測量滿足一第一標準而改變該物體姿勢，該第一標準包括該觀看姿勢與該觀看區域的一姿勢之間的一距離超過一第一臨限的一要求。 15. 一種電腦程式產品，其包含經調適以當該程式在一電腦上運行時執行如實施例14之所有步驟的電腦程式碼構件。

更具體而言，本發明由隨附之申請專利範圍來定義。

雖然本發明已相關於一些實施例描述，未意圖受限於本文陳述的具體形式。更確切地說，本發明的範圍僅由隨附的申請專利範圍限制。額外地，雖然特徵可顯現為結合特定實施例描述，所屬技術領域中具有通常知識者會認知所描述之實施例的各種特徵可根據本發明組合。在申請專利範圍中，用語包含不排除其他元件或步驟的存在。

另外，雖然個別地列舉，複數個構件、元件、電路、或方法步驟可藉由，例如，單一電路、單元、或處理器實作。額外地，雖然個別特徵可包括在不同的申請專利範圍中，可能有有利的組合，且包括在不同申請專利範圍中不暗示特徵的組合係可行及/或有利的。特徵包括在一類別之請求項中並未暗示對此類別的限制，反而指示該特徵可視需要同等地適用於其他請求項。另外，在申請專利範圍中的特徵次序並未暗示特徵必須以該次序作用的任何具體次序，且方法項中之個別步驟的次序未特別暗示步驟必須以此次序執行。更確切地說，步驟可以任何合適次序執行。此外，單數型參照未排除複數型。因此，對「一(a)」、「一(an)」、「第一(first)」、「第二(second)」等的參照不排除複數。申請專利範圍中的參考標誌僅提供為闡明實例，不應以任何方式解釋為限制申請專利範圍的範圍。

101:物體 103:背景 105:擷取攝影機/擷取區域 201:第一接收器 203:第二接收器 205:第三接收器 207:姿勢判定器電路 209:視圖合成電路 211:電路/觀看區域電路 301:牆壁 303:房間物體 c1:櫥櫃 c2:櫥櫃 c3:櫥櫃 r1:房間 v1:觀看位置 v2:觀看位置 z1:觀看區域

將僅以舉例之方式參考圖式描述本發明的實施例，其中〔圖1〕繪示3D物體之影像及深度擷取的實例；〔圖2〕繪示根據本發明之一些實施例之影像合成設備之元件的實例；〔圖3〕繪示根據本發明之一些實施例之其中呈現虛擬3D物體元件的場景之實例；〔圖4〕繪示根據本發明之一些實施例之其中呈現虛擬3D物體元件的場景之實例；且〔圖5〕繪示根據本發明之一些實施例之可由影像合成設備執行的處理之實例。

201:第一接收器

203:第二接收器

205:第三接收器

207:姿勢判定器電路

209:視圖合成電路

211:電路/觀看區域電路

Claims

一種影像合成系統，其包含：一第一接收器(201)，其經配置以接收描述一三維場景之至少部分的場景資料；一第二接收器(203)，其經配置以接收描述一三維物體的物體資料，該物體資料提供來自一觀看區之該三維物體的視覺資料，該觀看區具有相對於該三維物體之一相對姿勢；一第三接收器(205)，其經配置以接收在該三維場景中之一觀看者的一觀看姿勢；一姿勢判定器電路(207)，其經配置以回應於該場景資料及該觀看姿勢而判定在該三維場景中之該三維物體的一物體姿勢；一視圖合成電路(209)，其經配置以從該視覺資料、該物體姿勢、及該觀看姿勢產生一視圖影像，該視圖影像包含在該三維場景中之該三維物體的一視圖，其中該三維物體係處於該物體姿勢且係從該觀看姿勢觀看；一電路(211)，其經配置以針對該三維物體的該物體姿勢及該觀看區的該相對姿勢判定在該三維場景中之一觀看區域，該觀看區域對應於處於該物體姿勢之該三維物體的該三維場景中之該觀看區；其中該姿勢判定器電路(207)經配置以判定該觀看姿勢相對於該物體姿勢之該觀看區域的一距離測量，並回應於該距離測量滿足一第一標準而改變該物體姿勢，該第一標準包括該觀看姿勢與該觀看區域的一姿勢之間的一距離超過一第一臨限的一要求，且該視圖合成電路(209)經配置以針對該距離不超過該第一臨限之該觀看姿勢的至少一些改變從不同角度產生該三維物體之該視圖，且該姿勢判定器電路(207)經配置以判定在該物體姿勢之該改變後的一新物體姿勢，該新物體姿勢之該判定係受到該距離測量不滿足該新物體姿勢之該第一標準的一限制。
如前述請求項中任一項之影像合成系統，其中該觀看區域係至少一二維區域。
如前述請求項中任一項之影像合成系統，其中該第一臨限係使得該距離不超過針對在與該物體姿勢不同的方向上之至少一些觀看姿勢的該第一臨限。
如前述請求項中任一項之影像合成系統，其中該姿勢判定器電路(207)經配置以不針對在該距離測量滿足一標準時之變化的觀看姿勢而改變該物體姿勢，該標準包括該觀看姿勢與該觀看區域的一姿勢之間的距離不超過一第二臨限的一要求。
如前述請求項中任一項之影像合成系統，其中物體姿勢之該改變包括該物體姿勢之一位置的一改變。
如前述請求項中任一項之影像合成系統，其中物體姿勢之該改變包括該物體姿勢之一定向的一改變。
如前述請求項中任一項之影像合成系統，其中該場景資料包括用於在該三維場景中之至少一場景物體的資料，且該姿勢判定器電路(207)經配置以判定在物體姿勢之該改變後的一新物體姿勢，該新物體姿勢之該判定係受到從該三維物體的該觀看姿勢不會有由該至少一場景物體遮擋的一限制。
如前述請求項中任一項之影像合成系統，其中該場景資料包括用於在該三維場景中之至少一物體的物體資料，且該姿勢判定器電路(207)經配置以判定在物體姿勢之該改變後的一新物體姿勢，該新物體姿勢之該判定係受到在該三維場景中的該至少一物體與該新觀看姿勢的該三維物體之間沒有重疊的一限制。
如前述請求項中任一項之影像合成系統，其中該觀看區包含一參考姿勢，且該姿勢判定器電路(207)經配置以在該改變後將一新物體姿勢朝向該參考姿勢與該觀看姿勢之一對準偏向。
如前述請求項中任一項之影像合成系統，其中該姿勢判定器電路(207)經配置以在物體姿勢之該改變後將一新物體姿勢朝向相對於物體姿勢之該改變前之一物體姿勢的一最小姿勢差異偏向。
如前述請求項中任一項之影像合成系統，其中該場景資料包括用於在該三維場景中之至少一場景物體的資料，且該姿勢判定器電路(207)經配置以判定在物體姿勢之該改變後的一新物體姿勢，該判定係受到從該至少一場景物體的該觀看姿勢不會有由該三維物體遮擋的一限制。
如前述請求項中任一項之影像合成系統，其中該姿勢判定器電路(207)經配置以對該場景之一區域的姿勢執行一搜尋，來找出滿足複數個限制的該物體姿勢之該改變後的一新物體姿勢。
如前述請求項中任一項之影像合成系統，其中該三維物體的該表示包含該三維物體的一多視圖影像及深度表示。
如前述請求項中任一項之影像合成系統，其中該場景資料提供該三維場景之至少部分的一視覺模型，且該視圖合成電路(209)經配置以回應於該視覺模型係來自與該三維物體之該視圖混合的該觀看姿勢之該場景的一視圖而產生該視圖影像。
如前述請求項中任一項之影像合成系統，其中該姿勢判定器電路(207)經配置以回應於該物體資料之一性質而調適該臨限。
如前述請求項中任一項之影像合成系統，其中該姿勢判定器電路(207)經配置以回應於該觀看區之一性質而調適該臨限。
一種影像合成之方法，其包含：接收描述一三維場景之至少部分的場景資料；接收描述一三維物體的物體資料，該物體資料提供來自一觀看區之該三維物體的視覺資料，該觀看區具有相對於該三維物體之一相對姿勢；接收在該三維場景中之一觀看者的一觀看姿勢；回應於該場景資料及該觀看姿勢而判定在該三維場景中之該三維物體的一物體姿勢；從該視覺資料、該物體姿勢、及該觀看姿勢產生一視圖影像，該視圖影像包含在該三維場景中之該三維物體的一視圖，其中該三維物體係處於該物體姿勢且係從該觀看姿勢觀看；針對該三維物體的該物體姿勢及該觀看區的該相對姿勢判定在該三維場景中之一觀看區域，該觀看區域對應於處於該物體姿勢之該三維物體的該三維場景中之該觀看區；且進一步包含：判定該觀看姿勢相對於該物體姿勢之該觀看區域的一距離測量，及回應於該距離測量滿足一第一標準而改變該物體姿勢，該第一標準包括該觀看姿勢與該觀看區域的一姿勢之間的一距離超過一第一臨限的一要求，其中產生該視圖影像包括針對該距離不超過該第一臨限之該觀看姿勢的至少一些改變從不同角度產生該三維物體之該視圖，且改變該等物體姿勢包含判定在該物體姿勢之該改變後的一新物體姿勢，該新物體姿勢之該判定係受到該距離測量不滿足該新物體姿勢之該第一標準的一限制。
一種電腦程式產品，其包含經調適以當該程式在一電腦上運行時執行如請求項17之所有步驟的電腦程式碼構件。