TW201021543A - Three dimensional image data processing - Google Patents

Description

201021543 六、發明說明： 【發明所屬之技術領域】 本發明係關於包括三維視訊影像資料之三維影像資料。 【先前技術】 三維顯示器藉由向檢視者眼睛提供所觀看之場景的不同 視圖而將第三維度增加至檢視體驗。一種用於表示三維 (3D)影像之風行方法係使用一或多個二維（2D)影像外加一 提供第三維度之資訊的深度表示。此方法提供若干優點， 包括允許以相對低之複雜性產生3D視圖及提供有效之資料 表示藉此減少（例如）3D影像（及視訊）信號之儲存及通信資 源要求。該方法亦允許以不同於3D影像資料中所包括之 2D影像的視點及視角來產生2D影像。具體言之，此可用 以產生一額外影像，使得提供對應於檢視者兩眼之視角的 兩個影像。此可用以提供3D感知（亦即，提供3D影像）。 藉由單一 2D影像及相關聯之深度資訊表示3D影像的缺 陷係其不包括關於由前景物件遮蔽之背景影像區域的資 訊。因此，若針對一不同視點來再現場景，則在前景物件 後面無資訊可顯露。因此，已提議使用多層影像及深度表 示，其包含具有相關聯之深度資訊的複數個二維影像（例 如，前景影像及背景影像）。如何自此資訊再現新視圖的 描述可在 Steven J. Gortler 及 Li-wei He 之「Rendering Layered Depth Images」（微軟技術報告MSTR-TR-97-09等 等，其獲自 http://research.microsoft.com/research/pubs/ view.aspx?type=Technical%20Report&id=20)及（例如）美國 141826.doc 201021543 專利申請案US20070057944中找到。 在使用一個以上之層的方法中，已提議允許層為半透明 的。在電腦圖形領域中，此方法（例如）描述於Norman P. Jouppi 及 Chun-Fa Chang 之「An Economical Hardware Technique for High-Quality Antialiasing and Transparency j (1999年關於圖形硬體之歐洲圖形/電腦圖形專業組 (Siggraph)研討會的會議記錄）中。此方法允許視覺化半透 明材料（例如，水、煙、火焰）且亦允許不同深度處之物件 之邊緣的經改良之抗混淆。具體言之，其允許邊緣之更逐 步的轉變。因此，透明度不僅可用於表示半透明物件，且 亦可允許藉由使邊緣為半透明來進行前景物件之邊緣的抗 混淆，使得透明度值表示一像素之多少應為前景及背景之 多少應為可見的。此方法之一實例可在以下文件中找到： C. Lawrence Zitnick Sing Bing Kang Matthew Uyttendaele Simon Winder Richard Szeliski之「High-quality video view interpolation using a layered representation」（Siggraph 2004會議記錄）。 然而，儘管此等方法在許多情況中可提供改良之3D影像 感知及影像，但其趨向於具有一些缺點。詳言之，影像品 質及3D感知在一些情況中可為次最佳的且3D處理可引入 失真及影像退化（諸如可見之假影）。 因此，一種用於3D影像資料處理之改良方法將為有利 的，且詳言之，一種允許增加之靈活性、改良之影像品 質、促進之實施及/或改良之效能的方法將為有利的。 141826.doc 201021543 【發明内容】 因此，本發明設法較佳單一地或以任何組合來減輕、緩 和或消除上文所提及之缺點中之一或多者。 根據本發明之一態樣，提供一種產生三維影像資料之方 法，該二維影像資料包含複數個影像層以用在再現三維影 像之視圖之圖像元素中，該方法包含：提供（3〇1)一第一影 像層之第一影像資料；提供（303)一第二影像層之第二影像 資料；提供（305)該第一影像層及該第二影像層中之至少一 者的深度指不資料；產生（3〇7)一相依性指示符，該相依性 指不符指示該第一影像層之一第一影像是否含有用於該第 一影像層之一第二同時影像的補充三維分層式影像資料； 及產生（309)包含該第一影像資料、該第二影像資料、該深 度指示資料及該相依性指示符之三維影像資料。 本發明在許多情況中可提供改良之效能。詳言之，可達 成改良之3D感知及/或影像品質。詳言之，可減少或消除 與在一些條件下之3D影像處理相關聯的若干影像假影及退 化。影像元素之再現可指代一影像之（子）像素的再現；該 影像為（例如）三維場景之全視圖。 該相依性指示符可指示該第一影像層及該第二影像層之 同時影像是否包含用於彼此之補充三維分層式影像資料。 此處所預期之同時影像意欲指代意欲用於在一時刻再現影 像元素的資料。 舉例而言’補充影像資料可為表示不同深度之一或多個 額外影像平面的資料。舉例而言，前景影像可提供用於背 141826.doc -6 - 201021543 景影像之補充3D影像資料，且反之亦然。 詳言之，發明者認識到，可將分層式3]〇影像格式用於影 像層中之不同類別的影像且可由於此等之3D處理而產生退 化。此外，發明者認識到，可藉由取決於影像層中所提供 之衫像資料的性質來調適3D處理且具體言之藉由回應於該 等影像層之間的關係來調適3D處理而達成改良之效能。具 體言之，發明者認識到，當影像層被認為係獨立的但事實 上為相依的或反之亦然時，可發生影像退化◊此外，發明 ® 者認識到，可由發源站/編碼器/傳輸器藉由將一相依性指 示符包括於三維資料中來控制（例如）3D影像之再現。 舉例而s ’對於一影像序列而言（諸如對於一視訊序列 而言），該第一影像層及該第二影像層可包含相同場景之 前景及背景。因此，可組合該等層之影像資料以產生立體 影像（例如，針對前景影像物件之去遮蔽可使用來自背景 影像之影像資訊）。該等影像層因此為相依的及互相關 參的，且§產生3D影像視圖時一再現單元可一同考慮兩個影 像。然而’在自一場景平滑轉換（cr〇ss fade)至另一場景期 間，該第一影像層可包含原始場景之混合之前景影像及背 景影像，且该第二影像層可包含後續場景之混合之前景影 像及背景影像。可接著使用逐步改變之透明度值來執行自 s亥第一影像層至該第二影像層之平滑轉換。在平滑轉換之 後，該等影像層可接著回復為包含獨立之前景影像及背景 影像。然而，如由發明者所認識到，此序列可在平滑轉換 期間完全地產生影像退化及假影，因為3D處理將試圖基於 141826.doc 201021543 ==前景影像及背景影像的影像來執行去遮蔽。如 相依性二斤認識到’可藉由相依性指示符來減輕此，該 可反映該等影像層在平滑轉換之前及之後作 ”ΐ:滑轉換期間為相依的。因此，當相依性指示符指 二3::並非相依時，可將⑽理動態地調適為不執 該相依性指示符指 1了扣不該第一影像層及該第二影像層之 三維層間處理是否為可行的。該相依性指示可 7不該第-影像及該第二影像之同時影像是否為待再現之 影^提供處於不同深度級之補充表示。具體言之，該相依 性指不符可為一組合指示符其指示該第一影像層及該第 -影像層之同時影像是否可使用來自該等層之互相關之三 維資訊藉由三維過程來組合。 該等影像層中之每一者可包含一或多個影像。舉例而 言，每一影像層可包含—影像序列。該第-影像層及該第 一影像層可包含彼此疊加之影像。 根據本發明之-選用特徵，當該第一影像層為該第二影 像之遮蔽層時，該相依性指示符指示該第一影像層與該第 二影像層為相依的。 此可允許進行改良之3D影像處理且詳言之可減少由去遮 蔽處理引人之影像假影及影像品質退化。3D再現單元具體 言之可取決於相依性指示符來調適3D去遮蔽處理，且具體 s之可在相依性指示符指示該第—影像層肖該第二影像層 為相依時將該第-影像層及該第二影像層兩者用於去遮蔽 141826.doc -8- 201021543 處理且可僅在相依性指示符指示第—影像層與第二 係獨立時才使用該等層中之一者。 根據本發明之-選用特徵’ #該第—影像層並非該第二 影像之遮蔽層時，該相依性指示符指示該第—影像層與: 第二影像層係獨立的。 此可允許簡化及/或改良之相依性指示且詳言之可在許 多實施例中允許進行簡化操作。該相依性指示符可為1 Φ ❿ 映該第-影像層是否為該第二影像層之遮蔽層的二進位 值。 根據本發明之—選用特徵，該深度指示資料包含該第一 景:像層之一第-深度指示圖及該第二影像層之-第二深度 .曰不圖’且其中當該第-深度指示圖之深度指示值盥該第 二深度指示圖之深度指示值不_致時，該相依性指;^指 不該第一影像層與該第二影像層為獨立的。 此可允許進行改良之3D影像處理且詳言之可減少由3d 處理引人之影像假影及料品f退化。詳言之，相依性指 不符可提供對3D影像處理系統中之深度f訊的改良#制且 可減少或減輕處理不—致之深度資料的影響。 根據本發明之-選用特徵’若該第一深度指示圖之深度 指示值表示在至少—影像區中比該第二指補之深度指示 值深的深度級且該第二深度指示圓之深度指示值表示在至 少-其他影像區中比該第一指示圖之深度指示值深的深度 級，則該第-深度指示圖之深度指示值與該第二深度指示 圖之深度指示值不—致。 141826.doc 201021543 此可允許進行改良之3D影像處理且詳言之可❹由沁 處理引入之影像假影及影像品質退化。具體言之，影像元 素或像素之更深的深度級可為一深度指示值，該深度指示 值表示相對於對應於三維影像之視圖的一視點而離 的影像元素。 根據本發明之-選用特徵’當該第一影像層及該第二影 像層包含平滑轉換影像時，該相依性指示符指示該第—影 像層與該第二影像層係獨立的，且當該第—影像層及該第 二影像層不包含平滑轉換影像時，該相依性指示符指示該 第一影像層與該第二影像層為相依的。 本發明可允許進行特定改良之平滑轉換操作^詳言之， 本發明可在執行平滑轉換時減少影像退化及假影，而當不 執行平滑轉換時仍允許進行高品質3d處理。 平滑轉換可包括自一影像或影像序列至另一影像或影像 序歹J之任何轉變。舉例而言，可使用兩個影像（或影像序 列）之間的逐步透明度轉變。作為另—實例，平滑轉換可 為抹擦或其他轉變模式。 根據本發明之-選用特徵，該相依性指示符係—具有第 :值及第二值之二進位資料值，#中該第一值指示該第一 影像層與該第二影像層為相依的，且該第二值指示該第一 影像層與該第二影像層係獨立的。 此可允許一有效之表示及資料附加項之減少同時允許進 行有效之3D處理控制以減少由3〇處理引起之影像退化或 假影。 141S26.doc 201021543 /艮據本發明之—選用特徵，若該第—影像層包含該第二 影像層之—影像的前景影像，則將該相依性指示符設定為 該第:值，且若該第—影像層不包含該第二影像層之該影 象的剛景tz像’則將該相依性指示符設^為該第二值。 此可允許進行改良之3D影像處理且詳言之可允許基於前 …、象及#景景/像進行南品質3D處理同時減少影像假影及 影像品f退化（#此等影像不可用時）。具體言之，該第二

影像層之前景影像可為—混合影像，其包含該第二影像層 之影像的前景影像物件以及該第二影像層之影像的一或多 個影像區域。 根據本發明之-選用特徵，該第一影像層屬於一第一影 像層群且該第二影像層屬於—第二影像料，該第一影像 層群及該第二影像層群中之至少—者包含複數個影像層； 且該相依性指示符指示該第—影像層群之影像層與該第二 影像層群之影像層之間的相依性。 此可允許有效之操作、改良之影像品質及/或改良之靈 活性。在許多實施例中，該方法可允許對3D處理之有效控 制同時保持低之信號傳輸附加項。 根據本發明之一選用特徵，一影像層群之影像層係相依 之影像層。 此可允許有效之操作、改良之影像品質及/或改良之靈 活性。詳言之，在相依影像層群之間的相依性可變並由相 依性指不符指示的情況下將影像層劃分為相依影像層群可 允許3D影像資料之有效表示且可降低（例如）資料速率。 141826.doc -11 · 201021543 根據本發明之-選用特徵，—影像層群中之影像層的影 像資料係鄰近的’且該相依性指示符指示下—獨立影像層 群在三維影像資料中的位置。 此可允許相依性資訊之—特财效之表示且可減少相依 性指示符所需之附加項的量。 根據本發明之-選用特徵，該方法進—步包含提供該第 -影像層及該第二影像層中之至少—者的透明度資料及將 該透明度資料包括於該三維影像資料中。 透明度資訊與相依性資訊之組合可允許特別有效之扣處 理方法。詳言之，該組合可允許以改良之效能及/或影像 品質來執行若干有效之處理演算法。舉例而言，可達成改 良之平滑轉換操作同時保持促進之控制及低資源使用。 根據本發明之另一態樣，提供一種再現影像元素之方 法，其包含：接收（501)三維影像資料，該三維影像資料包 含一第一影像層之第一影像資料、一第二影像層之第二影 像資料、該第一影像層及該第二影像層中之至少一者的深 度指示資料及指示該第一影像層與該第二影像層之間的相 依性的一相依性指示符；及藉由回應於該相依性指示符而 處理該第一影像資料、該第二影像資料及該深度指示資料 來再現（503)該三維影像資料之多個視圖的影像元素以用在 視覺化該三維影像中。 該方法可允許對3D表示之影像元素的改良再現。詳言 之，可達成由3D處理產生的減少之影像退化或假影。_

叶S 之’其可防止影像處理自動地適應3D影像資料之特定特 141826.doc -12- 201021543 性。將瞭解’㈣當時，先前參考產生_像資料之方法 所描述的特徵、評論及優點將同等地應用於再現方法。 根據本發明之一選用特徵，該再現（503)包含僅當該相 依性和不符指示該第__影像層與該第二影像層為相依時執 行該第—影像層及該第4像層之„影像 像處理。 ' 在許多應用中此可允許改良之影像品f且詳言之可提供 -種將層間處理之應用限制於若干條件的有效及高效能； 法’其中此可能為有利的》 根據本發明之一選用特徵，該再現（5〇3)包含僅在該相 依性指示符指示該第-影像層與該第二影像層為相依時才 使用來自該第二影像層之-第二影像的資訊執行該第一影 像層之一第一影像的去遮蔽。 在許多應用中此可允許改良之影像品質且詳言之可提供 一種使去遮蔽及3D再現演算法適應於影像層之特定（當前） 特性及使用的有效及南效能方法。 根據本發明之一選用特徵，該再現（5〇3)包含組合該第 一影像層之一第一影像及該第二影像層之一第二影像，當 該相依性指示符指示該第-影像層與該第二影像層為相依 時，該組合係回應於三維影像資訊’且當該相依性指示符 指示該第一影像層與該第二影像層係獨立時，該組合不回 應於三維影像資訊。 當該等影像層係獨立時，該組合具體言之可僅回應於透 明度資訊。該個別第一影像及第二影像均可為考慮3D資訊 141826.doc -13· 201021543 而產生的，但當組合所得影像時，此等影像之組合將根據 選用特徵而不考慮3D資訊。當該等影像層係獨立時，該組 〇具體„之可按照像素值之線性組合。該第一影像及該第 二影像之加權在此狀況下可取決於像素之透明度值。 根據本發明之另一態樣，提供一種用於產生三維影像資 料之裝置，該三維影像資料包含複數個影像層以用在再現 三維影像之視圖的圖像元素中，該裝置包含：用於提供一 第一影像層之第一影像資料的構件（2〇3);用於提供一第二 影像層之第二影像資料的構件（2〇5);用於提供該第一影像 層及該第二影像層中之至少_者之深度指示資料的構件 (2〇9、211);用於產生__相依性指示符的構件（213)，該相 依性指示符指示該第-影像層與該第二影像層之間的相依 性；及用於產生包含該第一影像資料、該第二影像資料、 該深度指示資料及該相依性指示符之三維影像資料的構件 (215)。 根據本發明之另-態樣，提供一種用於再現影像元素之 褒置’該裝置包含：用於接收三維影像資料的構件（4〇1)， 該三維影像資料包含H像層之第—影像資料、一第 二影像層之第二影像資料、該第—影像層及該第二影像層 中之至少一者的深度指示資料及指示該第一影像層與該第 二影像層之間的-相依性的—相依性指示符；&用於藉由 回應於該相依性指示符而處理該第—影像資料、該第二影 像資料及《度㈣㈣來再現該三維料資料之多個視 圖之影像元素以用在視覺化三維影像中的構件（403)。 14J826.doc -14- 201021543 根據本發明之另一態樣，提供一種影像信號，其包含： 一第一影像層之第一影像資料；一第二影像層之第二影像 資料；該第一影像層及該第二影像層中之至少一者的深度 指示資料；及指示該第一影像層與該第二影像層之間的相 依性的一相依性指示符。 根據本發明之另一態樣，提供一種產生三維影像資料之 方法，該三維影像資料包含複數個影像層以用在再現三維 影像之視圖的圖像元素中，該方法包含：提供包含影像資 料之一第一影像層，該影像資料至少對於一些影像而言表 示包含來自複數個影像之貢獻的一複合影像；提供一第一 深度層，其包含該複合影像之一複合深度圖；提供一第二 影像層，其包含對該複合影像作出貢獻之另一影像的影像 資料；提供一第二深度層，其包含該另一影像之另一深度 圖；提供一透明度圖，其表示該另一影像對該複合影像之 貢獻；產生一相依性指示符，其反映該第二影像層之一影 像是否包含對該第一影像層之一複合影像作出貢獻的至少 一影像之一前景影像及一背景影像中之至少一者或該第二 影像層之該影像是否並非對該複合影像作出貢獻的任何影 像之一前景影像及一背景影像中之一者；及產生包含該第 一影像層、該第一深度層、該第二影像層、該第二深度 層、該透明度圖及該相依性指示符之三維影像資料。 根據本發明之另一態樣，提供一種再現影像元素之方 法，其包含：接收三維影像資料，該三維影像資料包含： 包含影像資料之一第一影像層，該影像資料至少對於一些 141826.doc -15- 201021543 影像而言表示包含來自複數個影像之貢獻的一複合影像； 一第一深度層，其包含該複合影像之一複合深度圖；一第 二影像層，其包含對該複合影像作出貢獻之另一影像的影 像資料；一第二深度層，其包含該另一影像之另一深度 圖；一透明度圖，其表示該另一影像對該複合影像之貢 獻；一相依性指示符，其反映該第二影像層之一影像是否 包含對該第一影像層之一複合影像作出貢獻的至少一影像 之一前景影像及一背景影像中之至少一者或該第二影像層 之該影像是否並非對該複合影像作出貢獻的任何影像之一 前景影像及一背景影像中之一者；及藉由該三維影像資料 之三維處理來再現該三維影像資料之多個視圖之影像元素 以用在視覺化三維影像中，其中僅在該相依性指示符指示 該第二影像層之影像為對該第一影像層之影像作出貢獻的 一影像之一背景影像及一前景影像中之至少一者時，針對 該第一影像層之影像的去遮蔽才回應於該第二影像層之一 同時影像。 本發明之此等及其他態樣、特徵及優點將自下文所描述 之實施例而顯而易見且將參考下文所描述之實施例來加以 闡述。 【實施方式】 將參看圖式僅借助於實例來描述本發明之實施例。 以下描述集中於可應用於3D影像資訊之表示的本發明之 實施例，該3D影像資訊可應用於視訊信號之一或多個訊 框。然而，將瞭解，本發明非限於此應用且可應用於包括 141826.doc -16- 201021543 (例如）靜態影像、動畫等之許多其他影像類型。

一種用於表*3D影像資料之風行格式係將第—影像層用 像之影像資料及將第二影像層用於背景影像之影 貝枓。在-些情況中，可使用兩個以上之層（例如，可 將第—層用於在背景影像與前景影像中間的影像）。此 外’常常包括深度指示資料，其呈背景影像、前 通常前景影像及背t影像兩者之深度指*圖的形式/。另 外，已提議包括透明度資料，該透明度資料表示影像之影 像物：的透明程度。通常，包括一前景透明度層，其含有/ 描述前景應多透明（亦即，背景應經由前景而可見的程度） 的透明度資訊。 圖1說明根據此格式之3D影像資料之一實例。具體言 之，圖1說明背景影像101，該背景影像101具有一相關聯 之冰度札不圖103，對於每一像素而言，該深度指示圖1〇3 具有私示奇景景> 像像素之深度的一值。在該實例中，3d影 像資料進一步包含前景影像1 〇 5及一相關聯之深度指示圖 107。在特定實例中，前景影像1〇5實際上為包含前景影像 物件之一混合影像。然而，對於不存在前景影像物件之影 像區域而言，背景像素值已被複製至前景影像。類似地， 對於此等像素而言，背景深度指示值已被複製至前景深度 才曰示圖109 °混合影像之使用可提供改良之回溯相容性， 因為其允許直接將混合影像呈現為習知影像。然而，將 瞭解’以下方法可同等地應用於僅含有前景影像物件之前 景影像（亦即，習知前景影像）。 141826.doc -17- 201021543 ▲ 3D影像資料亦包含—透明度圖⑽，對於每—像素而 該透明度圖109指示前景之透明度。具趙言之，對於 為實心前景影像物件之—部分的像素值而言，透明度值可 指示完全不透_即’僅前景可見）。對於完全在任何前 景影像物件外的像素值而言，透明度值可指示完全透明 (亦即’在此位置處背景清晰且完全可見)。此外對於半 透明之前景影像物件（諸如該實例之雙重影像物件）而古， 透明度值可具有指示前景及背景兩者為部分可見的一中間 值。中間透明度值可進-步制於前景影像物件之邊緣周 圍以便提供前景與背景之間的平滑轉變。此可改良抗混清 效能。 可使用3D影像資料來執行三維影像處理。詳言之，可使 用影像資料來產生對應於不同視角之兩個視圖。可接著將 该兩個視圖提供至使用者之兩眼從而產生3D感知檢視體 驗0 舉例而言，可直接藉由使用透明度值組合背景影像與前 景影像來產生用於左眼之影像（或在本狀況下可直接使 用混合影像）。可接著基於深度圖及透明度圖中所含有之 二維資訊來產生用於右眼之第二影像。此處理之實例（例 如）提供於 Steven J. GorUer及 U-wei 办之「Rendering

Layered Depth Images」（微軟技術報告 MSTR-TR-97-09)及 (例如）美國專利申請案US2〇〇70〇57944中。 用以產生第二影像之處理可包括將對應於所判定之視差 的影像物件移位。此外，該處理可包括執行針對一些前景 14l826.doc -18 * 201021543 影像物件之去遮蔽。詳言之，在原始視圖令歸因於由前景 影像物件疊加）而不可見之一些背景像素在不同視角可變 知可見。在此狀況下，可將右眼影像之像素值設定為對應 於適當背景影像像素（其先前被遮蔽）之像素值。此方法可 產生關於新近產生之影像的高影像品質。 然而，在一些情形中，亦可使用可用影像層來提供其他 視覺效應。具體言之，自一影像至另一影像（或對於視訊 序列而言，自一影像序列至另一影像序列）之平滑轉換可 藉由將原始影像置於第一影像層中及將新影像置於第二影 像層中來達成。可接著使用透明度資料以自第一影像層轉 變至第二影像層。此可提供可以低複雜性達成的高效平滑 轉換。 發明者認識到，存在針對3D影像資料及透明度值之不同 使用狀況。舉例而言，可使用透明度值以在場景中產生半 透明物件/邊緣或可使用其來產生完全獨立之影像之間的 • 疊加效應（諸如當執行兩個3D影像之間的平滑轉換時）。 此外，發明者認識到，此對於影像再現而言可具有顯著 影響。具體言之，當該等層為相關/相依且包含具有一鏈 接之3D顯著性（諸如在前景/背景實例中）的影像時，可應用 層間3D處理以改良所再現影像之品質。此層間處理之實例 包括：以來自第二層之資訊填充於第一層中之去遮蔽區域 中；恰好在去遮蔽之前將背景層像素複製至前景等等。然 而’發明者認識到’當兩個層不具有3D關係時，此層間處 理將通常為有害的。 141826.doc -19- 201021543 此外，發明者認識到，可將額外資訊包括於31)影像資料 中以允許發源/傳輸端控制由再現單元執行之再現過程。 八體。之，發明者涊識到，可藉由包括一反映影像層之間 的（當前）相依性的相依性指示符來達成改良之操作及效 能。該相依性指示符指示一影像層之影像是否含有用於另 一影像層之同時影像的補充3D分層式影像資料。用於兩個 影像之補細資料具體言之可對應於反映在彼影像平面處 可見之影像物件之資料的資料。

此相依性指示符可（例如）指示當再現3〇影像資料時是否 可應用或是否不該應用層間3D處理。因此，具體言之可 使用相依性指示符來用信號傳輸多層表示之層是否為互相 關使得可接通或切斷恰當之處理。作為兩層表示之一 特定實例，相依性指示符可為用护躲後 何』馮用h唬傳輸該兩個層是獨立 還是相關的一單一位元。 可（例如）藉由内容產生工具產生相依性指示符且可（ 如）將其編碼為呈合適檔案格式之元資料。舉例而言，

可作為額外旗標而插入於含有扣影像資料之資料封㈣ 息標頭中。 園2說明用於產生三維影像資料之一裝置之 二維影像資料包含複數個影像層。具體言之， 二 信號編碼器，其編瑪包合對庙 再編碼Μ對應於圖2之實 影像信號。 貝枓的二維 战1§溉編碼器包含 王裔ζυι，該内容處 接收對應於立體量測視圖（如（例如）源自兩個獨立之視訊相 141826.doc •20- 201021543 機）之視§fUs號。為作出回應，内容處理器2〇1產生一前景 影像序列及一背景影像序列。 將前景影像饋送至第一影像層處理器203，該第一影像 層處理器203著手產生第一影像層之第一影像資料。在該 實例中，第一影像層處理器203通常產生第一影像層之前

景影像資料，使得第一影像層包含一前景影像序列。然 而，在-些轉變時間間隔期間，可將第一影像層用於其他 類型之影像。具體言之’在自—影像序列至另—影像序列 之平滑轉換期間，針對第-影像層所產生之影像資料可為 -組合之前景及背景影像的影像資料。因&，第一影像層 有時可包含-前景影像且有時可包含一組合之前景及背景 影像（亦即’單層影像表示）。將瞭解，在將—混合影像用 於前景（如在圖1之實例中）的實施例中，第-影像層可總是 包含混合影像。然而，在其他實施例中第—影像層處 理器2〇3可經配置以（僅）在平滑轉換轉變期間組合-所接收 之前景及背景影像。 將背景影像饋送至第二影像層處理器2〇5，該第二影像 層處理器2G5著手產生第二影像層之第二影像資料。在該 實例中，第二影像層處理器加主要產生第二影像層之背 景影像資料。然而’在一些轉變時間間隔期間可將第二 影像：用於其他類型之影像。具體言之，…影像序列 至^影像序狀平滑轉換_，針對第4像層所產生 ^象資料可為平滑轉換所正衰落至之影像序列的影像。 第-影像層有時可包含第_影像層之前景影像的背 141826.doc -21 . 201021543 景景乂像’且冑_彳包含一獨立於第一影像層之影像的影 像。 因此，在該實例中，在大多數時間，第—影像層包含前 厅、影像且第二影像層包含相應背景影像。然而，在平滑轉 換期間’第一影像層將含有為在平滑轉換之前影像序列之 所組合前景影像及背景影像的混合影像之資料。類似地， 第一影像層將含有為在平滑轉換之後影像序列之所組合前 景影像及背景影像的混合影像之資料。 該信號編碼器進一步包含一透明度處理器2〇7，該透明 度處理器207輕接至内容處理器2〇1且經配置以產生第一影 像層及第二影像層中之至少一者的透明度資料。具體言 之’在該實例中，透明度處理器207產i帛一影像層中之 影像的透明度圖。因此，在平滑轉換外，透明度圖指示第 t/像層之則景影像中所包括的前景物件之透明程度。然 而’在簡單平滑轉換期間，透明度圖可包含整個影像之均 -透明度值。此外，可藉由將影像之透明度值自對應於第 -影像層t完全不透明的值逐步改變至對應於完全透明的 值來達成平滑轉換。因此，達成自初始影像序列至後續影 像序列之平滑轉變及平滑轉換。 因此’在平滑轉換外’可使用透明度資料以產生精確之 3D成像（諸如根據不同視角產生影像卜然而，在平滑轉換 期間，透明度圖不適合用於扣處理，而是用以有效地及容 易地達成所要平滑轉換1此，可針對不同相依性情況而 不同地使用透明度圖。 14I826.doc -22- 201021543 該信號編碼器亦包含一第一深度圖處理器209，該第一 深度圖處理器209耦接至内容處理器201且經配置以產生第 一影像層之影像的深度指示圖。 深度指示圖包含混合影像之像素的深度指示值。該等深 度指示值可（例如）對應於直接反映像素所屬之影像物件之 影像深度的一數值。然而，將瞭解，在其他實施例中，可 使用其他深度指示值。舉例而言，深度指示值可對應於像 素之不均等值或視差值。 因此，在該實例中，深度指示圖包含第一影像層之相應 影像之每一像素的深度指示值。因此，在平滑轉換外，深 度指示可為前景影像之深度指示。在平滑轉換期間，當將 前景影像及背景影像組合為混合影像時，深度指示值可對 應於此等影像之深度指示值之混合。舉例而言，對於一混 合影像而言，可將深度指示值視為前景影像之深度指示 值，除了對應於完全透明之像素之外。對於此等像素而 言，可自背景影像取得深度指示值。在使用一混合影像而 非一純前景影像之實施例中，深度指示圖亦可表示在平滑 轉換時間間隔外的混合深度資訊。 具體言之，深度指示圖可（例如）經產生以作為包含背景 影像之每一像素的深度級、深度值、視差值或不均等值的 一圖。將瞭解，用於產生一影像之深度指示圖的各種方法 將為熟習此項技術者所知。舉例而言，可使用半自動化之 2D至3D轉換自立體影像或自電腦圖形產生深度指示圖。 自2D視訊之全自動化深度產生亦為可能的。 141826.doc -23- 201021543 該信號編碼器亦包含一第二深度圖處理器211，該第二 深度圖處理器211耦接至内容處理器2〇1且經配置以產生第 二影像層之影像的深度指示圖。因此，在平滑轉換外第 二深度圖處理器211產生背景影像之深度資訊，且在平滑 轉換期間第二深度圖處理器21丨產生在平滑轉換之後影像 序列之前景影像及背景影像之混合影像的深度圖。 此外，該信號編碼器包含一相依性處理器213，該相依 性處理器213耦接至内容處理器2〇1且經配置以提供第—影 像層之影像與第二影像層之影像之間的相依性之指示。舉 例而言，可產生一簡單之二進位值，其反映兩個影像層之 影像是否為平滑轉換轉變之一部分。因此，當第—影像層 之影像為第二層之影像的前景影像時，可將相依性指示符 設定為第一值，且當第一影像層之影像為在平滑轉換之前 影像序列之混合影像且第二影像層之影像為在平滑轉換之 後影像序列之混合影像時，可將相依性指示符設定為第二 值。因此，相依性指示符可為一簡單之二進位旗標，其指 示第影像層及第二影像層之影像是否相依及互相關。 第一影像層處理器203、第二影像層處理器2〇5、透明度 處理器207、第一深度圖處理器2〇9、第二深度圖處理器 211及相依性處理器213耦接至一資料組合器215，該資料 組合器215將第一影像層之影像資料、第二影像層之影像 資料、透明度資料、第一影像層之深度指示圖資料、第二 影像層之深度指示圖資料及相依性指示符組合為單一3〇影 像資料流。 141826.doc -24- 201021543 圖3說明一種產生3D影像資料之方法之一實例，該方法 可由圖2之信號編碼器執行。 該方法開始於步驟301中，其中如先前所描述第一影像 層處理器203產生第一影像層之影像資料。 在步驟301之後為步驟303，其中如先前所描述第二影像 層處理器205產生第二影像層之影像資料。 在步驟303之後為步驟305，其中由第一深度處理器2〇9 及/或第二深度處理器211產生第一影像層及第二影像層中 ❹ 之至少一者的深度指示資料。在該實例中，產生第一影像 層及第二影像層兩者之深度指示圖。 在步驟305之後為步驟307，其中由相依性處理器213產 生指示第一影像層與第二影像層之間的相依性的一相依性 指示符。 在步驟307之後為步驟3〇9，其中將影像層資料、深度指 示資料及相依性指示符組合為3D資料。 φ 圖4說明用於再現影像元素之一裝置之-實例。具體言 之，該裝置為-再現器件，其可接收由圖2之信號編碼器 所產生的3D影像資料且當由檢視者之眼睛獨立檢視時可產 生用於3D感知之兩個影像。 該裝置包含—接收器401，該接收器4〇1接收資料並將其 分成不同資料類別。因此，接收器401提供第一影像層之 影像資料、第二影像層之影像資料、第一影像層之深度指 不資料、第二影像層之深度指示資料、透明度圖及相依性 指示符。 141826.doc •25- 201021543 將資料饋送至再現單元403，該再現單元4〇3接收資料且 為作出回應而再現對應於三維影像資料之多個視圖之影像 元素的影像元素以用在視覺化三維影像中。具體言之再 現單，403產生分別對應於檢視者之左眼及右眼的兩個影 像。該等影像係藉由至少處理第—影像層之影像資料、第 二影像層之影像資料及深度指示資料而產生的。在透明度 資料亦包括於3D資料中的實例中，該等影像中之至少一者 (對應於一不同於第一影像層及第二影像層之影像之視角 的視角）之產生亦為回應於透明度資料。 此外，處理經調適以反映影像層是否為相依的。因此， 再現單元403經配置以取決於相依性指示符來調適3d處 理。在該實例中，再現單元403可取決於相依性指示符是 否指示影像層為相依來接通或切斷層間處理。 在該實例中，再現單元產生一偏移視角影像（亦即，對 應於不同於第一影像層及第二影像層之影像之視角的一視 角的影像）從而為使用者提供立體量測3D影像感知。 在包含平滑轉換之信號的一特定實例中，當不執行平滑 轉換時，可使用深度指示圖及前景影像與背景影像來產生 此影像。因此，當相依性指示符指示第一影像層與第二影 像層為相依且因此第一影像層包含第二影像層之影像的前 景影像時，不僅使用深度指示圖來執行偏移視角影像之產 生且亦藉由使用前景影像及背景影像執行層間處理來執行 偏移視角影像之產生。 具體言之，偏移視角影像之產生包括去遮蔽處理。因 141826.doc -26· 201021543 此，偏移視角可將-些前景物件移位使得先前由前景影像 物件遮蔽之像素將不再被遮蔽。再現單元彻可接著使用 背景影像之適當值以填充於去遮蔽之區域中。因此使用 層間去遮蔽處理來產生3 D影像。 然而，在平滑轉換期間’第二影像層之影像並非第一影 像層之影像的背景影像。因&，層間去遮蔽將會導致使用 完全無關之像素值填充於去遮蔽之影像區中。此可導致顯 著影像退化及可見假影之引入。 然而’在圖4之再現器件中，去遮蔽處理係取決於相依 性指不符。具體言之’再現單元4〇3經配置以在相依性指 示符指示影像層為相依時僅執行針對該兩個層之相應(同 時）影像的層間去遮蔽H ^相依性指示符指示影像 層為獨立的（亦即’在特定實例中指示平滑轉換被執行）， 則再現單元403著手執行針對兩個影像層之同作影像的單 層去遮蔽。 舉例而言，可使用相應像素之所儲存背景f料來填滿去 遮蔽之像素區域。具體言之，可使用來自最近儲存之背景 影像（亦即，緊接在相依性指示符自相依之指示切換至獨 立之指示之前的背景影像）的背景像素值來填充於去遮蔽 之影像區域中。此將提供改良之感知影像品質且詳言之將 減少由去遮蔽過程引入之假影的感知顯著性。 因此，在該實例中，當相依性指示符指示第一影像層與 第二影像層為相依時，由再現單元4〇3所執行之再現組合 該等影像層之影像。具體言之，該組合可包括基於第一影 141826.doc -27- 201021543 像層及第一影像層兩者（亦即，，旦 ^ 前景影像及背景影像兩者） 之冰度知不圖而產生不同視自 見角衫像之移位資訊。此外，該 組合：括基於來自第二影像層之背景影像的像素值而執行 針對第—料層之前景景彡料切蔽。·，基於所接收 犯資料流中所含有之扣資料來組合該等影像。 然而，當相依性指示符指示影像層為獨立時，仍可組合 第-影像層及第二影像層之影像。舉例而言，在平滑轉換 期間，所再現之影像可包括來自第—影像層之影像及第i 影像層之影像兩者的貢獻。然而，在此狀況下，該組合僅 基於第-層之影像的透明度值。因此，儘管可考慮（例如） 深度圖並使用單層去遮蔽來再現第一影像層及第二影像層 之個別影像，但該兩個影像之組合不考慮任何阳資訊。 圖5說明-種再現影像元素之方法之—實例，該方法可 由圖4之再現器件執行。 該方法開始於步驟501中，其中接收器4〇1接收3D影像資 料，該3D影像資料包含第一影像層之影像資料第二影像 層之影像資料、第一影像層之深度指示資料、第二影像層 之深度指示資料、透明度圖及相依性指示符。 接著將此資料饋送至再現單元4〇3，該再現單元4〇3在步 驟503中藉由處理自接收器4〇1接收之資料來著手再現對應 於3D影像資料之多個視圖之影像元素的影像元素以用在視 覺化三維影像中。 圖ό說明在平滑轉換期間由包含圖2之編碼器及圖4之再 現器件的系統所執行之處理之一特定實例。具髏言之，圖 141826.doc -28 - 201021543 4說明相依性指示符（Ind)之值，其被設定為〇以反映第一影 像層與第二影像層之間的相依性及被設定為1以反映第一 影像層與第二影像層之獨立性。此外，其說明第一影像層 L1之内容、第一影像層之深度指示圖d_L1、第二影像層 L2、第二影像層之深度指示圖d_l2、透明度圖TRP及針對 不同時間所再現之影像（IMG)。將瞭解，在其他實施例 中’列（IMG)可對應於一在編碼器處產生並傳輸至合適之 再現單元的混合影像。 因此’在該實例中，一信號流可為傳輸器，其含有第一 層（意即第一影像層及第二影像層（LI、L2)、第一深度層 及第二深度層（D-L1、D-L2)以及第一透明度層（trp))。在 一些情形中，第一影像層及第二影像層（LI、L2)含有相依 及補充3D影像資料，使得可組合兩個影像層（L1、L2)之同 時影像。在其他時間，兩個影像層（L1、L2)不含有用於彼 此之相依補充3D影像資料，且因此當（例如）執行去遮蔽時 不T加以組合。此由相依性指示符來指示，該相依性指示 付亦包括在位元流中且其指示兩個影像層中之資訊是否對 應於表示補充、互相關之三維資訊的影像或其是否指示兩 個t/像層中之資訊不具有任何相關之三維資訊。將瞭解， 相依性指示符將通常同等地應用於深度層（d_li、D_L2)， 當兩個影像層（LI、L2)為相依時，該等深度層（D_L1、D_ L2)亦趨向於為相依的，且當兩個影像層仏丨、L2)為獨立 時，該等深度層（D-L1 ' D-L2)亦趨向於為獨立的。 在平滑轉換之前㈣）（未圖示），第一影像層包含前景影 141826.doc -29- 201021543 像且第二影像層包含背景影像。類似地，深度指示圖反映 前景影像及背景影像，且透明度圖對應於前景。將相依性 指示符設定為〇以反映該等層為相依的及使用層間31)處 理。因此，可使用習知層間3D處理來產生對應於不同視圖 之一影像。舉例而言，可執行層間去遮蔽。 在時間tl處，組合兩個影像層以產生包括在第一影像層 L1中的一單一經組合、混合之前景及背景影像。深度指示 圖反映該混合影像之深度且因此為前景深度指示圖與背景 深度指示圖之一組合。因此，在時間u處，3D資料僅含有❹ 單層影像及深度，且因此相依性指示符係無關的（其因此 保持於值0)。 在時間t2處，將在平滑轉換後之影像序列之影像插入第 二影像層L2中，其中亦包括相應深度圖（D_L2)。此影像亦 為組合之前景及背景影像且深度指示圖為一組合之前景及 背景深度指示圖。 此外’將相依性指示符設定為丨以反映第一影像層及第 二影像層之兩個影像為獨立的。因此，針對對應於第一影 Q 像層之替代性視角影像的去遮蔽及其他3D處理僅基於第一 影像層及第一影像層之深度指示圖。此外，將整個影像之 = 透月度值狄疋為完全不透明，從而導致所再現之影像 對應於第一影像層之原始影$。 透明度值接著自完全不透明逐步改變至完全透明，從而 導致所再現之影像自原始影像序列逐步衰落至後續影像序 列。 141826.doc -30· 201021543 具體言之，在時間T3處，透明度值係在完全不透明與完 全透明之間的中途，且所再現之影像為第—影像層及第二 影像層之影像之間的同等混合。 在時間t4處’透明度值指示完全透明，從而導致第一影 像層不再可見且所再現之景多像完全對應於在平滑轉換之後 的影像序列。 在時間t5處’後續影像序列及相關聯之深度指示圖移動 至第-影像層（對應於前景影像層）且將透明度值設定為完 罾纟不透明。此外，在此階段，僅存在單—影像層且因此可 將深度指示設定為〇。 系統可接著著手切換至兩層表示’其中影像序列由兩個 影像層及相關聯之深度指示圖來表示。 將瞭解，影像層之影像可（例如）為靜態影像（例如，圖6 中所說明之影像可永遠相同）。然而，在其他實例中影 像可表不連續影像（諸如視訊信號之視訊訊框）。 φ 亦將瞭解，圖6之實例說明一非常基本之平滑轉換且可 容易地實施更複雜之+滑轉換（包括各種抹擦或其他轉變 效應）。舉例而言，可藉由使用非均一透明度圖來容易地 達成轉變效應，其中一些影像區展示一影像之部分，其他 影像區展示另一影像之部分，且又其他影像區展示混合影 像。舉例而言，可使用複雜及動態改變之圖案，而非使用 自完全不透明簡單地轉變至完全透明的透明度圖。圖7中 說明使用抹擦式轉變之平滑轉換之一實例。 圖8說明可如何藉由再現單元4〇3取決於相依性指示符之 141826.doc 31 201021543 值來處理影像之一實例。在該實例中，第一層L1之影像内 容由虛線表示且第二層之影像内容由實線指示。在該實例 中，第一層之影像為一混合影像，其含有來自前景影像物 件F之元素以及來自背景之元素。在L2之影像為L丨之影像 的背景影像的情形中，L2之影像提供完全背景影像。在此 狀況下’相依性指示符指示以與^為相依的且因此以之 影像可用於（例如）去遮蔽處理。 因此’再現單元4〇3可產生對應於視角v之一第一影像。 在此狀況下，該視角對應於該等層之影像的視角，且由於 L1之影像為混合影像，所以可直接使用此。此外，可再現 對應於不同視角A之一第二影像。在此狀況下，前景影像F 在該影像中將移位且將覆蓋背景之一不同部分。結果，現 在可看見背景C之先前被前景物件F所遮蔽的部分。由於兩 個層為相依的，所以再現單元4〇3使用L2中所提供之背景 影像之影像區域C的像素值來著手判定針對視角A所再現 之影像的像素值。因此，提供視角A之改良影像。 然而，若L2之影像並非“之影像的背景層，則此方法將 導致影像區填充有與前景影像或背景影像無關的像素值。 因此，將引入可見假影且將導致影像品質降低。 然而，根據本方法，相依性指示符在此狀況下將指示兩 個層為獨立的。此將通知再現單元4〇3其可不使用L2之同 時影像資料來執行針對L1之影像的去遮蔽，因此，實情 為，再現單元403基於（例如）L1之影像（例如，複製來自u 之背景B之影像區的鄰近像素值或紋理）或使用所儲存之影 141826.doc •32- 201021543 像（例如，先前背景層）來著手執行針對以影像之去遮蔽。 因此，可自動地調適去遮蔽處理以反映去遮蔽之影像區域 的最佳偏差藉此產生改良之影像品質。 將瞭解，在-些實施例中，所傳輸之影像層中之至少一 者可包含自身為獨立影像之一組合的影像。舉例而言圖 9說明直接對應於圖6之實例的一實例。然而，在此實例 中，將不同層包括於分配至再現器件的所產生之3d資料 中。在該實例中，第一影像層L1對應於組合/複合影像， 其包括來自在平滑轉換前之影像以及在平滑轉換後之影像 兩者的貢獻（及對在平滑轉換外之前景及背景之混合影像 的貢獻）。在此狀況下，第一影像層（例如，在13處）自身含 有一複合影像，該複合影像包含來自彼此獨立之影像（亦 即，來自在平滑轉換前及平滑轉換後之影像）的貢獻。此 外，在該實例中，第二影像層L2含有與包括在複合影像中 之影像相同的一影像。然而，儘管此可再現相關之第一影 φ 像層及第二影像層的同時影像，但該兩個層在平滑轉換期 間不含有彼此互補及補充之三維影像資料（而是L2之影像 與L1之複合影像中所包括之衰落影像相同）。具體言之， 一影像層中之影像不包括用於由另一影像層之影像資料所 表示的影像平面之一互補影像平面的任何影像資料。 此外，在該實例中，第一深度層D_L1包含一複合深度 層，該複合深度層提供L1之複合影像的深度資訊。此外， 在該實例中，前景影像及相關聯之深度圖（圖9之兩個頂部 列）自身不包括在3D資料中而是僅用以產生複合層[I及〇 141826.doc -33- 201021543 L1之資料。 另外，產生一透明度層，該透明度層反映前景影像相對 於L2之影像的透明度。因此，此透明度圖提供平滑轉換前 影像及平滑轉換後影像對L1之複合影像的相對貢獻之指 示。 以與之前的方式相同的方式產生相依性指示符（亦即， 以指示影像層是否含有對應於不同影像平面之補充3D資料 且其因此可用以執行（例如）去遮蔽）。 因此，在圖9之特定實例中，可產生3D信號傳輸資料， 其包含： 包含影像資料之一第一影像層，該影像資料至少對於一 些影像而言表示包含來自複數個影像之貢獻的一複合影 像； 一第一深度層，其包含該複合影像之複合深度圖； 一第二影像層，其包含對該複合影像作出貢獻之另一影 像的影像資料； 一第二深度層，其包含該另一影像之另一深度圖；及 一透明度圖，其表示該另一影像對該複合影像之貢獻。 另外，包括相依性指示符，其反映第二影像層之影像是 否包含對第一影像層之複合影像作出貢獻的至少一影像之 前景影像及背景影像中之至少一者或第二影像層之影像是 否並非對複合影像作出貢獻的任何影像之前景影像及背景 影像中之一者。 所描述之方法可提供以下優點：可在習知再現單元中直 141826.doc -34- 201021543 接使用第一影像層L1之影像。因此，藉由簡單地使用Μ 影像’提供包括不同影像之平滑轉換及組合的—影像缺 而’同時’可改良能夠採用所有所提供之資料的再現單: ^作1此，再現單㈣3可（例如）基於複合影像及透明 度貝訊而重新產生(圖9之第-列的)原始混合影像。其可接 著取決於相紐^符之值來著手執行此料之去遮蔽。 因此’若相依性指示符反虹2提供所導出之影像的背景資 ❹

料’則將該資訊用於去遮蔽，且否則出於此目㈣忽略^ 之當前影像。 在所描述之實财，因此，當相依性指示符指示該等層 為相依時，僅應用層間處理，且#相依性指示該等層為獨 立時，不應用層間處理。將瞭解，在其他實施例中，相依 性指示符無需為二進位值。舉例而言，其可為一可採取若 干離散值之參數，其中每一值對應於可應用於此相依性的 一組處理演算法。 在特疋實例中，取決於相依性指示符之值來接通及切斷 層間3D影像處理，且具體言之，接通及切斷層間去遮蔽過 程（對應於調適成單層處理或層間處理的去遮蔽處理）。然 而，在其他實施例中，可回應於相依性指示符來調適層間 3D處理。舉例而言’在一些實施例中，可取決於相依性指 不符而在層間處理與單層處理之間切換不同影像視圖中之 移位的判定。 在一些實施例中’相依性指示符可指示第一影像層及第 二影像層中之影像的深度指示圖是一致或是不一致。具體 141826.doc •35- 201021543 言之，當第一影像層及第二影像層分別包含前景（或混合） 影像及背景影像時，背景影像（亦即，第二影像層）之深度 指示圖將總是表示比前景影像之深度指示圖之相應像素深 (或相同）的位置。然而，在兩個影像層不包含相應前景影 像及背景影像而是包含獨立影像的情況中（諸如在平滑轉 換期間），深度指示圖之間的此關係可遭破壞。在此狀況 下，第影像層之深度指示值在一些影像區中可低於第二 影像層之相應深度指示值且在其他區中可高於第二影像層 之相應深度指示值。 因此，可設定相依性指示符以反映深度指示圖是彼此一 致或是彼此不一致。實際上，在一些實施例中，可使用此 標準來判定相依性指示符之值。 先前描述集中於3D資料包含兩個影像層的實例^然而， 在其他實施例中，可使用兩個以上之影像層。在此等實施 例中，相依性指示符可（例如）提供所有可能之影像層對之 間的相依性之指示。 在一些實施例中，可將影像層動態地或靜態地劃分為影 像層群，λ中每一影像層群包含一或多個相依之影像層。 舉例而。，_影像層群可含有^個含有相依之影像層的影 像層。另-影像層群亦可含有兩個相依之影像層。然而， 影像層群之間的相依性可改變，且影像層群之間的當前相 =可由㈣性指示符指示。舉例而言’ —3β影像表示可 二3四個不同影像層，該等影像層可經組合以提供用於扣 知之影像。然而’在平滑轉換期間，該表示可減少至在 141826.doc 201021543 平滑轉換前之影像及在平滑轉換後之影像兩者的_兩層表 示。在平滑轉換之後’該表示再次增加至四層表示。因 此，在平滑轉換之前及之後，3D處理可使用所有四個層。 然而’在平滑轉換期間’每兩個影像層之兩個影像層群包 含獨立影像。因此，在平滑轉換期間，每一影像之處理 減少至兩層處理β在此實例中，相依性指示符可指示影像 群是否為相依的，且可回應於此來調適3d處理。作為另— 實例，可在平滑轉換之前及之後使用兩層視訊表示，其中 β 在平滑轉換期間使用一包含兩個兩層視訊表示之四層信 號。相依性指示符可接著指示每一 2層視訊内之相依性， 但指示平滑轉換期間兩個視訊之間的獨立性。 因此，對於更多層而言，相依性指示符可為基於群之指

不符。此外，在一些實施例中，可根據影像層群來構成3D 負料舉例而δ，每一群内之影像層可經配置使得其係鄰 近的。舉例而言，資料組合器215可經配置以對影像層之 ❹ f料排序使得屬於相同影像層群之影像層係鄰近的。在此 等實施例中，相依性指示符可簡單地指示下一獨立影像層 群在3D資料中的位置。 舉例而s，3D資料流可包含編號為影像層丨至6之六個影 像層在些情況中，所有層可為相依的，且此可由設定 為零之相依性指示符來反映。在其他情況中，可將影像層 劃刀為兩個獨立影像層群，該等獨立影像層群中之每一者 3有—個^像層。第—影像層群將使用m，且第二影 像層群將使用層4至6。 ^ 6 此可藉由將相依性指示符簡單地設 141826.doc -37- 201021543 定為值4來指示。在其他情況中，可將影像層劃分為三個 獨立影像層群（分別包含影像層丄至2、3至4及5至6)。此可 藉由將相依性指示符設定為值（3,5)來傳達。 因此’可達成相依性資訊之高效表示從而導致低之信號 傳輸附加項。 將瞭解，出於清晰之目的，上述描述參考不同功能單元 及處理器描述了本發明之實施例。然而，將顯而易見的 係，在不有損於本發明之情況下可使用功能性在不同功能 參 單元或處理器之間的任何合適分散。舉例而言說明為由 獨立處理器或控制器執行之功能性可由相同處理器或控制 器來執行。因此，對特定功能單元之引用將僅看作對用於 提供所描述之功能性之合適構件的引用，而非指示一嚴格 邏輯或實體結構或組織。 本發明可以任何合適形式來實施，包括硬體、軟體、勃 體或此等各者之任何組合。本發明可視情況至少部分地實 施為執行於-或多個資料處理器及/或數位信號處理界上 =腦軟體。可以任何合適方式實體地、功能地及邏輯地 實施本發明之—實施例的元件及組件。實際上，功能性可 =施單元中、複數個單元中或作為其他功能單元之 一刀來實施。因此，本發明可實施於單一單元中或可實體 地及功能地分散於不同單元及處理器之間。 =已結合-些實施例描述了本發明，但其非意欲限於 之特㈣式。相反，本發明之料僅由隨附 凊專利知圍限制。另外，儘卜特徵可呈現為結合特定 14I826.doc -38- 201021543 實施例來加以㈣，但熟習此項技術者將認識到可根據本 發明來組合所描述之實施例的各種特徵。在申請專利= 中’術洁包含不排除其他元件或步驟之存在。 此外’儘管已被個別列出’但複數個構件、元 步驟可藉由(例如)單一單元或處理器來實施。另外：

個別特徵可包括於不同請求項中，但 B 此等特徵，且包括在不同請求項中 ° 利地組合 __ 月求項中非暗示特徵之組合為不 ❹ 可行及/或不利的。又，一特徵包括於一類別之請求項中 非暗示限於此類別，而是“在適當時該特徵可同等地應 用於其他請求項類別。此外，請求項中之特徵的次序非暗 示執行特徵所必須依照的任何特定次序且詳+之一方 法項中之個別步驟的次序不暗示必須以此次序：行㈣方 相反，可以任何合適次序執行步驟。另外，單數引用不排 除複數。因此，對「一」、「第一」、「第二」等之引用不排 除複數。申請專利範圍中的引用標記僅被提供為一闡明實 例’且*應解釋為以任何方式限財請專利 【圖式簡單說明】 ^ 圖1係用於產生用於進行三維檢視之影像的資料之實例 之一說明； 圖2說明㈣本發明之—些實施例之用於產生三維影像 資料的裝置之一實例； 圖3說明根據本發明之—些實施例之詩產生三維影像 資料的方法之一實例； 圖4說明根據本發明之—些實施例之用於再現影像元素 14I826.doc •39· 201021543 的裝置之一實例； 圖5說明根據本發明之—些實施例之用於 的方法之一實例； 丹現景 Μ 象元素 圖6說明根據本發明之一些實施例之平滑轉換 例； 、貫 圖7說月根據本發明之—些實施例之平滑轉換之一實 例； 圖8說明針對不同視角的影像之再現之一實例；及 圖9說明根據本發明之一些實施例之平滑轉換之一實 例0 【主要元件符號說明】 101 背景影像 103 深度指示圖 105 前景影像 107 深度指示圖 109 前景深度指示圖 201 内容處理器 203 第一影像層處理器 205 第二影像層處理器 207 透明度處理器 209 第一深度圖處理器 211 第二深度圖處理器 213 相依性處理器 215 資料組合器 141826.doc 201021543

301 步驟 303 步驟 305 步驟 307 步驟 401 接收器 403 再現單元 501 步驟 503 步驟 tl 時間 t2 時間 t3 時間 t4 時間 t5 時間 C 背景/影像區域 D-Ll 第一深度層 D-L2 第二深度層 F 前景影像物件 IMG 所再現之影像 Ind 相依性指示符 LI 第一影像層 L2 第二影像層 TRP 透明度圖 V 視角 141826.doc -41 ·

Claims (1)

1. 201021543 七、申請專利範圍： 1- 種產生三維影像資料之方法，該三維影像資料包含複 數個影像層以用在再現三維影像之視圖之圖像元素中， 該方法包含： 提供（301)—第一影像層之第一影像資料； 提供（303)—第二影像層之第二影像資料； 提供（305)該第-影像層及該第二影像層中之至少一者 的深度指示資料； 一產生(307)-相依性指示符’該相依性指示符指示該第 一影像層之—第-影像是否含有用於該第二影像層之一 第二同時影像的補充三維分層式影像資料；及 產生（3〇9)該包含該第—影像資料該第二影像資料、 該深度指示資料及該相依性指示符之三維影像資料。 2. 之方法’其中當該第—影像層為該第二影像 第時，該相依性指示符指示該第-影像層與該 第一影像層為相依的。 像之二：2之方法’其中當該第—影像層並非該第二影 該相依性指示符指示該第-影像層與 茨弟一影像層為獨立的。 I Π::?’其中該深度指示資料包含該第-影 第深度指不圖及該第二影伤思 墙 指示圖；且其中當該第 ^冑之一第二深度 第二f _ 又私不圖之深度指示值與該 符浐干不圖之深度指示值不-致時’該相依性指示 亥第—影像層與該第二影像層為獨立的。 141826.doc 201021543 5·如請求項4之方法，其中若該第一深度指示圖之該等深 度指示值表示在至少一影像區中比該第二指示圖之深度 指不值深的深度級且該第二深度指示圖之該等深度指示 值表示在至少一其他影像區中比該第一指示圖之該等深 度指示值深的深度級，則該第一深度指示圖之該等深度 才曰示值與該第二深度指示圖之該等深度指示值不一致。 6. 如請求項1之方法，其中當該第一影像層及該第二影像 層包含平滑轉換影像時，該相依性指示符指示該第一影 像層與該第二影像層為獨立的，且當該第一影像層及該 第二影像層不包含平滑轉換影像時，該相依性指示符指 示該第一影像層與該第二影像層為相依的。 7. 如研求項1之方法，其中該相依性指示符為一具有一第 值及第一值之一進位資料值，其中該第一值指示該 第影像層與該第二影像層為相依的，且該第二值指示 該第一影像層與該第二影像層為獨立的。 8. 如钟求項7之方法，其中若該第一影像層包含該第二影 像層之一影像的一前景影像，則將該相依性指示符設定 為該第值，且若該第一影像層不包含該第二影像層之 該影像的-前景影像’則將該相依性指示符設定為該第 二值。 9. 如凊求項1之方法，其中該第-影像層屬於-第—影像 層群且该第二影像層屬於__第二影像層群，該第一影像 層群及該第二影像層群中之至少一者包含複數個影像 層，且該相依性指示符指示該第—影像層群之影像層與 141826.doc 201021543 該第二影像層敎影像層《間的一相依性。 ίο. 11. 12. ❿ 13. 14. 如β求項9之方法’其中—影像層群之影像層為相依之 影像層。 =«t求項9之方法’其巾—影像層群中之影像層的影像 貝料係鄰近的，且該相依性指示符指示下—獨立影像層 群在該三維影像資料中的一位置。 如清求項1之方法’其進_步包含提供該第_影像層及 :第二影像層中之至少一者的透明度資料及將該透明度 資料包括於該三維影像資料中。 一種再現影像元素之方法，其包含 接收（501)三維影像資料， ^像層之第一影像資料、一第二影像層之第二影像資 料、該第-影像層及該第二影像層中之至少—者的深度 才曰不資料及指示該第—影像層與該第二影像層之間的一 相依性的—相依性指示符；及 藉由回應於該相依性指示符處理該第一影像資料、該 第二影像資料及該深度指示資料來再現（5〇3)該三維影像 資料之多個視圖之影像元素以用在視覺化三維影像中。 ^請413之方法，其巾該再現（5G3)包含僅當該相依性 指不符指示該第—影像層與該第二影像層為相依時才執 行該第一影像層及該第二影像層之同時影像的層間三 影像處理。 15. 如請求項13之方法 指示符指示該第一 ，其中該再現（503)包含僅在該相依性 影像層與該第二影像層為相依時才使 141826.doc 201021543 用來自該第二影像層之一第二影像 第一影像層之一第一影像的去遮蔽。執行針對該 16·=求項13之方法，其中該再現（狗包含·组合 像層之-第一影像及該第二影像層之一第 〆影 相依性指示符指示該第―影像層盘該第=，當該 時’該組合係回應於三維影像資訊，且當該相依 符指示該第-影像層與該第二影像層為獨立時，該Ζ 不回應於三維影像資訊。 f σ 17.:=於產生三維影像資料之裝置，該三維影像資料包 含複數個影像層以用在再現三維影像之視圖之圖像 中，該裝置包含： ” 用於提供一第一影像層之第一影像資料的構件（203); 用於提供一第二影像層之第二影像資料的構件（205); 用於提供該第一影像層&該第二影像層中之至少一者 之深度指示資料的構件（209、211); 用於產生一相依性指示符的構件（2丨3 )，該相依性指示 符指不該第一影像層與該第二影像層之間的一相依 性；及 用於產生該包含該第一影像資料、該第二影像資料、 該深度指不資料及該相依性指示符之三維影像資料的構 件（215) 〇 18. —種用於再現影像元素之裝置’該裝置包含： 用於接收三維影像資料的構件（4〇 1 )，該三維影像資料 包含一第一影像層之第一影像資料、一第二影像層之第 141826.doc -4 - 201021543 二影像資料、該第一影像層及該第二影像層中之至少一 者的深度指示資料及指示該第一影像層與該第二影像層 之間的一相依性的一相依性指示符；及 用於藉由回應於該相依性指示符處理該第一影像資 料、該第二影像資料及該深度指示資料來再現該三維影 像資料之多個視圖之影像元素以用在視覺化三維影像中 •的構件（403)。 19. 一種影像信號，其包含： • 一第一影像層之第一影像資料； 一第二影像層之第二影像資料； 該第一影像層及該第二影像層中之至少一者的深度指 不資料，及 一相依性指示符，其指示該第一影像層與該第二影像 層之間的一相依性。 20_ —種電腦程式產品，其使一處理器能夠實施請求項1至 16中之任一項的方法。 ® 21 · —種產生三維影像資料之方法，該三維影像資料包含複 數個影像層以用在再現三維影像之視圖之圖像元素中， * 該方法包含： . 提供包含影像資料之一第一影像層，該影像資料至少 對於一些影像而言表示包含來自複數個影像之一貢獻的 一複合影像； 提供一第一深度層，其包含該複合影像之一複合深度 圖； 141826.doc 201021543 提供一第二影像層，其包含對該複合影像作出貢獻之 另一影像的影像資料； 提供一第二深度層，其包含該另一影像之另一深度 圖； 提供一透明度圖，其表示該另一影像對該複合影像之 一貢獻； 產生一相依性指示符，其反映該第二影像層之一影像 是否包含對該第一影像層之一複合影像作出貢獻的至少 一影像之一前景影像及一背景影像中之至少一者，或該 第二影像層之該影像是否並非對該複合影像作出貢獻的 任何影像之一前景影像及一背景影像中之一者；及 產生該包含該第一影像層、該第一深度層、該第二影 像層、該第二深度層、該透明度圖及該相依性指示符之 三維影像資料。 22. —種再現影像元素之方法，其包含： 接收三維影像資料，該三維影像資料包含： 包含影像資料之一第一影像層，該影像資料至少對 於一些影像而言表示包含來自複數個影像之一貢獻的 一複合影像； 一第一深度層，其包含該複合影像之一複合深度 圖； 一第二影像層，其包含對該複合影像作出貢獻之另 一影像的影像資料； 一第二深度層，其包含該另一影像之另一深度圖； 141826.doc -6 - 201021543 一透明度圖，其表示該另一影像對該複合影像之一 貢獻； 一相依性指示符，其反映該第二影像層之一影像是 否包含對該第一影像層之一複合影像作出貢獻的至少 一影像之一前景影像及一背景影像中之至少一者，或 該第二影像層之該影像是否並非對該複合影像作出貢 獻的任何影像之一前景影像及一背景影像中之一 者；及 # 藉由該三維影像資料之三維處理來再現該三維影像 資料之多個視圖之影像元素以用在視覺化三維影像 中，其中僅在該相依性指示符指示該第二影像層之該 影像為對該第一影像層之該影像作出貢獻的一影像之 一背景影像及一前景影像中之至少一者時，針對該第 一影像層之一影像的去遮蔽才回應於該第二影像層之 一同時影像。 141826.doc 7-