TW201004313A - Video signal with depth information - Google Patents

Description

201004313 六、發明說明： 【發明所屬之技術領域】 本發明係關於一種具有深度資訊的視訊信號。本發明亦 關於用於產生具有深度資訊的視訊信號並呈現具有深度資 訊的視訊信號的方法及系統。 【先前技術】 自從引入顯示裝置起，一實際3D顯示裝置已成為許多人 的夢想。已深入研究將通往此一顯示裝置之許多原理。一 此類原理係僅基於雙眼視差的一 3 D顯示裝置。在該些系统 中，檢視者之左右眼感知另外視角並因此檢視者感知一 3D 影像。該些概念之一概述可見諸於書籍rStere〇 C〇mputer Graphics and Other True 3-D Technologies(立體電腦圖形及 其他真實 3D 技術）」’ D.F. McAllister (Ed.)，Princeton University Press，1993。例如，快門鏡片可與（例如）一 CRT組合使用。若顯示奇數圖框，則針對左眼遮擋光且若 顯示偶數圖框，則針對右眼遮擋光。 顯示3D而不需要額外器具（諸如鏡片）之顯示裝置係名為 裸眼式立體顯示裝置。例如，已提出多檢視畫面裸眼式立 體顯示裝置。在US 6064424中所揭示之顯示裝置中，使用 一傾斜透鏡，藉此該透鏡之寬度係大於兩個子像素。依此 方式，存在數個彼此並排的影像且檢視者自由地左右移 動。在此項技術中已知其他類型的裸眼式立體顯示裝置。 為了在一多檢視晝面顯示裝置上產生一 3d印象須呈現 來自不同虛擬視點之影像。此要求提供多個輸入檢視畫面 140146.doc 201004313 或-些3D或深度資訊。此深度資訊可記錄，從多檢視畫面 相機系統產生或從習知2〇視訊素材來產生。為了從2〇視 訊產生深度資訊，可應用數種類型的深度提示：諸如來自 運動之結構、聚焦資訊、幾何形狀及動態遮蔽。較佳的係 產生-密集深度圖，即每像素—深度值。此深度資訊係隨 後用於呈現-多檢視畫面影像以給予檢視者—深度印象。 y 來實行。該些資料流係藉由三個通道來加以料 ^ 通道交換該等紅色值，即代表該等紅色值之位元序歹^該 第二通道交換該等藍色值而該第三通道交換該等綠色值。 - 儘管該等值三元組一般係串列交拖，伯方> ^ 一 甲幻又换，但資訊模型係使得一 • 狀數目的三元組―起形成—影像，意㈣料三元組具 有各別空間座標。該些空間座標對應於在表示影像之二維 矩陣内的該等三元組之位置。基於 、 匕RGB鏈路之標準之 範例係DVI(數位視覺介面）、HDMlf古、主把Λ 清晰度多媒體介面 及LVDS(低壓差動傳信）。然而，在 〇之情況下，隨同視 現有視訊連接係設計以交換影像序列。一般而言，該等 影像係在連接兩側（即發射器與接收器）處由二維像素值矩 陣來表示。該等像素值對應於亮度及/或色值。發射器與 接收器兩者瞭解f料之語義，即其共用相㈣f訊模型:、 -般而& ’在發射H與接收器之間的連接係適應於資訊模 型。此資料交換之-範例係一 RGB鏈路。在發射器與接收 器之背景下的影像資料係以包含以下值三元組之一資料格 式來儲存並處理：R(紅）、G(綠）AB(藍）H形成不同 的像素值。影像資料交換係藉由三個關聯但分離的資料流 第一 140146.doc 201004313 訊資料，還須交換深度相關資料。 WO 20〇6/137〇00 A1揭示一種組合交換影像資料及與與 像資料相關之另外資料（諸如深度資料）之太 貝针）之方法，該影像資 料係由影像資料元素之一第一二維矩陣來表示而該另外資 料係由另外資料元素之-第二二維矩陣來表示。該方法勺 含將該第一二維矩陣與該第二二維矩陣組合成資料元素2 -組合二維矩陣。然而，以上方法係相對於所提供：資： 略微受限並可能無法提供足夠的資訊用於準確呈現。、 【發明内容】 ° 較有利的係具有一種交換影像資料之改良方式。為了 佳地解決此關切，在本發明之一坌 ‘' 牡令知3之第一恶樣中，提供—種用 於產生表示來自一主檢視畫面二 —、再琢不之一信號的车 統，其包含： 、 -序列產生器，其用於產生一條帶序列該條帶序列定 ^來自該主檢視晝面之三維場景之表示之至少部分，各條 ▼:不-矩形影像資訊區域，其包含定義該矩形區域之— ^彩、-深度及-位置之資料元素，其中用於各條帶之色 衫及珠度貧料元素係導出自在該場景内的至少一物件之表 面輪廓資訊；該位置眘斗 ^ 、枓凡素係‘出在該主檢視晝面内的 Χ ,夕⑯件之$面輪冑資訊之位置且該條帶序列之至少 条▼表不選自在該場景内的該至少一物件之一遮蔽區域 或—侧區域的該至少—物件之表面輪廓f訊；以及 —信號產生器，其用於產生包含該條帶序列的一視訊信 號。 J40J46.doc 201004313 各條帶對應於在該主檢視畫面内的一矩形影像資訊區 域’因而一條帶可能對應於一單一像素、採取一線之形式 的 維像素陣列、或一二維像素陣列。因而，儘管一條 可對應於一矩形影像資訊區域，但由於包括深度元素，該 條帶所表示之實際資料可說明一三維結構。 由於該等條帶包含指示在該主檢視晝面内該矩形影像資

讯區域之位置的資料元素，更靈活地調適遮蔽或側區域資 汛成该視訊信號變得可能。可能供該系統使用的關於該場 景之部分的任何資訊均可插入至此類條帶之一或多個者 内因為s亥等條帶包含指示色彩與深度的相似資料元素， 故可在很大私度上保存該信號之似視訊特性。因此，該些 二料元素可以在視訊編碼技術内已知的一方式來編碼。此 許解决反向相谷性問題。其還允許應用標準視訊壓縮方 法用於在條帶内所包含之資訊。 由於δ亥等條帶包含指示條帶位置之資料元素，其可能採 :在色彩、深度及位置之三元組内所包含之資料元素之形 二么在條▼之間或在一條帶内變動取樣密度變得容易。此 ^此在„亥視讯h號内包括用於遮蔽及/或側區域之影像資 舌fL。並且，可处m j此使用改良解析度來儲存平行於該主檢視畫

At、榀視方向罪近的一物件之該等部分。該些側區域可 此被遮蔽或在蝙碼用於該主檢視晝面之—習知 地定義。因卟 个τ平乂左 ’其中儲存該些部分所採取之改良解柄声可

用以#用μ·來s , 野W没J 面。 1側物件部分之改良復原來產生立體檢視畫 140146.doc 201004313 還可包括後區域之資訊以進一步增強該等立體檢視畫 面。後面區域之資訊還改良環視物件之可能性：場景可能 從極不同視角來檢視，例如以允許一檢視者虛擬穿過場 景。 如上所指示，一條帶定義在主檢視晝面内的一矩形影像 資訊區域，此處矩形區域應理解為包含包含二維區域、一 維區域及/或點的矩形區域。一二維區域之一範例係一矩 形等距樣本陣列，—維區域之一範例將係—維等距樣 本陣列。 應注意’儘管其係在主檢視畫面内的一矩形影像資訊區 域’但一條帶可能實際上包含比主檢視晝面内可見者更多 來自下面三維場景之資訊。此事實上係條帶表示之強度， 由於此額外資訊可在呈現一不同檢視晝面時變得可見。 一一維、以線為主的表示具有優點，即致能表示更多無 規則狀物件而無不必要的儲存損失。而一二維（即以多線 為主的表示）具有優點，即其致能條帶資料之改良壓縮， 由於可使用（例如）以區塊為主的壓縮方案來利用在一條帶 内的空間冗餘。 該等資料7G素可分組成包含色彩、深度及位置資料元素 之兀組。在以一且相同解析度來表示色彩及深度的情況 下，可使用一使用元組（76, z,p)之表示，其包含表示—像 素色彩資料元素之紅、綠及藍值、表示一像素深度資料元 素之一 2值及表示一像素位置資料元素之一p值。 在該深度資訊係以該色彩解析度之四分之一來次取樣並 140146.doc 201004313 表不的情況下’可使用一使用元組（破，咏，响，峨，w)之 表不t知此項技術者應清楚，使肖RGB資料元素僅係範 例性且可代替使用其他色彩資料元素，諸如YUV或次取樣 YUV (4:2:0)。在前述元組巾’一單一尸值與之值係用以指示 色彩與深度資訊兩者之位置，其中該等色彩及深度資料元 素之實際位置可導出自赠。當使用以線為主的條帶時， P值可表示相對於線開始沿線的一偏移。然而在多線條

之晴况下p值自身可表示一尤與少座標兩者或者一線 編號與相對於線開始的一偏移。

以上範例僅包含-單—赠用於所有座標。或者當頻寬 儲存係不甚關鍵時，可使用更多精細元組諸如： (峨，响，喊，紙，从_4，化）， (响，响，响，rgb4，z，p_，p_pz)， (gbu rgb2, rgb3, rgb4，z,prgbuPrgb2>p.p^(袖，峨，喊，执，从洲心卵），或 (rSb{, rgb2 , rgb3, rgb4, z, prgH, prgb2, ? ? 其中針對更多及/或針對所有個別色 供位置資訊。

Pz) 彩及深度 Ο) (2) (3) (4) (5) 資料元素提 素而：個用：深度資料元素。元、.(2)進而表示一=:、: 1中及;貧科70素係在兩線上散佈，且其中色彩取樣點 係在頂部線上，而取樣點3及4係在底部線上直接位於 下面。由於點】及3在其個別線内具有相同的偏移 」 讀此處足夠。該Μ組⑺及⑷進而不包含用於深度資料 J40146.doc 201004313 兀素的-早獨赠。在該等元組⑺及⑷中，用於深度資料 元素之P值係導出自該等色彩資料元素之P值。最後，元組 (5)允許完全控制在主檢視畫面内的矩形影像資訊區域内的 取樣點位置。 該信號可能分割成一第一元組子集，其表示對應於條帶 之樣本，該等條帶表示來自主檢視畫面之三維場景之一影 像及第—子集’其包含表示遮蔽及側區域資訊之條 ^由此，5亥第一子集之色彩資料元素可編碼成一第一資 料流而該第-子集之該等深度資料元素可編碼成一第二資 :流。：此方式’可實現相容於習知三維場景表示，諸如 : 朱度D玄遮蔽或側區域資訊之色彩、深度及位置資 料兀素進而可編碼於一單一串流或多個串流内。 —申π專利範圍獨立項定義本發明之另外態樣。中請專利 範圍定義有利具體實施例。 【實施方式】 一 j年來，不懈努力地發展3D顯示器及適用於驅動此類顯 ^貝料表不。裸眼式立體3D顯示器不要求檢視者佩戴 2眼鏡（諸如紅/綠鏡片），而是通常依賴於兩個以上的檢 /、允4使用者自由環視顯示的場景並感知深度， 因為 pQ p x 看見」3亥些不同檢視畫面之兩個檢視書 上由於顯不器可在顯示的檢視畫面數目上且還在其他屬 I·生(諸如其可描繪之深度範圍)上變動，需要一種獨立於此 类員差里次、々 ^ /、貝料格式。影像及深度格式已在MPEG-C部分3中 採用。 140146.doc 10 201004313 〜像及冰度格式係適用於具有適度深度範圍能力的 第上代3D顯tf g ’但需要延伸其以便允許更多環視及更少 :明的遮敝饭像。然而’遮蔽假像還可能在另外代3D顯示 益中發生’其將藉由使用—改良影像及深度格式來有利地 移除。

日圖1解說-種用於產生表示來自_主檢視畫面之一三維 場景之一信號1300的系統100與—種用於接收該信號並從 相同或另-視點來顯示該場景的顯示系統15()。該信號之 數個態樣係解說於圖10至15中，在系統100及150之說明中 將參考該等圖。系統100可能（例如）實施於一DVD主控系 統、-視訊廣播系統或一視訊編輯系統内。顯示系統150 可此係（例如）一電視機，例如一LCD顯示器或一電漿顯示 器。該顯示系統可能具有立體能力，例如組合快門鏡片。 如此項技術中已知，該顯示系統還可能係一裸眼式立體顯 示器，例如包含傾斜透鏡。該顯示系統還可能係—2D顯示 器。此一 2D顯示系統可能藉由旋轉顯示中的物件來提供一 3D印象。並且，可藉由20或31)顯示系統15〇來提供用以調 適視點之更精細自由度’從而允許使用者穿過場景。 圖10A示意性解說包含定位於一背景平面943前面的一立 方體944的一三維場景，該三維場景係沿箭頭941所指示之 一檢視方向從一視點成像，以下稱為主檢視畫面。由於箭 頭941係垂直於該背景平面與該立方體之前面，在針對此 主檢視晝面所感知之一二維影像中的該等像素將由對應於 背景平面S921、S922、S926及S927之部分的矩形影像資訊 140146.doc 201004313 區域與對應於遮蔽背景平面943之部分的立方體944之正面 的矩形區域S924所組成。應注意，對應於立方體944之側 的矩形影像資訊區域將不包含於此一二維影像内。圖1 0B 解說表示針對該主檢視晝面在圖1 0 A中所描述之三維場景 的一條帶序列。所描述的序列添加用於立方體944之側區 域的影像資訊，其不添加遮蔽資料，即立方體944所遮蔽 之背景平面943之資料元素。在圖1 0B中的條帶序列由7個 條帶 S921、S922 ' S923、S924、S925、S926 及 S297 所組 成。該條帶序列係基於如圖10A中由箭頭941所指示之檢視 晝面所觀察到的三維場景。該條帶序列對應於沿如圖1 0 A 中所示之一水平掃描方向左至右、頂部至底部的一掃描路 徑 942。 該等條帶S921及S927表示矩形影像資訊區域，其包含定 義背景平面943之部分之色彩及深度之資料元素，該等部 分在該二維影像中將分別在立方體944上面及下面。同樣 地，該等條帶S922及S925表示分別在立方體944左右的背 景平面943之部分的矩形影像資訊區域。沿掃描路徑942， 該等條帶S923及S925表示包含定義該立方體之兩側之色彩 及深度之資料元素的矩形影像資訊區域。 如序列產生器（104)所建立之條帶序列可用以直接產生 該信號，即以該掃描路徑所決定之次序這樣做的優點係， 需要用於呈現一線之影像資訊係相對密切接近地位於條帶 内。 而且，在該掃描方向上相鄰定位之條帶可藉由分割該條 140146.doc -12- 201004313 帶序列來加以群集，從而導致三個條帶序列係··對應於 S921之一第一序列、對應於該等條帶S922、S923、S924、 S925及S926之一第二序列及對應於條帶仍27之一第三序 列。该些條帶序列之每一者可相對於彼此來編碼使得僅需 要一水平偏移來指示其個別位置。然而，如在圖1 0B所看 見’此確貫暗示著來自背景平面943與立方體944之影像資 ' 訊將係交錯的。 色办、深度及位置資料元素可以三個或三個以上值元組 0' ·\ ν 之形式一起編碼於一且相同條帶内。或者，不同類型的資 料元素之母一者可編碼於個別串流内，由此解多工不同類 型的資料元素。依此方式，可獲得一信號，其更密切地相 似於習知影像及深度表示。 圖i〇c顯示允許以更密切匹配該影像及深度格式的一方 式來編碼身讯的另一表示。藉由重新組織來自圖1⑽之條 帶序列’可產生-信號，其中該等條帶係排序使得其一起 u 形成如從該主檢視畫面所感知之二維影像。事實上，來自 “ 該些條帶之資訊可組合成—新條帶931 ,其對應於如圖10Α 中所指示之視點及檢視方向所觀察的二維影像。包含來自 ' 該側區域之影像資訊的剩餘條帶將接著作為附加至條帶 • 931之—條帶923及8925序列來編碼於該信號内。 儘管為清楚起見，在以上範例中未編碼任何遮蔽資訊， 但一較佳具體實施例包含來自側區域與遮蔽區域之兩個影 像資訊。依此方式，不僅可針對不同檢視畫面更準確地呈 現物件之側，而且可使用適當影像資訊來填充去遮蔽區 140146.doc -13· 201004313 域。 以上範例在-背景平面前面包括—立方體，然而本發明 還可能應用於更複雜的三維場景，在此情況下，可能會發 生對於該矩形區域之某些區不存在任何可用的影像資訊的 情形。此可以各種方式來加以解決，諸如藉由添加用於該 等資料元素的一遮罩或透明度位元。 使用對應於覆盍多個視訊線之資料元素的矩形影像資訊 區域的條帶（以下多線條帶）的一優點係以此方式編碼的影 像資訊可以將像素間的空間冗餘考量在内的一方式來加以/ 壓縮。後者在使用一壓縮方案時特別有用，該壓縮方案使 用定址多個資料元素的一頻域變換，諸如一 8x8 DcT。 使用多線條帶之一另外優點係其允許使用不同取樣頻率 用於色彩資訊及深度資訊。可能（例如）以一第一解析度來 表示色彩資訊RGB並以一第二解析度來使用深度，例如以 該第一解析度之四分之一。 儘管使用多線條帶具有某些優點，但還可能使用包含一 單一視汛線之資料元素的條帶。其後，僅出於清楚起見， 將主要使用包含一單一視訊線之資料元素之條帶之範例來 進一步闡釋本發明。 圖11示意性解說具有視訊線1002之一視訊影像丨〇〇〇。用 於影像1000之各視訊線1〇〇2之資料1350可包括於如圖14中 所示之一視訊串流1 3〇〇内。傳統上，各線丨〇〇2係直接對應 於一顯示器之像素的一直線。在下面所說明之具體實施例 中’該些線係延伸以一高度靈活的方式來包括三維資訊。 140146.doc -14- 201004313 圖12A解說包含一物件11〇2與一背景11〇4之一三維場景之 一斷面1100的一俯視圖。欲產生的信號較佳的係含有用以 k罪近箭頭1106之方向的檢視方向呈現該場景之影像的資 訊。該視點可能遠離該場景且在圖中未顯示。斷面11〇〇對 應於在該呈現私序期間在一水平視訊線1 i 處變得可見 者。 系統100包含一輪廓產生器102，其用於產生在斷面1〇〇 内可見之物件之輪廓之至少部分。此一輪廓產生器可以此 項技術中已知的一方式來實施，例如使用運動深度演算法 或藉由使用一個以上相機來記錄場景並應用深度計算技 術。此類演算法可能無法重建完整的輪廓，尤其一物件 1102之後側11〇8可能在該等影像之任一者内不可見，且在 此一情況下該輪廓資訊之此部分可能不可用。並且，該場 景之其他部分可能因為其前面的其他物件而被遮蔽。當使 用更多相機位置來記錄該場景時，更多輪廓資訊可能變得 可用。在圖12B中的輪廓1154指示可供該系統使用的該等 輪廓1150之一範例。例如，僅物件11〇2之輪廓之部分丨丨54 可用於包括於該信號内。替代輪廓產生器丨〇2，可提供一 輸入用於從別處接收輪廓產生器1〇2所產生之資訊。 系統100進一步包含一序列產生器丨〇4，其用於產生—條 ▼序列，該條帶序列定義來自一檢視晝面之三維場景之表 示之至少部分。各條帶此處表示一矩形影像資訊區域，其 包含定義該矩形區域之一色彩、一深度及一位置的資料元 素。在此以線為主的具體實施例中，該矩形區域係視為具 140I46.doc -15- 201004313 有 負料元素的一高度。在节於^ 一 *廓上的取樣點使各種資料 兀素（堵如可能組織成元組之色彩、深度及位置）與其相關 聯。圖13中所示之所有取樣 畫面所呈現的視訊線则貝獻於如針對一特定檢視 大多數目前多檢視畫面顯示器呈現多個檢視畫面，盆中 用於該等檢視晝面之每一者的檢視方向僅在各別水平方向 上不同。由此，呈現影像-般可以一以線為主的方式來進 打。由此，視訊線1002較佳的係—水平視訊線。然 發明還可應用於在一垂直方向上定向的視訊線。 該些取樣點1202可選自在兮±日旦+ , J、目在=亥％景内的該等物件之輪 之複數個片段中。與該等取樣點相關聯之資料元素可 能對應於在對應輪廓點處物件輪廊之色彩指示以紅、綠及 藍（細）分量或習知此項技術者所已知之其他格式來表達 的一色彩。在期望—更靈活解決方案之情況下，可允許添 加另外貧訊，諸如一透明度資料元素，其可能係一二進制 或一多值資料元素’從而允許編碼透明或半透明物件。 該等資料元素還可能指示—深度12Q8。此1度可在由 處箭頭所指示之方向上表達為一座標’即提供關於至 視點之距離的資訊。如在此項技術中所已知，該深度還可 表達為-視差值。如表達的深度對應於一特定主檢視晝 面’其對㈣前述檢視方向咖。檢視方向讓此處與 (例如）'線t方向相關’該線平行於穿過視點與背景 1104之中心的-線。若相機位置係在該場景附近則該等 深度座標可能依據該場景投影至該背景上來對應於收敛方 I40I46.doc -16- 201004313 向。該等資料元素還可能指示在12 10處箭頭所指示之方向 上的一視訊線位置12 10。依據該主檢視晝面，此視訊線位 置1210指示在視訊影像1〇〇〇之視訊線1〇〇2内的—顯示位 置。 特別在處理不規則形成的形狀時，可能與明確編碼與所 有取樣點相關聯之位置及深度資料元素相關。依此方式， 可編碼相對於該輪廓的任何取樣點分佈。例如，資料元素 可能與在該輪廓表面上等距選取之取樣點相關，或可能相 對於一特定物件輪廓法線來等距地選取。或者，當編碼更 多規則多邊形結構時，可採用一更具效率位置編碼，例如 在一折線上使用一等距取樣格柵。 序列產生器104沿該等輪廓線115〇選擇連貫點。例如， 若該視訊線係一水平線，則選擇器1〇4可從左向右來選擇 該等連貫點。或者，該等點可能從右向左來選擇。選擇器 1〇4可能開始於該背景之最左部分1152，並向右前近直至 因為一物件在該背景前面而不存在任何資訊。接著，選擇 器104可能繼續物件之輪廓1154。該選擇器可能開始於輪 廓1154之最左端點，沿輪廓1154一直前進直至到達最右端 點，並從該處繼續下一物件，在此情況下其係該背景之剩 餘部分1156。 序歹j產生器104可能能夠在該條帶序列内包括一第一子 序列’其含有在1204附近的取樣點之資料元素，或選自一 又之取樣之連貝 > 料元素’該片段係在該主檢視畫面 内的該至少一物件11〇2之一側區域之部分。序列產生器 140146.doc 17 201004313 104可能亦包括一第二子序列，其含有在12〇6附近的取樣 點之資料元素，或選自一片段之取樣點之連貫資料元素， 該片段係在該主檢視晝面内的該至少一物件之一前面區域 之部分。在第一子序列1204之兩個連貫取樣點之視訊線位 置之間的差異係小於第二子序列丨2〇6之兩個連貫取樣點之 視訊線位置之間的一差異。依此方式，某些序列位置係使 用以一更高取樣頻率（以改良所呈現輸出之影像品質）或以 一更低取樣頻率（為了表示大小）所取樣的資料元素來表 示。 序列產生器1〇4可能配置用於包括元址，其指示在—條 帶内的一或多個透明資料元素1212以指示在不同條帶之間 的一連接。該些透明樣本1212輔助在一顯示系統15〇内呈 效率地呈現該條帶序列。例如，—特殊資心素可能包括 於該條帶或指示-件輪#是否透明的―資料元素元組内， 或者可ι保留-特定色值或—色彩範圍以指示「透明」。 ❹一範圍可能(例如)在信號隨後經歷有損壓縮時特別有 益。系統100進一步包含一信號產生器1〇6，其用於產生— 視則§號’該視訊信號包含在條帶序列1350内所包含之資 料元素。此信號產生器可能以任-形式來實施，只要適當 編碼該條帶序列即可。可利用數位信號編碼方法，諸： MPEGt準。可產生其他類比及數位信號（包括儲存信號與 傳輸信號）並鏗於此說明在習知此項技術者之所及範圍 内例如，《玄數位條帶序列可能直接儲存於在一磁碟或一 上的播案内。遠信號還可能經由衛星或（例如）有線 140146.doc -18· 201004313

可準備複數個各別條帶序列並併入用 或在像DVI或 入用於複數個各別視訊

系統100還允許包括來自在該主檢視畫 畫面中遮蔽及/或物 件之後面區域的一片段之樣本。 圖14示意性解說包含數個資料流的一輸送流。各水平列 表示在該輸送流内的一資料流。此類輸送流可藉由信號產 生器106來產生。或者，信號產生器1〇6僅提供該等資料流 用於由一多工器（未顯示）包括於一輸送流内。一區塊 表示對應於一視訊線的一條帶序列。在一線上的數個區塊 對應於用於一影像之不同視訊線的條帶序列。實作上，該 些資料區塊可能經歷壓縮方法’其可將該些區塊之多個者 組合成更大資料塊（圖中未顯示）。信號產生器1〇6所產生之 輸送流可能包含一第一資料流1 302，其包含指示該等條帶 之至少一第一子集之色彩的該等資料元素。而且，一第二 資料流1304可能包含指示該等條帶之至少第一子集之深度 的該等資料元素。因此，該等條帶之不同資料元素可在該 信號内單獨發送。此可能改良該等壓縮結果並有助於提供 反向相容性，因為作為深度及/或水平位置的額外資訊可 能在其係包括於與色彩資訊分離的一輔助資料流内時被舊 有顯示設備放棄。並且，色彩及/或深度可使用此項技術 140146.doc •19· 201004313 中所已知之方法來加以編碼，從而促使二維視訊編碼的發 展，亚允許再利用現有視訊編碼器與解碼器。 為了進—步改良壓縮比，信號產生器1〇6可配置用於對 齊在-第-條帶序列内的資料元素與在—第二條帶序列内 的該等資料元素’兩個序列均藉由插入填充資料元素來與 該至y 一物件之一部分相關。例如考量其中該第—條帶 序列與-第-視訊線相關而該第二條帶序列與一相鄰視訊 線相關的情形。在此情況下’該等序列可能水平對齊使得 在該第-條帶相㈣資料元素號N具有與在該第二條帶 序列内的資料元素號N相同的水平位置。 當沿一掃描方向來編碼該條帶序列時，該條帶序列可藉 由该序列產生器以一資料流來編碼使得在該資料流内的空 間相鄰資料元素係在垂直於該掃描方向之—方向上對齊空 間接近資料元素。 第三資料流1306 ,其 。該些位置值可編碼 #號產生器106可能進一步產生一 包含該等條帶之至少第一子集之位置 成相對於-固定參考點（例如對應於—視訊影像之左側）的 位置值。較佳的係，連貫樣本之位置係表達為在該等連貫 樣本之視訊線位置之間的一德耳塔（差異）。在後者情況 下，省等值可使用運行長度編碼（一熟知無損壓縮技術）來 具效率地壓縮。然而，壓縮係可選，且在其中處理要求比 頻寬更關鍵的情形下，壓縮可能不必要。例如，壓縮可能 在使用一顯示介面（諸如DVI或HDMI)時不必要。在此一情 況下，相對於一固定參考點的該等德耳塔值或該等值可能 140146.doc -20- 201004313 以未麼縮方式來編碼，例如在該等色彩通道之兩者中例 如綠色與藍色通道，而深度可能編碼於一第三色彩通道 内，例如紅色通道。 圖15解說另—具體實施例，其_提供反向相容性。為此 目的，類似於參考圖⑽所說明之情形，—標物視訊圖 框係編碼於~第—串流内。此第-串流购可能相容 於售有2D顯示器。該等對應深度值係儲存於一第二串流 内第串桃1402與第二串流14〇4之組合可能相容於 可呈現影像及深度視訊資料之舊有3D顯示器。可省略用於 舊有2D影像的該等水平位置（如在_之第三串流· 内）’因為其係針對標準視訊圖框先驗已知。然而，除該 等串抓14〇2及14〇4外’在該等影像及深度串流1搬及1彻 内不存在的該條帶序列之該等部分係包括於一或多個額外 串流内。換言之，該條帶序列之至少一第二子集所表示之 資訊係編替—不同串流集内，其中該第-子集與該第二 子集係不相連的。該等串流可能與部分重疊點相關，例如 若-特定輪扉片段係以一不足夠解析度來表示於串流麗 及1404内(例如以靠近檢視方向之角度的一角度與一平面 相關的影像資訊），則該等額外串流可能提供該特定輪廊 片段之-更高解析度版本。例如，一另外争流包含該 條帶序列之至少第二子集之色彩，一另外串流剛包含該 條帶序列之至少篦二早隹+、拉+ ^ 千木之冰度’且一另外串流1412包含 該條帶序列之至少第二子集之水平位置。 還可摘取該育说之其他部分用於包括於一或多個反向相 140146.doc -21 · 201004313 奋串抓内例如’複數個影像及深度層或另一分 像（LDI)表示可能包枯认 度〜 匕括於—反向相容串流内；未包括於該 反向相容串流内的剩餘資訊及/或在一不滿意解析度下包 括於該反向相容串流内的剩餘資訊可能單獨包括。 …體實知例包含表示來自—主檢視晝面之—三維場景 的一信號1300，該_號4 ^ ^ . ’、 唬包含一條帶序列1350，其定義來自 該檢視畫面之三維場寻夕主_ 一 穷之表不之至少部分。各條帶進而表 示一矩形影像資訊區域，1 x其包含疋義一色彩、一深度1208 及一位置12 10的資料元| u、 、素，/、中用於各條帶之色彩及深产 資料元素係導出自在哕错旦 ^ 守《目㈣场景内的至少一物件之表面輪廓資 訊1102。該位置資料㈣係導出自在檢視晝面12G2内的至 少一物件之表面輪廓音 4叫獅郿貝戒之位置且該條帶序列之至少一 f 1204表示導出該至少—物株夕矣；认史八 物件之表面輪扉貧訊，其係選自 該場景内該至少-物件之一遮蔽區域或一側區域。’、、 一該條帶序列包含—第_資料元素條帶i2Q4，其係與選自 一=段之連貫點相關聯’該片段係在該主檢視畫面内的該 至少一物件之一遮蔽區域或一側區域之部分；及一第二連 貫資料元素條帶讓，其係選自H該片段係在該主 檢視畫面内的該至少一物件之一前面區域之部分。並且， 在該第-子序列之兩個連貫位置資料元素之水平位置之間 的一第—差異可能小於在該第二子序列之兩個連貫位置元 素之水平位置之間的一第二差異。 一參考圖】，顯示系統150包含一輸入152，其用於接收表 不如提出之-條帶序列的一信號。例如，顯示系統150可 140146.doc •22· 201004313 能藉由從一儲存媒體或經由—網路連接讀取此信號來接收 此信號。 顯示系統1 5 0進一步自合一旦〈榇方4 , ^ ^ 3衫像產生Is 154，其用於使用 :條帶序列來產生對應於立體檢視畫面之複數個影像。該 寻立體檢視畫面具有不同檢視方向；㈣應於相同三 維場景之不同檢視畫面。該等檢視畫面較佳的係水平分佈 :至少沿-水平方向。可按如下來產生該複數個影像之一 =像。首先’該等位置及深度資料元素係變換成與欲產生 影像之檢視方向及視點對應的視訊線位置及深纟。其次， 使用該些變換值來呈現—影像，纟中對於任_水平位置， ，而將不最靠近該視點之—位置的—深度值考量在内。 :際上’言亥i組序列在以線為主之條帶的情況下表示一或 多個3D折線或在以多線為主之條帶的情況下表示多邊形。 如此項技術中所知，該等折線可使用z緩衝來呈現。例 如’㈣條帶序列相關聯的該等資料元素可使用Z緩衝來 :一呈現。該等資料元素之確切呈現方式並不限制本發 該顯示系統可包含一用於顯示該複數個影像之顯示器 =6。顯示器156可能（例如）係一裸眼式立體傾斜透鏡顯示 ^ 5亥數個影像可以一交錯方式來在此一顯示器上呈現。 或者，兩個影像可時間順序地顯示，且快門鏡片可用於一 人頬的適當3D影像感知。其他種類之顯示模式（包括立體 顯不模式）係為習知此項技術者所知。複數個影像還可能 依序顯示於一3D顯示器或一2D顯示器上從而可: 140146.doc -23- 201004313 如交互式虛擬導覽穿 旋轉效果。立侦翻_旦/ 一他顯不影像的方式（例 過一場景）係亦可行。 圖2A解說在—種產生_視訊信號之方法中的處理步驟。 /驟〇中’起始該程序’例如在欲處理—新視訊圖框 時:在步驟202中，如所提出地準備在場景（包括背景）内的 該等物件之輪廓線。替代在該程序巾明確實行此步驟，步 驟202之、，、。果可作為該程序之—輸人來提供。 在步驟204中，產生一條帶序列135〇，其定義來自該主 檢視畫面之三維場景之表示之至少部分，其中各條帶表示 一矩形影像資訊區域，#包含定義—色彩、—深度12〇8及 一位置1210之資料元素。用於各條帶之色彩及深度資料元 素係導出自在該場景内的該至少一物件之表面輪廓資訊 1102。該等位置資料元素係導出自在主檢視晝面1202内的 該至少一物件之表面輪廓資訊之位置。而且，步驟2〇4可 能涉及在該條帶序列内包括一第一條帶12〇4，其包含選自 一片段之連貫點之資料元素’該片段係在該主檢視晝面内 的該至少一物件之一侧區域之部分。包含連貫點之資料元 素的一第二條帶1206可選自一片段，該片段係在該主檢視 晝面内的該至少一物件之一前面區域之部分。在該第一子 序列之兩個連貫位置資料元素之水平位置之間的一第一差 異可能小於在該第二子序列之兩個連貫位置元素之水平位 置之間的一第二差異。 可針對在該影像内的複數個視訊線重複步驟202及204。 在步驟206中，產生一視訊信號’其包括所得樣本序列或 140146.doc -24- 201004313 多個樣本序列。在步驟210中，該程序終止。如稍早所指 示，該方法可同樣應用於以線為主的條帶序列與以多線為曰 主的條帶序列。可按如下來實行步驟2〇2。接收如從複數 個不同檢視畫面所看見的至少一物件之複數個影像。針對 該複數個影像之像素建立深度資訊，或可作為額外輸入來 提供，例如使用-測距儀所決定的深度值。該第二檢視書 面之該等像素係歪斜至該主檢視晝面，使得針對該等像素 獲得依據該至少一物件之主檢視晝面來指示一深度與—水 平位置的資訊。這樣，獲得輪廓資訊。 圖2B解說一種在—顯示器上呈現一影像之方法。在步驟 250中，起始該程序，例如因為需要準備—新視訊圖框用 於顯示。在步驟252中，如所提出地接收包含-條帶序列 = 50)之-信號。在步驟254中，使用該條帶序列對應於立 體檢視畫面來產生複數個影像。在步驟2%中，如所提出 地顯示該複數個影像。

J 施本文中所說明之料及“可以軟體來部分或完全地實 圖3顯示在一背景芈 j 景千面5丽面具有三個物件丨、2及3 場景的一斷面俯視圓。告 件料平面5a:箭頭31G之方向上檢視該等物 、’、面5時，影像及深度格式將作為 素色彩與深度^為每像 m。可從！：卜矣-十★ 111 4干在401至4〇5處所指示之資 況了攸此表不來產生替代 角度下(在箭頭32〇所指干μα 仁田在不同檢視 深度表示不含有真正「:方向上）觀察場景時，該影像及 有真正％現」物件並看見變得可見者所必 I40146.doc -25- 201004313 而之Η訊’即所去遮蔽者，諸如在比該最初位置更向左之 位置查看時將變得可見的物件1之前面之右邊部分，或 可％在物件2與3之間從右邊查看時變得可見的背景之部 分0 圖5解說藉由使用多層影像及深度的此問題之一部分解 ’、” 列如’可使用兩層影像及深度。圖5在501至5 05 處顯不可忐針對本範例儲存於一第二層内的額外資訊。現 在可儲存物件1及3之完整前面側，但將要求三層亦以儲存 疋正者厅、另外，難以使用相對於一中央檢視畫面來使用 固疋水平間隔的一表示來界定該等物件（例如物件1及3) !並且’物件之後面側係不使用此表示來错存。儲存 j自多個檢視畫面之影像及深度可能係一解決方案，但接 著在壓縮深度信號下保持其關係完整係較困難並要求複雜 的計算，另外透明度係難以支援此一表示，除非使用許多 檢視晝面，或提供多層用於多個檢視畫面，其可能要求許 多層並因此大量儲存空間。 圖6解說種作為一種類懸垂物6 0 0來組織影像資料之方 ^。使用此-懸垂物6〇〇，可以一具效率且可縮放方式來 提供該場景之—輪廓說明ϋ垂物6GG打比方如同_ 床單般地表現，該床單係在該場景之物件丨至3及背景5周 圍懸垂。圖6顯示在懸垂物_係在該場景上鬆散懸垂 一組態。 懸垂物6 0 G說明沿在該場景内的該等物件之表面的輪靡 線。較佳的係此-輪廓線係完全在該場景之—斷面内。懸 140146.doc -26- 201004313

垂物600不僅包含位於該等物件之前側6〇2内的輪廓線之部 刀而且還包含物件1之左側601與物件2之左側以及物件3 之右侧603及物件2之右側。因此’與該影像及深度格式相 比，捕捉更多遮蔽資料。懸垂物6〇〇之一些部分含有影像 資料。此影像資料之範例係部分6〇1、6〇2及6〇3。懸垂物 600之其他部分係透明。一透明部分之一範例係部分61〇、 611、612及613。此一透明部分不要求大量的儲存空間。 例：，可全部略過此一部分。較佳的係，在該信號内插入 一指示以指示該懸垂物之一部分係透明。或者，當在懸垂 物之連續件之間的一距離超過一預定臨限值時，在懸垂物 之s亥專連續件之間的部分係設定至透明。 圖7解說可在該懸垂物表示中捕捉更多遮蔽資料。打比 方，該懸垂物可在該場景之該等物件周圍更緊密地擬合。 在圖7中，目前，懸垂物7〇〇係收緊使得橫過該等物件之完 整輪廓，從而在產生立體檢視畫面中提供最多靈活性。在 圖6及圖7之情形之間的中間收緊量係亦可行。 緊接該收緊量，還可變動沿該懸垂物儲存資訊所採取之 解析度以平衡資訊數量與儲存/傳輸容量。稍早所提及之 「透明」部分係此部分之一極端範例，但是還可能選取 (例如）以更低解析度來編碼該等物件之側（且尤其係該等物 件之後面）。該懸垂物接著可能由與等距或非等距點相關 聯的-系列資料S素所組成。該些資料元素可能包括關於 色彩且還可能關於透明度的資訊。視需要地，可包括額外 資訊以捕捉檢視畫面方向相依效果，諸如還可能包括雙向 140146.doc -27- 201004313 反射率分佈資料，以Μ χ <何其他相關資訊。該等樣本可能 具有相關聯座標(如該等圖中所示用於一懸垂物之X及Ζ， 在表不—完整卿像時心各線之_系列）。不同方法可 用以儲存S亥些系列。可能 時。 匕使用鏈碼，特別在使用無損I 缩 可為隨後水平懸垂物線保持垂直黏附。此允許實現較佳 的壓縮效能。例如’可單獨擷取或儲存常規影像及深度表 不，並可館存該懸垂物之額外件（其可插入回至該等影像 及深度樣本内）作為額外資料。此確保向後相容於目前影 像及深度格式，並添加完整懸垂物資料作為一可選額外資 蚪而且該#規影像及深度表示可使用冑岁文能壓縮技術 來加以壓縮。在額外資料内的剩餘件可接著配置使得最大 化垂直黏附以獲得最佳壓縮。若該等懸垂物線對應於垂直 視訊線，則可以一相似方式來保持水平黏附。 懸垂物表不可由從不同位置查看該場景之數個相機之 影像（及可能深度）所構造，或可（例如）導出自藉由切斷— (虛擬）場景所獲得之一三維像素表示。從一懸垂物呈現— 榀視晝面可使用適當遮蔽及去遮蔽處置藉由一種深度相依 偏移之程序來實現。 在電腦圖形領域内’已知邊界表示，諸如M.m. Oliveira 等人的「Relief texture mapping(浮凸紋理映射）」，27屆電 腦圖形及交互技術年度研討會學報，第359至368頁， 2〇〇〇，ISBN 1-58113-208-5。該些電腦圖形表示通常性質 上極具幾何性（例如以網目為主），而該懸垂物可用於一似 140146.doc •28· 201004313 視訊表示中，其中不僅色妥； ^ 且深度可表示成可極佳壓 縮之視訊信號。 Ί & 還可使用本文中所說明之姓 乃之技術來編碼垂直去遮蔽 例如，一或或多個樣本序列 ° J J此具有垂直位置而不是盥苴 相關聯之水平位置。可替彳々「 /、Ζ' …此「“ 水平懸垂物線」或除其外來 … 懸垂物線」。或者，可使在連續樣本序列 之間的垂直間隔變動以調適視覺化一物件之一上部及/或 一下部邊緣。 人二「：垂物」可能說明為—條帶序列。該些條帶可能包 3 一色值、一水平位置值(例如在-主檢視晝面之—線上 :像=數目）、-深度值或視差值及/或—透明度指示符或 Μ月白’色杉不必用於-完全透明部分或可保留： 位2色值用於指示「透明」。將使用具有（幾乎或確⑷相同 位置Ρ’但不同d且適當色彩值之連續元組來說明具有 側法線靠近檢視方向的—

立方體之側。在彼此前面的物件 ° °亥懸垂物之-透明部分來加以連接。使用一 H 懸垂物」，在該懸垂物中僅說明物件之前表面與側表 收緊懸垂物」，在該懸垂物中還說明物件之後表 :二在許多情況下，存在—些側及後表面資訊，但並非所 。貝λ。该懸垂物可用以適應任何可用的資訊。不必為不 可用或在接收端處不需要的資訊浪費儲存空間。並且，不 必儲存冗餘資料。在使用多層之視訊編碼中，可在不存在 =夠資訊可用以填充所有層’甚至在壓縮之後亦如此時浪 費一些儲存空間。 140146.doc •29- 201004313 使用（例如）三個相鄰相機（一左、中及右相機）所拍攝之 相同場景之三個影像(一左、中及右影像)，可將該三個影 像之資訊合併成m物。首先，可針對所有三個影 像重建深度圖。可運用涉及（例如）相機校準之立體計算。 此類計算係在此項技術中已知。接下來歪斜該等右及左 影像至中間影像之幾何形狀。出現於歪斜左影像、歪斜右 影像及中間影像内的表面可藉由_重疊或相鄰表面區域 來縫口在-起。接下來，該等懸垂物線可藉由從該些（歪 斜）影像點取樣或選擇來加以構造。 為了維持垂直-致性，可插人透明樣本。此改良在使用 已知壓縮技術時所獲得之壓縮比。 可以類似於使用ζ緩衝來呈現一 3D折線之一方式來實行 一懸垂物線之呈現。 〃表示該等懸垂物線之樣本序列可儲存於若干影像内。該 第一影像可能包含色彩資訊。還可能編碼該些分量（諸如 R G及Β或Υ ' υ及ν)之每一者作為三個單獨影像。如此 項技術中已知，還可將該等色彩轉換成(例如)可藉由次取 樣u及v來更佳壓縮之Υυν色彩空間。該第二影像可能包 含深度資訊。例如，此深度資訊可能藉由一座標或藉由視 差資訊來加以編碼。該第三影像可能包含水平座標：視訊 線位置，例如以全部像素來表達，或使用允許子像素精度 之一指示（例如—浮點值）。該些影像可使用標準視訊壓縮 來進步；$縮。較佳的係，含有該等χ座標的影像可以德 耳塔來表達.可儲存在連貫樣本之χ座標之間的差異而非 J40146.doc •30· 201004313 =等X座標之絕對值。此允許實行具效率的運行長度 壓縮。β亥些影像可儲存於單獨資料、流β。 "， =圭的係，反向相容性係藉由擷取具有可選深度資訊之 -：規2D影像來提供以單獨作為一習知視訊串流來 發达。該深度影像可作為—輔料流來添加。該等樣本^ 列之剩餘部分可儲存於-或多個單獨串流内。 包含-立方體8G1與—背景8G2之—場景。該場 .係使用三個相機位置810、811及812來加以捕捉。圖㈣ ::說使用左相機810所捕捉者。例如，左相機捕捉輪廓 片^^^^及卜而非輪摩片段卜以心 該等相機之兩者之影像資料可歪斜至該第三相機位置， 例如最左及最右相機可歪斜至中間相冑，從而改變該等歪 斜影像之像素之續。如同用於圖8中立方體物件之側表面 之情況，可能會發生數個像素具有相同的\值（但具有不同 的冰度值）。甚至可能，此一歪斜影像之X值係非單調，特 別在左相機看見在中間相機之檢視畫面甲位於一物件之一 後表面的一物件之一部分時。該些側及後部分可有效地儲 存於該元組序列（「懸垂物」）中，如此說明書中所說明。 儲存此類側或後部分所採取之解析度可取決於分配至在該 等可用檢視畫面内該側或後部分的像素數目。 圖9解說一種用於以軟體來實施本文中所說明之方法及 系統之部分的範例性硬體架構。還可使用其他架構。一記 憶體906係用以儲存包含指令之一電腦程式產品。該些指 令係由一處理器902來讀取並執行。一輸入9〇4係提供用於 140146.doc -31 - 201004313 使用者交互可能性，例如藉由-遙控器或一電腦鍵盤。此 可用以（例如）起始一影像序列之處 ^ ^ . ^ ^ 该輸入還可用以設 疋了組態參數，諸如深度感知數 之I日十奴產生的立體影像 产：如u⑨一視訊信號内的遮蔽資料之數量及解析 二：如•-顯示器912可有助於藉由提供—圖形使用者 以—使用者友善方式來實施交互可能性。顯示彻 ==;T!像:輪出影像及本”所說明之 進，令通广：了/像貧科交換係藉由一通信埠908來促 r埠可連接至—視訊網路（例如數位或類比、地 ==或有線廣㈣統）或網際網路。資料交換還可能科 ::卸除式媒體㈣(例如一 DVD驅動器或一快閃驅動： =解此類影像資料還可能儲存於區域記憶體_内： a，驻，本發明运延伸至調適用於實踐本發明的電腦程 始碼、目許载體上或内的電腦程式。該程式可採取原 編譯的形式）之开η /1的—碼（諸如部分 發明之方法之形禾取任何其他適用於實施依據本 實體或穿 ” 載體可能係任—能夠搭載該程式之 ^ 〇例如’該載體可包括一儲存媒體，諸士 臟（例如_cdrom或 4存媒體邊如― 體，例如-敕碟或辟坚^體麵），或一磁性記錄媒 體，例如—電=a丄另外’該載體可能係一可傳輸载 無線電或直P3 “學信號’其可經由電瘦或光纔或藉由 .…、構件來傳達。當該程式係在此一作浐^ $ 時，該載體可由并雔φ嫩 隹此七旎體現 者，該載體可能係H或其他裝置或構件來構成。或 '〜、〜入5玄程式的—積體電路，該積體 140146.doc -32· 201004313

電路係調適用於實杆义M … 貫仃相關方法或在其實行中使用。 一，上述具體實施例解說而 此項技術者應將能夠設計許多替代 ::且“ 專利範圍之料。在專利中請範圍中，置於括於 :何參考符號不應視為限制專利申請範圍。動詞「： 」變化詞語的使用並不排除存在除

::…元件或步驟外的元件或步驟。元件二 」或㈤」並不排除存在複數個此類元件。本發明 可能藉由包含數個不同元件的硬體並藉由-適當程式化電 腦來實施。在列舉數個構件的裝置請求項中，&中該此構 件之數個者可能藉由-或相同項硬體來體現。在彼此不同 的”專利範圍附屬項中所引述的某些度量的純粹事實並 不私不無法有利地使用該些度量之一組合。 【圖式簡單說明】 已參考圖式進一步闡述並說明本發明之該些及其他態 樣，其中 圖1係解說一種用於產生一視訊信號之系統與一種顯示 系統之態樣的一方塊圖； 圖2A顯示一種產生一視訊信號之方法之一流程圖； 圖2B顯示一種呈現一視訊信號之方法之一流程圖； 圖3解說在一場景内的物件； 圖4解說來自一主檢視角度可見之一場景之部分； 圖5解說在一主檢視晝面内遮蔽之一場景之部分之一第 二層； 140146.doc -33- 201004313 圖6解說可使用—條帶序列來捕捉的一場景之部分； 圖7解說可使用一條帶序列來捕捉的該場景之部分 一範例； 〇刀另 圖8解說一場景之數個檢視畫面； 圖9解說一硬體架構； 圖10A解說一三維場景及相機視點； 圖10B解說依據本發明之一條帶序列，政 之和像資讯係與代表前面檢視畫面影像之條帶交錯· 圖1 0 C解s兒依據本發明之一條帶序列，立2 中來自側p 0 之影像資訊係與代表前面檢視畫面影 】£域 豕早獨地編碼； 圖11解說一以線為主的視訊影像； 圖12 A解說沿一視訊線的一三維場景之—六 圖1 2 B解說沿一視訊線的輪麻線； 圖13解說沿一輪廓線的一點序列； 圖14解說一視訊串流；及 圖15解說另一視訊串流。 【主要元件符號說明】 1 物件 2 物件 3 物件 5 背景平面 100 系統 102 輪廓產生器/構件 104 序列產生器/構件 140146.doc u 201004313 106 信號產生器/構件 110 隨機存取記憶體 150 顯示系統 152 輸入 154 影像產生器 156 顯示器 600 懸垂物 601 物件1之左側/部分 602 物件之前側/部分 603 物件3之右側/部分 610 部分 611 部分 612 部分 613 部分 700 懸垂物 801 立方體 810 相機位置 811 相機位置 812 相機位置 902 處理器 904 輸入 906 記憶體 908 通信埠 910 可卸除式媒體 140146.doc -35- 201004313 912 顯示器 931 條帶 943 背景平面 944 立方體 1108 物件1102之後側 1202 取樣點/主檢視晝面 1212 透明資料元素/位置 1300 信號/視訊串流 1302 第一資料流 1304 弟二貢料流 1306 第三串流 1350 資料/條帶序列/區塊 1402 第一 _流/影像串流 1404 第二牟流/深度串流 1408 串流 1410 串流 1412 串流 S921 背景平面/條帶 S922 背景平面/條帶 S923 條帶 S924 矩形區域/條帶 S925 條帶 S926 背景平面/條帶 S927 背景平面/條帶 140146.doc -36-

Claims (1)

1. 201004313 七、申請專利範圍： 1. 一種用於產生表示來自一主檢視晝面之一三維場景之一 Ί吕號（1300)的系統（1〇〇)，其包含： 一序列產生器（104)，其用於產生一條帶序列（1350)， 該條帶序列定義來自該主檢視晝面之該三維場景之表示 之至少部分’各條帶表示一矩形影像資訊區域’其包含 定義該矩形區域之一色彩、一深度（12〇8)及一位置 (12 10)之資料元素，其中 用於各條帶之該等色彩及深度資料元素係導出自在該 場景内的至少一物件之表面輪廓資訊（1102); 邊位置資料元素係導出自在該主檢視畫面内的該至 少一物件之表面輪廓資訊之位置且 *亥條帶序列之至少一條帶（12〇4)表示選自在該場景内 、至V 物件之一遮蔽區域或一側區域的該至少一物 件之表面輪廓資訊；以及 k號產生器（106)，其用於產生包含該條帶序列的 一視訊信號。 其中在各條帶内所包含之該等色

   料元素之元組。 2.如請求項1之系統

   其中§亥信號產生器係配置用於產生 140146.doc 201004313 一輸送流，該輸出串流包含： 一第-資料W)，其包含該條帶序狀至少—第 一子集之該等色彩資料元素；以及 一第二資料流（讀），其包含該條帶序列之至少該第 一子集之該等深度資料元素。 5.如請求項4之系統，其中該輸送流進—步包含： 一第三資料流（U06)，其包含該條帶序列之至少該第 一子集之位置資料元素。 6·如請求項4之系統，其中在—資料流(簡、13〇4)内所編 馬之條π序列係在—掃描方向上編碼且該序列產生器係 配置用以在該資料流〇3〇2、13〇4)内添加填充資料:素 以在垂直於該掃描方向之—方向上對齊在該第—資料流 …亥第—貧料流之至少—者内的空間相鄰資料元素。 7·如β求項1或H統’其中該等色彩資料it素係以-第 解析度來表π且該等深度資料元素係以—第二解析度 來：示且其中該第-解析度之X分量或y分量之至少―： 係而於該第二解析度者。 8_如請求項1或4之系統’其中： ，在各條帶内所包含之色彩及深度資料元素係分組成色 %及深度資料元素之元組； 在各條帶内所包含之色彩及深度資料元素係置於 距格柵上；以及 荨 0亥位置賁料元素指示在該主檢視畫面内沿一 該條帶之表面輪廓資訊之一位置。 方向 140146.doc 201004313 9_如請求項4之系統，其中該輸送流進一步包含以下至少 一者： -資料流’其包含該條帶序列之至少一第二子集之該 等色彩資料元素； 貝料々IL ’其包含該條帶序列之至少該第二子集之該 等深度資料元素；以及 貝料/;,L ’其包含該條帶序列之至少該第二子集之該 等位置資料元素； 其中π亥第一子集與該第二子集係不相連的。 10·:種用於使用表示來自—主檢視畫面之一三維場景之一 信號來呈現一影像的呈現系統（150)，其包含： 一輸入（152)，其用於接收包含一條帶序列（135〇)的該 信號’該條帶序敎義來自該主檢視畫面之該三維場景 之表示之至 > 部分，各條帶表示一矩形影像資訊區域， °亥〜像貝吼包含定義該矩形區域之一色彩、一深度 (1208)及一位置（121〇)之資料元素，其中 s用於各條帶之該等色彩及深度資料元素係導出自在該 場景内的至少-物件之表面輪廓資訊(1102); 該位置貢料元素係導出自在該主檢視畫面内的該至少 物件之表面輪廓資訊之位置以及 °亥條▼序列之至少一條帶（1204)表示選自在該場景内 、 ’ 物件之一遮叙區域或一側區域的該至少一物 件之表面輪廓資訊以及 〜像產生器（154)，其用於使用該條帶序列來呈現對 140146.doc 201004313 應於一另外檢視晝面的影像。 11. 如請求項1〇之呈現系統，其中該影像產生器係配置用於 使用該條帶序列來產生對應於複數個立體檢視畫面之複 數個立體影像。 12. —種用於使用表示來自一主檢視畫面之一三維場景之— 信號來顯示一影像的顯示系統，其包含： 如請求項10或11之一呈現系統且 一顯示器（156)，其用於顯示該呈現的影像。 13. —種表示來自一主檢視畫面之一三維場景的信號 (13 00) ’該信號包含一條帶序列（135〇)，該條帶序列定 義來自該主檢視畫面之該三維場景之表示之至少部分， 各條帶表示-矩形影像資訊區域，其包含定義該矩形區 域之一色彩、一深度（12〇8)及一位置〇21〇)之資料元 素，其中 曰用於各條帶之該等色彩及深度資料元素係導出自在該 %景内的至少一物件之表面輪廓資訊〇丨〇2); 該位置資料元素係導出自在該主檢視晝面内的該至少 一物件之表面輪廓資訊之位置以及 該條帶序列之至少一條帶（12〇4)表示選自在該場景内 的垓至少一物件之一遮蔽區域或一側區域的該至少一物 件之表面輪廓資訊。 14. 種產生表不來自一主檢視畫面之一三 (1300)的方法（1〇〇)，其包含： 維場景之一信號 產生一條帶序列（1350) 該條帶序列定義來自該主檢 140146.doc 201004313 視畫面之該三維場景之表示之至少冑分K条帶表示一 矩形影像資訊區域，其包含定義該矩形區域之—色:、 一深度（1208)及一位置（121〇)之資料元素，其中 ’ 用於各條帶之該#色彩及深度資料元素係_出自在該 %景内的至少一物件之表面輪廓資訊〇1〇2) ; ^ 該位置資料元素係導出自在該主檢視畫面内的該至少 一物件之表面輪廓資訊之位置以及 Χ夕

   條帶序列之至少一條帶（12〇4)表示選自在該場景 〇至y物件之一遮敝區域或一側區域的該至少一 之表面輪廓資訊；以 產生包含該條帶序列之一視訊信號。 15.如請求項14之方法，其進_步包含： 接收如從多個檢視畫面所看見的該至少一物件之複數 針對垓複數個影像之像素建立深度資訊

   歪斜該複數個視點之影像 該等色彩、深度及位置資料 視畫面指示色彩、深度及位 列。 資訊至該主檢視晝面，包括 元素，使得獲得依據該主檢 置之貢訊用於產生該條帶序 16. —種使用表示來自一主檢視晝面之一 來呈現一影像的方法，其包含： 二維場景之一信號 安收W -條帶序列（135G)的該信號，該條帶序列 義來自該主檢視畫面之該三維場景之表示之至少部分 各條帶表示—矩形影像資訊區域，其包含定義該矩二 140146.doc 201004313 一 ’朱度（12〇8)及一位置（1 2 1 〇)之資料元 用於各條帶之該等色彩及深度資料元素係導出 場景内的—物件之表面輪廓資訊（1102); 該位置資料元素係導出自在該主檢視畫面 之表面輪廓資訊之位置以及 该條帶序列之至少一條帶（12〇4)表示選自在該場景内 的該至）—物件之一遮蔽區域或一側區域的該物件 面輪廓資訊以及 之表 使用該條帶序列來呈現對應於該主檢視晝 17. 域之—色彩 素，其中 在該 内的該物件 一锸φ 息茚之影像。 檀電腦程式產品’其包含機器可讀取指令用於引起至 ’處理器實行如請求項14至1 6中任一項之方、'去。 140146.doc