TW201223248A - Method for combining images relating to a three-dimensional content - Google Patents

Description

201223248 六、發明說明： 【發明所屬之技術領域】 本發明係關於用於在一立體 加於由該器件本身所接收之_ 器件。 顯示器件内結合局部產生疊 三維内容上之影像的方法及 【先前技術】 已知電視裝置(電視機及解碼器)可局部產生含有文字及 圖形的影像且將其等疊加於所接收之影像上；因此，可供 應各種類型之有用資訊給使用者 者作為正在背景中播放之視 訊0 此等影像可從與視訊信號一起接收之資訊開始產生（舉 例而言，正如字幕及—些電子節目指南（亦稱㈣⑺之情 形）’或者其等可提供關於解碼器或電視機之組態及設定 之資訊（例如，選單或指示音量位準及其他參數之條）。 現今市場上可購得之3D内容之量增長得相當大；此等内 容之實現不再限於電影院’且使用者可於其自家之電視機 上觀看3D視訊》 因此，對於3im訊而言，亦需要在所接收之電視影像上 疊加局部產生的影像。 相較於一 2D視訊流，由於需要考慮產生視訊流之單個 影像中所包含之物件之不同深度配置，故而—3D視訊流上 之影像疊加更為複雜。 專利申咕案第EP2157803A1號教示如何將一文字定位在 使該文字總是保持在電視影像前面的一位置。特定言之， 157714.doc 201223248 若3D内容係廣播為—二維影像附加—深度矩陣，則後者亦 可用於界定文字之位置。 由於此解決方案用於藉由從—基本二維影像開始建立右 與左影像對（其等在-起結切產生職果），故而該解決 方案具有採用一極大深度圖的缺點。在須分析圖以界定文 字位置時，除需要相當量之計算功夫之外，在將該圖傳輸 至一接收器時此圖之女，丨、女办^ 圆之大小亦與鬲頻寬使用有關》 專利申請案第W⑽刪3 82〇5號描述用於组成由主扣影 像及未疊加至主影像上之額外2D或3D影像（如文字或圖形） 組成之3D影像（待顯示於一扣顯示器上）的一方法。每種類 里之〜像係由-2D影像及_相關深度圖組成。在接收一對 應2D影像後結合每種類型之影像之深度圖用於重構待顯示 之影像。 、專利申請案第此17()5929號描述藉由在一圖框中結合組 成3D〜像之兩te2D影像之—與有關深度之資訊（用於在接 收時重建3D影像)而用於安排3D影像之傳輸。 【發明内容】 心月之目的係、提供用於結合影像與由—立體視訊流輸 送之一三維内容的-種方法及—種“，其容許克服先前 技術之缺點。 ^之本發明之一目的係提供一種用於在3D内容上 疊加影像的方法，其需要職容播放器階層下之一較低計 鼻成本。 本I月之另_目的係提供—種用於傳輸在由—立體視訊 157714.doc 201223248 流所輸送之三維内容上疊加影像所需之資訊的方法， 〆、-"3%^ 需间頻寬使用且其對於立體視訊流編碼與解碼操作而言係 穩健的。 本發明之此等及其他目的係透過用於在由併入附屬申請 專利範圍中所提出之特徵之一立體視訊流所輸送之三維内 容上疊加影像的一種方法及一種系統而達成，該申請專利 範圍意欲為本描述之一整體部分。 本發明之基礎之一般理念為藉由在重播階段使用編碼至 含於一立體流之一圖框中之一影像之一疊加深度圖而顯示 疊加於一立體視訊上之一元素。由於本發明中所使用之深 度圖係僅以供應編碼器或電視機以有用於以一適當方式在 立體景> 像上疊加局部產生之影像之資訊，故而其並非旨在 編碼立體視訊流。最後，深度圖具有比立體對更低之一解 析度’且因此更小數目之像素，因此限制了頻寬佔用。此 係可行的，因為深度圖並非用於產生三維影像，而僅用於 適當定位覆蓋。 在一較佳實施例中，圖框承載包括經適當多工的一右影 像、一左影像及深度圖的一複合影像。 在一實施例中’右影像及左影像係根據一傳統格式加以 配置’例如一並排式、上下式或棋盤式，而深度圖係插入 至該複合圖框之一自由區域且非為顯示所需。 在一替代實施例中’右影像及左影像係以一新穎方式配 置於複合圖框中。在此實施例中，該圖框包括若干像素， 該等像素比右影像及左影像二者之原始格式（亦即，在編 157714.doc 201223248 碼之前）之像素之總和更高 整數倍降低取樣。 八#因此獲加入而無需經受 在此實施例中，第 影像（例如，忐发、 5 if ^ ^ ^ i ^ 左影像）之像素係加入 至複〇衫像而未經歷任何改 第二影像被再分成其像 常係配置於4複合影像之自由區中的若干區。 此解決方案提供兩幅影像一 °° 54 彳维持不變的優點，其導 致經重構之影像有更佳之品質。 等 最小可能數目之區， 小壓縮步驟期間偽影 有利言之，第二影像接著被分解成 以便最大化像素中之空間相關性且減 之產生。 在-有利實施例中，第二影像之區係僅藉由平移或轉動 平移操作而加人至複合影㈣，因此維持水平解析度與垂 直解析度之間之比不變。

亡-進-步實施例中’至其中已分解第二影像之區之至 一者經歷一鏡面倒轉步驟’亦即，其相對於-軸翻轉 (特定α之，側）且係以使得其他影像之一側上之其側邊 線之-者歸因於兩幅右與左影像之相似像素（亦即，相同 列及行中定位之兩幅影像之像素）之間之強烈相關性而在 邊側上具有相同或類似之像素的一方式配置於該複合影像 中。 此解決方案提供減小在邊界區域中產生偽影。更有利言 之’至其中再分第二影像之區具有一矩形形狀；相較於使 用以邊界區域在對角方向上交叉複合影像而配置之三角區 之解決方案’此選擇提供由一後續壓縮步驟所產生之偽影 157714.doc 201223248 之減j《其若後者在像素之正方形區塊上動作（例如， 用於H.264標準之16x16)。 根據-尤為有利之實施例，藉由在複合影像中引入冗 餘，亦即藉由複製-些群組之像素若干次，進一步減小或 甚至完全消除偽影之形成。特定言之，此係藉由將待加入 至複合影像中之基本影像分解成具有若干區而得到，該等 區具有使得此等區之像素之總數目超過待分解之影像之像 素之數目。換吕之，影像被分解成若干區，其之至少兩者 包括-共同影像部分。該共同影像部分為分解之影像中互 相鄰近之區H邊界區域。此共同部分之大小較佳取 決於隨後施加至複合影像之廢縮之類型，且可充當在重構 已刀解之影像時將部分或完全移除的一緩衝區域。由於壓 縮可藉由消除緩衝區域或其至少最外部分而在該等區之邊 界區域中引人偽影，故而其可消除任何偽影且重構比原始 影像翔實的一影像。 從以非限制性實例之方式提供之本發明之若干實施例之 下歹J t田述中’本發明之進—步目的及優點將變得更顯而易 見。 【實施方式】 將參考附圖描述該等實施例。 一在適當處，T同圖式中之類似結構、組件、材料及/或 元素係藉由類似參考予以標示。 π圖展示用於產生具有一深度圖之一立體視訊流101之一 DO 的方塊圖’該深度圖用於在由該視訊流所輸送 157714.doc 201223248 之一視訊内容上疊加影像β 、出於本發明之目$，一三維(或3D)内容係由觀察者感知 成八有可變深度的一影像或一視訊，其中元素可從其上正 顯示或投射該影像或視訊之發幕平面突出。 卜 ’本文之表述「疊加兩幅影像」係指兩幅影像之任何形 式例如透明、半透明或完全不透明之組合。 本發明同樣適用於不論靜態或動態的（亦即，具有固定 或時變圖形特性）任何類型之疊加，其繼而可為二維或三 維。 — 二維内容之深度係指沿與其上正顯示3D内容之螢幕正 交之—軸而加入至該螢幕中的三維内容之尺寸。出於本描 述内谷之目的，螢幕對應於一零深度點’同時「最小深 度」點為由使用者感知為最靠近他/她自身之.3D内容，亦 即，最遠離該螢幕之點。因此，「最大深度」點為由觀察 者感知為至該螢幕中最深，亦即最遠離他/她自身，甚至 超過螢幕平面之點。 在圖1中，對器件1〇〇輸入左眼（L)及右眼（R)分別所需的 兩個影像序列102及1〇3，例如兩個視訊流，以及一深度圖 序列106。該序列1〇6中之各深度圖係與分別屬於該序列 102及該序列103之一對右影像與左影像相關聯。在此實施 例中，深度圖係藉由本身已知之演算法而產生，該演算法 比較一右影像與一左影像且返回具有等於兩幅經比較之影 像之一者之像素之一大小的一矩陣（深度圖），且該矩陣之 元素具有與正顯示之各像素之深度成比例的一值。另一深 157714.doc •9· 201223248 度圖產生技術係基於量測場景中物件離正拍攝該場景之視 a相機對的距離：此距離可由一雷射輕易量測。在利用電 子電腦之幫助下而產生之偽視訊流的情形中，視訊相機因 其由電腦偽建立之一特定場景的兩個視點組成而為虛擬 相機。在另一實施例中，一深度圖係與多對右影像及左影 像相關聯；在此情形中，選定用於深度圖之各元素之值係 不同圖框中之像素的最小深度值。較佳言之，在此實施例 中，為與該深度圖相關聯之各圖框群組一次性加入該深度 圖’以便減小器件100上之負載，該器件1〇〇亦輸入用於使 一深度圖與多對右影像及左影像相關聯的一段資訊。 作為圖1之實例之一替代，可在器件1〇〇内產生序列1〇6 之深度圖。在此情形中’器件100包括一適當模組，該模 組輸入序列U)2及序列103之影像且接著產生對應深度 圖。 該器件100容許實施用於使兩個序列1〇2及1〇3之兩幅影 像以及序列106之深度圖多工的一方法。 為貫施用於使右影像及左影像以及深度圖多工的方法， 器件100包括帛於將一輸入影像（圖i之實例中之右影像）分 解成各對應》所接收之影像之一區的複數幅子影像的一分 解器模組10 4、用力處理深度圖之一欠取樣與滤波模組 107，以及能夠將所接收之影像之像素（包含深度圖）加入至 待在其輸出處提供之一單一複合影像中的一組合器模組 105 ^若無需處理序列1〇6，則忽略模組1〇卜此可為（例如） 深度圖經雷射產生且恰從開始時具有比影像L&R之解析度 157714.doc •10· 201223248 更低之一解析度的情形。 現將參考圖2描述由器件100實施之一多工方法的一實 例〇 方法係在步驟200中開始。隨後（步驟201)，如圖3所展 示’將兩幅輸入影像之一者（右或左）分解成複數個區。在 圖3之實例中，所分解之影像為一視訊流720p的一圖框R， 亦即’具有1：28〇χ72〇像素、25/30 fps(每秒圖框數）之一漸 進式格式。 圖3之圖框R來自視訊流1〇3，該視訊流1〇3承載右眼所需 之影像且被分解成三個區Rl、R2及R3。 衫像R之分解係藉由將其分成相同大小之兩個部分且隨 後將二個部分之一者再分成相同大小的兩個部分而獲得。 區R1具有640x720像素的一大小且係藉由取出各列之全 部前640像素而獲得。區R2具有64〇χ36〇像素的一大小且係 藉由取出前360列中從641至720的像素而獲得。區R3具有 = 0x360的一大小且係藉由取出該影像11之剩餘像素而獲 得’亦即’後360列中從641至720的像素。 在圖1之實例中，分解影像厌之步驟係由模組1〇4進行， 其接收-輸人f彡像R(本案巾為_R)且輸”應於三個區 Rl、R2及R3的三個子影像（亦即，像素之三群組 隨後（步驟202、2G3及施），建構複合影像c，其包括關 於右影像及左影像二者及所接收之深度圖之資訊；在本文 所述之實施例中，該複合影像c為輸出立體視訊流之一圖 框’且因此亦稱為容器圖框。 157714.doc 201223248 首先（步驟202)，將由器件100所接收且未被器件1〇5分 解之輸入影像（圖1之實例中之左影像L)不變地加入至以包 a輸入影像一者之全部像素之一方式定大小的一容器圖框 中。舉例而言，若輸入影像具有1280x720像素的一大小， 則適用於含有二者之一容器圖框將為1920x1080像素的一 圖框，例如，1080p類型之一視訊流之一圖框（具有 1920x1080像素、每秒25/30圖框的漸進式格式）。 在圖4之實例中’左影像L係加入至容器圖框c中且係定 位於左上角。此係藉由將影像L之1280x720像素複製至由 容器圖框C之前720列之前1280像素組成的一區域C1中而 獲得。 當參考下列描述以使一影像加入至一圖框中，或從一圖 框至另一圖框地傳送或複製像素時，應理解此意味著執行 產生（藉由使用硬體及/或軟體方式）包括相同像素作為源影 像之' 新圖框的一程序。 由於用於將一源影像（或一源影像之像素之一群組）重現 為一目標影像之（軟體及/或硬體）技術本身已為熟悉此項技 術者所知，故而出於本發明之目的將其等視為不重要。 在下個步驟203中，由模組104將步驟201中所分解之影 像加入至容器圖框中。此係藉由將所分解之影像之像素複 製至谷器圓框c中該容器圖框c之未被影像L所佔用之區域 (亦即在區域ci以外之區域）而由模組1〇5達成。 為在解壓縮視訊流時得到最佳可能之壓縮且減小偽影之 產生藉由保持各自空間關係而複製由模組1 〇4輸出之子 157714.doc -12- 201223248 影像之像素。換言之，藉由平移及/或轉動操作而專門將 區Ri、R2及R3複製至圖框C之各自區域中而不經歷任何變 形。 圖5中展示由模組1〇5輸出之容器圖框c之—實例。 區R1被複製至前720列（區域C2)的後64〇像素中，亦即靠 近先前複製的影像L。 區R2及R3被複製在區域C1的下面，亦即分別在分別包 括後360列之前640像素及後續64〇像素的區域㈡及以中。 作為圖5所展示之解決方案之一替代，可將區们及们複 製至由像素之一群組分開之分離區域（亦即，重疊或鄰近） 中的容器圖框C中。 用於使影像L及R加入至容器圖框中之操作並未暗示對 水平與垂直解析度之間之平衡的任何變動。 在圖框c之自由像素中，亦即，在區域。中，模組ι〇5 以-影像之形式加入關於立體對的⑨度圖（dm)(步驟 2〇5)。在步驟205之前，深度圖〇%可由模組ι〇7欠取樣、 滤波或進一步處理》 較佳將深度圖編碼成一灰階影像，因此由於色度為空 值，故而可僅由照度信號輸送該灰階影像之資訊内容；Z 容許獲得容器圖框C之一有效壓縮。 如圖5之貫例所展示，加人至圖框c中之深度圖較佳為一 影像疊加深度圖’且因此由於是僅以在深度上定位覆蓋而 非為產生立體視訊流之目的來傳輸該影像曼加深度圖，故 而其解析度低於對之解析度。深度圖之經選定之解析 157714.doc -13- 201223248 度為傳送所需之位元速率（其必須儘可能低）與適當定位覆 蓋所需之資訊之品質之間之權衡的結果。 在一較佳實施例中’疊加深度圖DM具有640x360像素的 一解析度，該解析度對應於可具有1280x720像素之一解析 度之原始深度的一 4至1欠取樣（或整數倍降低取樣）且匹配 影像L與R之解析度。經欠取樣之之各像素對應於原 始圖的一2x2像素區。特定言之，可藉由從原始圖之兩列 中選擇一列且從原始圖之兩行中選擇一行而執行4至丨欠取 樣步驟。 在另一實施例中，在整數倍降低取樣後，疊加深度圖 DM經歷一處理步驟，其中該疊加深度圖DM被分成 像素巨集區塊，且指派屬於相同巨集區塊之像素一單個深 度值。較佳言之，由於此為用於適當定位覆蓋之最重要之 值，故而此值等於巨集區塊内之最小深度。 或者此值等於巨集區塊内之平均深度值。 當使用之壓縮標準為h.264時選擇16χ16像素巨集區塊 為有利，因為此類巨集區塊與H.264標準中所採用之巨 區塊重合。運用此解決方案，實際上，壓縮產生較少偽 且需要一較低的位元速率。 歸因於h.264壓縮演算法之較特性，再分成8χ8或4: 之區塊亦可視為有利的，若此等區塊内之像素全部相等 則獲得壓縮優點。 或者#止再分成在其内像素全部相等之區塊或巨集區 塊後’可用—二維低通據波器對64GX360深度圖據波。在 I57714.doc -14· 201223248 此情形中亦獲得壓縮優點，因為消除或減小了最高空間頻 率〇 或者’深度圖可具有源自一 64至1欠取樣的16〇x9〇像素 的一解析度，其中深度圖DM之各像素對應於原始圖之一 8x8 區。 在一進一步實施例中，加入至容器圖框C中之疊加深度 圖DM可具有一不均勻的解析度；特定言之，疊加深度圖 之下半部分或三分之一部分比上半部分具有一更高解析 度。此解決方案由於關注字幕或諸如音訊音量之其他資訊 之定位（其等通常放置於影像之下部）而結果尤為有利。因 此接收器可使用關於所關注之一區（例如，3D影像之下面 三分之一部分）中之像素之深度的更為精確之資訊，且因 此可在該區中正確定位影像（文字或圖形）。至少，疊加深 度圖甚至可僅含有關於位於所關注之一區中，特定言之， 在三維内容之下半部分中或在下面三分之一部分中之像素 (其之全部或僅一部分）之深度的資訊。 在另一實施例卡，未被右影像或左影像、被其之部分或 被疊加深度圖佔用之容器圖框之一區係用於接收於解多工 器階層重構右影像與左影像所需之一旗標之所需。舉例而 吕，該旗標可關於已如何建立複合影像。較佳言之，旗標 可含有有用於適當使用深度圖的資訊。 此旗標區之像素係（例如）著色成兩種顏色（例如，黑色及 白色）以便建立承載旗標資訊的任何類型（例如線性或二維） 之一條碼。 157714.doc -15- 201223248 -旦已完成接收至容器圖框中之兩種影像及疊加深度圖 之傳送（且亦可能傳送旗標），則由器件⑽實施之方法便結 束:且可在-通信頻道上壓縮與傳輸該容器圖框及/或將 其。己錄至-適當媒體（例如，CD、dvd、藍光、大容量型 記憶體等等）上。 由於上述多卫操作不會改變—區或影像之像素中之空間 關係故而在不建立明顯偽影的情況下在保持影像將被極 =實地重構成所傳輸之影像之較大可能性的同時，可將由 器件100輸出之視訊流壓縮至一相當大的程度。 在描述任何進一步實施例之前，必須指出的是，在較佳 實施例中’考慮複合影像中可用之空間及由不變地加入至 容器圖框中之左影像所佔用之空間後，將圖框R分成三個 區Rl、R2及R3對應於將圖框分成最小可能數目之區。 換言之，該最小數目為佔用容器圖框剩餘可由左影 像利用之空間所需之區之最小數目。 因此，一般言之，影像必須被分解成之區之最小數目係 定義為源影像（右影像及左影像）以及目標複合影像（容器圖 框C)之格式之一函數。 較佳。之，考慮用於將影像（例如，以上實例中之R)分 解成最小數目之矩形區之需要後分解待加人至圖框中之影 像。 y 在進步實施例中，如圖6所展示般分解右影像R。 區R1’對應於圖3之區R1，且因此包括影像之全部72〇列 之前640像素。 157714.doc • 16- 201223248 區R2’包括鄰近區R1，之像素之32〇行，而區R3，包括像素 之後320行。 因此如圖7所展示般建構容器圖框c，其中區R2，及R3，翻 轉90。且配置於影像L及區Rr下面之區域C3，及c4·中。 . 因此轉動之區R2,及R3,佔用320列之720像素；因此，將 • 區域C3’及C4’與含有從影像L且從區R1，複製之像素之區域 C1及C2分開。 較佳言之，藉由至少一防護線而將區域（：3，及C4,與其他 區域C1及C2分開》特定言之，有利且較佳將區R2i及R3，之 像素複製至容器圖框C之後列中。 由於在此情形中，容器圖框係由1〇8〇列組成，故而在圖 7之實施例中，藉由40像素高之一防護條而將經轉動之區 R2’及R3,與以上影像L及區R1，分開。 在圖7之實例中，區R2,及R3,互相分開，使得其等被非 為來自右影像與左影像之一預定顏色（例如，白色或黑色） 之像素所包圍。以此方式，減小含有來自右影像與左影像 之像素之區之間之邊界區域，同時亦減小由影像壓縮所造 成之任何偽影且最大化壓縮比率。 ' 作為將R2’及R3’定位至容器圖框C之後列中之一替代（如 - 參考圖7所述），在一較佳實施例中，以使得在l之底邊緣 與R21及R3,之上邊緣之間剩餘32像素列高之一防護條的一 方式定位R2,及R3,》此在R2,及R3·之底邊緣與C之底邊緣之 間Φξ：供8像素列高之一第二防護條藉由進一步利用容器 圖框之寬度，可以使得R2,及R3,不被來自右影像之像素亦 157714.doc - 17 - 201223248 不被來自左影像之像素完全包圍。 最後，在圖框C之右下角中之區域C5,中，以藉由欠取樣 如前所述之原始深度圖而獲得之160x90像素之一解析度加 入曼加深度圖（DM·)。一般言之，疊加深度圖可具有任何 解析度’只要其含於圖框C之一自由空間内。為更好地利 用可用空間’疊加深度圖可在加入至圖框C中之前經歷一 轉動及/或分解步驟》 在本文參考圖8及圖9所述之一進一步實施例中，模組 104提取三個子影像R1"、r2"及r3"，其像素總數超過所分 解之影像之像素總數。 區R1對應於圖6之區R1·，而R2"及R3 "包含區R2·及R31 加上一額外區域（Ra2及Ra3)之區域，該區域容許在影像壓 縮步驟期間最小化偽影之建立。 因此，區段R1"為具有640x720像素之大小且佔用待分解 之圖框R之前行的一區。 區段R3"佔用待分解之圖框R的後行，亦即中央區R2" 之邊線。在左側（R2"上之一邊線）上，R3"包含含有與f R2" 一樣之像素的一緩衝條Ra3。換言之，R2"之後行$ R3之别行（其構成緩衝條Ra3 )重合。 較佳言之，緩衝條Ra3之大小係選定為待隨後施加至$ 器圖框C之壓縮之類型的一函數，且一般言之，施加至^ 有該緩衝條Ra3的視訊流。特定言之，該條具有兩倍㈣ 縮處理程料所使用之基本處理單元之心n小。^ 例而言，H.264標準提供將影像分解成16xl6像素之巨集區 157714.doc 18· 201223248 塊’該等巨集區塊之各者表示此標準之基本處理單元，基 於此假定，條Ra3具有32像素之一寬度。因此區段R3"具有 352(32Ό+32)χ720像素之一大小，且包括影像r之後352 行。 區段R2"佔用待分解之影像r之中心部分且在其左側包含 具有與條Ra3相同之大小的一緩衝條Ra2。在考慮η.264壓 縮標準之實例中’條Ra2因此為32像素寬且包括與R1"—樣 之像素。區段R2"因此具有352x720像素之一大小且包括從 圖框R之608(JU"之640-32)至978之行之像素。 接著如圖9所展示，關於由模組1〇4輸出之區Rl"、R2"及 R3"之三個子影像（圖8可見）加入至容器圖框c中。區R2"及 R3"翻轉90°且藉由提供將區域C3"及C4"與包含影像L及 R1"之像素之區域C1及C2分開之一特定數目之防護像素而 將像素複製至圖框C之後列（標示C3"及C4"之區域）中。在 圖9所展示之情形中，此防護條為8像素寬。 亦在此實施例中，疊加深度圖（D]yr)加入至圖框c之右下 角的區域C51中。 因此獲得之圖框C隨後經壓縮且傳輸或保存至一儲存媒 體（例如，一 DVD)。出於此目的，提供經調適以壓縮一影 像或一視訊信號之壓縮方式，以及用於記錄及/或傳輸經 壓縮之影像或視訊信號之方式。 圖10展示一接收器11〇〇之一方塊圖，該接收器11〇〇解壓 縮從一媒體接收或讀取之容器圖框（若經壓縮），重構兩幅 右影像與左影像，且連同有關疊加深度圖一起使其等對容 1577I4.doc •19· 201223248 許利用在一視訊内容上疊加之影像實現31)内容的一顯示器 件（例如電視機）可用。該接收器1100可為一視訊轉接器或 内建於—電視機巾的—接U °應注意，當該接收器1100 為未整合至—電視機中之—視訊轉換器時，其必須在内部 使用冰度圖以適當定位其產生之圖形（例如，字幕、EPG及 有關選單）。另外’該接收器11⑽將須發送深度圖（例如， 、”呈由HDMI介面）至電視冑，因為後者將需要適當定位其自 身之圖形（例如，其選單）。 針對該接收器11〇〇所作之相同論述亦可應用於一讀取器 (例如，一 DVD讀取器），該讀取器讀取一容器圖框（可能經 壓縮）且處理之以獲得對應於加入至由該讀取器讀取之容 器圖框（可能經壓縮）中之右影像及左影像的一對圖框。 往回參考圖10，接收器接收（經由電纜或天線）一經壓縮 之立體視流1101且藉由一解壓縮模組11〇2解壓縮，藉此 獲得包括對應於圖框c之圖框c，之一序列的一視訊流。若 存在一理想頻道或若容器圖框係自一大容量型記憶體或一 資料媒體（藍光、CD、DVD)讀取，則該等圖框c，對應於承 載關於除由壓縮處理程序引入之任何偽影之外之右影像及 左影像以及疊加深度圖之資訊的容器圖框C。 接著將此等圖框C，供應至一重構模組丨103，該重構模組 1103執行如下文參考圖n及圖12所述的一影像重構及深度 圖提取方法。 明顯的疋’若視訊流未經壓縮，則可忽略解壓縮模組 1102且視訊信號可直接供應至重構模組11〇3。 157714.doc •20· 201223248 當接收經解壓縮之容器圖框c，時，重構處理程序在步驟 1300中開始。該重構模組11〇3藉由將經解壓縮之圖框之前 720x1080像素複製至小於該容器圖框之一新圖框，例如_ 720p流之一圖框中而提取左影像L(步驟丨301)。將因此重 構之該影像L輸出至接收器11〇〇(步驟13〇2)。 隨後，該方法提供從該容器圖框C，提取右影像R。 提取右影像之步驟藉由將複製（步驟1303)圖框C，中所包 含之區域R1"之一部分而開始。更詳細言之，如圖U所展 示，將R1"之前624(640-16)行之像素複製至表示經重構之 影像Rout之新圖框的前624行中》事實上，此從重構步驟 中移除例如透過由H.264壓縮標準進行之運動評估程序之 效應而最易產生偽影的R1"中之16行。 接著’提取（步驟1304)R2”之一中心部分。從經解壓縮 之圖框C’（如前所述’其對應於圖9之圖框c)中，選擇區域 C3"(對應於源區R2”）之像素且對多工器ι〇〇中執行之像素 進行一次90。反轉，使該等像素回至原始列/行狀態，亦即 如圖8所展示者。此刻，R2"之前及後十六〇6)行被消除且 剩餘352-32=320像素行被複製至鄰近從ri ’’剛複製之像素 行的自由行中。 藉由剪切區R2"之16個最外面行，消除最可能發生偽影 之形成的該等行。剪切區域之寬度（在本案中為16行）取決 於所使用之壓縮之類型。該區域較佳等於由壓縮處理程序 所使用之基本處理單元；在本文所述之情形中，Η 264杈 準操作於16x16像素之區塊上，且因此待剪切16行。 157714.doc 21 201223248 至於R3”（步驟1305) ’從圖框C'提取區C4"之像素且使子 影像R3"回至原始列/行格式（參看圖8)。隨後，消除前丨石像 素行（對應於區域Ra3的一半）且將剩餘352-16=336像素行複 製至經重構之圖框之左部上的後自由行中。如同R2"，R3 ,· 中剪切區域亦等於由壓縮處理程序所使用的基本處理單 元。 當然’對於區R2"及R3 "二者而言，可以一虛擬方式進行 轉動步驟，亦即，可藉由將新圖框R〇ut之一行中之區域 C3”（若是R2” ’若是R3"則為C4")之一列（除圖8所展示對應 於待剪切之十六行之區域C3”之後16列之外）之像素複製至 經重構之圖框中而獲得在提取所關注之像素方面的相同結 果。 此刻，右影像Rout已經完全重構且可輸出（步驟13〇6)。 最後，重構模組11〇3藉由將對應於區域C5I之經解壓縮 之容器圖框C’之後160x90像素之照度值複製至一暫存器中 而提取（步驟1308)疊加深度圖DM·。該暫存器之内容係輸 出至接收器1100(步驟13〇9)且將用於界定與由立體視訊流 輸送之—維内谷結合之影像（文字或圖形）在深度中之位 置；特定言之，其將用於結合待疊加於三維内容上之影 像。 作為替代或除輸出自輸入圖框提取之深度圖及影像l 與R之内谷之外，接收器1100包括一符號產生器及/或一圖 形產生器且使其他影像與影像[及R ’亦即與三維内容結 合。待結合之影像係選自接收器之一記憶區域且可在製造 157714.doc •22· 201223248 接收器（例如一些選單表 戈頻道旒之圖形)時予以儲存或可從 流（例如，節目導引資訊及字幕）提取。 此等影㈣在取決純魏.取之疊加較圖之深度 合三維内容。特定言之，對於各立體影像 之最' 之對）而言，已結合之影像係放置於立體影像 之敢小深度之點中。 在此實施例中，在影像已與3D内容結合之後，接收器 1100輸出一對影像1^與11*，杂會新姦 " 田重新產生時，該對影像L* f將由使用者感知為對應於在其上疊加例如字幕、選 早圖形等等之影像之原始内容（由影像[與汉產生）的一三 維内容。因此完成用於重構容器圖框。，中所含之右影像及 左影像以及琛度圖的處理程序（步驟13〇7)。對由接收器 謂接收之視訊流之各圖框重複該處理程序，使得輸出將 由分別用於右影像與用於左影像的兩個視訊流丨丄〇核 1105,以及從疊加深度圖推導的―資料信號組成。” 參考圖mu用於重構上述右影像及左影像以及属 加深度圖之處理程序係基於解多工器1100知曉如何創建ς 器圖框c且可因此提取右影像及左影像以及疊加深度圓的 假定。 當然，若多工方法經標準化，則此係可行的。 為考慮可根據上述方法之任—者，或者總之根據利用係 附屬申請專利範圍之主題之解決方案之方法之任一者來產 生容器圖框之事實，解多工器使用複合影像之—預定區中 所含之旗標資訊（例如，如前述之一條碼）以知曉如何必須 I57714.doc -23 - 201223248 解壓縮複合影像之内容且如何重構右影像及左影像以及疊 加深度圖。 在解碼旗標之後，解多工器將知曉未變化之影像（例 如，上述實例中之左影像）之位置，以及其他影像（例如， 上述實例中之右影像）分解成之區之位置及任何轉換（轉 . 動、平移或類似者）以及疊加深度圖之位置， 利用此資訊，解多工器因此可提取未變化之影像（例 如，左影像）及深度圖且重構分解之影像（例如，右影像）。 雖然迄今已參考一些較佳且有利之實施例描述本發明， 但是明顯的是，本發明不限於該等實施例且可由欲將有關 一物件或一場景之兩幅不同景像之兩幅影像結合至一複合 影像中之熟悉此項技術者對其作出許多改變。 舉例而言，可不同地再分與分佈提供上述器件，特定言 之，器件100及接收器1100之電子模組；此外，該等電子 模且以硬體模組之形式提供或提供作為由一處理器，特定 言之，配備適當記憶區域用於暫存所接收之輸入圖框的一 視訊處理器實施之軟體演算法。因此，此等模組可並行或 串列地執行根據本發明之影像多工及解多工方法之一或多 個視處理步驟。 亦顯而易見的是，雖然較佳實施例係關於將兩個72卟視 讯流多工成一 1080p視訊流，但是亦可使用其他格式，諸 如，例如，將兩個640x480視訊流多工成— 128〇χ72〇視訊 或將兩個320x200視訊流多工成一個64〇χ480視訊流。 由於用於產生複合影像之不同解決方案可提供特定優 I57714.doc -24- 201223248 點，故而本發明並未限制於複合影像一特定類型之配置。 舉例而言，參考圖1至圖12之上述實施例具有其等僅進 行平移或轉動平移操作’因此僅需極少計算能力之優點。 或者，可預知到除該轉動及/或平移操作之外，影像亦 、、’至又鏡面倒轉步驟，以獲得圖丨3所展示之類型之一複合影 像。 此等額外操作係出於最大化含相似像素之區之間之邊界 週邊，藉此利用其等中之強烈相關性且最小化由後續壓縮 步驟所引入之偽影之目的而進行。在圖13及圖14之實例 中，已出於清楚而假定兩幅右與左影像係相同的，即使其 專通常稍有不同。 在此圖式中，左影像L(圖14a所展示）係定位於容器圖框 c之右上角，以便佔用前72〇列之後128〇像素。如前所述之 只例中，影像L因此被不變地複製至容器圖框匚中。 取而代之，根據圖3之實例分解右影像R ;圖14b展示分 解成三個區Rl、R2及R3之影像R。 隨後，一些區（圖14之實例中之區R1&R3)經歷一鏡面倒 轉操作；本發明可相對於一垂直軸（亦即，平行於影像之 一行）或相對於一水平軸（亦即，平行於影像之一列）而發 生。 在相對於一垂直軸之倒轉之情形中，行N之像素（其令N 為1與1080之間之一整數，1〇8〇係影像之行之數目）被複製 至行 1080+1-N 中。 、 在相對於一水平軸之倒轉之情形中，列M之像素（其中Μ 157714.doc -25- 201223248 為1與720之間之一整數’且720係影像之列之數目）被複製 至列720+1-N中。 圖14c及圖14d展示從影像R提取且相對於一垂直軸，特 定言之，相對於一垂直侧倒轉（R1 rot)之區R1。 經倒轉之區R1 inv係加入前640像素列之前640像素。 如圖13之實例中可見，當Rlinv轉動加入至容器圖框c中 時，L上之Rlinv邊線之像素與Rlinv上之l邊線之像素極為 類似。此等像素中之空間相關性具有減小偽影之形成之優 點。 圖14e及圖14f展示從圖14b之影像R提取且接著相對於一 水平轴，特定言之，相對於一水平側倒轉（R3inv)之區 R3。 區R3inv係加入至後360列之後640像素》此由於R3inv與 L之間之邊界區之像素為具有高空間相關性之像素而減小 了偽影之產生。實際上，此邊界區中之像素重新產生影像 之類似或相同的部分。 接著藉由加入區R2而完成容器圖框c。 在此實例中，R2因其無法在任一情形中匹配具有由尺或 L之另一區之相似像素組成之一邊界區的R2之一邊界區而 未被倒轉及/或轉動。 最後，亦顯而易見的是，本發明亦關於容許藉由顛倒包 括在本發明之保護範圍内之上述多工處理程序之一者而從 一複合影像提取一右影像及一左影像的任何解多工方法。 因此，本發明亦關於一種用於從一複合影像開始產生一 157714.doc •26- 201223248 對影像的方法’該方法包括下列步驟· 單一群組之連續像素 藉由從該複合影像之一區中複製一 而產生一第一者（例如，左影像）； 藉由從該複合影像之不同區中複製其他群組之連續像素 而產生一第二影像（例如，右影像）。 根據-實施例，用於產生該第二影像之資訊係從該複合 影像之4域提取。該資崎㈣__條碼予以編碼。 在用於產生右影像及左影像之方法 在複合影像中分解之影像包括鏡面倒轉該=之= 之一群組之像素之至少一步驟。 在用於產生右影像及左影像之方法之—實施例中，產生 在複合影像巾分解之影像包括從包括待重構之此影像之像 素之複合影像之區之一者中移除像素之至少一步驟。特定 吕之，從此區之一邊界區域移除該等像素。 在-實施例中，藉由使包含待分解之影像之像素之像素 區僅經受平移及/或轉動操作而重構分解成複合影像之不 同區之影像。 雖然上述實施例實例係關於使一疊加深度圖加入至一容 器圖框中，其中兩幅右影像與左影像之任一者係分解成若 干部分，但是明顯的是’本發明不取決於在該容器圖框二 形成該兩幅右影像及左影像之方式。舉例而言， 像可經欠取樣且並排配置（並排格式）或一者在另 該兩幅影 —著上面 (上下格式）以在該圖框中剩餘在其中可放置疊加深度圖的 一自由空間。此外，右影像及左影像之任一者可維持不 157714.doc -27- 201223248 變，而另一者可經欠取樣以釋放用於深度圖之空間。 最後，舉例而言，不似兩幅影像[與R之一者，必須注 意參考附圖之上述實施例實例係關於一「完整」深度圖， 亦即，藉由整數倍降低取樣或濾波3]3内容之一深度圖計算 而無需將其再分為若干部分的一深度圖。然而，此非為對 本發明之限制，且一旦產生（或接收），該疊加深度圖可藉 由一編碼器而加入至容器圖框中，該編碼器會將該疊加深 度圖分解成將配置於容器圖框之不同區中之多個部分。舉 例而S，如已知，為編碼一立體内容，一 h 264編碼器須 加入將由該編碼器剪切之八個額外列；在一實施例中，疊 加深度圖可藉由（例如）在大小上將其分成在適當重組時將 形成具有與所輸送之立體内容成比例之尺寸之一影像的 240區塊之8x8而加入至此等八個額外列中。可藉由掃描按 16整數倍降低取樣，因此具有一 ΐ2〇χ72解析度之一深度圖 之列:獲得區塊配置之—實例，丨中12㈣像素之條經排 列獲得1080x8像素影像。在另一實施例中，可藉由使用 6像素偏移替代—8像素偏移而將相同之經整數倍降低取 ，之深度圖再分成更多數目之8像素高之條，使得内容變 餘且主影像而在邊界處促進内容保護。無論何時立體 内容包含多工 , 成* 一上下、並排或棋盤格式且具有使得在圖 ^佔用王部潛在之可顯示之像素（例如1920x1 〇8〇格式之 像素）的解析度之一對右 利 右衫像及左影像，此似乎尤為有 較佳言 之’在圖框包含—對不對稱整數倍降低取樣 之影 157714.doc -28- 201223248 像之事件中（例如，其中整數倍降低取樣行比列多之一並 排格式，或其中僅列而非行經整數倍降低取樣之上下格 式）’結果疊加深度圖係藉由以與用於取樣放置於相同圖 框中之影像之整數倍降低取樣比成比例之一列/行整數倍 降低取樣比來整數倍降低取樣一深度圖而獲得。舉例而 言’假定使用一並排格式用於在圖框中多工右影像與左影 像’由於保持全部列且按二整數倍降低取樣行，故而該列 /行整數倍降低取樣比將為1:2。在此情形中，可藉由以一 1:2列/行整數倍降低取樣比整數倍降低取樣一深度圖而獲 得疊加深度圖。 亦明顯的是，不同方法可用於使由深度圖佔用之區域發 仏號給除提供用於使一旗標加入至影像之上述者之外的接 收器；實際上，此一旗標亦可包含於承載視訊流之信號之 一資料封包中》 【圖式簡單說明】 工成一複合影像之一 圖1展示用於使右影像與左影像多 器件的一方塊圖； 圖2係由圖1之器件執行之一方法的-流程圖； =展示待加人至-複合影像中之_影像的 之分解； 第 圖4展示根據本發明之一 一步驟； 實施例建構一複合影像的一 圖5展示圖4之完全複合影像； 之一影像的一第二形式 圖6展示待加入至一複合影像中 157714.doc -29- 201223248 之分解； 圖7展示包含圖6之影像的一複合影像； 圖8展不待加入至一福人影γ金士 — 钹σ衫像中之—影像的一第三形式 之分解； 圖9展示包含圖8之影像之一複合影像； 圖1〇展示用於接收根據本發明之方法所產生之—複合影 像之一接收器的一方塊圖； 圖U展示重構根據圖8之方法分解且加入至由圖ι〇之接 收器接收之複合影像中之影像的一些步驟； 圖12係用於重構多工成圖9所展示之類型之一複合影像 之右影像與左影像之一方法的一流程圖； 圖13展示根據本發明之一第四實施例的—複合影像； 圖14a至圖14f展示不同處理步驟中的一右影像與—左影 像’進行該等不同處理步驟用於將該等影像加入至圖13之 複合影像中。 【主要元件符號說明】 100 立體視訊流產生器件 101 立體視訊流 102 影像序列 103 影像序列 104 分解器模組 105 組合器模組 106 深度圖序列 107 欠取樣與濾波模組 157714.doc -30- 201223248 c 容器圖框 Cl 容器圖框區域 Cl' 容器圖框區域 C2 容器圖框區域 C2' 容圖框區域 C3 容器圖框區域 C3· 容器圖框區域 C3" 容器圖框區域 C4 容器圖框區域 C4' 容器圖框區域 C4" 容圖框區域 C5 容器圖框區域 C5' 容器圖框區域 R1 子影像 Rl' 子影像 Rl" 子影像 R2 子影像 R2' 子影像 R2" 子影像 R3 子影像 R3· 子影像 R3" 子影像 Ra2 額外區域 Ra3 額外區域 157714.doc -31 - 201223248 1100 接收器 1101 立體視訊流 1102 解壓縮模組 1103 重構模組 1104 視訊流 1105 視訊流 157714.doc -32-

Claims (1)

1. 201223248 七、申請專利範圍： 1· 一種用於在一三維内容上疊加影像之方法，其中 接收一視訊流’該視訊流包括該三維内容及用於在該 二維内容上疊加影像之一深度圖（DM、DM')，該深度圖 . (DM、DM')含有關於該三維内容之深度之資訊，且係插 入作為該視訊流之一圖框（C)中之一影像； 該方法之特徵在於：僅以容許在重播階段中將影像疊 加至遠二維内容之目的而傳輸該深度圖（DM、dm')，該 疊加係在取決於該疊加深度圖（DM、DM,)之深度中之一 位置上進行； 且該方法之特徵在於：該深度圖（DM、DM，）具有比與 該一維内容相關聯之一二維影像之像素更小數目之像 素。 2.如凊求項丨之方法，其中該疊加深度圖僅含有關於位於 該三維内容之下半部、較佳下面三分之一中之像素之深 度的資訊。 3·如明求項丨或2之方法，其中該疊加深度圖具有一非均勻 解析度，特定言之，該深度圖之下半部或三分之一具有 • 比上部更高之一解析度。 士吻求項1或2之方法，其中該疊加深度圖具有比與該三 維内容相關聯之一二維影像更低的一解析度。 5.如料項4之方法’其中該三維内容為由複數個像素組 成，：影像’且其中該深度圖係藉由欠取樣其元素對應 ；一，’隹内谷之像素之深度之一深度圖而獲得。 157714.doc 201223248 6· 之方法’其+’在欠取樣該深度圖之後，該 :二樣之圖係分成若干區塊且給予區塊之各像素等於 以品之像素之最小深度或等於該區塊之像素之深度之 平均值的一相同值。 又 如凊求項5之方法’其中，在欠取樣該深度圖之前，該 深度圖係分成若干區塊且給予區塊之各像素等於該區= 之像素之最小深度或等於該區塊之像素之深度之平均值 的一相同值。 8. 如請求項6或7之方法，其中該等區塊具有等於多個2χ2 像素之一基本區塊的一大小。 9. 如請求項1或2之方法，其中該疊加深度圖係加入至非用 於顯示之該圖框之一部分中。 10·如請求項1或2之方法，其中該深度圖係分解成分佈於未 被δ亥二維内容所佔用之該圖框（c)之區域中的若干區塊。 11.如請求項1或2之方法’其中該圖框包括一右影像、一左 影像及該深度圖，其中該深度圖係分解成分佈於未被該 二維内容所佔用之該圖框（c)之區中的若干區塊，且其中 該圖框（C)係根據Η.264編碼標準而編碼。 12·如請求項1或2之方法，其中該三維内容包括一二維影像 及容許重建一立體對之其他影像之資訊，且其中該疊加 深度圖係加入至該二維影像之一部分中。 13.如請求項丨或2之方法，其中該圖框包括一旗標，該旗標 經調適以為該接收器指示該圖框内之該疊加深度圖之位 置。 I57714.doc 201223248 14. 15. 如β求項1或2之方法，其中該視訊流包括一旗標，該旗 Γ、、,，調適以為该接收器指不該圖框内之該疊加深度圖之 §玄位置’該旗標係在該圖框外部。 一種用於重新產生三維内容之器件，該器件包括： 經調適以接收含有三維内容之一視訊流之構件； 經调適以結合一影像與該三維内容之構件； 該器件之特徵在於：經調適以結合一影像與該三維内 容之該構件經調適以實施如請求項1至14之任一項之方 法。 16. 一種立體視訊流（1101)，其包括複數個圖框且其特徵在 於··該立體視訊流（1101)包括至少一三維内容及插入作 為該複數個圖框之一圖框内之一影像的至少—疊加深度 圖（DM、DM’），該疊加深度圖（DM、DM，）包括比與爷二 維内容相關聯之一二維影像之像素更小數目之像素巧 立體視訊流經調適以在如請求項i至丨4之方 、 々汝中使用。 157714.doc