TW201044315A - Combining 3D image and graphical data - Google Patents

Description

201044315 六、發明說明： 【發明所屬之技術領域】 本發明係關於一種結合三維[3D]影像資料與輔助圖形資 料的方法，該方法包括偵測3D影像資料中出現的深度值及 依據所偵測的深度值適應性地設定辅助圖形資料的辅助深

度值以產生一 3D顯示信號以藉由基於輔助深度值結合3D 影像資料與輔助圖形資料而在一顯示區域上顯現影像内 容。 本發明進一步係關於一種3D源裴置、一種3D顯示裝置 及一種電腦程式產品。 本發明係關於在一 3D顯示裝置上顯現3D影像資料，例 如結合諸如字幕或標誌之辅助圖形資料的3D視訊，使得 3D影像資料不遮蔽輔助圖形資料之領域。 【先前技術】 已知用於提供2D視訊資料的裝置，例如提供數位視訊信 號的視訊播放器（諸如DVD播放器）或機上盒。源裝置待耦 合至諸如電視機或監控器之一顯示裝置。影像資料係經由 一適當介面，較佳為諸如HDMI之高速數位介面而從源裝 置傳送而來。當前正提議用於提供三維（3D)影像資料之3D 增強裝置。類似地提議用於顯示3D影像資料之裝置。 對於諸如3D電影或電視廣播之3D内容，可結合影像資 料（例如字幕、標諸、赛事比分、用於財經新聞或其他通 告的行情顯示系統或新聞）顯示額外的輔助圖形資料。 文獻W02GG8/11 5222描述-種用於結合文字與三維内容 146227.doc 201044315 的系統。該系統在與3D内纟中的最高深度值相㈤的位準插 入文字。3D内容之-實例為—二維影像及—相關深度圖。 在此例中，調整插人文字之深度值至匹配給定深度圖之最 大深度值。3D内容之另一實例為複數個二維影像及相關深 度圖。在此例中，連續調整插入文字之深度值至匹配一給 定深度圖之最大深度值。3D内容之—進—步實例為具有— 右眼影像及-左眼影像之立體内容。在此例中將左眼影像 及右眼影像之-纟中之文字移位至匹配立體影$中之最大 /未度值3D内谷之又另一實例為具有複數個右眼影像及左 眼影像之立體内容。在此例中，連續將左眼影像或右眼影 像之一者中之文字移位至匹配立體影像中之最大深度值。 因此，s亥系統產生與3 D内容相結合之文字，其中該文字不 阻礙3D内容中之3D效果且在被一觀看者觀看時不產生視 覺疲勞。 【發明内容】 文獻W02008/115222描述輔助圖形資料待顯示於影像資 料之最接近部分前方。當前系統產生一問題，即字幕傾向 於極接近觀看者。已發現在實務中，觀看者不喜歡字幕的 接近位置。使用一些當前的3D顯示器，在螢幕前方顯示且 更接近觀看者的物件之影像性質易於降低。對於任何立體 顯示，接近的物件產生更多的眼睛應變。 本發明之一目的即提供一種以一更便捷之方式在一顯示 裝置上結合輔助圖形資料與3D内容之系統。 為達此目的’根據本發明之一第一態樣，在如[發明所 146227.doc 201044315 屬之技術領域]中所描述之方法中，偵測深度值包括偵測 3D影像資料中之一關注區域及決定該關注區域之—深度型 樣，且設定輔助深度值包括依據深度型樣設定輔助深度 值。 • 為達此目的，根據本發明之一第二態樣，如[發明所屬 之技術領域]中所描述的用於結合三維影像資料與辅助圖 形資料之3D源裝置包括用於偵測3D影像資料中出現的深 度值並依據所偵測的深度值適應性地設定輔助圖形資料的 輔助深度值以產生一3D顯示信號以藉由基於辅助深度值結 合3D影像資料與辅助圖形資料而在一顯示區域上顯現影像 内容之3D影像處理構件，叾中該等3D影像處理構件係經 配置為镇測深度值包括偵測3D影像資料中之一關注區域及 決定該關注區域之-深度型樣且設定辅助深度值包括依據 深度型樣設定輔助深度值。 為達此㈣，根據本發明之一進一步態#，如[發明所 〇 J之技術領域]中所据述的用於結合三維影像資料與輔助 圖形資料之職示裂置包括用於顯示3D影像資料之一 3D 顯示器及用於债測3D影像資料中出現的深度值並依據所谓 ㈣深度值適應性地設定輔助圖形#料的輔助深度值以產 生一 3D顯示信號以藉由基於辅助深度值結合犯影像資料 與輔助圖形資料而在-顯示區域域現影像⑽之扣影像 處理構件，其中該等3D影像處理構件係經配置為偵測深度 值包括债測3D影像資料中之_關注區域及決定該關注區域 之一深度型樣，且設定輔助深度值包括依據深度型樣設定 146227.doc 201044315 輔助深度值。 該等措施之效應在於，偵測關注區域使得系統能夠在假 定觀看者觀看辅助資料時可建立引導觀看者注意力之元 素。偵測3D影像資料中出現的深度值意指計算來自一左/ 右3D格式之左影像及右影像之此等值，或使用來自一2〇+ 深度串流之深度資料，或從諸如—左+右+深度串流之任何 其他3D影像格式導出此等深度值。針對所偵測的關注區域 決定深度型樣。該系統具體依據深度型樣將辅助深度值設 定為例如實質與關注區域相同之深度或無其他物件定位於 接近使用者之—關注區域前方。在顯示輔助圖形資料之區 域中，3D影像資料未遮蔽輔助圖形資料，亦即在—更向前 位置不包含任何影像資料。注意在奶影像内容之其他區域 中，若干進—步物件可具有—更向前位置，亦即更接近使 用者。有利地，-觀看者不必干擾纽觀看的w的深度 感知效果且其在觀看辅助圖形資料與關注區域之間切換時 不必實質地調整焦點深度。 本發明㈣基於Τ列認知。先前_讀料將文字定 =像中之最接近元素之前之—深度。發明者已發現此 疋立藉由接近使用者所顯示之任何元素向前推進文字。文 =向前位置導致疲勞，且被視為不佳。當前系統提供辅 :圖形賢料之一更向後位置’其產生較為複雜，但是受到 ^看者的歡迎。通常輔助圖形資訊與最接近物件相比定位 為較不向前，但亦在螢幕表面上 罄蕙主 戎蛩幂刖方。—般而言， 愛幕表面上之影像品質及清晰度係最佳，但此取決於顯示 146227.doc 201044315 命彌災汉稍助 J你汉穴小。 在該系統之一實施例中，偵測一關注區域 像資料巾之物件，域度型制基於u :中關注物件為觀看者注意力所聚焦之物件，例如―脫: 秀中之1說者或在_場景中表演的主角。效 件之深度位置決定輔助圖形資料之深度位置。有利地: :者在切換至閲讀辅助圓形資料時無需改變其眼睛的焦

在該系統之-實施例中，偵測關注區域包括選擇— 區域以定位輔卵形資料，且深度型樣係基於該目標區： 之沐度值。效果為辅助資料在定位於該目標區域中時係定 位於與周圍目標區域之深度型樣成比例之一深度。注意在 顯不區域之其他區域中，物件與辅助圖形資料相比可具有 一更向前位置。有利地’選擇目標區域之面積，使得:輔 助圖形資料之位置中無更向前之物件，而距離該位置更遠 之顯示區域中的物件則更向前。 具體言之，在該系統之—進—步實施例中，選擇目標區 域包括細分顯示區域為多個區域，且偵 根據依據目標區域之-空間過遽函數在空間上過遽= 域的珠度值。效果為空間過濾'取決於多種向前物件與目標 區域之距離對該多種向前物件施加一相對權重。 具體言之，在該系統之一進一步實施例中，選擇目標區 域包^下列之至少-者：選擇影像資料中無大於輔助深度 值之深度值出現之-區域作為目標區域；選擇—時間週期 146227.doc 201044315 員示》玄輔助資料’使得在目標區域中無大於輔助深度值 之深度值出現；選擇未顯示影像資料之—顯示區域作為目 標區域，及相應地減少影像資料之大小以符合剩餘顯示區 域。效果為根據實際3D影像資料調整輔助圖形資料之位置 及/或出現，亦即何處及何時顯示辅助圖形資料係取決於 所顯示之内容。 在以系統之-貫施例中，決定深度型樣包括彳貞測視訊内 容之多個圖框中之深度值，及根據一時間過渡函數在時間 上過滤深度值。效果為時間過渡平緩在3D影像資料中移動 或出現(消失)的元素之深度差異。有利地，以一受控方式 在時間上調整輔助深度值。 在隨附申請專利範圍中介紹根據本發明之該方法、犯裝 置及信號之進—讳· @ , 一一 步車又佳實施例’該隨附申請專利範圍之揭 不内谷係以弓丨用方式併入本文中。 【實施方式】 揭：C述中，實例及參考隨附圖式所描述之實施例 進一+㈣2此# 11樣及其㈣樣，且將參考該等實施例 v說月本發明之此等態樣及其他態樣。 件^等川，瞻描述…之元件具有相同的元 會不用於顯示三維㈣影像資料之 訊、圖形或其他視覺資訊。一扣…’Ή如 顯示裝置山… 裝置1〇係輕合至-: 傳送一 3D顯示信號56。 於接收影像資訊之—輸入單元51“广源裝置具有 输早7051。例如，該輸入單元裝 146227.doc 201044315 可包含用於從諸如-DVD或藍光光碟之一光學記錄載_ ?取多種類型之影像資訊之一光碟單元58。或者，該輪入 單元可L 3用於輕合至—網路55，例如網際網路或—廣 網路之-網路介面單元59’此等裝置通常稱作機上盒。馬 像資料可從-遠程媒㈣服器57擷取1源裝置亦可為二 衛星接收11 ’或直接提供㈣信號之—媒體㈣H，亦即 待直接耦合至一顯示單元之輸出一 3D顯示信號之任何適當 裝置。 田

該3D源裝置具有-影像處理單元52，該影像處理單元係 叙合至該輸人單心以處理影像資訊以產生將經由一輸出 :面單元12傳送至該顯示裝置之—3D顯示信號％。該處理 ^兀5 2係經配置以產生包含於該3 D顯示信號5 6中之影像資 料以在該顯示裝置13上顯示。該源裝置係配備若干使用者 控制元件15以控制影像資料之顯示參數，諸如對比度或色 彩參數。該等使用者控制元件本身已為吾人所熟知，且可 包含具有多種按鈕及/或遊標控制功能之一遙控單元以控 制該3D源裝置之多種功能’例如播放及錄製功能及例如經 由一圖形使用者介面及/或選單設定該等顯示參數。 該源裝置具有用於處理將在3D顯示器上與31)影像資料 結合之輔助圖形資料之一輔助影像處理單元丨丨。輔助圖形 資料可為將與3D影像内容結合之任何額外影像資料，諸如 子幕廣播公司標諸、選單或系統訊息、錯誤代碼、快 訊行情顯示系統等。在以下内容中，通常用字幕表示每 一類型之辅助圖形資料。該等3D影像處理構件^、52係經 146227.doc 201044315 配置為具有下列功能。首先，偵測3D影像資料中出現的深 度值。基於该偵測’依據所偵測的深度值適應性地設定辅 助圖形資料之輔助深度值。隨後產生—3D顯示信號56以在 一3D顯示器之一顯示區域顯現影像内容。在該顯示器之該 區域基於輔助深度值結合3D影像資料與辅助圖形資料。該 等3D影像處理構件係經配置以如下方式偵測深度值。偵測 3D影像資料中之一關注區域，觀看者期望在辅助圖形資料 被顯示時將其注意力聚焦在該關注區域。該關注區域可為 將顯示輔助資訊之一區域，或接近該辅助資料顯示區域之 區域，或在影像中其他處被決定為觀看者眼睛所聚焦的元 素之任何物件或元素。 隨後決定關注區域之一深度型樣，亦即一組關注區域之 深度值。例如，可決定該區域中出現的最大值及最小值， 且深度型樣可為平均值。此外，可決定在時間上出現之一 深度型樣。下文將說明進一步細節。基於關注區域之深度 型樣設定輔助深度值為（例如）與深度型樣之上述平均深度 值相同之值，或在輔助顯示區域中局部出現之3〇影像資料 之任何兀素之前。下文將給予影像資料的空間過濾或時間 過濾之其他實例。 s亥3D顯示裝置13係用於顯示3D影像資料。該裝置具有 一輸入介面單元14，其用於接收從該源裝置1〇傳送來的包 含3D影像資料及輔助圖形資料的3D顯示信號％。該顯示 裝置有配備其他使用者控制元件16以設定該顯示器之顯示 參數’諸如對比度、色彩或深度參數。根據來自使用者控 146227.doc 201044315 制元件之設定命令及產生用於在該3D顯示器上基於3〇影 像資料顯現3D影像資料的顯示控制信號在影像處理單元Μ 中處理所傳送的影像資料。該裝置具有接收顯示控制信號 以顯示經處理之影像資料之一 3D顯示器17，例如一雙螢幕 LCD或雙凸透鏡式LCD。該顯示裝置13可為任何類型之立 體顯示器，亦稱作3D顯示器，且具有箭頭44所示之一顯示 深度範圍。輔助圖形資料，與輔助深度值及（若需要）諸如 X、y位置之其他顯示資料係擷取自顯示信號，且在該顯示 器17上與3D影像資料結合。 或者，在顯示裝置中執行定位辅助圖形資料之處理。經 由顯不信號56傳送3D影像資料及輔助圖形資料，且該顯示 裝置具有一輔助處理單元19。該輔助影像處理單元19處理 將在該3D顯示器上與3D影像資料結合之輔助圖形資料。 該等3D影像處理構件19、18經配置用於源裝置中之該等 3D影像處理構件u、52之上述對應功能。在一其他實施例 中，該源裝置及該顯示裝置係結合為一單一裝置，其中一 單組3D影像處理構件執行該等功能。 圖1進一步顯示該記錄載體54為3d影像資料之一載體。 該記錄載體為碟形且具有一軌道及一中心孔。根據在一資 訊層上構成實質平行轨道之螺旋或同心圈型樣配置由一系 列實體可偵測記號所組成之軌道。該記錄載體可為光學可 讀，稱作一光碟，例如—CD、DVD或BD(藍光光碟）。在 資訊層上藉由沿著轨道《光學可偵測記號列如訊坑及訊 面代表資訊。該轨道結構亦包括用於指示資訊單元之位置 146227.doc •11· 201044315 之位置資訊’例如㈣及位址’通常稱作資訊區塊。該記 錄載體54播載呈現數位編碼影像資料之#訊，諸如例如根 據MPEG2或MPEG4編碼系統以諸如DVI^ BD格式之預定 義錄製格式所編碼之視訊。 下-段諸供三維顯示器及人_度感知之—綜述。3D 顯示器與2D顯示器之不同在於扣顯示器提供更生動的深 度感知。此因3D顯示器與僅能顯示單眼深度線索及基於運 動之線索之2D顯示器相比提供更多的深度線索而可達成。 可使用-單個眼睛從-靜態影像獲取單眼（或靜態）深度 線索。畫家通常使用單眼線索以使其晝作產生深度感。此 等線索包含相對大小、相對於水平之高度、遮蔽、透視、 紋理梯度及照明/陰影。眼球運動線索為源自觀看者眼睛 肌肉之張力之深度線索。眼睛具有用於旋轉眼睛以及拉伸 眼睛水晶體之肌肉。眼睛水晶體之拉伸及放鬆稱作調節且 在聚焦於-影像時完成。水晶體肌肉的拉伸或放鬆量針對 物件多遠或多接近提供'線索。完成眼睛之旋轉使得兩眼 聚焦在同-物件上，其稱作會聚。最後運動視差的效果為 接近-觀看者的物件與距離較遠之物件相比顯得移動更 快。 雙眼視差為源、自兩眼看至，卜稍微不同之影像之事實之一 深度線索。單眼深度線索可為任何2D視覺顯示類型且可以 任何观覺顯示類型❹。為了在—顯示器中再現雙眼損 差要求顯不H可分割左眼及右眼之景像，使得各在顯示器 上看見-稍微不同之影像。可再現雙眼視差的顯示器為移 146227.doc •12- 201044315 作3D或立體顯不器之特殊顯示器。顯示器能夠沿著藉 由人眼實際感知之深度維度來顯示影像，在本文獻中稱作 具有顯示深度範圍之一3〇顯示器。因此3D顯示器對左眼 及右眼提供一不同景像。 月b夠提供兩種不同景像之3〇顯示器存在已久。此等之大 多數係基於使用眼鏡以分開左眼及右眼景像。如今隨著顯 不器技術的進步，可在不使用眼鏡的情況下提供一立體景 ，之新顯示器已進人市場。此等顯示器稱作自動立體顯^ 器。 第方式係基於允許使用者不使用眼鏡而看見立體視 訊之LCD顯示器。此等係基於兩種技術，雙凸透鏡式螢幕 及屏障顯示器之任-者。使用雙凸透鏡式顯示器，LCD覆 蓋一片雙凸透鏡。此等透鏡繞射來自顯示器之光，使得左 眼及右眼從不同像素接收光。此允許顯示兩個不同影像， 一個針對左眼景像且一個針對右眼景像。 〇 雙凸透鏡式螢幕之一替代為屏障顯示器，其在LCD後方 及背光前方使用一視差屏障器以在LCD中將光與像素分 開。該屏障器係如此使得右眼從螢幕前方之一設定位置看 到與左眼不同的像素。該屏障器亦可位於LCD與人類觀察 者之間’使得左眼及右眼可交替地看見顯示器之一列像 素。屏障顯示器之一問題在於亮度及解析度之損失，以及 非常窄的視角。此使其作為一客廳電視與例如具有9個景 像及多個觀看區域之雙凸透鏡式螢幕相比較無吸彳丨力。 一進一步方式仍係基於結合可顯示高速刷新率（例如， 146227.doc •13- 201044315 120 Hz)圖框之高解析度光束器使用快門眼鏡。需要高迷 刷新率，因為使用快門眼鏡方法，左眼景像及右眼景像係 交替顯示。對於觀看者，配戴眼鏡可感知6〇 Hz立體視 訊。快門眼鏡方法允許高品質視訊及高深度水準。 自動立體顯不器及快門眼鏡方法兩者遭受調節·會聚不 匹配。此確實限制使用此等裝置可舒適地觀看的深度量及 時間量。存在不遭受此問題之其他顯示器技術，諸如全像

式顯示器及體積式顯示器。注意本發明可用於任何類型具 有一深度範圍之3D顯示器。 假定3D顯示器之影像資料可以電子（通常為數位）資料史 式獲得。本發明係、關於此影冑資料且在數位㉟中操控數小 資料。例如藉由使用雙攝f彡卿像f料在從—源傳送來压 可已含有扣資訊或可使用—專用預處理系統從扣影像』 ，（再現）3D資訊。影像資料可如幻燈片般為靜態或可包$ 諸如电影之動態視訊。其他影像資料（通常稱作圖形資料 可以儲存物件獲得或如應用所要求即時產生。可添加例如

盆如選單、巡覽項或文字之使用者控制資訊及幫助注解至 其他影像資料。 ，在許多可將立體影像格式化之不同方式，稱作3〇影像 例L，一些格式係基於使用一2D信道以亦攜載立體資訊。 ’可將左景像與右景像交錯或可將其等並排及重叠設 牲色：等方法犧牲解析度以攜載立體資訊。另一選項係犧 顯示二=!作互❿體。互補色立體使用基於 、重疊互補色衫影像之頻譜多工。藉由使用 146227.doc • 14 - 201044315 具有彩色濾光片的眼鏡’各眼睛僅能看見與該眼睛前方之 濾光片色彩相同之色彩之影像。因此，例如右眼僅看見紅 色影像且左眼僅看見綠色影像。 一不同3D格式係基於使用一 2D影像及傳達有關2D影像 中物件深度之資訊之一額外深度影像（一所謂深度圖）之兩 個景像。名為影像+深度之該格式之不同在於其係一 2D影 像與一所謂「深度J或像差圖之一結合。此係一灰階影 像，藉此一像素之灰階值表示相關2D影像中相應像素之像 差量（或在一深度圖例中為深度）。該顯示裝置使用像差 圖、深度圖或視差圖以計算將2D影像作為輸入之額外景 像。此可以多種方式完成，最簡單形式係依據與像素相關 聯之像差值將該等像素向左或向右移位。Christoph Fehn 之名為「基於深度影像之3D電視顯現、壓縮及傳輸新方式 (Depth image based rendering, compression and transmission for a new approach on 3D TV)」的文獻極佳地综論該技術 (見http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf)。 圖2繪示3D影像資料之一實例。該影像資料之左部分為 一 2D影像21(通常為彩色）且該影像資料之右部分為一深度 圖22 °可以任何適當影像格式呈現該2D影像資訊。該深度 圖資訊可為針對各像素具有一深度值之一額外資料串流， 其與2D影像相比可能解析度較低。在該深度圖中，灰階值 表示2D影像中相關像素之深度。白色表示接近觀看者且黑 色表示遠離觀看者之一大深度。一 3D顯示器可藉由使用來 自該深度圖之深度值及藉由計算所需之像素轉換計算立體 146227.doc -15· 201044315 所需之額外景像。可使用估測或空洞填充技術解決遮蔽。 額外圖框可包含於例如進一步添加至影像及深度圖格式中 之資料串流，諸如在一背景前方移動之透明物件之一遮蔽 圖、一視差圖及/或一透明圖。 將視訊從諸如一藍光光碟播放器之一播放器裝置傳送至 一立體顯示器時，對視訊添加立體亦影響視訊之格式。在 2D之例中，僅一 2D視訊串流被傳送（經解碼圖像資料）。使 用立體視訊，此因現在必須傳送包括第二景像（針對立體） 或一深度圖之一第二串流而增加。此可倍增電介面上所需 的位元率。一不同方式係犧牲解析度及格式化串流，使得 第二景像或深度圖與2D視訊交錯或與2D視訊並排設置。 圖2繪示2D資料及一深度圖之一實例。傳送至該顯示器 之深度顯示參數使該顯示器可正確地解譯深度資訊。ISO 標準第23002-3號「輔助視訊及補充資訊之呈現（Representation of auxiliary video and supplemental information)」（例如見 2007年 7月 ISO/IEC JTC1/SC29/WG11 N8259)描述在視訊中 加入額外資訊之實例。取決於輔助串流之類型，額外影像 資料由四個或兩個參數組成。顯示信號中之一參數可表示 或改變3D視訊傳送格式。 在一實施例中，偵測一關注區域包括偵測3D影像資料中 之一關注物件。隨後深度型樣係基於該物件之深度值。注 意，總是將字幕設置在螢幕深度會在觀看時導致一些問 題。當一物件處於螢幕深度時，一自動立體顯示器以最高 解析度顯現該物件。若一物件顯示在顯示表面之前方或後 146227.doc -16- 201044315 方’則解析度會減低。對於基於眼鏡之立體顯示器，螢幕 深度亦可為最佳深度，因為此時眼睛之聚焦點與眼睛之會 聚點處於相同位置。然而，螢幕深度顯得不是最佳設置’ 因為子幕總是搭配相應3D影像内容被觀看。此意味著當 3D視訊中之關注物件並非位於螢幕深度而字幕位於螢幕深 度時’觀眾在字幕與物件之間交替可能不舒適。因此將字 幕之深度設定為與關注物件相同之深度。例如，可能為關 '主物件之主演將作為一參考元素，且將取得其深度並供字 幕使用。 圖3繪示定位於一辅助深度之辅助圖形資料。該圖式之 左部分繪示一 3D顯示器3〇之前視圖。該圖式之右部分繪示 同一顯示器之一側景像34。在該圖式中，在影像區域35外 之一圖像邊界33中將字幕31設置於與可能為觀看者之關注 點之影像部分之深度對應之一深度。 關主區域32被繪示為影像中心之一物件。為了偵測該關 〇 品域了以任何適當組合應用若干分析功能。為了偵測 3D影像貧料中的關注物件，分析可基於下列影像處理功能 之至少一者。可偵測相對於在焦點之外的其他影像元素而 在焦點中的影像元素。偵測局部物件焦點係已知如此，且 可基於空間頻率内容及其他影像參數。對於影像元素，可 偵測用於相對於背景顯現影像元素之一些額外3D資料，諸 如遮蔽資料或透明資料。若3D視訊格式包含此資料，則一 物件之此資料之實際存在表示將以高品質在一背景前方顯 現該物件。對於影像元素n貞測深度線索，冑如相對於 146227.doc 201044315 該背景之移動、深度、照度及色彩差異。此等深度線索指 T使用者將對各自物件投以的關注。可識別特定物件及其 他預4像元素並將其歸類，諸如人類面孔、汽車、撤视 /或足球比賽中的球等。此外，對於影像元素，可偵測位 '"·索例如疋位於接近顯示區域之中心及/或具有相對 於顯示區域之至少一預定大小。 —圖4繪不在一目標區域中定位於一辅助深度之輔助圖形 貝料。該顯示器及字幕實質對應於圖3。然而，該字幕3 i 現疋位於亦顯示影像資料之相同顯示區域35。在該實施例 中，藉由在該顯示器中動態地選擇一 X、y位置而將字幕定 位於該顯示區域35。在一目標區域41中選擇辅助圖形資料 之位置。因此，偵測關注區域現包含選擇一目標區域以定 位辅助圖形資料之。深度型樣現係基於該目標區域之深度 值。可依據目標區域之深度型樣設定輔助深度值。亦可依 據上述關注物件32及目標區域本身之深度型樣兩者設定輔 助深度值。 在一實施例中，根據每圖框或根據每組圖框以元資料形 式為視訊提供字幕之深度及/或視差。電影製片人或後期 製作人員可藉由執行偵測3D影像資料中之該關注區域並決 定該關注區域之深度型樣及依據該深度型樣設定輔助深度 值之功能之一編輯工具產生此等元資料。 注意如W02008/115222中動態地於各圖框的最接近深度 值在圖形資訊上方設置覆蓋層導致圖框之間覆蓋層頻繁的 床度跳轉。將覆蓋層設置於多個圖框之一固定深度值通常 146227.doc -18· 201044315 產=非常接近觀看者之覆蓋層因為多個圖框之最接近物件 、、疋所有&圖框之覆蓋層設置。兩種方式均導致視覺疲 勞：目前偵測關注區域包括選擇一目標區域以定位辅助圖 φ i料，且深度型樣係基於該目標區域之深度值。 、在-實施例中，選擇目標區域執行如下。顯示區域被細 分為多個區域。偵測深度型樣係基於根據依據目標區域之 一空間過濾函數在空間上過濾多個區域之深度值。 圖5、’’s示細分顯示區域β該圖式繪示一實例，其中一顯 示影像45被劃分為若干影像區塊扑。在各影像區塊中單 獨計算最大深度。在該實例中，字幕文字47可位於一指定 深度，即便另一物件48之深度要大得多（亦即更接近觀看 者）。 使用先前方法，針對一完整影像圖框計算最大深度值， 因此具有一大深度之一單個物件導致於該大深度設置覆蓋 層’即便該物件及該覆蓋層兩者位於影像之單獨區域。使 用所提議的方法，在影像之多個區域（影像區塊）計算深 度。只有鄰近覆蓋層之影像區塊中之深度會影響加覆蓋層 之辅助圖形資料之深度設置。 在一實施例中’本文所描述之發明係用於為3D内容覆蓋 字幕。主要内容以立體（左/右）影像存在；字幕亦以影像存 在。該實施例亦可顯現來自一適當描述之字幕。 本實施例使用下列步驟： -從視訊内容的所有左影像及右影像針對所有像素或僅 針對關注區域計算像差。 146227.doc -19- 201044315 -，關注區域内’針對各影像對計算並赌 =在勞幕前方之物件之像差為負，因此此等二 、有相距觀看者之最小感知距離之物件。 ^ -對最小像差列表進行過;慮。 正的深度值被設為〇， 件移動至螢幕平面。在 預設值將物件設置在一 其相當於將螢幕後方之所有物 此步驟令可選擇另一值以在每 不同平面上。

使用像素左右之間等同於經過濾之像差之位移在左影 像及右影像之頂部混合字幕。 若字幕係預顯現，則使用常規的α混合。 若字幕以文字格式存在，則財像讀度顯現該等字 幕0 _可應用一小偏差（通常為一個像素）以產生在最前方物 件與字幕之間的一小深度範圍。 應注意的是，上述方法使得能夠基於選擇影像資料中無 大於輔助深度值之深度值出現之一區域作為目標區域而選 擇目標區域。此外，該選擇可包含選擇一時間週期以顯示 '•玄輔助h料’使得在該目標區域中無大於輔助深度值之深 度值出現。例如’可延遲或移位字幕之顯現以允許一更向 前之物件消失。 在一實施例中’決定深度型樣包含偵測視訊内容之多個 圖框中之深度值及根據一時間過濾函數在時間上過渡深度 值。例如，可考慮字幕本身顯示之一時間週期，或一較長 週期以避免物件實質鄰近字幕出現且比字幕更向前。顯示 146227.doc -20- 201044315 字幕之週期通常指示於顯示信號中。 特疋。之’決疋深度型樣可包含基於·ί貞測視訊内容之多 個圖框中之若干鏡頭邊界而設定時間過濾函數之一時間 窗。此可執行如下。 -從左影像或右影像計算鏡頭邊界。藉由使用影像之色 彩直方圖偵測影像内容中之大改變而發現鏡頭之起始 影像。 -根據之前所偵測的鏡頭切換偵測鏡頭之最小像差列 表。 -隨後使用一適當時間窗函數（實例見下文）針對各鏡頭 過濾最小像差列表。一窗函數係在某些所選之間隔時 間之外為零值的函數。例如，在間隔時間内恆定且在 他處為零之一函數稱作一矩形窗，其描述其圖形呈現 之形狀。影像信號（資料）乘以窗函數，且乘積在間隔 時間外亦為零值》 -單獨過料鏡頭確保僅使㈣自鏡頭内之值。因此， 若關注區域内最前方物件之像差跳轉，則允許辅助圖 形資料之深度值在鏡頭切換時跳轉，但不允料在— 鏡頭内跳轉。作為-替代例，亦可過滤鏡頭之間之深 度設置以允許在鏡頭邊界處順暢過渡。 為了選擇窗函數，該實施例使用^咖窗函數，但其他 窗函數，例如矩形窗函數亦適合。以奥地利氣象學家 JUHUS von Hann命名的Hann函數係一離散型概率質量函 數，即 I46227.doc 201044315

w(n) = 0,5 - cos 窗位於當前時間位置之中心，使得過去及未來兩個值均得 到考慮。此具有平整該等值而因此避免像差之突然變化及 確保覆蓋層總疋位於3 d内容前方之效果。例如即時廣播可 能無法獲得未來值，且窗函數計算僅能基於過據值◊或 者，在應用一小的顯現延遲時，未來圖框之一部分可先健 存在一緩衝器中。 注意所選擇的目標區域（TR)必須至少覆蓋字幕文字的邊 框。為了達到一賞心悅目的視覺外觀，711應大得多。為了 在一影像底部設置字幕，該實施例使用從影像底部垂直延 伸至一預定咼度，例如影像高度之四分之一至一半之— TR。水平上，該丁尺位於延伸達字幕之寬度或影像寬度減 去2〇%之較大者之影像中間。此TR確保根據其附近之物件 深度調整字幕之深度。將該區域延伸至影像中心保證觀看 者通常聚焦的物件得到考慮。此外，可應用空間過濾以對 附近影像區塊中的物件分配一高權重，且對較遠影像區塊 中的向前物件分配一較低權重。 在一實施例中’影像資料被按比例縮小以擬合顯示區域 之一有限部分。例如，（1:1 85)電影内容在一 16:9顯示器上 被稍許按比例縮小。對於丨：2 35電影内容，字幕無需這 樣，因為底部具有一黑條。隨後（按比例縮小）之完整内容 被向上移位且與螢幕之頂側對齊。此創造螢幕下方之空間 以具有一字幕區域，其中所有字幕可被置於源自上文之辅 助深度值。 146227.doc -22- 201044315 、圖6繪示按比例縮小之影像資料之一實例。在一顯示區 域65中’圍繞影像區域6〇繪示一左邊界及一右邊界61及 底邛邊界62。底部區域64可供字幕67使用。在該圖式 中，用一 1920* 1080顯示大小之像素數表示元素大小。 對於HD視訊’字幕字體的最佳大小為“線。_16:9顯示 器上顯示的1:1.85電影内容留出17線之空間。按比例調整 該1:1.85電影内容以產生兩列需要料線之字幕，中間具有 一些黑線，此意味著需要大約1〇〇線，此需要—約9〇%之 ϋ 按比例調整因數。此對使用者而言通常不太明顯’特別若 邊界被加上紋理而類似顯示器之邊緣。此外，大多數當前 平台可支援任意的按比例調整因數。或可在編輯側既已完 成電影面積的按比例調整（以稍低的單色解析度為代價）。 注意，在3D視訊顯現中，另—嚴重問題係邊界效應。具 有螢幕前深度且並非完全出現在顯示幕圖框中而是出現在 邊界側的物件產生邊界效應。邊界效應導致人腦衝突，其 Q 亦導致疲勞。邊界效應之一解決方案係（使用兩個小垂直 條）創造一人工左邊界及右邊界，該人工左邊界及右邊界 可在深度方向上以使一裁切物件之鄰近邊界總是比裁切物 • 件更接近觀看者之方式動態地進行調整。諸如字幕，亦可 . 基於内容深度/像差動態地調整邊界深度。 在圖ό中’影像區域之按比例縮小允許應用該等垂直邊 界61、63以適應邊界效應。按比例縮小為各具有約85列之 兩個小垂直邊界提供空間，其等可用於動態地改變黑條 (邊界）之深度以避免邊界效應。 146227.doc -23- 201044315 由於已為字幕創造空間，因此存在動態調整内容之底邙 邊緣之深度之選項。然而，此與左邊界及右邊界相比更為 困難。可取決於紋理量將一底部條水平移位。然而，移動 一恆定信號（黑條）並無任何效果。具有一恆定黑條的螢幕 底部不存在一邊界侵犯問題。然而，當此條並非僅為黑 色，而是稍加紋理（例如諸如圖6中的木紋）時，亦可能在裁 切物件前方調整底部邊界之深度。 該等人工（螢幕外）邊界之一進一步優點在於該等邊界亦 使觀看者可以一簡單且實用之方式身處觀看錐形體之中 心 〇 圖7繪示黑色邊界中按比例縮小之影像資料之一實例。 在一顯示區域65中，圍繞影像區域6〇繪示一左邊界72及一 右邊界73及一底部邊界71。該底部邊界71可供字幕”使 用。在該圖式中，用一 1920M〇8〇顯示大小之像素數表示 元素之大小。可對一不同螢幕大小，諸如128〇*72〇進行類 似配置。 圖8繪示視訊上之一字幕及圖形覆蓋層。該圖式之左部 分繪示具有一左景像84及右景像之立體視訊輸出8〇之一實 例。兩個景像係基於覆蓋一3D影像81及輔助圖形資料之一 第一層82(呈現平面）及一第二層83(互動平面）而產生。如 上文所述決定圖形元素之辅助深度值。 圖8之右側繪示具有一2D景像84及右景像之一二維（2d)+ 深度視訊輸出89之-類似實 <列。兩 <固景像係基於覆蓋一 2D 影像85及辅助圖形資料之一第一層％(呈現平面）及一第二 146227.doc -24 201044315 層87(互動平面）而產生；該等層各具有一對應深度圖。圖 形凡素之輔助深度值係如上文所述進行決定且應用於調整 該等深度圖。 /主忍’可在藍光光碟（BD)格式上執行圖8中之模型’該 藍光光碟格式係經擴展以允許如圖6及圖7所示控制邊界之 大小及位置及字幕區域之位置及大小。BD格式支援允許 内谷作者控制視訊頂部之圖形覆蓋層之多個平面。該實施 方案如下。 〇 ± —域 第一步驟中，視訊係經按比例調整以為字幕，例如 至少兩字幕線留出空間。内容作者可控制按比例調整因 數。因此，；BD規格可擴展至允許任意視訊按比例調整因 數°至少應支援一 7/8按比例調整因數。 在一第二步驟中，將一紋理載入於一記憶體緩衝器中。 如圖6所示此紋理係用於填充將用於產生一滑動窗之側邊 界（圖7中之黑色邊界無此要求）。 Q 在—第二步驟中，在播放期間，立體視訊例中之左景像 及右景像之側邊界之大小係經調整，使得側邊界之像差大 於裁切物件之深度。對於2D影像+深度視訊，邊界之深度 被調整為大於任何裁切物件之深度。此外，對於2d影像+ 深度’被邊界遮蔽之視訊背景被複製進輸出格式之遮蔽背 景資料層。 為了在一現有視訊格式中執行，要求該格式以一至少 7/8按比例調整因數對192〇χ1〇8〇視訊進行擴展，其產生一 1680x945目標解析度。可藉由使用呈現圖形平面而由一編 146227.doc -25- 201044315 輯工具執行上述步驟。因而，如下圖所示呈現圖形不僅含 有字幕，而且含有滑動窗之邊界。 圖9繪示按比例調整視訊以為字幕及浮動窗留出空間。 將一3D影像資料90(例如一主電影）輸入於一按比例調整單 元92。如上所述配備具有字幕左邊界/右邊界及底部區域 之一呈現圖形平面91。在組合器93中結合經@按比例調整 之視訊以提供3D影像資料94。顯示3D影像資料之視窗稱 作浮動的，因為左邊界、右邊界及視情況之底部邊界之深 X係、”呈知:比例調整以解決邊界效應。藉由該方法，選擇輔 助圖形貝料之目標區域為顯示器上未顯示影像資料之一區 域，且相應地減少影像資料之大小以擬合刺餘顯示區域。 注意，可在硬體及/或軟體中使用可程式化組件執行本 發明。執行本發明之—方法具有與參考圖丨所說明之扣影 像資料處理對應之處理步驟。雖然已主要藉由使用光學記 錄載體或網際網路之實施例解釋本發明，但是本發明亦適 二於任何影像介面連接環境，諸如—3D個人電腦[PC]顯示 益介面或搞合至-無線3£)顯示裝置之扣媒體中心電腦。 注意’在此文獻中，詞「包括」不排除所列元件或步驟 之外其他元件或步驟之存在’且一元件前之詞「一」不排 除^數個此等元件的存在；任何參考符號不限制請求項之 =丄可藉由硬體及軟體兩者執行本發明；可藉由相同硬 或軟體項目代表數個「構件」《「 :二干硬體元件配合完成-或更多單元之功能： 林父限於該等實施例’且本發明在於各個創新特徵 146227.doc -26- 201044315 或上述特徵之組合。 【圖式簡單說明】 . 圖1繪示用於顯示三維（3D)影像資料之一系鍊 圖2繪示3D影像資料之一實例；

圖3繪示定位於一輔助深度之辅助圖形資科’ i輔助 圖4繪示在一目標區域中定位於一輔助深度 資料； 圖5繪示細分該顯示區域；

圖6繪示按比例縮小之影像資料之一實例； # PJ 1 圖7用黑色邊界繪示按比例縮小之影像資科之〆只 圖8繪示視訊上之一字幕及圖形覆蓋層；及 圖9繪示按比例調整視訊以留出空間給字幕及浮動窗。 【主要元件符號說明】 ❹ 10 3D源裝置 11 3D影像處理構件 12 輸出介面單元 13 3D顯示裝置 14 輸入介面單元 15 使用者控制元件 16 進一步使用者控制元件 17 3D顯示器 18 3D影像處理構件/影像處 19 3D影像處理構件/影像處 21 2D影像 元 146227.doc -27- 201044315 22 深度圖 30 3D顯示器 31 字幕/輔助圖形資料 32 關注區域 33 圖像邊界 34 側景像 35 影像區域 41 目標區域 44 箭頭 45 顯示影像 46 影像區塊 47 字幕文字 48 物件 51 輸入單元 52 3D影像處理構件/影像處理單元 54 光學記錄載體 55 網路 56 3D顯示信號 57 遠程媒體伺服器 58 光碟單元 59 網路介面單元 60 影像區域 61 右邊界 62 底部邊界 146227.doc -28- 201044315

63 64 65 67 71 72 73 80 81 82 83 84 85 86 87 89 90 91 92 93 94 左邊界 底部區域 顯不區域 字幕 底部邊界 左邊界 右邊界 立體視訊輸出 3D影像 第一層/呈現平面 第二層/互動平面 左景像 2D影像 第一層/呈現平面 第二層/互動平面 二維（2D)+深度視訊輸出 3D影像資料 呈現圖形平面 按比例調整單元 組合器 3D影像資料 146227.doc -29-

Claims (1)

1. 201044315 七、申請專利範圍： 1· 一種結合三維[3D]影像資料與辅助圖形資料的方法，該 方法包括： 偵測該3D影像資料中出現的深度值；及 依據該等所偵測的深度值適應性地設定該輔助圖形資 料的辅助深度值以產生一 3D顯示信號，以藉由基於該等 輔助深度值結合該3D影像資料與該輔助圖形資料而在一 顯示區域上顯現影像内容， 〇 其中， 偵測該等深度值包括偵測該3D影像資料中之一關注區 域及決定該關注區域之一深度型樣；及 設定該等輔助深度值包括依據該深度型樣設定該等輔 助深度值。 3求項1之方法’其中偵測-關注區域包括偵測該3D 〇 影^料中之—關注物件，且該深度型樣係基於該物件 之冰度值。 3· 如請求項1之古 物件係基於下測該3D影像f料中之該關注 影::=目對於在焦點之外的其他影像元素而在焦點中的 像元素偵測用於相對於背旦韶相$掌彳金-1 一些額外3D資姐.$耵於貧不顯現该影像兀素之 針斟与你-^ ’諸如遮蔽資料或透明資料； 於該背旦*疋^ _深度線索’該等深度線索包括相對 厅、之移動、深度、明亮度及色彩中之若干差異之 146227.doc 201044315 至少一者； 偵測預定影像元素，諸如人類面孔； 針對影像元素偵測位置線索，該等位置線索包括定位 於接近該顯示區域之中心及具有相對於該顯示區域之至 少一預定大小之至少一者。 4. 如請求項1之方法’其中偵測該關注區域包括選擇一目 標區域以定位該辅助圖形資料，且該深度型樣係基於該 目標區域之深度值。 5. 如請求項4之方法’其中選擇該目標區域包括： 將該顯示區域細分為多個區域；及 债測該深度型樣係基於根據依據該目標區域之一空間 過濾函數在空間上過濾該多個區域之深度值。 6. 如請求項4之方法，其中選擇該目標區域包括下列之至 少一者： 選擇該影像資料中無大於該等輔助深度值之深度值出 現之一區域作為該目標區域； 選擇一時間週期以顯示該輔助資料，使得在該目標區 域中無大於該等辅助深度值之深度值出現； 選擇顯示器中未顯示影像資料之一區域作為該目標區 域，且相應地減少該影像資料之大小以擬合剩餘顯示區 域。 7. 如请求項1之方法’其中決定該深度型樣包括偵測視訊 内容之多個圖框中之深度值，及根據一時間過濾函數在 時間上過濾該等深度值。 146227.doc 201044315 8. 9. Ο ° 10. 如請求項7之方法，其中決定該深度型樣包括基於债測 視訊内谷之該多個圖框中之鏡頭邊界設定該時間過據函 數之一時間窗。 一種3D源裝置（1〇)，用於結合三維[3D]影像資料與辅助 圖形資料’該裝置包括3D影像處理構件（11、52)，該等 3 D影像處理構件係用於： 债測該3D影像資料中出現的深度值；及 依據該等所偵測的深度值適應性地設定該辅助圖形資 料的輔助深度值以產生一 3D顯示信號，以藉由基於該等 輔助深度值結合該3D影像資料與該輔助圖形資料而在一 顯示區域上顯現影像内容， 其中該等3D影像處理構件（丨丨、52)係經配置以用於： 债測該等深度值包括偵測該3D影像資料中之—關注區 域及決定該關注區域之一深度型樣；及 設定該等輔助深度值包括依據該深度型樣設定該等輔 助深度值。 一種3D顯示裝置（13)，用於結合三維[3D]影像資料與輔 助圖形資料，該裝置包括： 一 3D顯示器（17)，其係用於顯示3D影像資料；及 3D影像處理構件8、19)，其等係用於： 偵測該3D影像資料中出現的深度值；及 依據該等所偵測的深度值適應性地設定該輔助圖形 資料的輔助深度值以產生一 3D顯示信號，以藉由基於 該等輔助深度值結合該3D影像資料與該輔助圖形資料 146227.doc 201044315 而在一顯示區域上顯現影像内容， 其中該等3D影像處理構件（18、19)經配置以用於： 積測該等深度值包括偵測該3D影像資料中之一關注 區域及決定該關注區域之一深度型樣；及 设之该等輔助深度值包括依據該深度型樣設定該等 輔助深度值。 11. 樘電腦程式產品 用於結合三維[3D]影像資料與輔助 圖形資料，該程式係可媒仏 '、了知作以導致一處理器執行如請求 項至8中任一項之方法之各別步驟。 146227.doc