TW201031177A - Generation of occlusion data for image properties - Google Patents

Description

201031177 六、發明說明： 【發明所屬之技術領域】 本發明係關於影像特性之遮蔽資料的產生’且更特定 (而非獨有）言之，本發明係關於三維影像資料之一分層表 示之一遮蔽影像的產生。 【先前技術】 三維顯示器正逐漸受到關注，且正著手對於如何提供三 維感知至一觀察者之重要研究。三維（3D)顯示器藉由為觀 察者之雙眼提供正被觀察之場景的不同視圖而增添—第三 維度至觀察體驗。此可藉由使該使用者佩戴眼鏡來分離所 顯示之兩視圖而實現。然而，因為認為此可為使用者帶來 不便’故在多數情境下最好使用自動立體顯示器，以使用 構件於該顯示器處（諸如透鏡鏡頭或阻障物）來分離視圖， 並以不同方向（其中該等視圖可個別到達使用者之眼睛）發 送該等視圖。立體顯示器需要兩個視圖，而自動立體顯示 器通常需要更多視圖’諸如（例如）九個視圖。 為有效支援3D表示，首要使用所產生3D内容之一合適 資料表示。例如，對於不同立體顯示器，兩視圖無須相 同，且一最佳視圖體驗通常需要對螢幕尺寸及觀察者距離 之特定組合之内容資料的一調適。相同考慮傾向適用於自 動立體顯示器。 -用於表示三維影像之普遍方法將使用—個或多個分層 二維影像附加深度表示。例如，一前景及背景影像（每一 影像與深度資訊相關）係可用以表示一三維場景。 143681.doc 201031177 b項方法提供許多優點，包括容許三維視圖以相對較低 於”眭產生，並提供一有效資料表示藉此縮減（例如）用 於二維影像（及視訊）信號之儲存器及通信資源之要求。該 , 亦各許一維衫像以相比於三維表示中所包括之二維影 I不同之視點及觀察角度而產生。而且，該表示可易於適 於不同顯示器組態並支援之，例如以諸如5、9或15個不同 數量視圖支援。 φ 田自相比於分層影像所表示觀察角度不同之一觀察角度 呈現—視圖時’諸前景像素視其等之深度而移位。此致$ ί原始觀察角度遮蔽之區域變為可見(即，利用相機/觀察 位置紐移動/移位至該側）。此等區域接著藉使用背景層而 真補或者右合適背景區域係不可得，則藉由重複前景影 象之像素而填補。然而，此像素重複可造成可見假影。背 景資it韦僅被需要圍繞前景影像物彳之邊緣，且相應地 對於大多數内容係可高壓縮的。 • 為了實現高品質3D感觀’關鍵的是產生3D影像内容。 建3D内谷之多種方法係廣為人知的包括(例如)可基於 描述一三維場景之資料而產生影像的電腦產生之内容工 牛例而D，用於（例如）一電腦遊戲之電腦產生之前景 责景t/像係可基於將包括前景影像物件等之環境特徵化 的資料而產生。舉例而言，用於產生3D模式之數個程式係 廣為人知的’且夕數此等程式可由一軟體外掛程式增強， 该外掛程式可產生具有相關深度映射(及可能之透明映射) 之一個或多個層狀影像之形式的3D影像表示。因此，遵循 143681.doc 201031177 模式化程式中之一 3D模式之設計，基於此3D模式之 #算法可產生用以表示自—預界定觀察角度所見視圖之 個或多個深 背景及-個或多個前景層。進一步而言 ， W ,一* / 丨叫/木 又映射及透明映射可為此視圖而產生。此影像層及深度以 及透月映射隨後可提供一 3D表示，其適於供例如立體或自 動立體顯示器使用。 然而’儘管此等方法可用於多數實施例中，然其等將具 有某些相關之缺點。舉例而言，多層之產生將極為複雜， =!!明顯之人工介入。舉例而言，為了產生背景層，須 曰疋哪些物件或區域應被認為係前景並因此當產生該 彦景影像時予以消除。麸 u ㈣然而’為了提供精確3D表示及高品 ==此通常必須由一操作者以人工完成，導致極為複 =耗時地產生3D料資料。因此在當前方法巾，該背景 層通常係藉由人工移除草此 景 涂打姑 矛多除某些則景物件並再次呈現該内容而 遷立。然而，這不僅極為眚 給㈣导h… 且當一物件遮蔽自身或 、、· Λ者景才又下陰影時引發問題。 另一技術傾向指定一切名丨j Φ 其移除所有較一給定臨 非最佳皆^ 物件。然而，此項方法將導致一 “、層’因為最佳背景層需要不同區域中之… 於移除前景影像物件之適當深 於特疋聊式，且在影像上非恒定） 平面係罕有最佳，且選擇多 刀d 雜化。 刀d平面將使處理程式更複 因此，提供遮蔽資料資訊 則景的資訊之產生將係次 ^4368}.doc 201031177 優且特定言之將係複雜的、佔用資源及/或導致次優品 質。的確’所述問題不僅受限於遮蔽影像之產生，而且與 表不其他影像特性(諸如透明纟或深度資訊)之資料的 相關。 因此，一種用於產生遮蔽資料之改良方法可係有利， 特定+ 儿 σ 種容許增加靈活性、縮減複雜性、簡化操 作縮減資源需求、改良品質及/或改良效能的方法 有利的。 ❿ 【發明内容】 相應地，本發明探求較佳以單獨或以任意組合來減少、 咸奉工或/肖除上文提及之一個或多個缺點。 據本發明之一態樣，提供一種產生一三維場景之 性遮蔽影像特性映射的方法，該遮蔽影像特 丄=括由該遮蔽觀察位置遮蔽之至少某 ==法包括:提供一演算法，其配置以產生表示該： 函數"二一影像的一影像特性映射，作為一觀察位置之- 傻縣，猎對—第一觀察位置執行該演算法，產生-第1 第…㈣帛-觀察位置執行該演算法，決定一 第-衫像特性映射，該第二觀察 察位置之-第一德孩丹有相對於该第—觀 第二影像特“ 該第一影像特性映.射及該 像特性映射，產生遮蔽影像特性映射。 在多數實施例中，本發明可描 改良及/或簡… 遮蔽影像特性映射之 及或簡化產生。該遮蔽影像特性映 像特性資料，其用於由 疲、可特定包括影 座生用於遮蔽觀察位置 J 436δ1.^〇, 201031177 二=特性映射層的影像區域。舉例而言，該遮蔽影像 =射可:藉―前景(或更㈣間場景)影像層提供影 像資科的一奇景（或令間場景）影像層。 ◎ 特疋。之，本發明可容許遮蔽資訊將於無需人工介入及/ =無需㈣資訊界定任何切割平面之情形下產生。更確切 貞算法之冑單重複執行可用以提供—遮蔽影像特 =射。特定言之，本發明可容許一場景之-層狀3D影像 特性表示將自基於相同扣模式卻在不同觀察位置產生之不 ㈣像特性映射產生。因此’基於一扣模式之一單一呈現 肩算法可重複用以產生複數個影像特性映射其等接著經 後處理而產生一層狀3D表示。本發明可縮減資源使用及/ 或複雜性。特定言之，（非層狀、變化觀察角度）影像特性 映射之後處理可通常以低複雜性及/或低資源使用而實 施。 不同觀察位置可特定對應於在一平面中移位之觀察位 置’該平面垂直於對第一觀察位置—及在此平面中特定地 向-側移位之觀察方向。對每一觀察位置之觀察角度/方❹ 向可大體上相同，亦即’對第一及第二觀察位置之觀察方 向（且因此第一及第二影像特性映射）可大體上相同。 本方法可容許與多數現有演算法之改良之向後相容。舉 例而δ ’第-演算法可係一現有3D模式化應用程式其進 一步由一軟體工具/外掛程式（其中產生層狀3D影像特性映 射特性）增強。因此，該後處理可（例如）提供作為内容建立 工具之一外掛程式。 143681.doc -8 - 201031177 遮蔽影像特性映射可表示相同顴 映射（為其提供遮蔽資料）。特定=角度作為1像特性 可係具有表示該遮蔽觀察位置之另_^遮蔽影像特性映射 ㈣像特性映射。該遮蔽影像特性映 .=性=之-遮蔽影像特性映射’且可表示該第， 特…，該遮蔽觀察位置可與該第-觀察位置： 體上相同。 ^饥直大 第—演算法可特定為（基於HD模式演算法。 ❹第：影像特性映射可因此藉使用相同場景㈣模^ 生。該/該等觀察位置可特定為—觀察角度。對某= 例及出於某些考慮，未慮及距離。術語「觀察位置1在某 些情境下可認為等效於術語「觀察角度」。該第、 觀察位置對應於不同觀察角度。該等影像特性映射: 包括該第-影像之每__像素的_影像特性值。 ’疋 該遮蔽影像特性映射可進一步相應於其他（類型） ❷丨生映射而產生：舉例而言，該第-及第二影像特性映射可 輔以Oi如）已藉由在對應於遮蔽觀察位置呈現_影像特性 映射之則，人工移除前景物件而產生的影像特性映射。· 根據本發明之―選用特徵，決定該遮蔽影像特性映射勺 括：藉移位至少該第一影像特性映射及該第二影像特性= 射至該遮蔽觀察位置，產生一組對應於遮蔽觀察位置之經 修改之影像特性映射；及藉選擇來自該組經修改之影像特 性映射之像素的遮蔽影像特性映射之像素的影像特性，麥 定該遮蔽影像特性映射。 143681.doc 201031177 在多數實施例中，此可提供一遮蔽影像特性映射之改良 及/或簡化產生。該組影像特性映射可包括藉由移位/移動 對不同觀察位置之影像特性映射至遮蔽觀察位置而獲得的 複數個經修改之影像特性映射。移位/移動可特定對於相 同觀察角度而言。對於由用於大體上遮蔽觀察位置之演算 法產生之影像特性映射’經修改之影像特性映射可與所產 生之影像特性映射相同。特定言之’對於已正表示遮蔽觀 察位置之影像特性映射而言，對該遮蔽觀察位置之移位/ 移動可係一無效作業。

在某些實施例中，選擇用於遮蔽影像特性映射之像素由 影像特性可包括：若—第二對應像素係_解遮蔽像素而_ 第-對應像素不是-解遮蔽像素，則優先於該第二對應搞 素選擇該[對應像素之影像特性。舉例而言，告產生一 經修改之影像特性映射時，原始影像中遮蔽但並：來自, 2察位置之值係解輕的。因此在轉改之料特性蝴 ^中’某些像素值通常係解輕像素（亦即由像素重複羞

=?:=是+解遮蔽的。特定言之，-非_ i』馒先於一重複像素選擇。 之==之Γ用特徵，該組經修改之影像特性映射 之對應像素間之選擇係相應於對應像素之深度值。 在多數實施例中，此可提供—遮蔽影像特 及/或簡化產生。 、耵之改良 14368I.doc •10· 201031177 應像素之-影像特性，該對應像素不具有對應於該第一像 素之對應像素之一最前部深度的—深度值。 在多數實施例中，此可提供—遮蔽影像特性映射之" .感簡化產生。特定言之，選擇每一像素之第二深度： (自前部）的影像特性傾向提供在前景像素後之第—物件之 綱料。此等將通常適當呈現於不同觀察角度，並相應 地傾向提供最有用之遮蔽資訊。 根據本發明之一任選特徵’對應像素間之選擇包括.選 擇遮蔽影像特性映射之一第一像素的一影像特性作為一對 應像素之-影像特性，該對應像素具有對應於該第一 之對應像素之―第二最前部深度的-深度值。 在多數實施例中’此可提供一遮蔽影像特性映射之改良 及/或痛化產生。特定言之，選擇每-像素之第二深度值 (自前部）的影像特性傾向# 么 ^ 冊傾料供在前景像素後之第-物件之 遮蔽資料。此等將通常適者 千之 心二， 於不同觀察角度，並相應 地傾向提供最有用之遮蔽資訊。 ，

將瞭解’或者，對廂後I 特性映射之—第一像素的間之選擇包括：選擇遮蔽影像 對應像素具有對應於該第-像素之對應像素 . 等最刖'^深度的一深度值。此可 (例如）容許多層影像特性映射之—充分產生。 根據本發明之—選 映射之至少-者勺虹該組經修改之影像特性 之像音… 遵循移位產生對應於疊加影像區域 之像素的複數個影像特性值。 143681.doc 201031177 在多數實施例中，此可提供一遮蔽影像特性映射之改良 及/或簡化產生。特定言之，當產生遮蔽影像特性映射 時’可容許考慮全部由不同觀察位置之影像特性映射提供 之資訊。 根據本發明之一選用特徵，由遮蔽影像特性映射、第一 影像特性映射及第二影像特性映射表示之影像特性包括： 自包含以下之群組選擇之至少一者：影像光度、：像色 彩、影像物件識別、透明度及深度。 ❿ 本發明可容許可用於一 3D影像表示之多個不同特性之一 遮蔽資訊的改良及/或簡化產生。 根據本發明之一選用特徵，該方法進—步包括：藉對一 第三觀察位置執行該演算法，決定一第三影像特性映射， 該第三觀察位置具有相對於該第一觀察位置之一第二偏 移；且其中決定該遮蔽影像特性映射係進—步相應於㈣ 三影像。 人 在多數實施例中’此可容許產生一改良遮蔽影像特性映

Q 射。特定言之，可容許藉該遮蔽影像特性映射決定並表干 =蔽資料。第二及第三影像特性映射可(例如)容許遮 敝資料產生以移位至一中央視圖之兩側。 決定該遮蔽影像特性映射可進一 ^ . 夕匕括.藉由移位/銘 =第三觀察位置之第三影像特性映射至遮蔽觀察位 經修改之第三影像特性映射；且該經修改 二衫像特性映射可被包括於該組經修 r-ϊτ a -μ. ^ 又之々像特性映射中 (了自八等選擇該遮蔽影像特性映 耵之像素的影像特性）。 143681.doc 12· 201031177 為方法亦可擴展至自不同觀 像特性。 夏產生之第四'第五等影 根據本發明之—選 偏移。特定言之，第：位2偏移大體上相反於第二 _ ㈣度之偏移可與第-財位^第三觀察位置之間之觀 產良遮蔽影像特性映射。特定言之，可 ❿ 嗲第偏蔣°上之觀察角度之改變的遮蔽資料。 这弟—偏移及/或第- 中。 — η特定地大體上處於水平面 r根據本發明之—選用特徵’該方法進 衫像ϋ，該影像信號包括遮蔽 /匕產生— 遮蔽觀察位置之影像特性映射。14映射’ ^僅包括 一本《明可產生—3D影像之—有效表示 示，其包括一給定觀察…可提供-分層表 一步）背景影像特性映射（諸如―背 察^置）之-(進 角度之遮蔽影像特性映…/像）及表示相同觀察 _ Λ ^ 热而，可不句圭- =之影像及影像特性映射。特定言之，；=同觀 括岭多通道（對應於不同影像特性，諸如=像6號可包 資料及透明度資料），其等之至丨一 I像資科、深度 性表示，其包括藉該方法 匕括—分層影像待 根據本發明之一選用特徵，第一偏性映射。 繞-物件自2。至10。之區間的—觀察：於以鸯幕深度 此可提供一遽礙影像待性^ 143681.doc ，、特疋適用於呈現大多 -13. 201031177 數立體顯不器及/或自動立體顯示器。特定言之，其可提 供藉使用所產生之遮蔽影像特性映射而呈現之觀察角度範 圍與該遮蔽影像特性映射之資料中之間隙或漏洞之風險之 間的平衡。 根據本發明之一選用特徵，第一影像特性映射、第二影 像特性映射及遮蔽影像特性映射係影像。 因此，可提供-種產生-遮蔽影像之方法，該遮蔽影像 包括-經遮蔽影像物件之至少某些影像值；該方法包括： 提供-呈現演算法，其經配置以產生一就一觀察位置表示 一場景的影像；藉由對-第—觀察位置執行該演算法而產 生-第-影像；藉由對一第二觀察位置執行該演算法而產 生一第二影像，該第二觀察位置具有相對於該第一觀察位 置之一第-偏移；及相應於該第一影像及該第二影像而產 生遮蔽影像。 本發明可在多數實施例中提供一遮蔽影像之改良及/或 簡化的產生。該遮蔽影像可特定包括由一（進一步）背景影 像層遮蔽之影像區域的影像資料。 根據本發明之另一態樣’提供—種用於執行上述該/該 等方法之電腦程式產品。 根據本發明之另-態樣，提供_種連同—三維模式化電 腦程式使用而產生一三維場景之-遮蔽觀察位置之-遮蔽 2 =性映射的軟紅具’該遮蔽影像特性映射包括由遮 :察位置遮蔽的至少某些影像特性值，且該三 電腦程式包括一演算法，其經配置以產生表示該三維場景 143681.doc 201031177 之一影像的影像特性映射，其為 軟體工具經配置 _ ’、 之一函數，·該 m 執w步驟：藉由對-第-觀察位置 ::該"算法而產生-第-影像特性映射，·藉由二 二觀察位置具有相對於該第一觀二 =像特性映射，該第 忒弟覜察位置之—第一偽銘.；》 相應於該第-料特性映， 遮蔽影像。 第—料㈣射而產生

根據本發明之另-態樣’提供-種產生—三維場景之一 遮蔽觀察位置之-遮蔽影像特性映射的裝置，該遮蔽影像 特性映射包括由該韻觀察位置韻的至少某些影像特性 值，該裝置包括：用於提供-演算法的構件，該演算法經 配置以產生表示該三維場景之一影像的影像特性映射盆 為一觀察位置之-函數；用於藉由對—第—觀察位置騎 該决异法而產生-第—影像的構件；詩藉由對—第二觀 察位置執仃該演算法而產生一第二影像的構件，該第二觀 察位置具有相對於該第-觀察位置之一第_偏移；及用於 相應於該第一影像特性映射及該第二影像特性映射而產生 遮蔽影像特性映射的構件。 將參照下列所述之實施例來闡明本發明之此等及其他態 樣、特徵及優點，且其等將自該等實施例而變得明顯。 【實施方式】 本發明之實施例將僅借助實例，參考附圖而描述。 以下之描述集中於可應用於一前景影像之遮蔽影像之產 生的本發明之實施例。然而將了解，本發明並非受限於此 143681.doc -15· 201031177 應用’卻可應用於其他影像特性映射之產生，包括（例 ^映影像物件之識別、透明度及深度特性之影像特性映 射。 =確及簡短起見’ τ列描述將集t於諸如—靜態影像 一轉的處理。然*將了解，所述之原理等同應用於 用1如其)動畫及移位之影像。例如’所述之處料被個別應 用於基於-分層深度模式之三維視訊信號之每一影像及深 度映射，從而產生—多視圖影像序列令之每一時間戳纪之 全部視圖。 例 圖1緣示用於產生—遮㈣像特性映射之ϋ件的一實 β該器件包括-映射產生器101，其經配置以產生表示一 場景之-影像的一影像特性映射。該影像特性映射經產生 作為-觀察位置之-函數並㈣作為—觀察角度之一函 數。特定言之’該映射產生器可產生基於-3D模式之一給 定指定觀察角度的-影像映射。該3D模式可特定界定由一 背景影像及該背景影像前之數個3D物件界定之一人造場 景。 在該實例中’映射產生器1〇1係配置以產生一影像，該 影像對應於將由-相機於所界定之觀察位置，且特定山之 為所界定之觀察角度捕捉之影像H產生具有反:自 該指定觀察角度可見之扣模式之物件之每—像素的一光产 及色彩值的-料。因此，基於由該犯模絲示之所界^ 之人造場景，該映射產生器⑻可簡單基於—觀察角产輸 143681.doc •16- 201031177 入參數而產生一影像。 將瞭解，許多不同演算法及工具係已知為可產生基於一 3D模式及一觀察位置之一定義的一人造場景的影像及相關 影像特性資料。舉例而言，離線電腦3D模式化工具係廣為 人知，且廣泛用於（例如）電腦輔助設計、遊戲設計、電腦 直觀顯示等。再者，人造3D場景之影像的即時呈現係（例 如）自遊戲或即時電腦輔助設計應用程式而廣為人知。將 ❹

瞭解，映射產生器1〇1可利用用於產生影像特性映射之任 何合適方法。 亦將瞭解，映射產生器101可產生對應於其他影像特性 之影像或映射。因此，一影像特性可係提供可如何呈現一 影像之資訊的任何特性，並可特定係提供可用於在不同觀 察角度產生影像之資訊的一 3D影像特性。 一舉例而t，映射產生器101可著手產生一給觀察角度之 :影像及該觀察角度之一深度映射二者。該深度映射可特 疋包括影像之每一像音的一、、签瘅- 像常的/木度指不（諸如一深度層級或 不4值），在該影像中，該深唐 h Λ冰度才曰不反映由該像素表示之 影像物件之影像深度。 產生影像之每一像素的 示該影像像素之一透明 再者，映射產生器101可產生所 一透明度值。該透明度值可特定表 度。 如另一實例，映射產生器101 ^^^ 射，苴故』座生一影像物件識別映 物件。 像素識別對應於該像素之影像 I43681.doc •17- 201031177 在特定實例中，嗜咏射吝4 Ώ, 對應影像特性映射。二一 ° 01產生觀察角度之許多 道，且在特定實母&特性(類型)可被稱為-通 道，該景==該映射產生器⑻產生-影像通 乂如1豕通道包括一影像；_ 影像之一深产度通道，其包括所產生 … 在某些情境下包括所產生影像之- = ::/或所產生影像之-影像物件識別二 因此—_ 1每通道包括僅一單—影像特性映射，且 將：景由一單一非分層影像特性映射表示。 〜解在其他實施例中’映射產生器⑻僅可產生一 :士通物即一單一影像特性)之一影像特性映射。舉例 。，—深度映射可在不產生影像之情形下產生。 此外，該裝置包括麵合至映射產生器1〇1之一第 ❹ 映射產生器1〇3。該第—影像特性映射產生器經配 置以鞛對-第-觀察位置執行映射產生器⑻之演算法而 產生一第一影像特性映射。明確言之，該第一影像特性映 射產生器103可界定該場景之一觀察角度或位置，及饋送 此至映射產生器1〇1。相應於此，映射產生器著手評估 3D模式，以產生對應於此觀察位置之影像特性映射。 特疋實例中’映射產生器1〇1著手產生複數個單層通 道，其中每一通道對應於一不同類型之影像特性。因此， 孩映射產生器1〇1產生一影像，其表示來自指定觀察位置/ 角度之場景/3D模式之一視圖，並產生一匹配深度映射， 且在某些情境下產生一匹配透明度映射及/或一匹配物件 識另〗映射。包括不同影像特性映射之通道然後被回饋至第 14368I.doc -18- 201031177 一影像特性映射產生器1〇3。 圖2繪不f例，其中一觀察位置2 =:Γ:前!影像物件2°5的-三二: 二纪β 01,、、w^s手產生—反映於不㈤方向可見之特 =像物件的影像。此外，—對應深度映射 声 像中可見之影像物件之变束而^ & 稭反映該影 木度而產生。映射產生器101計算 係由/之一色彩值、一亮度值及-深度。該色彩/亮卢 該像素之射線最接近相機/觀察位置之物件決定。 二Γ:應於前景影像物件205之像素，前景物件2〇5之 及冰度值被涵括；且對於對應於背景物件加之像 -，背景物件203之一影像及深度值被涵括。再者，可產 i::r別映射’其為每一像素指示影像物件(例如是 、< 2G3或2G5)。類似地’—透明度映射可利用每一 像素之一透明度指示而產生。 將瞭解，用於自一 3D場景或模式產生—影像特性映射 (诸如一影像或-深度映射）之任何合適演算法可由 生器101使用。 圖1之裝置進-步包括麴合至映射產生器1〇1之一第二會 像特性映射產生器心該第二影像特性映射產生器103經 配置以藉對一第二觀察位置執行映射產生器ΗΠ之演算法 而產生-第二影像特性映射，該第二觀察位置相對於該第 —觀察位置偏移。該第二觀察位置對應於相比該第一觀察 位置不同之一觀察角度。因此，除非所產生之影像特性映 射中之每一者發生於確切相同之深度層級上，否則該第一 143681.doc •19- 201031177 及第二影像特性映射在某些情形下可表示不同影像物件。 因此，該第一及第二影像特性映射可包括由其他影像特性 映射中之一（更前部）前景影像物件遮蔽之一影像物件區域 的影像特性資料。

圖3繪示圖2之實例，其中一第二觀察位置3〇1具有對於 該第-觀察位置之一相對偏移303。歸因於該觀察角度偏 移，產生用於該第二觀察位置3〇1之影像特性映射包=背 景物件203之一區域305，當該區域3〇5被此觀察角度之前 景物件遮蔽時，該區域3〇5不被包括在第—影像觀^位= 2〇1之影像特性映射中。類似地，背景物件203之一區域 307僅在產生用於第一觀察位置之第一影像特性映射中可 此’由3D模式表示之場景再次自—移位/移動/轉移觀 置呈現。此第二觀察位置提供相對於該第一觀察位置 ?查看」物件。在第二觀察位置之視圖中，物件看起 來移位至右側，伴隨由於視角轉變而使該移位與深度成反 比0 Φ 在特定實例中，映射產生薄 I生益101者手產生第二觀窣 之複數個單層通道，其中每、…B 覜条位置 '、中母—通道對應於一不同類型之影 像特性。特定言之，哕筮_ Μ苐—影像特性映射產生器105接收 弟一觀察位置之一影#，_ -透明庚m : 一相關深度映射，且有可能接收 透月度及影像物件識別映射。 圖】之裝置進一步包括耦合 .. 王研射產生态101之一第=影 像特性映射產生器1〇7。ψ 弟一汾 /弟一影像特性映射產生器1〇7經 143681,doc •20- 201031177 配置以藉對一第：r拖办 而產生Μ 1 置執行映射產生器1G1之演算法 m 特性映射，該第三觀察位置相對於該第 二對應 度。 ’、置及該第-觀察位置不同之一觀察角 =察=可特定地自該第—觀察位置，以該第二觀 ❿ ❹ 料相反方向偏移。再者’該偏移可對稱圍 ，…第-觀察位置，以使得該第一觀察位置與該第二觀察 ==角度係與該第一觀察位置與該第三觀察位置 角度相同。舉例而言，在圖3中，該第二觀举位 置301係向該第—顴家仞从 該第三觀察位 _ 0该第觀察位置2〇1之右側偏移。使用 一第三觀察位置可容許所得遮蔽資料可用於以不同方向之 觀察角度偏移的-影像之解遮蔽。舉例而言，若第一觀察 位置之影像係用作一前景影I，則可產生自第二及第2 (左側及右側）觀察位置之遮蔽資料可容許中央影像被修 改’以反映觀察角度至十央視圖之左側及右側兩側。 在特定實例中，第—觀察位置與第二觀察位置間之偏移 (以及第-觀察位置與第三觀察位置間之偏移)經選擇以對 應於屬於以螢幕深度繞—物件自2。至1G。（亦包括此二值）之 區間的一觀察角度偏移。此可提供遮蔽資料，其特定適於 多數實用3D顯示應用程式’因其提供特定適於用於此應用 程式中之典型觀察角度變動的遮蔽資料。此外，藉由^制 觀察角度偏移，所產生之遮蔽資料中的具有間隙之風險 143681.doc -21- 201031177 ⑴如由别景物件中之—小漏洞所致）可得以縮減。 在圖之實例中，影像特性映射係產生用於三個對稱觀 察位置。然而將瞭解，在其他實例中，可使用二個、四個 或更多觀察位置及/或可使用非對稱觀察位置。 第影像特性映射產生器1〇3、第二影像特性映射產生 器w及第三影像特性映射產生器ι〇7係搞合至一遮蔽處理 器109 ’其接收來自該第—影像特性映射產生器而、該第 二影像特性映射產生請5及該第三影像特性映射產生器 107的影像特性映射。該遮蔽處理器1〇9然後著手分別自第 第一及第三觀察位置之三影像特性映射產生一遮蔽影 像特性映射。 在特疋實例中，該遮蔽處理器109可（例如）接收三觀察 位置之每一者的一影像及一深度映射。其然後可著手藉選 2該三影像及深度映射之每—者之值而產生—遮蔽影像及 深度映射。若—反映未處於前景處的一景多像物件之對應值 可用，則遮蔽影像特性映射之像素經選擇以不表示前景影 像物件。舉例而言，在圖3之實例中，像素可自區域3〇5之 第二觀察位置的影像特性映射及區域3〇7之第一觀察位置 的影像特性映射選擇。 特定言之，遮蔽處理器1〇9可被饋送（或已察覺）侧部觀 察位置之偏移及用於該觀察位置之虛擬相機之視圖領域。 此可用以自測視圖轉移像素至中央視圖。該處理可被認為 係對應於經由逆投射變換而未投射侧部視圖之一像素並接 著將其投射至中央視圖中。當使用平行相機時，此等方案 14368l.doc •22· 201031177 分解為與視羞成正比之一移位。 因此，可雇生-遮蔽影像特性映射，其提供比任何單— 觀察點可用者更多之非前景影像特性資訊。遮蔽資料 定產生以包含比任何單-觀察位置可用者更多的反映㈣ 景影像物件之資料。該遮蔽影像特性映射特定產生以表_ • 一給定觀察位置或角度（稱之為遮蔽觀察位置或角度）的二 視圖，並包含至少某些影像特性資料，其等自此觀察位置/ 角度由—（更多）前景影像物件遮蔽。該料料特性映射 β彳與表示遮蔽觀察位置之另-影像特性映射進行組合，以 提供該影像之一分層3D表示。 舉例而言，遮蔽影像及（第一中央觀察位置之）第—影像 可組合以提供-（混合）前景及背景層表示，其中表示一像 素物件之像素值之至少某些像素的遮蔽影像並非自第—觀 察位置可見之前景影像物件的部分。因此，在此示例中， 遮蔽觀察位置可與第一觀察位置相同。 ❹。遮蔽處理器109係轉合至-信號產生器⑴，該信號產生 心1產生包括3D資訊之-影像信號。特^言之，信號產 生器111產生一影像信號，其包括遮蔽觀察位置/角度之一 影像、，遮蔽影像、該影像之一深度映射，且視需要包括該 遮蔽影像特性映射之一遮蔽深度映射。在某些實 兄 可額外或另外包括—透明映射及遮蔽透明映射及/ 或一物件識別映射及遮蔽物件識別 映射。 亦將瞭解’針對每—影像特性通道，該影像信號可包括 多於兩層。與办 苹例而S，複數個不同層級遮蔽影像可被產 143681.doc -23- 201031177 並被包括至影像通道中。然而，儘管該遮蔽影像特性 映射係自不同觀察角度之視圖產生，所蓋生之影像信號可 包括僅用於遮蔽觀察角度之影像特性映射。 可特定產生該影像信號以使得由映射產生器⑻產生之 影像特性映射之至少—者被包括至該影像信號中，而益盆 他由該映射產生器產生之影像特性映射備包括至該影隸 號：。的破，在此等實例中’無-或至少-來自該映射產 生器之所產生影像特性映射可被包括至該影像信號中。特 定言之’該影像信號之影像可對應於就第一觀察位置產生 之如像纟中遮蔽影像提供此觀察位置之額外遮蔽資料。 包括對應影像特性映射用於其他通道。因此，該影像信 號可包括❹於-觀察角度之影像特性映射，亦即遮蔽觀 察角度對應於遮蔽影像特性映射。此觀察角度可特定係與 用以藉映射產生器10〗產生影像特性映射的觀察角度之一 相同’但非屬必要。 本方法可谷許包括遮蔽資料之一分層影像表示的一低複 雜性、低資源佔用及完全自動之產生。的確，該方法需要 無人工介入或切割平面之任何定義等。因此，可實現3D影 像資料之一有效表示的低複雜性及高品質產生。該方法進 一步谷許使用現有3D内容建立工具，藉此提供向後相容及 靈活性。 圖4繪示在該特定實例中由遮蔽處理器1〇9使用之方法。 該方法係基於移位（或移動或轉移）全部所產生之影像特性 映射（在此情形下為三不同觀察位置之映射）至相同觀察角 143681.doc •24· 201031177 度，且隨後藉由就深度層級在 映射在此觀察角度之不同影像特性 、射間選擇而產生遮蔽影像特性映射。 在步驟401中，圖4之方法共_ 轉移_至觀察:置(:其產=影像㈣^ 遮蔽觀察位置/角度。==影像特t映射)，亦即 括對應於第-觀察位置之資影像域產生以包 映射的觀察位置等同於產生用4=移位之影像特性 映射的觀察位置。特P之觀察位置之影像特性 较V 特來自側部視圖之每一像♦可 立/轉移至若未遮蔽則可見之中央視圖中之位置。’、 ^403可接續步驟4〇1，其中可決定全部觀察 i: :::否已移位/轉移/移動至共同遮蔽觀察位置 右無，則該該方法進入？牛 且 物要 進入至步驟4〇5 ,其中可選擇下一觀 位置。該方法接著轉至步驟4〇1 觀察 影像特性映射係轉移至該遮蔽觀察角度。下一觀察位置之 =此’遮蔽處理器⑽處理全部觀察位置，且對於每一 性缺位置’產生所修改影像特性映射以反映包含於影像特 、射中之資訊’但該資訊已轉移或扭曲以對廊於# 察位置。因此，，“ 抄飞狃曲以對應於遮蔽觀 旅 μ只例中，遮蔽處理器109決定此箄絲 >改影像，對應於圖像 需要)透明声及…广角度的深度映射及(視 三觀二置角：射，產生用於第-、第二及第 映射I::度映射及(視需要)透明度及影像物件 位置，亦即等效=定實例中’遮蔽位置等效於中央觀察 方即專效於第一觀察位置，且相應地，自第— 、、射產生器⑻提供之影像特性映射的移動可簡；在 143681.doc •25· 201031177 於不經任何處理或修改地保留影像特性映射。 一影像特性映射至遮蔽觀察角度之移動可特定藉由基於 不同像素之深度決定此等像素之移位而實現。此後接續任 何所得解遮蔽影像區域之歸檔。將瞭解，用於執行此觀察 角度移位之不同演算法將為熟習此項技術者所熟知及可用 之任何合適方法。

一 1 B 之一經修改第二影像產生的一實例。 ❹ 遮蔽處理器109首先產生取決於像素深度之每一像素或 影像區域的一移位向量501、5〇3。特定言之該等像素係 與其等之視差成正比移位（在實踐中，鄰接像素間之直線 可被移位或栅袼化），且因此較近（更前景）影像物件之移位 係大於較遠（更背景）影像物件5〇7之移位。 結果，不同影像區域中之;^像素（對應於不同深度處 之影像物件）將被不同移位，而導致像素之潛在疊加$ 介於不同遮蔽觀察角度處之間之間隙川。該等間隙對應 ❹ 於遵循觀察角度之解遮蔽‘ 听巧敝办像£域，且使用一合適的 解遮蔽演算法而填補。转中a 具補特疋吕之，可使用像素複製， 近似像素被複製至解遮蔽像素區域。 ” 然而，對於疊加區域509,保持兩像素值及兩深 ::=，共同觀察角度之所產生之經修改影像特性： 可包含對應於正轉移之影像特性映射之複數個像素的像2 的複數個影像特性值。輯 < 豕京的像素 拉用於π— 特疋吕之，複數個影像特性值可伴 持用於/函盍於—叠加區士 保 疊力^中之全部像素，其中原始影像特 I43681.doc -26 - 201031177 性映射之分離影像物件係移位至相同像素。 將瞭解所述方法可應用於任何或全部影像特性映射。 特定吕之，遮蔽觀察角度之影像、深度映射、透明度映射 及/或影像物件映射可使用所述方法而產生。 當全部觀察角度之影像特性映射已轉移至遮蔽觀察角度 冑，該方法進人至步驟術，其中針對遮蔽觀察角度產= 遮蔽映射。在此階段，提供-組(此情形下)三影像：性映 ㈣於每—影像特性通道，其巾全部影像純映射反映相 •肖觀察角度，亦即遮蔽觀察角度。相應地，其等可彼此直 接覆蓋，致使針對每一像素而自複數個值中選擇。遮蔽處 理器109接著著手基於相關深度值而選擇待使用值。 舉例而言，藉由自步驟彻中產生之該組影像的全部像 素值中為每-像素位置選擇一像素值而產生用於該像素 位置之-遮蔽影像。所選擇之像素值取決於儲存在步驟 4〇1中產生之該組深度映射中之像素位置的深度值。 鲁特定。之，對於每一像素位置，遮蔽處理器可著手 選擇對應於第二最前部深度值的影像特性值。因此，對於 其中王I罙度值表不相同層級之一像素位置，可選擇任何 像素此情形對應於_情形，其中全部初始觀察位置提供 相同資訊’例如其中全部觀察位置將具有相同可見前景或 背景物件。 然而，若不同觀察角度具有不同可見觀察物件，則此方 法將致使影像特性映射獲取非最前景影像物件，而係最前 景影像物件後的影像物件值，因此，遮蔽影像特性映射將 143681.doc -27· 201031177 包括可用以解遮蔽該前景影像的遮蔽資料。 舉例而言，在這筆觀察角度等同於中央/第一觀察角度 的實例中’圖6繪示一影像像素601可如何自三移位/轉移/ 移動影像603、605選擇，以使得所產生之遮蔽影像609的 對應影像像素607表示背景’而非自第一觀察位置可見的 前景。因此，將產生遮蔽影像609以包含第一影像605之額 外淥景資§il及解遮敝資料。此外，因該第一影像605及遮 蔽影像609對應於相同觀察角度，故其等表示該場景之一 分層3D表示。

將瞭解，因選擇之意圖，若深度層級間之差異係低於一 給疋值，或者此外該等深度層級可使用一相對粗略量化用 於選擇步驟，則該等深度層級可被認為係相同深度層級。 亦將瞭解，在某些實施例或情境下，遮蔽層可藉選擇一 第一、第三、第四等最前景深度層級而產生。的確，多遮 蔽層可藉重複該方法而產生，在該方法中，一不同層級係 於每一重複且由每一遮蔽層選擇。

將瞭解，在某些實例中，深度層級選擇標準可導致該組 經轉移影像之可用之複數個影像特性映射值。在此情形 :’選擇可考慮其他因素或參數。舉例而言，在移動前存 在於原始影像特性映射中之影像特性值可優先選至在移動 處理程式中已產生之影像特性值。舉例而言，—原始影 、值可優先選至已藉像素重複而產生之—影像像素值。 圖7繪示-種產生一第一影像之一遮蔽影像特性映射之 方法的-實例’其中高遮蔽影像特性映射可包括該第—影 143681.doc •28· 201031177 像中遮蔽之至少某些影像特性值。該方法使用—呈現演算 法其此夠視一觀察位置產生表示一場景之一影像的一影 像特性映射。 。亥方法啟動於步驟701，其中一第一影像特性映射係藉 對一第一觀察位置執行第一演算法而產生。 該方法持續至步驟7〇3,其中一第二影像特性映射係藉 對-第二觀察位置執行該第—演算法而產生。將瞭解步 驟7〇1及/或703可重複用於對應於進一步觀察位置之進一 步影像特性映射。 步驟705接續步驟7〇1，其中遮蔽影像特性映射係相應於 第-影像及第二影像而產生。步驟7G5可特定執行圖4之方 法。 該遮蔽影像特性映射可接著與第_影像或其他影像特性 映射組合，以提供3D影像資料之一有效表示。 將瞭解，該方法可特定執行於一處理器或—計算平臺 上，諸如（例如）參照圖丨之所述。此外將瞭解，該方法可容 許一軟體工具連同一三維模式化電腦程式使用以產生一 三維場景之一遮蔽觀察位置的一遮蔽影像特性映射。該影 像特性映射可包括自遮蔽觀察位置遮蔽之至少某些影像特 性值，且該三維模式化電腦程式包括—演算法，其配置以 產生表不s亥二維場景之一影像的一影像特性映射作為一 觀察位置之一函數。特定言之，該軟體工具係—軟體外樹 程式，用於一3D模式化電腦程式或應用程式，並可特定配 置以實施以下步驟：藉對一第一觀察位置執行該演算法， 143681.doc 29- 201031177 算法：？'像特性映射’藉對-第二觀察位置執行該演 疋—第二影像特性映射，該第二觀察位置具有相 對於該第-觀察位置之一第—偏移：及相 及該第二影像，產生遮蔽影像特性映射。 “象 將瞭解’上文之描述已參照不同功能性單元及處理器而 明確描述本發明之實施例。^明顯得知，不同功能性單 疋或處理n之間之功能性的任何合適分配可在不減損本發 障形下使用。舉例而言，將藉由分離處理器或控制器 執行的所緣示功能性可由相同處理器或控制器執行1 此’參照特定功能性單元僅可被看作為參照合適構件，1 等用於提供所述功能性，而非-嚴格邏輯或實體結構或組 織0 本發明可以包括硬體、軟體、勒體或此等之組合的任何 合適形式而實施。本發明可視需要至少部分作為運行於— 個或多個資料處理器及/或數位信號處理器上之電腦軟體 而實施。本發明<實施例的元件及元件可以任何合適方式 實體、功月Μ·生及邏輯地實施。的確，功能性可以一單—單❿ 几、複數個單元或作為其他功能性單元而實施。因而，本 發明可以一單一單元實施’或可實體及功能性地分配至不 同單元及處理器之間。 儘官本發明已連同某些實施例進行描述，然其並非受限 於本文所述之特定形式。更確切地，本發明之範疇僅受限 於附隨之請求項。此外，儘管一特徵可能看起來係連同特 定實施例而描述，然而熟習此項技術者將意識到，所述實 14368J.doc •30· 201031177 施例之多種特徵可根據本發明進行組合 語「包括」不排除其他元件或步驟之存在在^項中’術 此外，儘管已個別列出然 驟可由⑽如）一單一單元或處==件、元件或方法步 ‘特徵可包括至不同請求項中，块此實等施有了外’儘管個別 •合，且括入不同請求項中並非意指特徵/之=有利地組 /或不利。再者，-特徵括入該等請::之之組二可行及 意指此料之限制，而指示若適者，則項範脅中並非 ❹㊣他請求項範嘴。此外，請求：;之=徵同等應用於 一打特疋次序（其中該等特徵須起作用）， 一方法請求項中之個別步 ° ， 以此次序執行。更確切地，該等=意指該等步驟必須 以執行。此外，n 可以任何合適次序加 「― 「 早數參照不排除複數個。因此參照 之參照標記::二作：第二」等不排除複數個。請求項中 【圓式簡單說明】 特二：:種件根::發明之某些實施例產生-遮蔽影像 %又盗件的一實例； 圖2繪示基於_ = 圖增示基於 影像之一呈現的-實例； 圖4綠；！於—三維模式之-影像之-呈現的-實例； 察位置之⑨種根據本發明之某些實施例自對應於不同觀 -實例.讀特性映射產生-遮蔽影像特性映射的方法的 14368l.doc •31 · 201031177 圖5繪示自一觀察位置至另一觀察位置之一影像特性映 射之一移位/移動的一實例； 、 圖6繪不一種根據本發明之某些實施例自對應於不同觀 察位置之影像特性映射產生一遮蔽影像特性映射的方法的 一實例；及 圖7繪示一種根據本發明之某些實施例產生一遮蔽影像 特性映射之方法的一實例。 【主要元件符號說明】 101 映射產生器 103 105 107 109 第一影像特性映射產生器 第二影像特性映射產生器 第二影像特性映射產生器 遮蔽處理器 111 信號產生器 201 觀察位置 203 背景影像物件 205 前景影像物件 301 第一觀察位置 303 偏移 305 ' 307 309 507 509 區域 第三觀察位置 影像物件 疊加區域 間隙 143681.doc •32. 511 201031177 701 ' 703 > 705 603 、 605 607 609 影像 影像像素 遮蔽影像 步驟

143681.doc -33-

Claims (1)

1. 201031177 七、申請專利範圍： l 一種產生一三維場县 性映射的方法，遮蔽觀察位置之—遮蔽影像特 位詈μ w 像特性映射包括㈣遮蔽觀察 ，蔽之至少某些影像特性值；該方法包括： k供一演算法，甘 男像之m 八！配置以產生表示該三維場景之— 之一函數；映射’該影像特性映射為-觀察位置 參 藉對-第一觀察位置執行該演算 影像特性映射； 1 )第一 藉十第一觀察位置執行該演算法，決 影像特性映射，該第_龜奋 ）第—' 位置之一第一偏移；及 硯察 相應於該第-影像特性映射及該第二影 產生⑽)該遮蔽影像特性映射。 魏映射， 2· 2 了求項i之方法’其中決㈣遮蔽影像特性映射包 移位至少該第—影像特性映射及該第：影像特性映 射至该遮蔽觀察位置，產生（4〇1、4〇3、4〇5)_組好改 之影像特性映射；及藉㈣來自驗經修改之特 映射之對應像素之該遮蔽影像特性映射之像素的像特 性，決定（407)該遮蔽影像特性映射。 〜冢特 3· ^求項2之方法’其中介於該組經修改之影像特性映 射之該等對應像素之間之該選擇係相應於該去 之深度值。 J碼像素 143681.doc 201031177 (如請求項2之方法，其中該等對應像素之間之該選擇包 括選擇該《影料性映射之―第—像素之—影像特性 作為-耗像素之—影像特性，料應像素*具有對應 值^第像素之該等對應像素之一最前部深度之一深度 5.:請求項2之方法’其中該等對應像素之間之該選擇包 括選擇該遮蔽影料性映射之一第 作為一對應像素之-影像特性，1 =素之ϋ特性 =:像素之該等對應像素之—第二最前部深度之—深 6.如请求項2之方法，其中產生(4〇1、彻 - 改之影像特性映射之至少 。組經修 位之叠加炎梯w 者匕括產生對應於遵循該移 7如^ 之像素的減㈣像特性值。 一求項1之方法，其中藉該遮蔽影像特… 影像特性映射及該第二影 人％ 特性包括選自由《下表影像 影像光度； 夕衫像特性： 影像色彩； 影像物件識別； 透明度；及 深度。 8·如請求項1之方法，進-步包括藉由對 執行該演算法，決定一第三影二=:第三觀察位置 位置具有相對於該第一觀察位置之、射，㈣三觀察 第二偏移；且其中 143681 .doc 201031177 ==㈣影像特性映射係進—步相應於該第三影像。 9·如…8之方法，其中該第一偏移 偏移相反。 〃这弟一 10.如請求項1之方法，進— 後广妹μ 一影像信號，該影 像信號包括該遮蔽影像特性 .» ^ a 行性映射且僅包含該遮蔽觀察 位置之影像特性映射。 U.t請求項1之方法’其中該第-偏移對應於一以一螢幕 深度繞一物件自2。至in。> r- 至10之一區間的觀察角度偏移。 1 Z ·如明求項I夕古、土 I万忐，其中該遮蔽影像特性映射、該第一 影像特性映射及該第二影像特性映射係影像。 13. :?用於執行請求項1至12之任-項之方法的電腦程式 14. 一種連同—三 、式b>電腦程式使用而產生一二唯場旱 :::蔽觀察位置之-遮蔽影像特性映射的軟體= 宜此岁 抒性映射包括由该遮蔽觀察位置遮蔽之至少 二，Γ像特性值’且該三維模式化電腦程式包括一演算 特性咏經配置以產生表示該三維場景之—影像之一影像 軟體、射：該影像特性映射為-觀察位置之-函數；該 —具經配置以執行以下步驟： 藉由對—笛 如办 一 ^ 第—觀察位置執行該演算法而產生（7(H)—第 景夕像特性映射； 藉由對一望_ > 二影像特性IS觀察位置執行該演算法而產生(7〇3) 一第 察位置 、' 該第—觀察位置具有相對於該第一觀 之一第—偏移；及 143681.doc 201031177 相應於該第-影像特性映射及該第二影 產生（705)該遮蔽影像特性映射。 、映射而 15. -種產生-三維場景之—遮蔽觀 性映射的裝置，該遮蔽參傻拉… 遮蔽影像特 位置储映射包括由該遮蔽觀察 早-景4特性值，該装置包括： 構件（101)，用於提供一 生表示該三維場景之—、算法’該演算法經配置以產 觀察位置之-函數； 影像特性映射，其為— 構件（103) ’用於藉由 % 而產生-第-影像特性映射—第—觀察位置執行該演算法 構件（105)，用於藉由對 而產生-第二影像特性映射t觀察位置執行該演算法 於該第一觀察位置之壤 Μ第一觀察位置具有相對 Μ ^之—第-偏移；及 構件（109)，用於相應於該 影像特性映射而產4 影像特性映射及該第二 生该遮蔽影像特性映射。 143681.doc Q -4.