TW201240470A - Method and device for encoding data for rendering at least one image using computer graphics and corresponding method and device for decoding - Google Patents

Description

201240470 六、發明說明： 【發明所屬之技術領域】 /本發明在於形象寫解碼器產品領域。更準確而言，本發 明係關於使用電腦圖學、編碼和解碼形象描繪用之資料。 【先前技術】 視訊寫碼演算法已研究數十年。因此，發展出許多視訊 寫碼標準，例如 MPEGd/2/4、H26h 、H264/avc。 在此等，準當中，H.264/AVC是對於從低端（例如移動應 =)到高端（例如高解像度電視（HDTV)應用）的視訊壓 縮所用，最新且最佳之速率畸變效益。 然而，所有現存形象/視訊寫碼標準，其設計都是使用 捕獲震置’諸如CMOS感測器或CCD曰曰曰片，所捕獲自缺景 觀所得圖元映圖，加以魏。以此方式鶴m料，以 下稱為自然景觀視訊（NV)。惟近年來有愈來愈多的電影， 或其他視訊應用，除了 NV之外，另加或以替代方式，把並 非捕獲自然景觀，而是描繪某些電腦圖學（CG) 效果所得内容，進行積合。由自然視訊和描繪之^腦圖學二 者之附增視訊内容，愈來愈多出現在實際應用上，諸如 遊戲器、虛擬購物、虛擬觀光城市、行動電視、廣播等。去 3D自然視訊應用來轉變成熟，預計此種組合會在世 : 更密集應用。 j

白缺赚G_4鮮6摘财法健，以組合 自然視訊和電腦圖學。原先在1995年已設置副群snh 成自然併合寫碼，在2005年MPEG之SNHC I (3D圖學寫碼)群)，開發 ：名= MPECM第二部視覺。合成視覺工具包含面和體3 jFBA)、2D和3D嚙合寫碼，以及觀視依存之可標度性。g U ’，G-4 SNHC把圖學、動畫、壓縮和流送能力J 合於一架構内，容許與（自然）聲訊和視訊積合。 、、- 在MPEG-4第11部中，BIF (景觀描述用之二元格式） 201240470 .加轉定。已設計 3D圖學、开侍以有效代表動態和互動展示，包括2D和 不同景觀組份的料。此種展示的代表包含描述 在時間織，以及使用者界定和動畫。 是利用連处宏辦’每一客體均與連流緊密聯結：此等裝紮 之展St客體描述器描述，其本身即為連流 合，得以表Ϊ杳糸更新景觀圖形之連流’有賴描述器之動態集 仟以參照實際媒體連流。 複製,If f，G72,832號記載聲訊/視訊/電腦圖學同步 容糸統和方法。視訊訊號和電腦圖學資料經壓缩和 ί； 4 ； 【發日^内3 號和電腦圖㈣料的合成形象。 (NV) ^ 是對於程序上所= 訊内容加以壓縮。尤其 琴料到=發生CG内谷，本發明擬議適用傳統式視頻 舄碼劃，W餅性技術之優點。 疋故擬„義按照申请專利範圍帛1項使用 與 ，一形象所用資料之解碼方法，以及申^圖n 使㈣腦圖學麟至少—形象所„料之編碼3圍第3項 程序驟為，把語法元素和以參數為基本的 之^所用之至少—參數，編碼人位元連流 括該該電腦圖學，該語法元素指出該部份又包 和传方法又包括步驟為’把語法元素

Uii二不同部份。在解碼方法之相 了應具體例t，雜财法X包括步料，把 °位元連流的不同部份内凹陷之係數資訊解碼1^資訊係 201240470 為決疋要用來描、纟會至少一幵彡象的至| 換，而該又一語法元素指出i不同部;區塊之可逆轉 在編碼方法又一且俨彳丨由 伤又包括該係數資訊。 一形象之地形，而該至少—泉童二電腦圖學用來描繪該至少 編碼方法或解石馬方法之兑他7^實際地形資料獲取。 請專利範圍附屬項内。 /、 ’边具體例之特點，列在申 媒體 法之士發明又_-種裝置’叫行方法請柄峨議的方 本發明亦_她蝴物⑽㈣流之儲存 所編=容方法，以組合頻譜轉換 達成大壓縮比。再者，少數參數編碼，故 視頻寫碼。 U讀錢無_合於傳統式 【實施方式】 明 神 本1明具體例如附圖所示，詳 而非限制本發明申請專利範圍所揭示内》:圍^ 置 ^發明可實施在包括相對應適用的處理機 如，本發明可實施於機上盒、電視、DVD 1/或如 ΪΓί、行動電話、個人電腦、數位靜態照相機、數=視\ 照相機、_播放機、導航系統或汽車音m 訊 本發明係關独參數為基本的程序性電顧學發生 與，，函數之過程。程序性發生例之碎形 子，表達此概而，環繞此發展此數學一碎形幾何學之全 圖學内，以創造自然呈現的2D或3D紋路，諸如大理石、 材、肌膚或樹皮，模擬特殊效果，並發生複合自然 如樹、植物品種、質粒系統、瀑布、天空或山嶺。使用以參 201240470 數為基本的程序性電腦圖學發生法，甚至可發生 實體運動。程雜技術之最大優點是，可發生只有少數= 之自然景觀’故可達成巨大壓縮比。在G Ke : Η McCable的〈城市發生用的程序性技術調查〉（Insti加e 〇f

Technology Blanchardstown Journal，14:87-130)中，概述w千 程序性技術，包含碎形學、L系統、peflin雜訊、蓋瓦系' 和分格基礎系統。

Perlin雜訊是一種平滑擬似隨機雜訊，亦稱為凝聚雜訊， L第lb _示》·如此雜訊’同樣輸人始終造成同 巧輸出，而輸入的小變化造成輸出的小變化，使得雜訊函數 靜態而平滑。只有輸入大變化才造成輸出之隨機變化，使 雜訊函數隨機而不重複。 最簡早的Perlin雜稱為數值雜訊，例如第2a圖所干， 在各整數晶格點創造擬似隨機數值，然後利用在相鄰晶^的 雜訊數值之平滑插值，評估位於中間位置之雜訊數值。 雜訊例如第2b圖所示，係改進Perlin雜訊函數，在各整數£ 格點界定擬似隨機梯度向量，而在各整數點之雜訊數值設定 於零，由相鄰晶格點的梯度向量，評估位於中間位置的雜訊 數值。Perlin雜訊使用排列表。periin雜訊載於Ken perHn的 〈形象合成器〉（Siggraph，1985，第 287-296 頁）。 為了地形合成，例如可用隨機頻譜合成法，把不同頻率 的Perlin雜訊函數組合，使地形細部之不同位準模型化。細 部的基本頻率位準，代表整體的地形起伏；而細部的至少一 較高頻率位準，代表地形幾何學的細部。然後組成Perlin雜 訊函數之系列，以發生地形高度映圖。利用基本頻率，並利 用頻率位準數目，觸發隨機頻譜合成。頻率位準通常是八音 度。地形之隨機頻譜合成，進一步利用平均地形高度、高度 權值、對各頻率位準之局度權值增益，以及利用lacunari以觸 發’lacunarity是計算各頻率位準内高度和頻率權值用之參 數。 201240470 為了描繪，把所發生地形投影在照相機位置參數（包含 照相機位置座標和照相機取向四元數〇rientati〇n quaternions)界定之虛擬投影平面上。例如第4圖所示。投 影是利用照相機投影參數觸發’諸如觀視場（fldd_〇f—view) FOVY ’係照相機的觀視場，寬高比（哪⑽―論），描述視 ®寬度W對視面局度Η之比，近面（near』lane)，係照相機 CAM之近截面；和遠面（far_plane)，係照相機CAM之遠截 面。 两所發生内谷描繪一系列形象，利用照相機運 動參數界定虛擬照相機運動，諸如照相機速度’和控制點數 目和控制點座標，界定非均勻合理B雲形（NURBS)曲線， 其上發生照相機運動。 ' 為實際地形描繪，利用一系列高度映圖，亦稱為 jdip map)，取樣所合成地形資料。各截圖具有同樣柵 寸，但採取不同的空間性解像度，例如第4圖所示。位準 之截較最精細辦’取樣具有最小空·解像度之地 =位準G之截岐最粗辦，取樣具有最大空間像 度之地形資料，較粗賴圖之韻性解像度，是其 胞點的二倍。較細位準截圖巢套於較粗位準截圖内。使用截 圖於實際姆所合成地形，是以細部驗準數，在各位 之程度，以及該同樣栅格尺寸觸發。柵格映圖 ^里11^17碰1^0咖〇和1111，11〇聊〈幾何形截圖·· 使用巢套規則性栅格之地形描繪〉（siggraph，2004)。 ，，，擬議一種可供編碼NV連同資料之寫碼架構，得 驟ΪΓίί1!1敗料性f麵學發生种構時所涉及步 CG S，’ ft種辦法。在說〇_位準，該語法包括 十—〜疋在隨後位元連流部份包括CG内容之 凡 J。’而在隨後位元連流部份包括NV内容之情況下則不^ 201240470 CG_flag 用來指二，、I ί- aw 二、：t、丄 碼位元連流或電腦圖 化方式展不。例如，

的NAL (網路抽象化層）之新型式。或者， 疋為MPEG-2位元連流内start_c〇de之新款。 在解碼器相丨丨，舌生胺rn — _

CG一category界定CG内容之類別。附選CG内 地形、海水、3D網模型等。 ‘ CG_duration一h，CG—duration一m，CG_durati〇n_S, CG— duration—ms分別界定CG内容之期限，以小時、分^、秒— 毫秒計。 CG_duration = CG_duration_h*60*60*l〇〇〇 + CG_duration m*60* 1000+CG_duration_s* 1000 + CG_duration_ms ~ CG_duration即以毫秒單位記錄。 terrain_coding_type指示重建所地形發生方法。附選方法 可為 RMF ( Ridged Multi-Fractal )、FBM ( Fractal Brown

Motion)或其他方法。 permutation一table—size界定排列表的尺寸，例如 permutation_table_szie=1024。 number_of—octave指示Perlin雜訊的八音度數目，例如 number_of_octave= 12 ° octave_parameter_2界定地形發生用之二參數。〇ctave_ parameter_l 界定 H，而 octave_parameter_2 界定 lacunarity 〇 average_height給予平均高度，即地形高度偏設值。 hight_weight_gain是局部高度權值。 201240470 base_fi*equency界定位準i的八音度基準頻率。 number—of_LOD 是細部位準（l〇d)數。 cell一size是一算格之空間性解像度。 grid_size是截圖中之柵格尺寸。 camemjrajectoiy—type ’ 〇意指照相機位置和取向儲存於 關鍵圖幅内，1意指照相機位置和取向插值是從控制點所界 定非均勻合理B-雲形（NURBS)曲線。 key一frame一time一ms ’動畫中的關鍵圖幅是界定任何平滑 過渡的起點和終點之製圖。1^_6^11^_行11祀一1115界定相對應關 鍵圖幅發生的時間。 —— … position_x，p〇〇sition_y，position z 是照相機的位置向量， 或按照camera_trajectory_type，在NURBS曲線上之控制點。 orientation_x，〇rientation__y, orientation_z，orientation w 是 照相機取向之四元數。 navigation—speed為照相機之移動速度。 number of—control_p〇ints 是 NURBS 控制點之數目。 本發明亦編碼上述參數之一或以上數值，並使用其餘參 數之預定值。即擬議各種寫碼架構，連同相對應編碼和解碼 方法和裝置’此等寫碼架構之共同特點是第一語法元素，把 關於自然視訊之位元連流部份和關於程序性發生内容之位元 連流部份微分化，以及至少第二元素，與内容之程序性發生 有關和/或描繪程序性所發生内容。 在一具體例中’合併自然視訊内容和電腦所發生程序性 地形内容之視訊碼，包括位元指示隨後位元連流之類別：過 渡性編碼之視訊位元連流，或圖學地形位元連流，其中若該 位元指示圖學地形位元連流，則隨後位元連流至少為若干下 列資訊： a_地形視訊期限資訊 b. 地形寫碼方法資訊 c. Perlin雜訊相關資訊，例如八音度數、地形發生函數 201240470 ，數、排列表尺寸、平均高度、位準1之八音度基 本頻率，和/或局部高度權值。 d. f繪用之截圖資訊，例如細部位準（L〇D)數、一 异格之空間性解像度，和/或截圖内之栅格尺寸。 e. 描繪用之照^目機資訊，又包含照相機投影參數、照 相機位置資訊、照相機取向資訊、照相機投影資 訊，和導航速度。 程序性電腦圖學可用於描繪形象之第一部份，例如背景 或天空，而形象之其餘部份係用自然視訊描繪。在另一具體 例中包括全部形象之形象序列是使用電腦按程序性發生， 並相對應編碼，其中序列又包括剩餘編碼之全部其他形象。 序列亦可包括使用程序性圖學内容只有部份描繪之形象二 在具體例中焦點在地形，因地形是最普遍的自然景觀之 一，可由程序性技術充分模型化。但本發明並不限^。凡 天空、水、植物，以及城市或群眾，亦可藉程序性發生。 【圖式簡單說明】 第la圖表示非凝聚雜訊例； 第lb圖表示凝聚雜訊例； 第2a圖表示Perlin數值雜訊例； 第2b圖表示periin梯度雜訊例； 第3圖表示細部地形模型化和描繪之位準例； 第4圖表示照相機參數例。 【主要元件符號說明】 CAM照相機 FAR 照相機遠截面 FOVY照相機觀視場 NEAR照相機近截面 Η 視窗高度 W 視窗寬度

Claims (1)

1. 201240470 七、申請專利範圍： 括解^種H電腦圖學贿至少一形象資料之解碼方法，包 ί解:位^連流之—部份，該部份包括語法元素和至少一i 為基本的程序性電腦圖學發生法之用，以ί“ 補部份又包括該至少—參數者。 π 5月專利範圍第1項之方法，又包括解碼該位元連流 部份，該不同部份包括又—語法元素和係數資訊，供決 匕法至二象的至少'圖元區塊之可逆轉換，^又 Ή素指不該不同部份又包括該係數資訊者。 括把；種圖ΐ描繪至少—形象資料之編碼方法，包 圖與二、二參數，係供以參數為基本的程序性電腦 Λβ/Γ ' ’以發生該電腦圖學，編碼成位元連流之所得 私’該語法元素指示該部份又包括該至少—參數者β 和传專利|&巧3項之方法，又包括把又一語法元素 秘貞訊，係供決定要用於描搶該至少一形象的至少一圖元 二、f之If轉換，編碼成該所得位元連流之不同部份，該又一 ^法讀指示該不同部份又包括該係數資訊者。 用你利13 <4項之方法’其巾該細圖學係 形資少一形象内之地形，而該至少一參數係從真實地 如申請專利範圍第2或4項之方法，其中電腦圖學係用 ;a至少-形象之第一組件，而至少一圖元區塊係用以描繪 至少一形象之不同的第二組件者。 ,7备如申請專利範圍第6項之方法，其中至少一形象包括第 =和不同的第二形象，該第一組件即包括該第一形象，而 該第二組件即包括該第二形象者。 一，8.如申請專利範圍第6項之方法其中至少一形象包括第 立幵〔象，不同的第二形象’該第一組件即包括該第一形象之一 1和该第二形象之一部份，而該第二組件即包括該第一形象 之其餘部份和該第二形象之其餘部份者。 201240470 維产9·如/Λ專利賴第2或4項之方法，其中電腦圓學係三 、，’又至父一參數又包括照相機位置資气和昭相 訊，得以決定描緣面，在其上投影電腦==和…、相機取向負 10.如申請專利棚第9項之方法，其t至少 決照=資訊和找出來速度 描繪形象相者。 在其上投職顧學，以供 11.如申請專利範圍第1〇項之方法，1 括有舰視場、寬高比、面和遠截面之i 其中至少一參數 特二申5專利範圍第2或4項之方法 電腦圖學類別； 至少一形象之顯示期間； 程序私示器，指示要用於電腦圖學的程序性發生之程 序型式該型式可為脊形複數碎型學或碎形學布朗（Br〇wn) 運動； 發生凝聚雜訊用之參數； 細部位準數； 算格尺寸；以及 拇格尺寸者。 13. 二魏置，進行上述巾請專利範圍之-方法者。 14. 種儲存媒體，帶有位元連流，係由如申請專利範圍 第3、4或5項方法所得者。