TW201436542A - 利用內容資訊改善視訊編碼的系統與方法 - Google Patents

Abstract

本發明係揭露一種利用內容資訊改善視訊編碼(video encoding)之系統與方法。一種三維(three-dimensional，3D)建模系統係產生一編碼視訊流(encoded video stream)。該系統包括：一內容引擎(content engine)、一顯像器(renderer)，以及一視訊編碼器(video encoder)。該顯像器接收來自該內容引擎之3D模型相關的資訊並產生對應的二維影像(2D(two-dimensional)images)。該視訊編碼器接收該2D影像以產生一對應的編碼視訊流。該視訊編碼器接收來自該內容引擎之內容資訊、轉換該內容資訊至編碼器控制資訊(encoder control information)，以及使用該編碼器控制資訊以控制該視訊編碼器。

Description

利用內容資訊改善視訊編碼的系統與方法

本發明大體係有關於電腦所產生之視訊，特別是指利用內容資訊以改善電腦所產生之視訊編碼。

應用在眾多消費性及專業性顯示裝置之視訊技術係由產生視訊信號之一個或多個視訊處理器所決定，特別在電子遊戲的應用上更為顯著。

納入強大的即時視訊壓縮(real-time video compression)是現代視訊處理器(video processor)常見的特徵之一。習知的視訊壓縮或視訊編碼在作法上係比較一視訊與下一視訊且僅送出訊框(frames)間的差異，若出現微幅動作，則視訊編碼尚可運作良好。例如：文字的靜態訊框可被重複而幾乎不需傳輸資料。在較大幅動作的視訊上，訊框與下一個訊框之間出現更多的像素變化，因此，視訊壓縮機制必然送出更多資料以因應較多的像素變化。

最炫目的視訊內容常常在訊框之間具有相當大程度的差異(如大量動作、爆炸等等)。傳統上需要非常強大的視訊處理架構以處理這樣的密集視訊。這樣的視訊常常挾有大量高頻率的細節，為了維持訊框的速率，視訊處理器只能減低視訊之品質或增加視訊之位元速率(bit rate)以透過 與先前訊框相同的細節水準而顯像所加入的資訊。

本發明態樣提供一種編碼視訊資料之訊框的方法。該方法包括接收一來自應用的將被編碼之視訊資料訊框，及有關該視訊資料訊框內容的一內容資訊。該方法亦包括將該內容資訊轉換至編碼器控制資訊。該方法進一步包括根據該編碼器控制資訊以改變該視訊資料訊框之編碼。

本發明另一態樣提供一種視訊編碼系統。該系統包括一編碼引擎及一轉換功能單元。該編碼引擎係接收表示一視訊資料之訊框的一信號並產生有關該視訊資料之訊框的編碼資訊。該轉換功能單元係接收表示有關該視訊資料之訊框內容的內容資訊的一信號並轉換該內容資訊至編碼器控制資訊。該轉換功能單元係進一步利用該編碼器控制資訊以控制該編碼引擎之操作。

本發明又另一態樣提供一種產生編碼視訊流的三維(3D)建模系統。該系統包括：一內容引擎、一顯像器，以及一視訊編碼器。該顯像器係接收來自該內容引擎之3D模型相關的資訊，並產生對應的二維影像(2D images)。該視訊編碼器係接收來自該顯像器之二維影像並產生一對應的編碼視訊流。該視訊編碼器係進一步組態以接收來自該內容引擎之與該二維影像相關的內容資訊，以轉換該內容資訊至編碼器控制資訊，及根據該編碼器控制資訊以控制該二維影像之編碼。

100‧‧‧遊戲系統

102‧‧‧內容引擎

104‧‧‧3D模型

106‧‧‧顯像器

108‧‧‧2D影像

110‧‧‧編碼器

112‧‧‧編碼視訊流

200‧‧‧遊戲系統

202‧‧‧內容引擎

204‧‧‧3D模型

206‧‧‧顯像器

208‧‧‧視訊資料

208‧‧‧2D訊框

208‧‧‧2D影像

210‧‧‧編碼器

212‧‧‧編碼視訊流

214‧‧‧內容資訊

300‧‧‧編碼器

302‧‧‧編碼引擎

304‧‧‧內容資訊轉換功能單元

308‧‧‧視訊框

310‧‧‧編碼器控制資訊

312‧‧‧編碼視訊流

314‧‧‧內容資訊

參考以下說明及其對應圖式，其中：圖1為一遊戲系統之方塊圖。

圖2為一根據本發明揭露之遊戲系統之方塊圖。

圖3為一根據本發明揭露之編碼器之方塊圖。

圖1是一種遊戲系統100之方塊圖。雖本發明之揭露係以遊戲系統作說明，然熟習該項技術領域之人士可充分瞭解本發明之揭露仍可用於其他製作編碼視訊流之3D建模(modeling)系統。

顯像器106係採用內容引擎102或其他應用所製作的3D模型104(或場景檔(scene file))。此內容引擎102具有視訊遊戲的影像即時處理的功能，例如處理使用者輸入/輸出、實境建模的物理引擎(physics engine)、電腦動畫、人工智慧、場景繪圖及其他功能。3D模型104可包括資訊如：幾何、景點、紋理、燈光及明暗陰影等等以描繪一虛擬情境。

顯像器106用以接收3D模型104以生成對應的二維(2D)影像108。一般來說，顯像器106係以某一速率而生成適合視訊顯示的新2D影像108。編碼器110用以接收上述2D影像108以生成一編碼視訊流112。此視訊流112適合在視訊顯示裝置立即觀賞或者將其錄製在類比式或數位式記錄媒體以利後續觀賞。

一般來說，視訊流112包括：I(框內，intraframe)訊框、P(預測，predicted)訊框及B(雙向，bidirectional)訊框。I訊框包含所有必要資料以描述單一2D影像108並作為所謂「圖像群」(group of pictures，GOP)之稱的圖像群結構之中的第一元件。I訊框與P訊框用以描述2D影像108與之前或之後的I訊框或P訊框之間的差異。

編碼器110可接收來自顯像器106之2D影像108以產生一差異訊框。此差異訊框一般來說係比較上述2D影像108與其前一視訊框而產生者。此差異訊框之產生一般來說係將上述2D影像108分成多個巨區塊(macroblocks)，其中該些巨區塊係由鄰近像素所組之具有固定大小的方形或矩形之集合體。

再將上述差異訊框轉換成適合壓縮的形式。例如：將離散式 餘弦轉換(Discrete Cosine Transform，DCT)或整數轉換(Integer Transform，IT)運用在該差異訊框以生成轉換係數或單純係數。再將該係數根據所謂量化參數(quantization parameter)或稱QP予以量化。量化限縮了上述轉換係數值自原來範圍至一較小的離散位準集合。一般來說，透過將每個係數除以QP值，QP可應用於整個影像。

該量化轉換係數接著再轉換成符號或碼字(codewords)。這種轉換一般來說係根據該量化係數之訊框序列而生之符號出現頻率。這些符號之訊框(伴隨其他資訊如QP、訊框時戳、訊框中被選定巨區塊之序列，以及其他任何在解碼時所需資訊)形成編碼視訊流112。

編碼器110內之位元率控制功能單元(rate control function)決定該QP值，一般來說將上述編碼視訊流112之平均位元率限縮在一目標值，而同時欲確保一視訊框自該編碼資料重製的適當品質(或所指定的品質)。

倘若先前訊框已用了比上述目標平均值較少的位元，則可將一較低的QP值用在後續的訊框以允許後續的訊框產生更多的位元。同理，一較高的QP值亦可提供在先前訊框已超過上述目標平均值的情況。在某些極端的情況下，編碼器可略過訊框的編碼以確保不超出該目標平均值，但這樣做法傳統上會降低解碼視訊流之品質。

當對一個或一個以上之先前訊框生成一差異訊框以偵測是否巨區塊仍大致上保留不變-而只是在該訊框內移動幾個像素時，則視訊框之編碼會額外包括巨區塊之比較。這樣做法是常用數個像素在所有方位上(例如：北、東北、東、東南、南、西南、西、西北)位移該巨區塊，同時對該先前訊框比較各個被位移之巨區塊。倘若比對沒有發現時，則該巨區塊可在各方位上位移更大的距離，並再次對該先前訊框作比較。

倘若最終比對有發現時，使用該先前訊框之巨區塊ID及該位移量與方位以生成該訊框之部分編碼。該位移量值與方位值可被稱作「動 作向量」。複數個巨區塊對應之複數個動作向量可被稱作「運動場」(motion field)。動作向量與運動場亦可用在預測後續訊框裡的動作。

上述之位元率控制功能單元亦可對動作向量搜尋來設定時間或重複限制，倘若在某限制之下未發現比對，則放棄搜尋。位元率控制功能單元用以平衡對動作估測之處理能力及差異計算，係為了達到在所欲之位元傳輸率下產生高品質的視訊流，或者是在所欲之視訊品質下產生較低的位元率視訊流。

一些視訊編碼標準只准許用在關於所實施緊接於前一訊框或後一訊框之訊框比較。其他標準則准許用在關於多個前訊框或後訊框中將編碼的影像。一般來說，處理像這些「多參考訊框」的編碼標準需要更大處理能力或編碼時間。

圖2為根據本發明揭露之遊戲系統200(或其他3D建模系統)的方塊圖。本發明之內容引擎202生成一3D模型204(或場景檔)以供本發明之顯像器206所用。該顯像器206接收該3D模型204且生成一個或多個對應之2D視訊資料之訊框208。本發明之編碼器210接收該2D訊框208(或影像)以生成一編碼視訊流212。

編碼器210亦接收來自內容引擎202之內容資訊214，該內容資訊214係關於2D影像208。根據該內容資訊214，編碼器210可改變其編碼流程，而此編碼流程如同圖1所示編碼器110之編碼流程，具有增加編碼視訊流212品質之功效及/或降低編碼視訊流212資料量之功效。因此根據本發明揭露之編碼器210在特定視訊流位元傳輸率之下可運作而生成一較佳品質之視訊影像，或者在特定之視訊影像品質之內可運作而生成一較低視訊流位元傳輸率。這樣的改良可藉由改善編碼視訊流之位元配置或改善在編碼過程中的處理器週期而予以達成。以下將以實施例更詳盡說明這樣的改良，請參考圖2及圖3。

根據本發明揭露所提出的3D建模系統，如遊戲系統200， 可以不同型式的硬體實施。對於簡易3D模型，遊戲系統200可以單處理器系統來實施。一般來說，本發明揭露所提出的3D建模系統將可實施於支援專用圖形處理之多處理器系統。這樣的多處理器系統可包括一主機處理器以控制一個或多個圖形處理單元並提供有多處理器(或多處理單元)。

在本發明的某些具體實施例中，本發明揭露所提出的3D建模系統可實現在一主從電腦結構。用戶端裝置提供視訊顯示、使用者介面功能，及或許某種高階元件的內容引擎202，同時伺服器提供其他元件的內容引擎202、顯像器204，以及編碼器206。透過一通信傳輸鏈使得該編碼視訊流212可被供送至該用戶端裝置以在用戶端裝置上顯示。

在本發明的某些具體實施例中，將伺服器設在複數個位置(如「雲端」結構或其他分散式計算環境)藉由網際網路、行動電話系統或其他網路以與用戶端相連接可用來施行一主從電腦結構。

在另些具體實施例中，伺服器可設為個人電腦(或許具有專屬的圖形處理卡或電路)以有線或無線通訊方式與平板電腦、手機，或其他可攜式計算機裝置相連接。在又些具體實施例中，平板電腦、手機，或其他可攜式計算機裝置可作為伺服器以無線傳輸方式與電視或其他大型平面顯示裝置相連接。

圖3為一根據本發明揭露之編碼器300之方塊圖。編碼器300包括編碼引擎302與內容資訊轉換功能單元304。在所示具體實施例中，編碼引擎302係接收視訊框308且係進一步組態以將該視訊框308生成一編碼視訊流312。在所示具體實施例中，內容資訊轉換功能單元304係接收關於2D影像308之內容資訊314且係進一步將所收之資訊轉換成編碼器控制資訊310。在所示具體實施例中，該編碼引擎302係根據該編碼器控制資訊310以組態編碼的實施。

根據本發明揭露之使用內容資訊編碼視訊的實施例將配合圖2的遊戲系統200和圖3之編碼器300予以說明。這些具體實施例說明 根據本發明揭露之編碼，然而熟悉本項技術之人士仍可理解其他使用未闡述於本發明之內容資訊之視訊編碼器亦落在本發明揭露所主張之保護範圍內。這些實施例可以分開或結合之任一方式予以施行。

第一實施例

內容引擎202一般來說生成顯像器206所需之參數，而這些參數包括一攝影機位置(camera location)及一投影矩陣(projection matrix)，其中該顯像器從該攝影機位置產生其2D影像，及該投影矩陣表示自3D模型映射至2D影像之幾何映射。在本發明的某些具體實施例中，攝影機位置及/或投影矩陣係包括在內容資訊314以供給內容資訊轉換功能單元304。攝影機位置及/或投影矩陣自先前值至目前值的改變可包括整個跨影像之全球動作(global motion)。3D模型元件更結合了z緩衝資訊(影像的深度座標資訊)，其中該資訊亦係包括在內容資訊314內，轉換功能單元304可計算出一「最佳推測」動作向量以編碼該影像。編碼引擎302接著可用此「最佳推測」作為一初始值在其搜尋過程以發現在訊框208內一個或以上的巨區塊之動作向量。

上述使用該初始值之搜尋過程很可能找出一可接受的影像動作區域，同時可能需要較少的處理週期以完成該搜尋。在某些情況下，使用較少的處理週期在動作估測時可降低產生編碼視訊流312所生之延遲。此外，較佳的動作區域可能造成位元率控制函數配置較少的單位訊框位元數，因此改善了在匯流排或網路上傳輸編碼視訊的整體延遲性。在其他情況下，降低在動作估測之處理週期數可允許更多處理週期用在其他編碼函數而導致取得較高品質的編碼影像。

第二實施例

z緩衝資訊對目前3D模型而言有助於整個訊框的位元配置分佈。既然人類視覺系統對於邊緣較敏感，可藉由引導編碼器鎖定在邊緣上花費較多週期與位元以獲得編碼的改善。在本發明的某些具體實施例中， 內容資訊314包括z緩衝資訊及內容資訊轉換功能單元304可藉由對所接收之z緩衝資訊實行濾波(例如：3x3拉普拉斯濾波器(Laplacian filter)或其他邊緣偵測濾波器)以偵測出邊緣。表示該偵測邊緣之資料接著可包括在編碼器控制資訊310以使編碼引擎302配置更多週期及/或位元至圍繞該偵測邊緣之影像308的區域。

據此，編碼引擎302可花費較少的處理週期及位元在編碼視訊流之非邊緣區域，即人類視覺系統較不敏感之地方。編碼引擎302可配置處理週期及位元在該訊框區域，其中這些區域之影像品質將有利於人類觀賞之改善。在觀眾不易察覺的這些品質降低之訊框區域而省下的位元及處理週期，則會被編碼引擎302所用以增加編碼影像之整體品質，或者降低編碼影像之位元數。

第三實施例

閃光與爆炸常用在視訊遊戲中。亮度斜率(luminance ramp)就是一種很好的類似效果。在本發明的某些具體實施例中，內容資訊314包括亮度斜率，以及轉換功能單元304用以辨識包含閃光或爆炸之影像308的區域且提供該區域給在編碼引擎302內之編碼器控制資訊310。

編碼引擎302可以其中之一或兩者的方式使用區域資訊。該區域資訊可為編碼引擎302所用以利配置閃光或爆炸影像在編碼時所用的位元。該區域資訊亦可另為編碼引擎302用以觸發多參考訊框評估(multiple reference frame evaluation)。比起單一參考訊框評估，多參考訊框評估需要較多處理週期且可僅對如爆炸/閃光之特殊情景保留。

第四實施例

在本發明的某些具體實施例中，內容引擎202在內容資訊314中註明視訊框的一部分將會被如文字盒(text box)、對話盒(dialog box)或其他使用者介面元件等替代內容區域所覆蓋(或合成)。轉換功能單元304可決定訊框308的區域，該區域係由替代內容所佔且在編碼器控制資訊310 中註明該區域之內涵。

編碼引擎302接著可使用該區域資訊以限制或刪除專用於包含該訊框的部分編碼所用之位元及/或處理週期，而該訊框包含了上述替代內容將封阻之內容。這樣的功效可藉由降低該替代內容區域之量化參數(QP)值，或者根據該替代內容區域而降低動作向量搜尋範圍而予以達成。

熟悉本項領域之技術人士將可理解，可以對所述之具體實施例做出其他與進一步之增減、替換及修飾。

300‧‧‧編碼器

302‧‧‧編碼引擎

304‧‧‧內容資訊轉換功能單元

308‧‧‧視訊框

310‧‧‧編碼器控制資訊

312‧‧‧編碼視訊流

314‧‧‧內容資訊

Claims (10)

1. 一種視訊編碼系統，包含：一編碼引擎係接收表示一視訊資料之訊框的一信號，並產生有關該視訊資料之訊框的編碼資訊；以及一轉換功能單元係連結該編碼引擎，且係：接收表示與該訊框的視訊資料內容相關的內容資訊的一信號，轉換該內容資訊至編碼器控制資訊，及使用該編碼器控制資訊以控制該編碼引擎之操作。
2. 如申請專利範圍第1項之視訊編碼系統，其中：該轉換功能單元係決定來自該編碼器控制資訊之一初始動作向量值；以及該編碼引擎根據該初始動作向量值係決定一動作向量。
3. 如申請專利範圍第2項之視訊編碼系統，其中：該內容資訊包含攝影機動作、投影矩陣，以及z緩衝資訊(z-buffer information)的至少其中之一；以及該轉換功能單元使用攝影機動作、投影矩陣，以及z緩衝資訊的至少其中之一決定該初始動作向量值。
4. 如申請專利範圍第1項之視訊編碼系統，其中：該轉換功能單元根據該內容資訊偵測在該視訊資料之訊框中之的邊緣；以及該編碼引擎，係配置該編碼資訊中至少一位元以及該編碼流程中的處理器週期至該視訊資料之訊框的區域，而該配置係根據該被偵測之 邊緣。
5. 如申請專利範圍第4項之視訊編碼系統，其中：該內容資訊包含z緩衝資訊；以及該轉換功能單元係對該z緩衝資訊進行過濾以偵測到該邊緣。
6. 如申請專利範圍第1項之視訊編碼系統，其中：該內容資訊包含亮度斜率資訊(luminance ramp information)；以及該轉換功能單元根據該亮度斜率資訊，係使該編碼引擎至少進行配置該編碼資訊中至少一位元與並執行該視訊資料之訊框的多參考訊框評估(multiple reference frame evaluation)其中之一。
7. 如申請專利範圍第1項之視訊編碼系統，其中：該內容資訊包含替代內容區域資訊(alternate content region information)；以及該轉換功能單元根據該替代內容區域資訊，係使該編碼引擎調整至少一量化參數值並降低一動作向量搜尋範圍。
8. 一種產生一編碼視訊流的3D建模系統，該系統包含：一內容引擎；一顯像器，連結該內容引擎且接收一來自該內容引擎之3D模型相關的資訊並產生對應的二維影像；及一視訊編碼器，連結該顯像器且係接收來自該顯像器之2D影像並產生一對應的編碼視訊流；其中該編碼器係進一步組態以接收來自該內容引擎之有關該2D影像之內容資訊、轉換該內容資訊至編碼器控制資訊，以及根據該編碼 器控制資訊以控制該2D影像之編碼。
9. 如申請專利範圍第8項之3D建模系統，其中：該內容資訊包含攝影機動作、投影矩陣，以及z緩衝資訊的至少其中之一；以及該視訊編碼器使用攝影機動作、投影矩陣，以及z緩衝資訊的至少其中之一決定一初始動作向量值；以及該視訊編碼器根據該初始動作向量值以決定一動作向量。
10. 如申請專利範圍第8項之3D建模系統，其中：該視訊編碼器根據該內容資訊，偵測在該視訊資料之訊框中之的邊緣；以及該視訊編碼器係配置該編碼資訊中至少一位元以及該編碼流程中的處理器週期至該視訊資料之訊框的區域，而該配置係根據該被偵測之邊緣。