TWI225360B - Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, and video decoding program - Google Patents

Description

1225360 (1) 玖、發明說明 【發明所屬之技術領域】 本發明是關於動畫像編碼方法、動畫像解碼方法、動 畫像編碼裝置、動畫像解碼裝置、動畫像處理系統、動畫 像編碼程式及動畫像解碼程式。 【先前技術】 爲了執行動畫像訊號之傳送或存儲、再生，使用動畫 像訊號之編碼技術。以如此之技術而言，所知的有ITU-T Recommendation 11.263(以下，稱爲1^.263)或180/1£0 International Standard 14496-2(MPEG-4 Visual，以下稱爲 MPEG-4)等之國際標準化動畫像編碼方式。再者，以更新 的編碼方式而言，所知的有預定有ITU-T和ISO/IEC的合 同國際標準的動畫像編碼方式、ITU-T Recommendation H.264，ISO/IEC International Standard 1 4496- 1 0( Joint Final Committee Draft of Joint Video S p e c i f i c a t i ο n，以下 稱爲H.26L)。針對使欲該些動畫像編碼方式之一般性編 碼技術，例如於文獻1 (小野文孝、渡邊裕共同著作「國 際標準畫像編碼之基礎技術」，可樂那公司，1 998年3 月20日）中有記載。 動畫像訊號是連續時間性漸進變化的每一片畫像（圖 框）而所構成者，一般在該些動畫像編碼方式中，對於作 爲編碼對象而所輸入之圖框（現圖框），在與其他之圖框 (參照圖框）之間執行圖框間預測而刪減動畫像訊號中之時 -5- (2)1225360 間性的冗長度。此時，圖框間預測藉由在比和現圖框變 還小之參照圖框之間執行，則可以刪減更大冗長度並提 編碼效率。 因此，如第6圖所示般，作爲相對於現圖框a 1的 照圖框，並不是僅有比現圖框A 1時間性還前的圖框 而已，亦有使用時間性爲後的圖框A 2之情形。將使用 的圖框之情形稱爲順方向預測，將使用後的圖框之情形 爲逆方向預測。再者，此時將任意選擇或同時使用兩方 預測之情形稱爲雙方向預測。 一般而言，於使用如此之雙方向預測時，如第6圖 示之例般，時間性爲前之圖框之1個作爲順方向預測之 照圖框，再者時間性爲後之圖框之1個作爲逆方向預測 參照圖框，搶先於現圖框事先予以保持。 第7圖是針對執行第6圖所示之雙方向預測之時的 框之（a)解碼及（b)輸出所表示的圖。於例如MPEG_4之 碼中，藉由雙方向圖框間預測解碼現圖框A 1之時，首 搶先於現圖框A1之解碼，屬於比現圖框A1時間性前 圖框之1個的圖框A0，及屬於時間性爲後之圖框的1 的圖框A2，當作藉由不使用圖框間預測的圖框內預測 被解碼的圖框，或是當作藉由順方向圖框間預測而被解 之圖框而被解碼，該些是當作參照圖框而被保持。之後 現圖框A1是使用被保持的該兩個圖框AO、A2而藉由 方向預測而被解碼（第7圖（a))。 因此，於此時，時間性爲後之參照圖框A2和現圖 化 局 參 A0 前 稱 之 所 參 之 圖 解 先 的 個 而 碼 雙 框 -6 - (3) A 1的解碼時間順序是與各個的解碼畫像之輸出時間順序 成爲顛倒。並且，該些圖框之AO、Al、A2是與各輸出時 間資訊0、1、2賦予關連，隨著該資訊可以知道各圖框的 時間性前後關係。因此，各個解碼畫像是以正確順序而被 輸出（第7圖（b))。於MPEG-4中，輸出時間資訊是當作絕 對値被記載。 再者’近年來之動畫像解碼化方式是如第8圖所示 般’於如此之圖框間預測中，使成爲可以自比與現圖框之 變化小的圖框執行預測，順方向、逆方向各參照圖框不僅 使用1個，可以多數使用。於第8圖中，以對現圖框B2 的參照圖框而言，使用比現圖框B2時間性爲前之兩個圖 框BO、B1及時間性爲後的兩個圖框B3、B4的例予以表 示。 第9圖是針對執行第8圖所示之雙方向預測之時的圖 框之（a)解碼及（b)輸出所示的圖。例如，在H.26L之解碼 中’在到事先所規定之參照圖框數上限爲止的範圍可以事 先多數保持，於執行圖框間預測之時，將現圖框B2當作 雙方向預測圖框予以解碼之時，雖然首先搶先圖框B2之 解碼而解碼參照圖框，但是作爲該參照圖框，比現圖框 B2時間性爲前之圖框爲複數（例如，兩個之圖框B0、 B 1 ) ’再者時間性爲後之圖框爲多數（例如兩個圖框B3、 B 4)各被解碼，而當作圖框被保持。現圖框B2是可以自該 些圖框BO、Bl、B3、B4中任意指示使用於預測之圖框， 而執行預測（第9圖（a))。 (4) (4)1225360 因此，此時時間性爲後之多數參照圖框B 3、B 3和現 圖框B2的解碼時間順序則成爲與輸出時間之順序顛倒。 並且，該些之圖框B0〜B4是與輸出時間資訊或輸出順序 〇〜4有關連性，隨著該資訊可以知道各圖框時間性的前 後關係。因此，各個解碼畫像是以正確順序被輸出（第9 圖（b))。輸出時間資訊是當作絕對値被記載爲多。再者， 輸出順序是被使用於圖框間隔爲一定之時。 於執行藉由將時間性爲後之圖框當作預測圖框使用之 逆方向預測的解碼之時，則需要搶先於現圖框之解碼，完 成時間性爲後之圖框的解碼，可以當作預測圖框使用。此 時，於直到現圖框取得解碼畫像爲止，比起逆方向預測不 被使用之圖框之時，則產生延遲。 針對此，參照第1 0圖具體說明如下。並且，第1 0圖 是對應於第6圖及第7圖所示之例。首先，各圖框A0〜 A2之解碼化資料爲了執行圖框間預測，以所需之順序被 解碼，其間隔是被假設爲以圖框速率爲準的一定時間間 隔’再者解碼處理所需之時間是被假設爲不管是否使用圖 框間預測或不管圖框間預測之方向爲何的各圖框A0〜A2 皆可忽略（第10圖（a)。實際上，雖然各圖框A0〜A2之解 碼間隔不需要一定，藉由各圖框A0〜A2之編碼位元量變 動等之因素而引起變化，但是平均而言可以當作一定。再 者，解碼處理所需之時間雖然也不是0，但是若在各圖框 A0〜A2之間無較大之差，則在以下說明中不成問題。 在此，將在無依據執行逆方向的延遲或在與其他圖框 -8- (6) (6)1225360 此時，例如在將MPEG-4般時間性爲後之圖框的1個 當作逆方向預測之參照圖框使用的編碼中，成爲執行逆方 向預測時所需之延遲時間爲一定。例如，上述般使用3 0 圖框/秒之圖框速率時，延遲時間是成爲各圖框之時間間 隔，即是1 /3 0秒。因此，在逆方向預測未關連圖框中， 應使解碼畫像之輸出時間延遲之時間是可以設爲1/30 秒。 【發明內容】 但是近年來，計算機能力向上之同時，隨著影像服務 多樣化之進步，網際網路或移動通訊之影像配信等，容許 延遲，並且逐漸使用求取低位元之編碼的動畫像編碼。爲 了實現低位速度，使用比3 0圖框/秒還小之位速度，再者 爲了控制編碼位速度則使用圖框速率被動態變更的可變位 圖框速率。 於如此之動畫像編碼中，爲了更提高編碼效率，於使 用上述之逆方向預測之時，藉由逆方向預測之延遲時間則 不成爲如以往般之 W3 0秒。再者於使用可變圖框速率之 時，圖框速率不成爲一定。例如，於暫時使用圖框速率之 時，因在此之各圖框的時間間隔變大，故在逆方向預測未 關連圖框中，應使解碼畫像之輸出時間予以延遲之時間則 不一意地被決定。因此，無法正確處理逆方向預測未關連 圖框之解碼畫像和逆方向預測圖框之解碼畫像的輸出時間 間隔。 -10- (7) 此時，事先預估增大執行逆方向預測之時所產生之延 遲時間，經常僅該延遲時間藉由使逆方向預測未關連圖框 之解碼畫像之輸出時間延遲，亦可正確處理與逆方向預測 圖框之解碼畫像的輸出時間間隔。但是，於此時不管實際 之逆方向預測之延遲時間，而經常在解碼畫像之輸出時間 附加較大延遲。 再者，如H. 2 6L般，在逆方向預測中使用多數參照圖 框之時，則需要搶先現圖框之解碼，完成時間性爲後之圖 框的該些參照圖框所有的解碼。因爲，執行逆方向預測之 時所需之延遲時間則更加增大。 再者，此時在逆方向預測所使用之參照圖框數因比現 圖框之前被解碼，並當作比現圖框時間後之圖框的數而一 意地被決定，故到事先決定之參照圖框數上限爲止之範圍 則可以任意使參照圖框數變化。 例如，參照圖框數上限若爲4，則如第8圖所示般， 雖然在逆方向預測中所使用之參照圖框數即使爲2亦可， 但是如第1 1圖（a)所示般，即使將此當作1亦可，或是如 第1 1圖（b)所示般，即使爲3亦可。如此一來，因可以使 參照圖框數予以變化，故執行逆方向預測之時所需之延遲 時間則變化較大。藉此，則無法正確處理逆方向預測關連 圖框之解碼畫像和逆方向預測圖框之解碼畫像的輸出時間 間隔。 此時，在逆方向預測中可以使用之最大參照圖框數， 因比參照圖框數上限還大，故因應該參照圖框數上限之延 -11 - (8) (8)1225360 遲時間則成爲執行逆方向預測之時所產生之最大延遲時 間。因此，藉由經常僅該延遲時間使逆方向預測未關連圖 框之解碼畫像之輸出時間予以延遲，亦可以正確處理與逆 方向預測圖框之解碼畫像的輸出時間間隔。 但是，此時不管實際在逆方向預測圖框中所使用之參 照圖框數，經常解碼畫像之輸出時間則被附加較大之延 遲。再者，再者於使用如上述般之可變圖框速率時，即使 一意地決定最大參照圖框數，亦無法一意地決定最大延遲 時間。 如此的以往技術中，對動畫像解碼使用逆方向預測之 時，除了明顯使用固定圖框之情況外，則無法一意決定執 行逆方向預測之時所需之延遲時間。因此，無法正確處理 逆方向預測未關連圖框之解碼畫像和逆方向預測圖框之解 碼畫像的輸出時間間隔，則有不自然動畫像輸出的問題。 再者，即使在逆方向預測中使用多數參照圖框之時， 因使參照圖框予以變化，故延遲時間也產生變化。但是， 則有無法正確處理逆方向預測未關連圖框之解碼畫像和逆 方向圖框之解碼畫像的時間間隔的問題。再者，於爲了處 置此而經常假設最大延遲時間之時，則有經常在解碼畫像 之輸出時間附加較大的延遲。 本發明是爲了解決以上之問題點而被創作出者，其目 的是以提供於使用逆方向圖框間預測之時可取得適當之時 間間隔之解碼畫像輸出的動畫像編碼方法、動畫像解碼方 法、動畫像編碼裝置、動畫像解碼裝置、動畫像編碼程式 -12- (9) (9)1225360 及動畫像解碼程式。 爲了達成如此之目的，有關本發明之動畫像編碼方法 是在與另外的圖框之間執行圖框間預測的動畫像編碼方 法，其特徵爲：輸出藉由逆方向預測而所產生的最大延遲 時間。 同樣地，有關本發明之動畫像編碼裝置是在與另外的 圖框之間執行圖框間預測的動畫像編碼裝置，其特徵爲： 輸出藉由逆方向預測而所產生的最大延遲時間。 如此一來，有關本發明之動畫像編碼方法及裝置是在 將藉由連續圖框而所構成之動畫像予以編碼而輸出時，加 上編碼資料而使可輸出隨著逆方向預測之最大延遲時間。 依此，於使用逆方向圖框間預測之時，可取得適當之時間 間隔的解碼畫像輸出。 再者，有關本發明之動畫像編碼程式，是用以使電腦 實行在與另外的圖框之間執行圖框間預測之動畫像編碼的 動畫像編碼程式，其特徵爲：用以使電腦實行輸出藉由逆 方向預測而所產生之最大延遲時間的處理。 如此一來，有關本發明之動畫像編碼程式是編碼動畫 像而予以輸出時，加上編碼資料，而使電腦實行輸出最大 延遲時間之處理。依此，於使用逆方向圖框間預測之時， 可取得適當時間間隔的解碼畫像輸出。 有關本發明之動畫像解碼方法，是在與另外的圖框之 間執行圖框間預測的動畫像解碼方法，其特徵爲：輸入藉 由逆方向預測而所產生的最大延遲時間。 -13 - (10) (10)1225360 同樣地，有關本發明之動畫像解碼裝置’是在與另外 的圖框之間執行圖框間預測的動畫像解碼裝置，其特徵 爲：輸入藉由逆方向預測而所產生的最大延遲時間。 如此一來，有關本發明之動畫像解碼方法及裝置是在 將解碼所輸入之編碼資料而生成動畫像之時，加上編碼資 料，而使輸入隨著逆方向預測的最大延遲時間。依此，於 使用逆方向圖框間預測之時，可取得適當之時間間隔的解 碼畫像輸出。 再者，有關本發明之動畫像解碼程式是用以使電腦實 行在與另外的圖框之間執行圖框間預測之動畫像解碼的動 畫像解碼處理，其特徵爲：用以使電腦實行輸入藉由逆方 向預測而所產生之最大延遲時間的處理。 有關本發明之動畫像編碼程式是解碼編碼資料而生成 動畫像之時動畫像，加上編碼資料，而使電腦實行輸入最 大延遲時間之處理。依此，於使用逆方向圖框間預測之 時，可取得適當時間間隔的解碼畫像輸出。 再者，動畫像編碼方法其特徵爲：具備有輸入將成爲 編碼對象之圖框的輸入步驟；以規定之方法編碼上述圖框 的編碼步驟；和自上述圖框之顯示時間、編碼時間及藉由 逆方向預測所取得之延遲時間，來求取上述圖框之最大延 遲時間的最大延遲時間計算步驟。 同樣地，動畫像編碼裝置其特徵爲：具備有輸入將成 爲編碼對象之圖框的輸入機構；以規定之方法編碼上述圖 框的編碼機構；和自上述圖框之顯示時間、編碼時間及藉 -14- (11) (11)1225360 由逆方向預測所取得之延遲時間，來求取上述圖框之最大 延遲時間的最大延遲時間計算機構。 同樣地動畫像編碼程式其特徵爲：用以使電腦實行輸 入將成爲編碼對象之圖框的輸入處理；以規定之方法編碼 上述圖框的編碼處理；和自上述圖框之顯示時間、編碼時 間及藉由逆方向預測所取得之延遲時間，來求取上述圖框 之最大延遲時間的最大延遲時間計算處理。 如此一來，有關本發明之動畫像編碼方法、裝置及程 式，是於編碼動畫像之時，求取圖框之最大延遲時間。藉 此，於使用逆方向圖框間預測之時，可取得適當之時間間 隔的解碼畫像輸出。 再者，動畫像解碼方法其特徵爲：具備有輸入以規定 之方向而被編碼的圖框之編碼資料、包含上述圖框之解碼 時間及最大延遲時間之畫像資料的輸入步驟；解碼上述編 碼資料、生成再生畫像的解碼步驟；和根據上述解碼時間 及最大延遲時間，求取用以顯示上述圖框之輸出時間的畫 像輸出時間計算步驟。 同樣地，動畫像解碼裝置其特徵爲：具備有輸入以規 定之方向而被編碼的圖框之編碼資料、包含上述圖框之解 碼時間及最大遲時間之畫像資料的輸入機構；解碼上述編 碼資料、生成再生畫像的解碼機構；和根據上述解碼時間 及最大延遲時間，求取用以顯示上述圖框之輸出時間的畫 像輸出時間計算機構。 同樣地，動畫像解碼程式，其特徵爲：用以使電腦實 -15- (12) (12)1225360 行輸入以規定之方向而被編碼的圖框之編碼資料、包含上 述圖框之解碼時間及最大延遲時間之畫像資料的輸入處 理；解碼上述編碼資料、生成再生畫像的解碼處理；和根 據上述解碼時間及最大延遲時間，求取用以顯示上述圖框 之輸出時間的畫像輸出時間計算處理。 如此一來，有關本發明之動畫像解碼方法、裝置及程 式，是於解碼編碼資料而生成動畫像之時’根據最大延遲 時間而求取用以表示圖框的輸出時間。藉此’於使用逆方 向圖框間預測之時，可取得適當之時間間隔的解碼畫像輸 出。 於動畫像編碼方法、編碼裝置及編碼程式中，作爲被 輸出之上述最大延遲時間是將自執行逆方向圖框間預測之 圖框的發生時間起，到可以當作逆方向預測之參照圖框而 予以使用之時間性爲最後之圖框的發生時間爲止的時間差 當作最大延遲時間爲最佳。 再者，關於最大延遲時間之適用，是即使最大延遲時 間被當作適用於編碼資料全體之資訊而被輸出亦可。或是 最大延遲時間被當作適用於各圖框之資訊而被輸出亦可。 或是最大延遲時間是當作適用於被通知該最大延遲時間的 圖框及比該圖框時間性還後面之各圖框的資訊，而被任意 輸出亦可。 再者，動畫像解碼方法、解碼裝置及解碼程式中，針 對所輸入之最大延遲時間，是將上述最大延遲時間設爲無 依據執行逆方向圖框間預測的延遲及在與其他圖框之間解 -16- (13) (13)1225360 碼時間和輸出時間之順序顛倒的圖框中，解碼時間和與被 賦予與該圖框有關連之解碼畫像輸出時間的時.間差當作最 大延遲時間爲最佳。或是根據最大延遲時間而設定以後之 解碼畫像輸出時間之基準爲較佳。 再者，關於最大延遲時間之適用，即使最大延遲時間 是當作適用於編碼資料全體之資訊而被輸出亦可。或是， 最大延遲時間是當作適用於各圖框之資訊而被輸出亦可。 或是，最大延遲時間是當作適用於被通知該最大延遲時間 的圖框及比該圖框時間性還後面之各圖框的資訊，而被任 意輸出亦可。 有關本發明之動畫像處理系統是包含動畫像之編碼裝 置和解瑪裝置而所構成之動畫像處理系統，編碼裝置是由 上述之動畫像編碼裝置所構成，解碼裝置是由上述動畫像 解碼裝置所構成。 如此一來，動畫像處理系統是使用各輸出及輸入隨著 逆方向預測之最大延遲時間的動畫像編碼裝置及動畫像解 碼裝置而所構成。依此，於使用逆方向圖框間預測之時， 則可實現可取得適當時間間隔之解碼畫像輸出的動畫像處 理系統。 【實施方式】 以下，針對圖面以及本發明之動畫像編碼方法、動畫 像解碼方法、動畫像編碼裝置、動畫像解碼裝置、動畫像 編碼程式及動畫像解碼程式之最佳實施形態予以詳細說 -17- (14) (14)1225360 明。並且’於圖面說明中相同要素賦予相同符號，省略重 複說明。 首先’針對本發明中之動畫像編碼及解碼的槪略予以 說明。第1圖是表示本發明之動畫像編碼裝置、動畫像解 51裝置及動畫像處理系統之槪略構成的方塊圖。本動畫像 處理系統是具備動畫像編碼裝置1、動畫像解碼裝置2而 所構成。以下，針對動畫像編碼裝置1、動畫像解碼裝置 2及動畫像處理系統，同時該些中所實行之動畫像編碼方 法及動畫像解碼方法予以說明。 動畫像1是爲了執行動畫像之傳送、存儲或再生，將 畫像（圖框）連續構成之動畫像資料D0予以編碼，而當作 編碼資料D 1予以輸出的裝置。再者，動畫像解碼裝置2 是解碼所輸入之編碼資料D 1，而生成圖框連續所構成之 解碼後的動畫像資料D2的裝置。再者，動畫像編碼裝置 1和動畫像解碼裝置2之間因傳送編碼資料D 1等之所需 的資料，故藉由有線或無線之規定的資料傳送路而被連 接。 在動畫像編碼裝置1所進行之動畫像的編碼是如上述 般，對當作編碼對象而所輸入之動畫像資料D0的圖框’ 在與將成爲參照圖框之其他圖框之間執行圖框間預測，刪 減動畫像資料之冗長度。第1圖所示之動畫像處理系統 中，動畫像編碼裝置1是針對該圖框間預測執行來自時間 性爲後之圖框的逆方向圖框間預測。並且’該動畫像編石馬 裝置1是加上編碼資料D 1 ’而輸出藉由逆方向預測而所 -18- (15) (15)1225360 產生之最大延遲時間。 再者，對應於如此之動畫像編碼裝置1，動畫像解碼 裝置2是加上來自動畫像編碼裝置1的編碼資料D1，輸 入藉由逆方向預測而所取得之最大延遲時間。然後，一面 參照所輸入之最大延遲時間，解碼編碼資料D 1而生成動 畫像資料D2。 如此一來，對逆方向圖框間預測，若依據輸出最大延 遲時間的動畫像編碼裝置1及動畫像編碼方法、輸入最大 延遲時間的動畫像解碼裝置及動畫像解碼方法及具備該些 之裝置1、2的動畫像處理系統，則於使用逆方向圖框間 預測而執行圖框間預測之時，則可取得適當之時間間隔的 解碼畫像輸出。 在此，針對在動畫像編碼所輸出之最大延遲時間，是 可以將例如自執行逆方向圖框間預測的圖框發生時間，到 可以當作逆方向預測之參照圖框使用的時間性爲最後的發 生時間爲止的時間差當作最大延遲時間。 再者，針對在動畫像解碼中被輸入之最大延遲時間， 是可以將無依據執行逆方向圖框間預測之延遲及在與其他 圖框之間解碼時間和輸出時間之順序顛倒的圖框中，解碼 時間（以下設爲Tr)和與被賦予與該圖框有關連之解碼畫像 輸出時間（以下，設爲T0)的時間差，當作最大延遲時間 (以下設爲dpb_output_delay)。此時，根據最大之延遲時 間而設定之後的解碼畫像輸出時間之基準爲最佳。 再者，針對最大延遲時間之適用則有適用於編碼資料 -19- (16) (16)1225360 全體之/J法’再者適用於各圖框之方法。或是有適用於通 知最大延遲時間之資訊的以後各圖框，即是通知最大延遲 時間之圖框及比該圖框時間性爲後之各圖框的方法。針對 該些最大延遲時間之輸出、輸入及適用等具體說明如後 述。 對應於上述動畫像編碼裝置1中所實行之動畫像編碼 方法的處理’是可藉由用以使電腦實行動畫像編碼之動畫 像編碼程式而實現。再者，對應於動畫像解碼裝置2中所 實行之動畫像解碼方法的處理，是可藉由用以使電腦實行 動畫像解碼之動畫像解碼程式而實現。 例如’動畫像解碼裝置1是可以藉由連接動畫像編碼 之處理動作所需之記憶有各軟體程式等的ROM，和程式 實行中暫時記憶資料之RAM的CPU而所構成。於如此之 構成中，可依據藉由 CPU實行規定動畫像編碼程式，實 現動畫像編碼裝置1。 同樣地，動畫像解碼裝置2可以藉由連接動畫像解碼 之處理動作所需之記憶有各軟體程式等的ROM，和程式 實行中暫時記憶資料之RAM的CPU而所構成。於如此之 構成中，可依據藉由CPU實行規定動畫像解碼程式，實 現動畫像解碼裝置2。 再者，用以CPU使動畫像編碼或動畫像解碼之各處 理予以實行的上述程式，是可記錄於可電腦讀取之記錄媒 體而予以頒布。於如此之記錄媒體是包含有硬碟及磁碟片 等之磁氣媒體、CD _ROM及DVD-ROM等之光學媒體、磁 -20- (17) (17)1225360 氣光學媒體或是特別被配置成可實行或存儲程式指令的例 無R A Μ、R Ο Μ及半導體不揮發性記憶體等之硬體裝置 等。 以下，針對第1圖所示之動畫像編碼裝置、動畫像解 碼裝置、具備該些之動畫像處理系統及所對應之動畫像編 碼方法、動畫像解碼方法，以具體實施形態予以說明。於 以下之說明中，針對動畫像之編碼及解碼以Η· 2 6L爲主並 當作予以實現而進行說明，針對動畫像編碼中之動作’其 不做特別探討之部分則以Η. 2 6L爲基準。但是本發明並不 限定於Η . 2 6 L。 (第1實施形態） 首先，針對本發明之第1實施形態予以說明。本實施 形態是表示爲依據固定圖框速率之編碼之時的實施形態。 於本實施形態之編碼化是決定逆方向預測所使用之最大參 照圖框數，藉由該最大參照圖框數和編碼化所使用之圖框 速率算出最大延遲時間並予以輸出。再者本實施形態之解 碼是在逆方向預測未關連圖框之解碼時，將該解碼畫像之 輸出時間，僅使所輸入之最大延遲時間予以延遲。再者將 對該輸出時間之延遲時間一樣適用於之後的所有，防止逆 方向預測未關連圖框之解碼畫像和逆方向預測圖框之解碼 畫像的輸出時間間隔自原本之間隔變化。 編碼是首先在自是先決定所使用之參照圖框數上限不 超越此的範圍，決定逆方向預測所使用之最大參照圖框 -21 - (18) (18)1225360 數、接著，該也根據事先所決定之編碼所使用圖框速率， 將最大延遲時間當作因應逆方向預測所使用之最大參照圖 框數的1個或多數圖框的時間間隔而予以算出。 第2圖是針對執行雙方向預測之時的圖框之編碼一例 而所表示的圖。在此，於該第2圖中，以對於現圖框F2 之參照圖框而言，是表示使用比現圖框F2時間性爲前之 兩個圖框F0、F1，及時間性爲後之兩個圖框F3、F4的 例。 如第2圖所示般，若將逆方向預測所使用之最大參照 圖框數當作2，將圖框速率當作1 5圖框/秒時，1個圖框 之時間間隔則爲1 /1 5秒。因此，此時，最大延遲時間則 爲 2x(l/15)=2/15 秒。 編碼是控制各圖框之編碼使之後不執行爲超過最大延 遲時間之延遲時間所需的逆方向預測。具體而言，是控制 各圖框之編碼的順序使比使用於逆方向預測之參照圖框， 即是比現圖框時間性爲後之圖框，不成爲超過使用於逆方 向預測之最大參照圖框數而比現圖框先被編碼被輸出。 第3圖是表示本實施形態中所使用之動畫像編碼裝置 之構成的一例的方塊圖。第3圖所示之動畫像編碼裝置1 是具備有以規定方法編碼圖框（畫像）的編碼器1 〇，和控制 編碼裝置1之各部分動作的控制器（CPU)l 5，和被設置於 輸入端子1 a及編碼器1 〇之間的圖框記憶體i 1，和被設 置於輸出端子1 b及編碼器1 0之間的多路化器1 2。再 者’控制器1 5其機能是具有求取最大延遲時間的最大延 -22- (19) (19)1225360 遲時間計算部1 6。再者，於編碼器1 0上設置有輸出緩衝 器13。 本編碼裝置1中之動畫像編碼是藉由輸入端子1 c輸 入用以編碼影像之條件。該條件之輸入一般而言，藉由鍵 盤等之輸入裝置而選擇或輸入編碼條件。本實施形態具體 而言作爲編碼條件除了輸入將成爲編碼對象之圖框的大 小、圖框速率、位速度之外，還有該影像之預測參照構造 (是否執行逆方向預測）、當作暫時性被存儲參照圖框而使 用的圖框片數（對應於輸出緩衝1 3之容量）、使用於逆方 向預測之參照圖框的片數。該些條件即使被設定成可與時 間同時變化亦可。自輸入端子1 c所輸入之編碼條件是被 存儲於控制器1 5。 當開始編碼處理時，控制器1 5是將編碼條件送至編 碼器1 〇，設定編碼條件。另外，藉由輸入端子1 a輸入將 成爲編碼對象之圖框，經由圖框記憶體1 1而被送至編碼 器1 〇而予以編碼。於圖框記憶體1 1內因執行逆方向預測 而替換圖框之順序，故輸入圖框則暫時被存儲。例如，第 2圖所示之例中，圖框F2雖然比圖框F3、F4先自輸入端 子la被輸入，但是因比圖框F3、F4之後才被編碼，故被 暫時存儲於圖框記憶體1 1。 編碼器10是根據H.26L之算法而編碼圖框。然後， 被編碼之資料是經由多路化器1 2而予其他關連資訊多路 化而藉由輸出端子1 b而被輸出。再者，被使用於預測之 圖框是在編碼器1 〇被再生，當作用以編碼下一個圖框之 -23- (20) (20)1225360 參照圖框而被存儲於緩衝器1 3。 本實施形態是在控制器1 5之最大延遲時間計算部1 6 中，根據使用於藉由輸入端子1 c而被輸入之逆方向預測 的參照圖框片數及圖框速率，算出最大延遲時間 dpb_output_delay。然後，最大延遲時間是由多路化器1 2 被附加在編碼後之畫像資料上。再者，於各圖框之編碼資 料上是被附加配合表示用以識別此之顯示順序的識別子 (N)。 並且，當然在不執行逆方向預測時，因所用之參照圖 框片數爲〇，故dpb_output_delay値則成爲0。 於本實施形態中，爲了在編碼時輸出最大延遲時間， 再者在解碼時予以輸入最大延遲時間，故將在H. 2 6L之編 碼資料語法，設成追加通知最大延遲時間的語法。在此， 在屬於通知適用於編碼資料全體之資訊的語法的次序參數 設定（Sequence Parameter Set)中，追加新的語法。 作爲通知該最大延遲時間之語法是定義 dpb_output —delay ° 在此，dpb_output_delay 是使用與在 H.26L中被用於表示時間之其他語法的時間單位相同者， 當作以90kHz之時間單位表示最大延遲時間者。再者，將 以該時間單位所表示之數値當作利用32位元之無編碼的 固定長編碼而予以編碼並予以傳送者。例如，如上述般， 最大延遲時間爲 2 /1 5秒之時，d p b _ 〇 u t p u t _ d e 1 a y則爲 (2/1 5)x90000 = 1 2000。 解碼是解碼藉由dpb_output_delay所通知之最大延遲 -24- (21)1225360 時間，並使用此而延遲解碼之輸出時間。 第4圖是表示本實施形態中所使用之動畫像解 之構成一例的方塊圖。第4圖所示之動畫像解碼裝 具備有解碼編碼資料生成再生畫像的解碼器20， 解碼裝置2之各部分動作的控制器（CPU)25，和被 輸入端子2a及解碼器20之間的輸入緩衝器21， 置於輸出端子2b及解碼器20之間的輸出緩衝器 者，控制器2 5其機能是具有求取用以表示圖框之 間畫像輸出時間計算部26。 本解碼裝置2之動畫像解碼是藉由輸入端子 入將成爲解碼對象之資料。於該資料上被多路化有 3圖所示之編碼裝置1而被編碼的各圖框之編碼資 表示最大延遲時間dpb__output_delay、各圖框之表 的識別子（N)。 被輸入之資料是被存儲於輸入緩衝器2 1。藉 器2 5之指示，若成爲解碼之時刻，1圖框份之資 由輸入緩衝器21被輸入至解碼器20，隨著H.26L 而被解碼。如此被再生之圖框是被存儲於輸出 2 2。在輸出緩衝器2 2上之圖框是經由線路2 3而反 碼器20，並當作用以解碼下一個圖框之參照圖 用。 另外，在解碼器 20中所解碼之最大延： dpb_output_delay、圖框速率及各圖框之識別子是 至控制器2 5上。然後，控制器2 5之畫像輸出時間 碼裝置 置2是 和控制 設置於 和被設 22。再 輸出時 2a，輸 使用第 料，或 示順序 由控制 料則藉 之算法 緩衝器 饋於解 框而使 遲時間 被輸入 計算部 -25- (23) (23)1225360 dpb_output_delay而被通知。因此每輸出解碼畫像，輸出 時間僅一持該最大延遲時間。 實際上，各圖框之解碼間隔不成爲一定，藉由各圖框 之編碼位元量變動等之要因而變化。再者，各圖框之解碼 處理所需之時間是除了因應是否爲逆方向預測圖框之外， 因應各圖框之編碼位元量而變化。 因此，使輸出時間延遲之時，則如第5圖所示般，在 無依據執行逆方向預測之延遲或在與其他圖框之間解碼時 間和輸出時間的順序顛倒之逆方向預測未關連圖框F0 中，將取得解碼畫像之時間當作基準。即是，自取得該解 碼畫像之時間僅使藉由dpb_output_delay所通知之最大延 遲時間予以延遲的時間，當作與該解碼畫像關連之輸出時 間相等的時間，當作解碼畫像輸出之基準時間。以後之解 碼畫像F1〜F4之輸出是被設成於該基準時間成爲與賦予 各解碼畫像關連之輸出時期爲相同時間時予以輸出。 例如，如上述般最大延遲時間爲2/1 5秒之時，將在 逆方向預測關連圖框中自取得解碼畫像的時間僅延遲2/1 5 的時間，設爲與該解碼畫像關連之輸出時間相等時間，當 作知後之解碼畫像輸出之基準時間。 並且，因情況不同爲了簡化編碼或解碼之處理，也考 慮不通知最大延遲時間。爲了成爲如此之情況，用以通知 最大延遲時間之語法是當作比該之前通知指示有無語法的 標記，即使省略亦可。 於省略最大延遲時間之時，對於編碼例如即使作爲不 -27- (24) (24)1225360 使用逆方向預測當作是先規定亦可，或是即使當作在不超 越參照圖框數上限之範圍，可任意變動使用於逆方向預測 之參照圖框數亦可。 對於解碼，例如使與編碼之規定一致而不使用逆方向 預測，因此藉由執行逆方向預測而所需之延遲即使當作不 發生者亦可，或是在不超越參照圖框數之範圍，任意變動 使用於逆方向預測之參照圖框數，因此延遲時間即使當作 較大變動者亦可。此時，針對解碼即使是當作經常執行假 設最大延遲時間的處理亦可，或是當作容許解碼畫像之輸 出時間間隔的變動，當作執行不考慮各圖框之延遲時間的 簡化處理亦可。 本實施形態之說明雖然是以H.26L爲根基而所實現者 予以說明。但是，可適用本發明之動畫像編碼方式並不限 定於Η . 2 6 L，可適用於使用逆方向圖框間預測之各種動畫 像編碼方式。 再者，於本實施形態中，以用以通知最大延遲時間之 語法而言，雖然是當作將固定長編碼之語法追加於次序參 數設定（Sequence Parameter Set)中’但是當然用以通知此 之編碼或語法，或是用以最大延遲時間之時間單位並不限 定於此。即使使用可變長編碼來取代固定長編碼亦可，再 者，對於可通知用以適用於編碼資料全體之資料的各種語 法，可設定成予以通知者。 例如，在H. 2 6L中，即使將語法追加於輔助擴張資訊 信息（Supplemental Enhancement Information Message)中 -28- (25) (25)1225360 亦可。再者於使用其他之動畫編碼方式之時，對於該編碼 方式可以使用用以通知被適用於編碼資料全體之資訊的語 法，再者，於使用Η · 2 6 3之通訊中，如爲了通知控制資訊 而被利用之 ITU-T Recommendation Η.245般’即使當作 在動畫像編碼方式之編碼資料之外部予以通知亦可。 (第2實施形態） 接著，針對本發明之第2實施形態予以說明。本實施 形態是表示當作可變圖框速率之編碼之時的實施形態。藉 由本實施形態之編碼及解碼的動作基本上與第1實施形態 相同。於本實施形態中，由使用可變圖框速率’對於編碼 除了第1實施形態之動作外，於圖框速率下降時，動作成 可不執行超越事先所算出之最大延遲時間所需之逆方向預 測，即使在變化圖框速率之時，亦可防止逆方向預測未關 連圖框之解碼畫像和逆方向預測圖框之解碼畫像的輸出時 間間隔自原本的間隔產生變化。 對於編碼，首先所使用之參照圖框數上限是在自事先 所設定之値至不超越此之範圍，決定使用於逆方向預測之 最大參照圖框數。接著決定根據在編碼位速度之控制中所 事先預定之目標圖框速率的最大圖框時間間隔，將最大延 遲時間當作使用於逆方向預測之最大參照圖框數和因應最 大圖框時間間隔之1個或多數圖框之時間間隔而予以算 出。 於編碼中，之後是控制各圖框之編碼使可成爲不執行 -29- (26) (26)1225360 超過最大延遲時間之延遲時間所需之逆方向預測。具體而 言，即是控制各圖框之編碼順序使使用於逆方向預測之參 照圖框，即是比現圖框時間性爲後之圖框，可以不超過使 用於逆方向預測之最大參照圖框數而比現圖框早被編碼被 輸出。 再者，同時藉由編碼位速度而暫時縮小編碼圖框速 度，此時之圖框時間間隔成爲比最大圖框時間間隔大時， 則控制各圖框之編碼使在此之圖框的編碼可不使用逆方向 預測。 於本實施形態中，爲了在編碼輸出該最大延遲時間， 在解碼輸入該最大延遲時間，在編碼資料語法中，追加通 知最大延遲時間之語法dpb_output_delay，以及針對該定 義則與第1實施形態相同。 再者，本實施形態中，針對解碼是解碼藉由 dpb_output_delay而被通知的最大延遲時間，並使用此延 遲解碼畫像之輸出時間。針對該處理則與第1實施形態相 同。 (第3實施形態） 接著，針對本發明之第3實施形態予以說明。於本實 施形態中，是表示針對各圖框任意通知最大延遲時間而可 柔軟變更之時的實施形態。本實施形態之編碼及解碼中之 動作，基本上與第1實施形態或第2實施形態相同。 於本實施形態中，將在第1實施形態所定義之通知最 -30- (29) (29)1225360 n = 1，To(1)= 1/15 + 2/15 = 3/15 n=2，To(2) = 4/15 + 0 — 4/15 n 二 3，To(3)二 2/15 + 3/15 = 5/15 n= 4，To(4) = 3/15 + 3/15 = 6/15 即是，所有畫像以1 /1 5秒被輸送，一面保持一定間 隔一面被顯示於螢幕。並且，當然在不執行逆方向預測 時，因所使用之參照圖框數成爲 〇 ， 故 dpb_output_delay(n)之値則成爲 0。 最大延遲時間即使是在逆方向預測未關連圖框中自取 得解碼畫像之時間，定義解碼畫像中之基準時間者，而僅 針對逆方向預測關連圖框予以通知亦可。因此，例如用以 通知最大延遲時間之語法是當作之前通知用以指示語法有 無的標記，則即使省略亦可。即使於逆方向預測關連圖框 中任意被省略亦可，於省略最大延遲時間之通知時，若當 作適用被通知於之前的最大延遲時間者亦可。 再者，對於本實施形態中之各圖框的語法，即使當作 如第1實施形態中所定義般，與對於編碼資料全體之語法 同時被使用亦可。此時，對於各圖框之語法是如上述般當 作通知用以指示於之前是否有語法之標記，可予以省略。 在對於編碼資料全體之語法中所通知之最大延遲時間是在 對各圖框之語法中當作直到通知最大延遲時間被適用者， 藉由對於各圖框之語法被更新後，根據此而延遲的時間則 成爲之後之所有解碼畫像輸出的基準時間。 本實施形態之說明雖然是針對以H.26L爲基準而所實 -33- (31) (31)1225360 統，則於使用逆方向圖框間預測之時，可取得適當時間間 隔的解碼畫像輸出。 尤其，與以往技術不同，輸出時間並爲決定値，爲了 使用來自解碼時間Tr的相對値，即使圖框速率爲可變之 時，亦有可以較少之位元數正確記載最大延遲時間 dpb_output_delay之値，並予以傳送的效果。再者，即使 爲偏離解碼時間Tr之時，或是不被受信之時，因所對應 之畫像自解碼完成時點延遲dpb_output_delay份後被輸 出，故有畫像可以正確間隔予以輸出的優點。 【圖式簡單說明】 第1圖是表示動畫像編碼裝置、動畫像解碼裝置及動 畫像處理系統之槪略構成的方塊圖。 第2圖是針對執行雙方向預測之時的圖框編碼之一例 所表示的圖。 第3圖是表示動畫像編碼裝置之構成一例的方塊圖。 第4圖是表示動畫像解碼裝置之構成一例的方塊圖。 第5圖是針對執行第2圖所示之雙方向預測之時的圖 框之（a)解碼及（b)輸出而所表示的圖。 第6圖是針對執行雙方向預測之時的圖框之編碼所表 示的圖。 第7圖是針對執行第6圖所表示之雙方向預測之時的 圖框之（a)解碼及（b)輸出而所表示之圖。 第8圖是針對執行雙向預測之時的圖框之編碼所表示 -35- (33) (33)1225360 20 解碼器 2 1 輸入緩衝器 22 輸出緩衝器 23 線路 25 控制器 26 畫像輸出時間計算部

-37-

Claims (1)

1225360

拾、申請專利範圍 第92 1 1 8637號專利申請案 中文申請專利範圍修正本 民國93年8月20日修正 1 · 一種動畫像編碼方法，是在與另外的圖框之間執行 圖框間預測的動畫像編碼方法，其特徵爲··輸出藉由逆方 向預測而所產生的最大延遲時間。 2·—種動畫像編碼方法，其特徵爲：具備有 輸入將成爲編碼對象之圖框的輸入步驟； 以規定之方法編碼上述圖框的編碼步驟；和 自上述圖框之顯示時間、編碼時間及藉由逆方向預測 所取得之延遲時間，來求取上述圖框之最大延遲時間的最 大延遲時間計算步驟。 3. —種動畫像解碼方法，是在與另外的圖框之間執行 圖框間預測的動畫像解碼方法，其特徵爲：輸入藉由逆方 向預測而所產生的最大延遲時間。 4. 一種動畫像解碼方法，其特徵爲：具備有 輸入以規定之方向而被編碼的圖框之編碼資料、包含 上述圖框之解碼時間及最大延遲時間之畫像資料的輸入步 驟； 解碼上述編碼資料、生成再生畫像的解碼步驟；和 根據上述解碼時間及最大延遲時間’求取用以顯示上 述圖框之輸出時間的畫像輸出時間計算步驟。 5 . —種動畫像編碼裝置，是在與另外的圖框之間執行 1225360

奐貝 0 Ell 圖框間預測的動畫像編碼裝置，其特徵爲··輸出藉由逆方 向預測而所產生的最大延遲時間。 6·—種動畫像編碼裝置，其特徵爲：具備有 輸入將成爲編碼對象之圖框的輸入機構； 以規定之方法編碼上述圖框的編碼機構；和 自上述圖框之顯示時間、編碼時間及藉由逆方向預測 所取得之延遲時間，來求取上述圖框之最大延遲時間的最 大延遲時間計算機構。 7.如申請專利範圍第5項或第6項所記載之動畫像編 碼裝置，其中，上述最大延遲時間爲自執行逆方向圖框間 預測之圖框的發生時間起，到可以當作逆方向預測之參照 圖框而予以使用之時間性爲最後之圖框的發生時間爲止的 時間差。 8 .如申請專利範圍第5項或第6項所記載之動畫像編 碼裝置，其中，上述最大延遲時間是當作適用於編碼資料 全體之資訊而被輸出。 9.如申請專利範圍第5項或第6項所記載之動畫像編 碼裝置，其中，上述最大延遲時間是當作適用於各圖框之 資訊而被輸出。 1 〇.如申請專利範圍第5項或第6項所記載之動畫像 編碼裝置，其中，上述最大延遲時間是當作適用於被通知 該最大延遲時間的圖框及比該圖框時間性還後面之各圖框 的資訊，而被任意輸出。 1 1 . 一種動畫像解碼裝置，是在與另外的圖框之間執 -2 - 1225360

行圖框間預測的動畫像解碼裝置，其特徵爲：輸入藉由逆 方向預測而所產生的最大延遲時間。 12·—種動畫像解碼裝置，其特徵爲：具備有 輸入以規定之方向而被編碼的圖框之編碼資料、包含 上述圖框之解碼時間及最大遲時間之畫像資料的輸入機 構； 解碼上述編碼資料、生成再生畫像的解碼機構；和 根據上述解碼時間及最大延遲時間，求取用以顯示上 述圖框之輸出時間的畫像輸出時間計算機構。 1 3 ·如申請專利範圍第1 1項或第！ 2項所記載之動畫 解碼裝置，其中，將上述最大延遲時間設爲在無依據執行 逆方向圖框間預測的延遲及在與其他圖框之間解碼時間和 輸出時間之順序顛倒的圖框中，解碼時間和與被賦予與該 圖框有關連之解碼畫像輸出時間的時間差。 14·如申請專利範圍第11項或第12項所記載之動畫 像解碼裝置，其中，上述最大延遲時間是當作適用於編碼 資料全體之資訊而被輸出。 1 5 ·如申請專利範圍第1 1項或第1 2項所記載之動畫 像解碼裝置，其中，上述最大延遲時間是當作適用於各圖 框之資訊而被輸出。 1 6 ·如申請專利範圍第1 1項或第1 2項所記載之動畫 像解碼裝置，其中，上述最大延遲時間是當作適用於被通 知該最大延遲時間的圖框及比該圖框時間性還後面之各圖 框的資訊，而被任意輸出。 -3- 1225360 蓄正替換頁 rl8# 曰 I 1 7. —種記錄有動畫像編碼程式之電腦可讀取之媒 體，是用以使電腦實行在與另外的圖框之間執行圖框間預 測之動畫像編碼的動畫像編碼程式’其特徵爲： 用以使電腦實行輸出藉由逆方向預測而所產生之最大 延遲時間的處理。 1 8 . —種記錄有動畫像編碼程式之電腦可讀取之媒 體，其特徵爲：用以使電腦實行 輸入將成爲編碼對象之圖框的輸入處理； 以規定之方法編碼上述圖框的編碼處理；和 自上述圖框之顯示時間、編碼時間及藉由逆方向預測 所取得之延遲時間，來求取上述圖框之最大延遲時間的最 大延遲時間計算處理。 1 9. 一種記錄有動畫像解碼程式之電腦可讀取之媒 體，是用以使電腦實行在與另外的圖框之間執行圖框間預 測之動畫像解碼的動畫像解碼處理，其特徵爲： 用以使電腦實行輸入藉由逆方向預測而所產生之最大 延遲時間的處理。 20. —種記錄有動畫像解碼程式之電腦可讀取之媒 體，其特徵爲：用以使電腦實行 輸入以規定之方向而被編碼的圖框之編碼資料、包含 上述圖框之解碼時間及最大延遲時間之畫像資料的輸入處 理； 解碼上述編碼資料、生成再生畫像的解碼處理；和 根據上述解碼時間及最大延遲時間，求取用以顯示上 -4- 1225360

述圖框之輸出時間的畫像輸出時間計算處理。

-5-