TW448693B - Method and apparatus for increasing video frame rate - Google Patents

Description

448693 五、發明說明α) 本專利文書說明的一部份，包 如該專利和商標局專利檔案或報土 =乍權保護的資料。 者對該專利文書或該專利說明之二二所不，該著作權所有 議，但在其它方面則保留所有=的=拷貝無異 下。 者作權’不論任何狀況 背景 1. 範疇 本發明概略地說明數位影像 明葙胡鮭戚牽坩士从、a 像和視訊系統；且更明確地說 月視Λ解碼處理中的視訊圖框插入。 2. 背景說明 當以低位元率編瑪視訊资树 么" 优貝科捋，則數位視訊編碼和傳輸 統使用的視訊位元率控制裳置時常產生擷取的圖框。該 =移位可造成該視訊圖框率產生低於該感覺平順移動所 /的圖框率’例如像是每秒25—個圖框。因此’ 對该使用者來說’低位元率視訊有時看起來是愚笨可笑 的”將因可變圖框率（VF R)控制通則所傳遞的該等視訊圖 j率其固有的可變性’使該愚笨可笑性變得更加明顯。於 _低位几率傳輸的視訊中、一種描繪平順移動之方法’係 藉插=連續的編碼視訊圖框間、重新架構或綜合該解碼器 亡°亥等產生的圖框。接著，一個圖框插入的目地為以一較 问的圖框率（相較於該編碼序列）顯示該解碼的視訊，或許 以该原始的（即擷取）圖框率而不需增加編碼位元的總數。 於其匕將該視訊圖框率視為可接受的應用中，則可能藉一 較低的目標圖框率編碼，並利用該等可用以改良空間品質 圓1 448 693 五、發明說明（2) 的位元，以於該解碼器上利用圖框插入。因此，圖框插入 為一種強而有力的開機自我測試—處理技藝，用以改良感 覺上的視訊品質，並在植基於標準的視訊電話學應用中辨 別解碼的平台。 同時期的低位元率壓縮技藝，如國際電傳通訊協會-電 傳通訊標準化部份（ITU-τ)Η.263Μ推薦函H.263的ITU-T版 本2)標準，在一個可接受的視訊品質上，可在一般老舊的 電話服務（POTS)位元率（ 2 0- 24千位元/秒）上、以每秒 10-15個圖框壓縮區域公用交換格式（qCIF)視訊 一— 體服務數位網路（ISDN)位元率（84-128千位元/秒）上、一 個:接受的視訊品質上，以大約每秒丨〇 —丨5個圖框壓縮公 用乂換格式（C I F )視訊D典型地來說並不利用較高的圖框 率，因降低該空間品值將使該全面的視訊品質降低。當犧 牲品質使傳輸位元用以增加圖框的總數時，則發生咳* =降低…用一視訊解碼器所使周之不同“ 技二在;f增加編碼位元的總數下，將該ms 耠向至母秒20-30個圖框，並將該^⑽ 丰 秒20-3 0個圖框。 w化+ ¼阿至每 一種簡易的、用以增加視訊圖框率之方 圖框。該方法的-個問冑，為移動仍然以二種入重複的 插入問題中所繼有的零—次序 種類似於資料 一種簡易的方*為藉兩個可用相鄰圖 綠續的。另外 合該移位的圖框。藉將相鄰的圖框暫的線性内插法综 框，以獲得該綜合的圖框。該平均道…均給該產生的圖 導致該等移動區域模

448 69 3

為了改良該等簡易的技藝，某些方法 中該物件的移動。如可估計物件的移動，-等原始圖樞 理可利用該移動資訊、經由該插入的圖樞j j圖樞插入處 動執道。如該估計的移動相對應至該圖框物件的移 際移動，則可能獲得該產生圖框一個精確的物件的實 該等插入圖框的品質和該圖框插入處理的什。 有一部份係視該使用的特殊移動估計技藝和复^性’至少 件移動的能力而定。一般而言，該移動估叶&赭j預測物 插入就愈實際，通常犧牲了補充的計曾〜w罐，則該 的技藝中，提議數個圖框插入技藝；竇 、。亥先前 處理係利用某種型式…該產生的移動資訊和其：：的 的資sfl為根據之圖框综合所遵循的移動估計。命等處王助 的差異，在於該使用的特殊移動估計技藝和該5用作圖^ 合的補充資訊之細節中。 該等低複雜性插入技藝，絕大部份係利用植基於區塊的 移動估計技藝’類似移動補償編碼中所使用的該等技藝。 如上所述，該等技藝天生地即受限在擷取複雜型式物件移 動的能力上。為克服該等植基於區塊移動估計的限制’已 提議某些利用植基於光學流程欄位移動的技藝。植基於光 學流程攔位的技藝’在計算上係昂貴的，且發現很少用在

448 693 五、發明說明（4) 即時視訊會議應用中。為了在n該等過份簡化、植基於固 定區塊移動的插入處理”和”該等計算上難處理、植基於光 學流程的插入處理”間作一個妥協，研究者已使用了 n找到 該視訊一個三角小方格排列所形成的三角修補的移動估計 M之技藝。為了能更佳的說明變形，亦已利用了植基於影 像歪曲的技藝。該等技藝將一個圖框中的物件歪曲成該其 它圖框的形狀，以估計該等插入的圖框。 該視訊圖框插入的區域，仍維持在近幾年來該計算資源 快速改良所協助的一個活動的研究區域中。其所需要的為 一個克服該先前技藝的不足、並有效增加該視訊圖框率的 處理。 總結 下面為n —種根據一個發明、增加一個視訊圖框序列的 一視訊圖框率之方法"的一個體系。該方法包括藉引用一 個時空中間過濾器至該等兩個圖框的像素中，以於該序列 的連續圖框間至少插入一個圖框。 圖式簡單說明 從本發明下面的詳述中，將更顯見本發明的特性和優 點，其中： 圖1為本發明一個體系該系統環境之一個高階方塊圖； 圖2為例證說明本發明一個體系中該一個時空中間過濾 器使甩之圖示； 圖3為利用本發明一個體系的位元流移動資訊說明移動 補償之圖示；

448693 五、發明說明（5) 圖4和圖5為例證說明本發明一個體系的正向和逆向移動 估計之圖示； 圖6為一種根據本發明一個體系、用以增加圖框率的方 法之圖示； 圖7為根據本發明一個體系的一個狀態分斷操作、用以 將像素分類成狀態之流程圖。 詳述 於下面的說明中，將就各方面說明一種用以增加一視訊 圖框率之方法和裝置。為了闡釋的目地，將宣布特殊的數 字、系統和架構，以對本發明提供一個撤底的瞭解。然 而’對一個熟知此技藝的人來說，亦將顯見可在該特殊明 細的範圍之外實行本發明。於其它的事例中，省略或簡化 大豕所熟知的特性’以免使本發明含混不清。 本發明的一個體系，包括一個視訊圖框插入處理，可用 :原始（即未壓縮的）和壓縮視訊兩者以增加該圖框率。就 計算的複雜性和視訊品質的觀點，該處理為可縮放的，且 ，數個階段組成該處理，其中於該等階段中漸進地改良該 ^插=圖框的品質。可依該接收器處理能力的程度，使用 ，虽的階段數。以一種和"其發展如一多重階段處理（從 广，t間過濾開始）_'相合的方式提出該處理，藉使用視訊 迄中該固有的暫存冗位，循序地改良，並從該解 戒序列中估計補充的資訊。 说 為本發明一個體系該系統環境之一個高階方塊圖。 匕括—個視訊位元流來源12的傳輪端8，和一個通訊通道

448693 五、發明說明（6) *-- 耦合^該視訊位元流來源從一個活動來源丨4或一個離線 來源16獲得視訊資料信號，並將該等視訊資料信號傳輪於 該通訊通道10上。活動來源14可包括電路詳細平面圖或一 個即時產生視訊資料的裝置，如一部個人電腦（pc)，視訊 相機’附加軟體電路卡或其它用以產生和壓縮生動内容的 電子裝置。於該體系中，點型地於一使用一會議模型操作 的系統中利用該活動來源。離線來源1 6代表一個儲存媒體 上可區域存取或於一網路上（區域網路（LAN)或國際網際網 路）作存取1的一個儲存檔。於該體系中，典型地於一使用 一水流式模式操作的系統中利用該離線來源。該活動來源 和该離線來源兩者均包括一視訊編碼器丨7，用以將原始的 視訊資料編碼成一壓縮的格式。於該體系中，通訊通道丄〇 為POTS、網路、Ethernet、ISDN或區域匯流排（例如週邊 設備元件連結’工業標準架構等等）通訊能力中的一種d 一個和該通訊通道耦合之接收端1 9，為一個解碼器1 8。 該解碼器接收該等編碼的視訊資料訊號，並將該等信號解 碼成原始的或解壓縮的視訊資料信號。接著，由一個圖框 率向上取樣（F R U )功能2 0處理該等視訊資料信號。將該f r u 的該等輸出信號傳遞至一個視訊描繪器2 2中，以即時顯示 給一使用者或給檔案儲存2 4作為將來使用。選擇性地，可 將解碼器1 8的該等輸出信號直接傳遞至視訊描繪器22或檔 案儲存24，而無需圖框率向上取樣的處理。於某些體系 中，FRU 20係和解碼器18整合在一起。 本發明的體系包括用以執行FRU 20的方法和裝置。一種

^48693 五 發明說明（7) ___ f生-較高圖框率的方;去，為利用一視訊位 二和先前的解碼圖框產生一個(或多個)視訊圖框。：： 個體系包括利用時空中間過濾之圖框插人（本發明 述）。該圖框插入的目# ’為於一視訊位元流 斤 先前的解碼圖框間產生—個（或多個）視訊圖框前 似町工T门應為，將作為本發明一個體 入處理演化的基礎。不像圖框平，，一個 圖:插 可擷取該等圖框間小的移動。於其它的體.系中，；= 空中間過濾器連同移動資訊和狀態分冑，；=時 圖框的品質，雖然係利用更多的計算資源。 ^等插入 對該時空中間過濾器的支援區 【括' 圖框t該等相同空間位置上"Ν個# | U括f專目削和先前 -Ν = Μ = 3 同的數值、且在形狀上也不要求其、匕的體糸中可使用不 時，該過濾器支援的區域定義1 γ'正方=°當Ν=Μ=3 和先前的圖框中各有9個_像素。φ個像f組，該等目前 出信號，為該等18個數值的中間值。間過j慮器產生的該輪 該中間過濾器為偏差的， 因有偶數個素像，故 那一個。 回復s玄等兩個中央值中較高的 圖2為例證說明本發明—個 器使用之圖示。由該中間伯认^系中該一個時空中間過濾 值，其中由該等先前和目前：m入圖框中該-個像素 位置周圍一個3x3區域上之贫’ 1中5玄等空間相對應像素 值。該STMF擷取小的物件移"'空中間操作獲得該中間 件移動（小於該過濾'器的支援），其 4 4b b 五、發明說明（8) 中該過濾器的支援為該過濾 體系中，可增加該區域的大 6x6，7x7，8x8 等等）。將該 1 uma平面的像素值。於該體 1 uma平面中間值的圖框中、 度值，以獲得該插入圖框中 插入的1 uma值和其相對應的 之一相對應的實體物件。 利用該STMF插入的視訊序 是在尖端周圍或該等視訊圖 係因該中間操作導致該等插 然而該視訊序列的該等非插 速連續的顯示該兩種型式的 本身即為一閃爍產物.。為減 遽器至至該等非插入的圖框 上該用以執行中間過濾的區 插入圖框的像素時所使用的 該時空中間過濾器在計算 行某種移動估計型式的技藝 外’該時空中間過濾器亦減 繞’同時在保存該等端點上 入圖框間的移動為小的時， 於該過濾器支援的大小時， 且該插入的圖框將包含產物 器引用之區域大小。於替換的 小（例如增加至4x4，5X5 , 時空中間過濾器僅引用至該 系中’在該先前或目前產生該 選取該相同空間位置上該等色 該等色度平面值。此確保該等 色度值，屬於一圖框内所描述 列易於顯示一閃爍產物，特別 框中其它的不連續處。該閃爍 入圖框中平順之事實而產生， 入的圖框卻是不平順的。當快 圖框時，該平順差本身顯二其 少該閃爍，可引用—個中間過 間。於該等先前和目前的圖框 域大小，和該STMF在產生該等 個區域大小相匹配。 上比平均昂貴，但卻比該等執 來得便宜。除了擷取小的移動 > 了編碼產物，如編組和圍 比線性過濾器更佳。當該等插 該技藝非常有效。當該移動大 該時空中間無法擷取該移動， 。於該等事例中，在引用該時

Λ 4 8 6 9 3 五、發明說明（9) =中門過濾器之前，先利用其它的技藝估動係較可取 的。 移動資訊至該圖框插入處理可完成該時空中 = &性忐的改良。於說明了該等原始視訊框間該等物 人β Α之後’引用該時空中間過濾器。於下說明兩種適 σ $補償的技藝，雖然未將本發明限制在該方面。 ^ 種技藝稱為移動補償，係利用位元流移動資訊。 =:利用該等傳輸的移動向量作為從該傳送端接收到的 =^广。位^^流的—部份（因此，其僅作用於壓縮的視訊資 能闻π * —個視訊壓縮技藝，包括該等像是以Η·263+和動 i移iί小組（MPEG)標準為根據之技藝，在該編碼器上 植基於i 移動估計。該等最普遍的技藝為 二像辛:：r計；其中一個區塊包括-"8個像素 塊，la目前圖框中的每-個區塊或聚集區 者之間的—個移動向量，代表該移集： 移動向量’作為該視訊位元流的-部份丫 ： = = 量在該解碼器上重新架構視“框 /玄4編碼的移動向量產生插入的圖框。 中獲m私該目前圖框中的每一個區塊，從該位元产 框量(d)。該移動向量指定該先前圖 -鬼的位置（例如一正向移動向量）。可根據

第14頁 448 69 3 五、發明說明（10) 一預定的關聯測量 圖框間的移動軌道 框中該向量， 中的該位置而言， 插入該等目前和先 數）。 藉引用該時空中 該先前圖框中（Mx， 該位置上的該區塊 動估計未擷取之剩 而g ’由該等先前 一個單一平均數取 利用位元流移動資 於該體系中，對 處理’以獲得該插 等區域中無移動向 圖框中相對應空間 中那些是洞的像素 該體系中該等插 量的精確度而定。 相對應的目地，移 動補償編碼中，可 需嚴格的就該移動 的物件移動。換言 獲得該最匹配的區塊。假設該等區塊在 為線性的，則該區塊應出現在該插入圖 dXMy)所指定的位置上’就該目前圖框 其中d由d = W(N + l )給定，...n，N為 剛解碼圖框間的圖框總數（N為—正整 間過濾器至該目前圖框中的該區塊、和 M,)上的該區塊，以獲得該插入圖框中 。現在該時空中間操作補償該等區塊移 餘^移動H區塊邊界上的像素 和目月!j圖框間、cte門w + t # 士 门二間上相對應的像素的 代忒時空中間操作 诉邛圖3為一例證說明" 訊的移動補償"之圖示。 該目前圖框中所有的區塊重複該上述的 ^的圖框°該插人的圖框通常將包含該 量經過的—Μ ^ ^ L 二洞。輻平均該等目前和先前 位置上的該裳# i 寺像素’以填滿該插入圖框 〇 人ϊ ί 2品質，係視該等位元流移動向 於邊早節中，知h 相較於移動補償編碼中該 6 一般而言有一不同的目地。於移 利用移動估計減少該圖框 範圍是否實際b h W γ ^ ^ ' Λ u地相對應至該圖框中真實 之，於圖框栖Λ 拖入中，一移動估計的目地

wl 3 6 9 3 五、發明說明（11) 為估計該插入的實際物件移動。—般而言，很難同時滿足 該兩個目地。因此，滿足兩個目地不會永遠相對應至該正 確的物件移動。該編碼器上的移動估計亦偏向零移動向 量’以減少該編碼的資訊總量。此外’該等位元流移動向 量與從該目前圖框到該先前圖框的區塊相匹配（已知為正 向移動估計）。當有如閉鎖或放大/縮小的狀態時，僅正向 移動估計典型地不足以精確地估計移動。由於這些困難， 利用該等位元流移動向量，可因不佳的匹配區塊和過多的 空洞而導致插入產物。因此’亦利用一第二種插入技藝， 包括在該解碼器上該等解碼圖框上執行移動估計。 為了改良該等插入圖框的品質，除了該編碼器提供的嗜 移動估計改良夕卜，可能還需要其它的。雖然有時修改該編 碼器上的該移動估計、使適合 需要是可能的，但此並非永遠 編碼視訊圖框的接收器上實行 或是其它如該圖框率向上取樣 的執行圖框插入。該品質的改 和該解碼器上的處理能力β在 數個優點。第一 ’在該等區塊 移動向量的長度就如一符合標 動向量可致能大移動的估計， 碟的估計移動。第二，不須考 用該等零移動向量，以減少編 藉以提供一更佳的物件移動估 17玄解碼器上該等圖框插入的 可實行的。因此，可在該等 移動估計’例如該解碼器上 裝·置的接收裝置上，以更佳 5可能會犧牲計算的複雜性 3亥解媽器上執行移動估計有 的大小上沒有限制，且該等 準的編碼器。雖然較大的移 可利用較小的區塊以更精 慮該等編碼偏差（如選擇利 Β睪移動向量位元的總數）， #。通常，僅該視訊位元流

第16頁 448 693 五、發明說明（12) 中的該等正向移動向量為可用的。僅利用正向移動向量， 可因不匹配的區塊和因不四配區塊所產生的空洞而導致區 塊產物。為了克服該等正向移動估計的限制，故於本發明 的一個體系中，可在該解碼器上執行正向和逆向移動估計 兩種。 圖4和圖5為例證說明正向和逆向移動估計之圖示。如圖 4所示的正向移動估計中，藉找出該先前解碼圖框中該最 匹配的區塊’將該目前解碼圖樞中的每一個區塊指定产一 個移動向量。於該體系中’利用該等像素值間該等絕對差 的總和（SAD)作為一個錯誤測量，以執行該最匹配區塊之 一個徹底的搜尋。選取該先前圖框中該具有最小SAD的區 塊作為該最匹配的區塊。如圖5所示的逆向移動估計中， 藉找出該目前解碼圖框中該最匹配的區塊，肱外土二 瓜將忒无則解瑪 圖框中的每一個區塊指疋給一個移動向量。 > 碏役寻的策略 和用於該正向移動估計的朿略類似。 該插入圖框的架構和該上述的體系類似。缺；^ ]Λ 然而，現在利 用該正向和逆向移動估計兩種。在每一個像素上，選取= 正向或該逆向移動向量’係視該兩種估計中哪—種$ 4該 生該最小SAD而定。該選取確保在每一個德| L °十產 Λ i-' ^ 私I上利用該畏 佳的移動估計（不論正向或逆向）作為插Α & 取 ，吋止此 ®入。利用該等潠& 的移動向量，並引用如11玄先別所述體李壤取 + τ的該時空申 濾器，執行該插入。 1過 利用正向和逆向吨 質的改良玎能會犧牲計算的複雜 I =質的 取滩性和該解碼器 良。該品

443693 五、發明說明（13) 的處理能力。當限制 計處理，但卻可在如 劣的插入圖框。 該時空中間過濾器 成物件呈現模糊不清 器的大小相比時。因 移動，故不需將其引 辯識該時空中間過濾 "兩種狀態11的分斷。 區域為該視訊影像的 該分斷將該等目前和 動而產生變更的區域 閥操作至該等目前和 獲得變更和未變更區 的區域不致模糊不清 為了減少該閃爍，現 圖框中已變更的區域 述用於STMF的過濾器 如可獲得有關閉鎖 更進一步的改良該等 獲得該資訊，可將該 狀態-固定不動的 變更景物。該狀態分 的解碼圖框，該先前 了計算資源時，γ u 放大/縮小的〇略：逆向移動估 凊形下，導致一品質拙 導致該等插人』 人圓框的一個平；値。4、生 ，特別是當誃麻从 如十順。此造 該時空中間^牛的大小可和該過濾 用至不工料補償小的 3任何移動的區域中。為了

器應引用至哪此區秘P |二^域上，可執行一個 該狀態分斷的設計係植基於像素上。 部份’而無任何特別的關聯幾何學。 先前圖框中的該等區域，分割成因移 、及該等未變更的區域^藉引用一個 先前圖框間該等像素類的差異中，以 域的分類。此使未在該等圖框間移動 。該插入的視訊仍會包含一些間燦。 在引用一個中間過濾器至該等非插入 中’即已足夠。該過濾器的大小和上 大小相匹配。 、暴露背景和景物變更的資訊，則可 插入圖框的品質。於該體系中，為了 等解碼視訊圖框中的區域分割成五種 移動的，隱藏背景，暴露的背景和 斷設計利用三個解碼圖框-該目前 的解瑪圖框，和該先前到先前的圖

第18頁 448 693 五、發明說明（14) 框。利用兩個”兩種狀態（變 種狀態的分斷。於該目前和 兩種狀態''的分斷’並於該身 執行該第二個”兩種狀態''的 接著，利用該n五種狀態" 設若一景物變更，則藉重複 的圖框。藉平均該等目前和 動的像素。藉從該目前的圖 藉從該先前圖框選取，插入 先前圖框中該等空間上相對 過濾，插入移動的像素。 將該等視訊圖框的一語意 理，就物件的觀點以增加該 了該等插入圖框中的產物。 的區域之知識，包含到該移 該狀態分斷以改良移動估計 本發明的一個體系，包括 圖框間，以綜合該視訊編碼 處理。邊處理包括連續的、 從一個時空的中間過濾方法 插入處理的資訊，如位元流 動估計和植基於移動狀態的 致改良品質的插入視訊。該 塊的移動估計為根據。雖然 未變更)，，的分斷獲得該五 先^的圖樞間執行該第—個,， 分斷。到先冑的圖框間 ::斷架構該等插入的圖框。 ^ ^則的解碼圖框形成該插入 先前的圖框間，以插入固定 框中選取，插入隱藏的像素。 暴露的像素。藉從該等目前和 應的移動補償像素之時空中間 學分斷的知識併入該插入處 等插入區域的一致性。此減少 將有關隱藏的、暴露的和移動 動估計處理之中，則亦可利用 Ο 藉插入至該解碼器上的解碼 器所產生的視訊圖框”的一個 增加計算複雜性的改良階段。 開始’每一個階段利用裨益該 移動資訊、植基於解碼器的移 區域分斷。該等每一個階段導 專移動補償技藝係以植基於區 區塊移動估計對該移動產生一

第19頁 448693 五、發明說明（15) 個粗略的概算，但 技藝便宜。利用一 改良的移動估計。 移動估計、及使用 以更進一步擴展該 它在計算上卻比那些 正向和逆向區塊移動 藉併入該分斷資訊為 影像歪曲技藝補償變 處理。 更老練的移動估計 估計的組合，獲得 根據的全域/區域 形所產生的移動， 圖6為一種根據本發明一個體系、用以增加視訊圖框率 的方法之圖示。從一個解碼器（未顯示）接收解碼圖框 100。將該等解碼圖框輸入圖框率向上取樣裝置中，以 產生一個視訊位元流1 04，使具有解碼圖框的插入圖框散 佈其上。於本發明的一個體系中，經由線路i 〇 8直接將該 等解碼圖框輸入時空中間過濾器丨〇 6中。於本發明的另一 個體系中’先將該等解碼圖框輸入正向移動估計處理丨丄〇 ，逆向f動估計處理112中。解析該等移動估計處理的該 等輸出 >'料彳§號’以選取一個最佳的移動向量1 1 3 ^可根 據一預定的關聯測量選取該最佳的移動向量。經由線路 114 ’將該移動向量輸入時空中間過濾器1〇6中。於任何一 個體系中’該時空中間過濾器輸出插入圖框丨丨6，並結合 解碼圖框1 0 0以形成視訊位元流丨〇 4。於一更進一步的體系 中’將解碼圖框1 〇 〇輪入狀態分斷操作丨丨8，以將狀態資訊 提供給該移動估計操作、該時空中間過濾器和該等產生的 插入圖框11 6。此外，狀態分斷π 8提供狀態資訊給中間過 濾器1 0 1。中間過濾器（解碼圖框1 〇 〇中）在非插入圖框上操 作’以減少該產生的視訊位元流（包括解碼和插入圖框 1 0 4)中的閃爍。

第20頁 448 693 五、發明說明（16) 圖7為根據一個狀態分斷操作功能1 1 8、用以將像素分類 成狀態之流程圖。將一個目前圖框（t) 2㈣比擬成一個先前 圖框（t - 1 ) 2 0 2，以產生一第一個絕對圖框差2 〇 4。將該絕 對圖框差亦稱為△ S!)輸入二進位閥操作2 〇 6中。將該第 一個閥指示器Δ(^輸入邏輯組合操作2〇8中。以一類似的 方j，將先前圖框（t- 1 ) 202比擬成"一先前到該先前”圖框 t 〇 ,以產生一第二個絕對圖框差2 1 2。將該絕對圖 框則稱為△、)輸入二進位間操作214中。亦'將該：圖 個閥指不器△ (¾輸入邏輯組合操作2〇8中。該 Λ 了 作20δ的輸出為像素狀態分類映射216。 、Ί操 該像素狀態分類映射保存了該每—個 由移動估計功能1 1 〇、丨1 2和時空中二的狀癌、資訊Q 該像素狀態分類映射。根據表[θ L器操作ι〇β利用 或等級。 母一個像素的狀態

——一——----—_ 表I

像素狀熊 變更 未蠻t 固定不動的 移動的 隱藏的 將於表11的擬碼中，說明—個 厂厂〜 計110和逆向移動估計112的整數=1執行圖5正向移動 ___移動估計”的處理的

ϋ

五、發明說明（17) 一個體系。說明正向移動估計處理作為一個例證；對逆向 移動估計而言，在該處理中，將該等先前的luma圖框和該 等目前的luma圖框互換。

表I I 1 9 9 8英代爾公司 輸入： 1 ·先前的LUMA圖框為一個二次元的像素陣列 2. 目前的LUMA圖框為一個二次元的像素陣列 3. 區塊大小為該一個區塊大小的一個整數值 4. 圖框高度為該圖框高度的一個整數值 5. 圖框寬度為該圖框寬度的一個整數值 6. 搜尋區域（像素）為該搜尋區域的像素大小的一個整數 值 輸出： 1. 移動向量為一個二次元的移動向量陣列 2. 絕對差的總和為一個二次元的絕對差總和的陣列 開始 從圖框高度、圖框寬度和區塊大小計算該區塊列和行的 總數。 由每一邊上的區塊大小像素、藉著重複該等端上的像 素，擴展該先前LUMA圖框的邊界。 對每一個在該目前L U Μ A圖框之區塊[i，j ]中的區塊大小 X循環

第22頁 448 69 3 五、發明說明（18) 絕對差的最小總和=最大整數 計算絕對差的總和。 如目前絕對差的總和 <(小於）絕對差的最小總和，則 絕對差的最小總和=目前絕對差的總和。 計算線性移動向量，並儲存於移動向量[i，j ]中。 結束如果 結束循環 結束_______ 當該等移動向量對正向移動估計和逆向移動估計兩者為已 知的時，則選取該最佳的移動向量，引用該時空中間過濾 器且填滿該插入圖框中的空洞。表I I I說明一個於擬碼中 執行該等操作的體系。

表I I I 1 9 9 8英代爾公司 輸入：

第23頁 448 69 3 五、發明說明（19) 9.圖框寬度為該圖框寬度的一個整數值 輸出‘· 1.插入圖框（Y ,Cr，〇1))為111111&和色度值的陣列 開始 對每一個在該插入圖框之區塊中的區塊大小χ循環 對該區塊循環中的每一個像素 事例’像素狀態在狀態分類映射中： "移動”： 如移動向量存在（存在逆向，正向或兩者中），則 利用該絕對差的最小總和，從逆向移動向量陣列和 移動向量陣列中選取移動向量。 利用該先前圖框Υ陣列和兮曰Αν咏 子Ν和s亥目刖圖框γ陣列中像素上 3X3視窗’執行時空中間過據器。 # ι的 將中間值指定給插入圖框γ陣列中的像素。 選取Cr，Cb值作為中間luma的候補值。 將選取的Cr，Cb指定給插入 否則 疋σ插入圖框Cr，Cb陣列中的像素。 將插入圖框Y陣列中的像夸扣〜仏/止 ,m + 豕京L定給（先W圖框Y陣列傻夸+ 目前圖框Y陣列像素）/2。 口瓜！ r平幻像I + 將插入圖框Cr陣列中的像辛沪宁f * I知疋給（先前圖框Cr陣列傻 素+目前圖框Cr陣列像素）/2。 平〜像 將插入圖框C b陣列中的像音^ 界I扣疋給（先前圖框Cb陣列傻 素+目前圖框C b陣列像素）/ 2。 結束如果

苐24頁 48 69 3

圖框Y陣列中的 五、發明說明（20) 固定不動的 暴露的"： 將插入圖框Y陣列 像素。 將插入圖框Cr陣列 的像素。 中的像 素指疋給先前圖框Cr陣列中 將插入圖框Cb陣列中的像 ^ 的像素。 、a疋給先前圖框Cb陣列中 ”隱藏的”： 將插入圖框Y陣列中的像素 像素。 如疋給目前圖框Y陣列中的 疋給目前圖框Cr陣列中 定給目前圖框Cb陣列中 將插入圖框Cr陣列中的像 的像素。 ' 將插入圖框Cb陣列中的像素 的像素。 ”才 結束事例 結束循環 結束循環 結束 當已就例證說明的體系說明本發 制的意義解析該說明。對那些孰知勑从未思欲以—限 見隸屬本發明該等例證體系之不同的f =的人來說，將顯 它的體系，均存在於本發明的精趙和範•中及本發明的其

第25胃

Claims (1)

1. 4 48 693 案號 88107420 申請專利範圍

   包法 方之 率 匡 才 圖 訊視 的 列 序框 圖 訊視 個 \加 增 二3|一 種 括 圖 個二 第和 個1 第 等 玄 --口 至 器濾過 間 中 空時 個一 用 弓藉 第-和框 圖 個1 第一 的 列 序 該於 以 中 值號 信 素 像 的框 圖彳 個第 一圍 少範 至利 入專 插請 間申 框如 圖2 個 框 為框 圖 個二 第 該 中 其法 方之 項 個 的 列 序 玄 -1° 為框 圖 個。 一前 第之 該框 且圖 ，前 框目 圖該 前在 目隨 個緊 1 > 的框 列圖 序前 該先 圖 r* 第個 圍二 範第 #>和 專個 請一 申第 如的 3續 1·8^ 有 所 對 括 包 步- 進 更 法 方 之 項 入 t 41 該複 重合組框 第第。 圍等作 範該操 利在上 專括域 請包區 申，值 如器號 * 信 過素 法 方之 項 第和 個 中 空 時 該 用 弓 中 其 中框 圖 個 像 的 應 對 相 濾 過 間 空 時 該 中 其 法 方之 項 間中 空該 等有 該具 中個 框一 圖和 個 ’ 二值 第號 和信 個間 一 中 第個 1等一 第該之 圍括素 範包像 利，的 專號域 請信區 申出應 如輸對 « f 日 5^才 器上 和 個1 第 等 該 當 中 其 法 方之 項 5 第 圍 。範 素利 像專 的請 值申 號如 士 |°· il 6 間 數 0 。 為個 數一 總那 素的 像高 的較 中中 域值 區央 應中 對個 相兩 上該 間為 空值 等號 該信 中間 框中 圖該 個則 二， 第時 二該 第的 和域 個區 一等 第該 等將 該並 至， 器中 渡值 過號 間信 中素 項 δ空像 第時的 圍該面 範用平 利引na 專括 u 請包一 申，的 如器框 ?.遽圖 間 空 時 該 用 ^7 其 法 方之 的 中 框 圖入， 插第 該圍 給範 定争 指專 值請 號申 信如 間‘ 8 中 法 方之 項 素 像 個 個1從括 包 步1進 更

   448693 _案號 88107420_年 />月上7 a__ 六、申請專利範圍 色度平面令獲得一個信號值，給具有該中間信號值的該像 素，並將該色度信號值指定給該插入圖框中的該像素。 9.如申請專利範圍第1項之方法，更進一步包括： 於該等第一個和第二個圖框中判定一第一組已變更的 區域，其中係因該等第一個和第二個圖框中所描繪的物件 移動而產生變更，並於該等第一個和第二個圖框中判定一 第二组未變更的區域；及 引用該時空中間過濾器至該第一組區域上。 1 0.如申請專利範圍第9項之方法，其中判定該苐一組區 域，包括引用一個閥操作至該等第一個和第二個圖框的相 對應像素間之像素類的差中。 1 1 . 一種增加一個視訊圖框序列的視訊圖框率之方法， 包括： 藉引用移動補償、並利用接收的移動向量作為該序列 的一部份，以判定該視訊圖框序列的區塊中物件的移動； 及 藉引用一時空中間過濾器至該等第一個和第二個圊框 中該移動補償所判定之最匹配區塊的像素中，以於一第一 個圖框和一第二個圖框間至少產生一個插入圖框的一個區 塊。 1 2.如申請專利範圍第1 1項之方法，更進一步包括，對 該區塊一個邊界上的像素，將該等第一個和第二個圖框中 空間上相對應的像素平均。 1 3.如申請專利範圍第1 1項之方法，對該插入圖框中無 移動向量經過的像素區域，將該等第一個和第二個圖框中

   448693 修正 案號 88107420 々、申請專利範圍 i丨二 個視訊圖框序列的視 該等相同空間位置上的像 1 4 . 一種於一個解碼器 訊圖框率之方法，包括： 藉引用移動補償至該爾碼器接收的該視訊圖框序列 中，以判定該視訊圖框序列中物件的移動，其中該移動補 償至少具有正向移動佑計和逆向移動估計中的一個； 根據該移動補償，從一第一個圖框的區塊到一第二個 圖框的區塊中選取移動向量；及 藉引用一時空中間過濾器至該等第一個和第二個圖框 中該等選取的移動向量所判定之最匹配的區塊中，以於該 第一個和該第二個圖框間產生至少一個插入圖框的至少一 個區塊。 1 5.如申請專利範圍第1 4項之方法，其中該移動補償包 括正向移動估計和逆向移動估計兩種。 1 6.如申請專利範圍第1 4項之方法，更進一步包括根據 一錯誤測量判定該等最匹配的區塊，其中該錯誤測量包括 該等第一個和第二個圖框中像素值絕對差的總和。 1 7.如申請專利範圍第1 6項之方法，更進一步包括當該 正向移動向量對該區塊產生一最小的絕對差總和時，則對 該區塊中的每一個像素選取一個正向移動向量。 1 8.如申請專利範圍第1 6項之方法，更進一步包括當該 逆向移動向量對該區塊產生一最小的絕對差總和時，則 對該區塊中的每一個像素選取一個逆向移動向量。 1 9.如申請專利範圍第1 4項之方法，更進一步包括： 於該等第一個和第二個圖框中判定一第一組已變更的

   O:\5S\58298.ptc

   2000. 12.28.028 448693 _案號88107420 孑/年π月曰 修正_ 六、申請專利範圍 區域，其中係因該等第一個和第二個圖框中所描繪的物件 移動而產生變更，並於該等第一個和第二個圖框中判定一 第二組未變更的區域；及 引用該時空中間過濾器至該第一组區域上。 2 〇 ,如申請專利範圍第1 9項之方法，其中判定該第一组 區域，包括引用一個閥操作至該等第一個和第二個圖框的 相對應像素間之像素類的差中。 2 1 . —種用以增加一個視訊圖框序列的視訊圖框率之裝 置，包括： 一個圖框率向上取樣裝置，藉引用一個時空中間過濾 器至該等第一個和第二個圖框的像素中，以於該序列的一 第一個圖框和一第二個圖框間插入至少一個圖框。 2 2 .如申請專利範圍第2 1項之裝置，其中該時空中間過 濾器的輸出信號，包括該等第一個和第二個圖框中該等空 間上相對應區域的像素之一個中間信號值，和一個具有該 中間信號值的像素。 2 3.如申請專利範圍第2 2項之裝置，其中當該等第一個 和第二個圖框中該等相對應區域中的像素總數為偶數時， 則該中間信號值為該兩個中央值中較高的那一個。 2 4.如申請專利範圍第2 1項之裝置，其中該圖框率向上 取樣裝置更進一步包括： 判定裝置，用以於該等苐一個和第二個圖框中判定一 第一組已變更的區域，其中係因該等第一個和第二個圖框 中所描繪的物件移動而產生變更，該裝置並於該等第一個 和第二個圖框中判定一第二組未變更的區域；及

   448693 _案號88107420 jy年月a_修正 六、申請專利範圍 區 組 - 第 該 至 器 濾 過 間 空 時 該 用 弓 以 用 置 裝 用 弓 域 專 請 申 如 置 裝 定 判 該 中 其 置 裝 之 項 4 2 第 圍 以 用 括 包 第 等 該 至 作 操 閥 個 ί 用 置 裝 之 中 差 的 類 素 像 之 間 素 像 應 。 對域 相 的區 框組 圖一 個第 二該 第定 和判 個以 裝 之 率 框 圖 訊 視 的 列 序 框 圖 訊 視 個 1 加 增 以 用 ,1?| 種 括 包 置 收列 接序 用框 圖 並訊 、視 作該 操定 償判 補以 動， 移份 用部引一 藉的 ，列 器序 償該 補為 "乍 /^1 移量 個向 一 動 移 的 作 操 器 慮 過 間 中 空 時 用 ? 藉 及器 ;^ 動過 移間 的中 件空 物時 中個 塊一 區 的 個於的 二以框 第’圖 和中入 個素插 一 像個 第的一 等塊少 該區至 至配生 器 碼 解 個\ 於 L?1 種 包 置 裝 之 率 框 圖 訊 視 的 框 .* Φ— 圖 \ 區

   tuj 歹 序 框 圖 訊 視 個\ 加 增 ^ 的 收移 接的 器件 碼物 解中 該列 至序 償匡 補圖 動訊 移視 :#該 51·'定 藉判 ，以 器， 償中 補列 動序 移框 個圖 一訊 視 該 該個 中一 其的 ， 動計 估 移 向 逆 和 JST 估 移 向 正 有 具 少 至 償 補 個 一及 一 量 從向 ，動 償移 補取 動選 移中 該塊 據區 根的 ，框 器圖 擇個 選二 量第 向一 動到 移塊 個區 一的 框 圖 作定 操判 器所 渡量 過向 間動 中移 空的 時取 一選 用等 引該 藉中 ，框 器圊 遽個 過二 間第 中和 空個 時一 個第 1等 玄 == 至

   -Hul'-U7- ^ν,·:;..Λ"11-:

   O:\58\58298.ptc 2000.12.28. 030 448693 修正 案號 88107420 六、申請專利範圍 之最匹配的區塊中，以於該第一個和該第二個圖框間產生 至少一個插入圖框的區塊。 2 8 .如申請專利範圍第2 7項之裝置，更進一步包括一個 狀態分斷過濾器，以將該等第一個和第二個圖框中的區域 分割成狀態。 2 9 . —種用以增加一個視訊圖框序列的視訊圖框率之裝 置，包括： 藉引用移動補償、並利用接收的移動向量作為該序列 的一部份，用以判定該視訊圖框序列的區塊中物件移動之 裝置；及 藉引用一時空中間過濾器至該等第一個和第二個圖框 中該移動補償所判定之最匹配區塊的像素中，用以於一第 一個圖框和一第二個圖框生至少一個插入圖框的區塊 之裝置。 _ 30. —種於一個解碼器中以增加一個視訊圖框序列 的視訊圖框率之裝置，包_夢 藉引用移動補償至該#碼器接收的該視訊圖框序列 中，用以判定該視訊圖框序列中物件移動之裝置，其中該 移動補償至少具有正向移動估計和逆向移動估計中的一 個； 根據該移動補償，用以從一第一個圖框的區塊到一苐 二個圖框的區塊中選取移動向量之裝置；及 藉引用一時空中間過濾器至該等第一個和第二個圖框 中該等選取的移動向量所判定之最匹配的區塊中，用以於 該第一個和該第二個圖框間產生至少一個插入圖框的區塊

   :\58\5S298.ptc 2000.12.28.031 448693