TW201141240A - Video image coded data display method, device, and communications system - Google Patents

Description

201141240 六、發明說明： 【發明所屬之技術領域】 本發明係關於一種不論有線、無線，均經由現有之網路 等而被傳送之動圖像編碼資料之顯示技術，尤其係關於一 種可隱藏顯示於顯示裝置中之影像之由傳輸錯誤所引起之 畫質劣化的方法、裝置及通訊系統。 【先前技術】 近年來’伴隨高速資料通訊技術之發展，經由現有之網 路之動圖像資料等大容量資料的收發能夠以網路利用者單 位實現。然而，大容量資料之收發勢必會導致流量之增 大，因此會引起由一部分網路利用者佔有網路資源之狀 況。此種狀況使所有網路利用者享受網路資源這一點變得 困難，因此通訊業者、服務提供者等實施如下之措施，即 對每個傳輸通道施加頻帶限制，藉此不使網路資源被一部 分網路利用者佔有。 另方面伴隨數位k號處理技術之發展，為能夠經由 頻帶寬度丈到限制之傳輸通道實現更高效之資料傳輸，動 晝壓縮技術亦正被廣泛地研究。尤其，此種動畫壓縮技術 已知有 M〇ti〇n-JPEG (M〇ti〇n_J〇int ph〇t〇graphic 叫咖 Gr〇up，動晝聯合圖像專家小組）、M〇ti〇n jpEG2⑼〇、 Η264等’藉由於發送側進行每個圖像框之壓縮（編碼），另 一方面，於接收側對每個經壓縮之圖像框進行解碼，可使 動圖像顯示於監視器等中。 然而，於利用網路之動圖像傳送服務等中，由通訊品質 153397.doc 201141240 等之劣化所引起之傳輸錯誤頻繁發生。於此情形時，會產 生如下等明顯之畫質劣化，即於接收側再生之監視器影像 中產生區塊雜訊等。因此，於以下之專利文獻丨〜〗中揭示 有如下技術：即使於動圖像傳送服務中已產生傳輸錯誤之 情形時’亦藉由執行自發送側向接收侧之動圖像資料之再 發送處理、或針對未被正常地接收之動圖像資料之錯誤恢 復處理，而儘可能地防止動圖像資料再生時之畫質劣化。 先前技術文獻 專利文獻 專利文獻1 :日本專利特表2007-5 19338號公報 專利文獻2 :曰本專利特開2007-2 11 5 11號公報 專利文獻3 :日本專利特開2008-203597號公報 【發明内容】 發明所欲解決之問題 發明者等人對先前之針對動圖像編碼資料之顯示技術， 尤其係錯誤補償技術（亦稱為錯誤隱藏技術）進行研究之結 果，發現了如下之課題。即，上述專利文獻丨〜3中所記載 之技術係以即使於動圖像編碼資料之收發中已產生傳輸錯 誤之情形時，亦藉由執行再發送處理或錯誤恢復處理（錯 誤修正、利用框間預測之内插等）等圖像復原處理，而儘 可能地防止顯示於監視器中之動圖像之晝質劣化為主要目 的之技術。然而，當最終無法恢復時，變成一面伴隨晝質 劣化一面使所傳送之動圖像顯示於監視器等中之情形。因 此’監視器影像中產生區塊雜訊等之類的明顯之畫質劣化 I53397.doc

S 201141240 會被觀察者識別出。太、1 出尤其’於實際之動圖像編碼資料之收 發中’存在因產生超過其 ^ 丹j對應之範圍之資料劣化，益 法避免顯示圖像之品質劣化之課題0 … 本發明係為解決如上所述之課題而完成者，其目的在於 提供一種藉由圖像復原處理而儘可能地避免動圖像資料再 —貝为匕另方面，以不被觀察者識別出之 隱藏由傳輸錯誤所引起之海旦 》 起之顯不影像之畫質劣化的動圖像編 碼貝料之顯示方法、裝置及通訊系統。 解決問題之技術手段 、节&知於具有一定程度以上之框率之動圖像資料之 品質劣化的情形時，對於觀察者而言，較晝質本身之劣化 更難以識別出框率之下降。本發明係著眼於此種觀察者之 視覺特性而完成者，其儘可能双 此L1現面執仃再發送處 理、錯誤恢復處理等圖像指周卢 … *圖像设原處理’ -面不使觀察者識別 出所顯示之影像之書暂沈. _ 質劣化，而有效地隱藏由傳輸錯誤所 引起之資料缺損等。且辦-ί- , ^ s，本發明之通訊系統具備連 接於網路之伺服器等發送機 赞泛機構及終端裝置等接收機構， ✓、將由分別被堡縮之福翁個_ ^ 錢個®像框之編碼資料構成並經由 特定之傳輸機構傳送的動圖後迫 7勃圖像編碼資料作為處理對象。尤 其’由接收機構所進行之鞀千古 仃之顯不方法（本發明之動圖像編碼 資料之顯示方法）包括：依吹拄 人接收所傳送之複數個圖像框 之編碼資料的接收步驟；自所 s 目所接收之複數個圖像框之中每 I位時間内應顯示之複數個對象圖像框中，依次挑選則乍 為解碼對象之圖像框的挑選步驟；解料驟；以及顯示步 153397.doc 201141240 驟。再者，本發明於動圖像編碼資料之顯示時，可單獨使 用，又，亦可與先前之錯誤隱藏技術組合使用。 挑選步驟係分別針對每單位時間内應顯示且以特定之框 間隔配置之對象圖像框之編碼資料’計算由傳輸錯誤所引 起之資料缺損率（錯誤判定），並根據所獲得之計算結果挑 選各個對象圖像框之中應解碼的對象圖像框。解碼步驟係 僅對挑選步驟中所挑選之對象圖像框之編碼資料進行解 瑪。因此，廢棄挑選步驟中未被挑選之對象圖像框（因資 料扣質劣化至一定程度以下而未成為解碼對象之對象圖像 框）°又’顯示步驟係—面根據於解碼步驟中被解碼之對 象圖像框之框數調整框率，一面使該對象圖像框顯示於特 定之顯示裝置中。 如上所述，根據本發明，一面調整框率一面使一定品質 以上之圖像框顯示於特定之顯示裝置中，藉此可有效地隱 藏：示影像之畫質劣化…於將本案發明之顯示方法輿 先前之錯誤隱藏技術加以組合的構成中’即使係原本藉由 錯誤判定而不成為解碼對象之對象框，若為容許範圍内， 則亦可藉㈣用先前之錯誤隱藏技術進行錯誤恢復而成為 解碼對象。於此情料，使被廢棄之動圖像框之框數減 ;，因此可進一步提昇本發明之隱藏效果。 再者，於本發明之動圖像編碼資料之顯示方法中，較佳 為於對象圊像框之編碼資料之接收結束之前的期間内，進 行所接收之編碼資❹所包含之缺損f料的再發送請求。 只要可藉由用於消除缺損㈣之再發送請求而接收可解碼 153397.doc 201141240 資料’則不需要圖像復原處理或廢棄之判斷。盆 二資:結果？，.可於接收可解碼之資料之時間點減少缺 二广之數置。通常’以封包單位收發1個圖像拖，此 象圖：：資:斗之接收結束」時間點只要藉由例如接收對 【圖=最終封包時、接收下—個對象圖像框之開端封 時、逾時之時等決定即可。又，較㈣較其他預定發送 之編㈣㈣先傳送相當於受到再發送請求之缺損資料之 編碼資料。其㈣在於··若相當於成為再發送請求之對象 :缺損資料的編碼資料(傳送前係可解碼之正常之編碼資 枓）之再發送較遲，則會引起以後之圖像框之解碼處 延遲。 於本發明之動圖像編碼資料之顯示方法之挑選步驟中， 亦可根據資料缺&率之計算結果與所接收之資料間之連續 性，自各個對象圖像框之中挑選應解碼之對象圖像框。其 原因在於.即使係f料缺損率成為容許範圍外之編瑪資 料，若為接收資料之連續性確保為―定以上之資料，則亦 可充分地獲得可藉由該框内之其他接收資料或框間預測等 進行遺失隱藏、資料補全等程度之資訊。 又’於本發明之動圖像編碼資料之顯示方法之挑選步驟 中’亦可對排除於解碼對象之外之對㈣像框中的至少任 —者進行再發送請求。其原因在於：即使係成為廢棄對象 之圖像框，亦可能存在根據其圖像特性，於資料缺損率再 次處於容許範圍内之前進行再發送請求較妥當之情形。 於本發明之動圖像編碼資料之顯示方法中，顯示步驟中 !53397.doc 201141240 之框率之調整係不變更每單位時間内應顯示之對象圖像框 的於時間軸上之位置’而僅廢棄於挑選步驟中未被挑選之 對象圖像框。但是，若藉由挑選步驟連續地廢棄複數個圖 像框，則所顯示之對象圖像框之框間隔擴大，而被觀察者 識別出對象圖像框之跳躍顯示。此種情形時之框率之調整 較佳為以使於解碼步驟中被解碼之對象圖像框各自之框間 隔一致的方式，於單位時間内均等地配置該等對象圖像 框《如上所述，藉由任一框率調整，所顯示之對象圖像框 均不存在品質劣化或品質劣化較少，因此可有效地隱藏由 觀察者之視覺特性所顯示之影像之畫質劣化。 本發明之動圖像編碼資料之顯示方法亦可藉由比較對象 圖像框之中鄰接之對象圖像框而檢測像素移動，並於檢測 出像素移動之對象圖像框之框資料中的空間區域内，進行 用於決定挑選步驟中之挑選基準值之加權。再者，像素移 動觉到檢測之空間區域係被觀察者目視霉認之可能性較高 之區域’較佳為儘可能地避免應顯示之對象圖像框之廢 棄。因此，較佳為針對檢測出像素移動之對象圖像框，以 使其挑選基準值低於其他對象圖像框之挑選基準值之方式 加以差別化。 於本發明之動圖像編碼資料之顯示方法中，於接收步驟 中所接收之對象圖像框之編碼資料包含優先順序不同之複 數種資訊。又，對象圖像框之編碼資料係自該優先順序較 咼之資sfl起依次傳送。其原因在於：當將丨個圖像框分割 成複數個發送封包時，藉由自重要性（對於圖像解碼之貢 153397.doc 201141240 獻度）更尚之資訊起優先地發详 也發送，恢復之可能性變高。 又’作為優先順序’例如設定至 又疋為晝質、解像度、色彩成 分、位置（空間區域）之順序等 只π矛頂无由發送側所決定之順 序。 本發明之顯示裝置係用於實規以p、+- 士^ 印％ π現以上述方式構成之動圖像 編碼資料之顯示方法的桊罟甘 友的衮置，其至少包括輸入輸出部、記 憶體、控制部、以及顯示部。a狀品 丨 具禮而S，輸入輸出部經由 特定之傳輸機構取人由分職壓縮之複數個圖像框之編碼 資料所構成的動圖像編碼資料。記憶體暫時儲存經由輸入 輸出部所取人之動圖像編碼資料。控制部執行以上述方式 構成之動圖像編碼資料之顯示方法（本發明之動圖像編碼 貧料之顯示方法p顯示部以藉由控制部而被調整之框 率，依次顯示經解碼之對象圖像框。 再者，本發明之各實施例可藉由以下之詳細說明及隨附 圖式而更充分地理解。該等實施例係僅為例示而揭示者， 不應認為係限定本發明者。 又，本發明之進一步之應用範圍係根據以下之詳細說明 而變彳于明確。然而，詳細說明及特定之事例係表示本發明 之較佳之實施例者，且係僅為例示而揭示者，可明確本領 域技術人員根據該詳細說明而自然明白本發明之範圍内之 各種變形及改良。 發明之效果 根據本發明之動圖像編碼資料之顯示方法、裝置及通訊 系統’一面藉由錯誤恢復處理等而儘可能地避免動圖像資 153397.doc 201141240 料再生時之畫質劣化，一面僅廢棄劣化圖像框，並且一面 調整顯示用之框率，一面使經解碼之圖像框依次顯示於特 定之顯示裝置中。因此，可將被廢棄之劣化圖像框抑制至 最小限度，並可有效地隱藏顯示影像之晝質劣化。 【實施方式】 以下，一面參照圖1〜圖8，一面詳細地說明本發明之動 圖像編碼資料之顯示方法、顯示裝置及通訊系統的各實施 形態。再者’於圖式之說明中對相同之要素標註相同之符 號並省略重複之說明。 圖1係用以說明用於實現本發明之動圖像編碼資料之顯 示方法之一貫施形態的系統構成（本發明之通訊系統）之一 例之概念圖。如圖1所示，於通訊系統中，本發明之成為 顯示對象之動圖像編碼資料係自作為動圖像編碼資料之發 送機構之伺服器20，經由網路10而傳送至作為該動圖像編 碼資料之接收機構之各終端裝置3〇(圖中，以終端八及終端 B表不）’且該動圖像編碼資料係由分別被壓縮之複數個圖 像框之編碼資料構成。再者，於圖1所示之通訊系統中， 連接於網路H)之終端裝置巾之任—者係作為㈣内容傳送 的伺服器發揮功能’其他終端裝置3〇係作為接收用終端裝 置（本發明之顯示裝置）發揮功能。 飼服器20具備儲存有複數種傳送用内容之資料庫η(圖 ;中’以D/B表示），藉由針對每個圖像框㈣自該d助所 j出之影像資料（編碼22)，而生成動圖像編石馬資料 器20將以上述方式生成之動圖像編碼資料（複數個經分割 153397.doc 201141240 之發送封包）經由網路1G，傳送至有傳送要求之線端裝置 3〇(例如終端A)(發送23)。再者，伺服㈣接收來自終端八 之再發錢求（接收請求24)，㈣發送封包之發送順序。 自祠服H2G所傳送之動圖像編碼資料係以例如畫質、解 像度、色彩成分、位置之順序預先決定優先順序，飼服器 20將動圖像編碼資料自該優先順序較高之發送封包起依 向終端A傳送（發送23)。 另方面，終端八經由網路10而接收自伺服器2〇所發送 之動圖像編碼資料（接收31)，然後進行每單位時間内應顯 不之對象圖像框之挑選及廢棄（錯誤判定32卜於終端A 中，於已進行所挑選之對象圖像框之解碼後（解碼33)，一 面調整顯示用之框率一面使經解碼之對象圖像框依次顯 示於特定之顯示裝置中（顯示34)。再者，於終端B中，亦 進仃與終端A相同之顯示控制。又，錯誤判定32可於解碼 33之前、解碼33之過程中、及解碼33之完成後之任一時間 點進行。 又，於終端A中，為於對象圖像框之編碼資料之接收結 $之前的期間内減少缺損資料之數量，進行所接收之編碼 =貝料中所包含之缺損資料的再發送請求（發送請求h)。此 處，「編碼資料之接收結束」時間點係藉由例如接收對象 圖像框之最終封包時、接收下一個對象圖像框之開端封包 時逾時之時等決定〇另一方面，於伺服器20中，較其他 送封包優先傳送包含受到再發送請求之缺損資料之發送 封包（發送23)。 153397.doc 201141240 圖2係表示圖1中所示之終端褒置3 0 (本發明之顯示裝 置相备於圖1中之終端A、終端B之各終端）之具體構造之 圖圖2中所不之終端裝置係由資訊處理部綱與顯示用監 視器400構成，資訊處理部3〇〇包括：輸入輸出部則 (I/O)、控制部320、描繪部330、輸入輸出部34〇、以及記 憶體350。 _具體而α 1/〇 3 10係用於經由網路1 〇而取入動圖像編碼 資料之介面。又，1/0 34〇係作為外部輸入裝置之鍵盤41〇 或滑鼠（指向裝置）420之介面。記憶體35〇儲存經由1/〇 31〇 而取入之動@像編碼資料、用於執行本發明之動圖像編碼 資料之顯示方法的程式、各種控制資料等。控制部32〇執 行記憶體350中所儲存之程式(用於執行本發明之動圖像編 碼資料之顯示方法的程式卜描繪部33〇係使控制部32〇所 解碼之圖像框依次顯示於顯示用監視器4〇〇中之圖像處理 器，其根據來自控制部320之顯示控制信號，使以特定之 框率進行解碼而成之圖像資料顯示於顯示用監視器4〇〇 中。 將於具有如上所述之構造之終端裝置3〇中成為顯示控制 之對象的動圖像編碼資料之構造示於圖3。再者，圖3係用 以說明成為顯示對象之動圖像編碼資料之構造之圖。 如圖3之區域（a)所示，動圖像資料本身係由在時間軸上 空開一定間隔（框間隔）而配置之複數個圖像框fn(n==〇、夏、 2、…）構成，藉由將該等複數個圖像框f〇〜fnq分別加以壓 縮（編碼）而獲得動圖像編碼資料。再者，框率係由配置於 153397.doc 12 201141240 框率單位時間τ中之應顯示之圖像框之框數規定。 於圖3之區域⑻中，表*M〇ti〇n JpEG2〇〇〇之圖像框， 即，圖像框匕之框資料之構造作為一例。圖像框^具有複 數種階層式之可調能力，作為各可調能力，指定有色彩成 刀 A B C ’ 畫質Al、Bl、C1 ’ 解像度 A2、B2、C2，空 間區域A3、B3、C3。於圖i所示之終端A中之錯㈣定^ 中，對圖像框U之各可調能力(色彩成分、晝質成分解 像度成分 '空間區域）設定實施過加權之資料缺損率，並 將所設定之㈣缺損率作為判定基準，進行應解碼之圖像 框之挑選。此處，資料缺損率係針對各可調能力，以因傳 輸錯誤等而缺失之成分數與成為錯㈣定之對象之所有成 分數的比來定義。 具體而吕，使用圖4及圖5之流程圖詳細地說明自錯誤判 疋32至解碼33為止之挑選步驟。 首先於遠挑選步驟中，將每單位時間τ内應顯示之圖 像框作為對象…面變更依次成㈣象之圖像框，一面主 要進行錯誤判定(步驟ST44〇、ST44l)。再者，於圖4之流 程圖中’㈣巢套結構作為各可難力之錯誤衫步驟， 但為❹說明’以對成為對象之㈠調能力獨立地進行錯 :、判又之方式進仃說明。因Λ，以下之說明内容與圖4之 流私圖不存在實質上之差異。 :對成為對象之各圖像框’判定對象色彩成分之資料缺 二•驟ST401) 〇該步驟ST4〇1中之判定係對構成作為錯 决·疋之對象的圖像框之框資料之所有色彩成分依次進行 153397.doc 201141240 (步驟ST4M、ST424)e於此期間内，當所計算出之資料缺 知率與預先經加權之判；^L1相等、或者超過判定值U 時，進行資料連續性之域認（步驟ST4〇la)。於對象色彩成 分之錯誤判定中’當資料缺損未達容許值時或者即使資 料缺損率為容許值以上，亦可確認可確保資料内插所必需 之資訊之程度的資料連續性時，進行作為其他可調能力之 畫：成分之錯誤判定。另一方面，於對象色彩成分之錯誤 判定中，當針對資料缺損率、資料連續性兩者判斷為無法 復原圖像時（J1)，進行廢棄判定處理sl〇〇。 畫質成分之資料缺損率判定（步驟ST4〇2)亦係對構成作 為錯誤判定之對象之圖像框的框資料中之所有^質成分依 次進行（步驟ST413、ST423)。於此期間内，當所計算出之 資料缺損率與預先經加權之判定值L2相等、或者超過判定 值L2時，進行資料連績性之確認（步驟81：4〇2&^於對象畫 質成分之錯誤判定中，當資料缺損未達容許值時，或者即 使資料缺損率為容許值以上，亦可確認可確保資料内插所 必需之資訊之程度的資料連續性時，進行作為其他可調能 力之解像度成分之錯誤判定。另一方面，於對象晝質成分 之錯誤判定中，當針對資料缺損率、資料連續性兩者判斷 為無法復原圖像時（J2) ’進行廢棄判定處理s丨〇〇。 解像度成分之資料缺損率判定（步驟ST403)亦係對構成 作為錯誤判定之對象之圖像框的框資料中之所有解像度成 分依次進行（步驟ST412、ST422)。於此期間内，當所計算 出之資料缺損率與預先經加權之判定值L3相等、或者超過 153397.doc 14 201141240 判定值L3時’進行資料連續性之確認（步驟ST403a)。於對 象解像度成分之錯誤判定中，當資料缺損未達容許值時， 或者即使資料缺損率為容許值以上，亦可確認可確保資料 内插所必需之資訊之程度的資料連續性時，進行作為其他 了凋此力之空間區域成分之錯誤判定。另一方面，於對象 解像度成分之錯誤判定中，當針對資料缺損率、資料連續 陡兩者判斷為無法復原圖像時（J3)，進行廢棄判定處理 S100。 進而，空間區域（位置）成分之資料缺損率判定（步驟 ST404)亦係對構成作為錯誤判定之對象之圖像框的框資料 中之所有空間區域成分依次進行（步驟打々"、STd)。於 此期間内，當所計算出之資料缺損率與預先經加權之判定 值L4相等、或者超過狀值⑽，進行資料連續性之確認 (步驟ST404a)e於對象空間區域成分之錯誤判定中，當資 料缺知未達容許值時，或者即使資料缺損率為容許值以 上，亦可確認可確保資料内插所必需之資訊之程度的資料 連續性時，進行作為其他可調能力之空間區域成分之錯誤 判定。另一方面，於對象空間區域成分之錯誤判定中，當 針對資料缺損率、資料連續性兩者判斷為無法復原圖像： (J4) ’進行廢棄判定處理S 1 〇〇。 如圖5所示，於廢棄狀處理S⑽中，狀資料缺損狀 態（步驟ST50D。於根據判定結果JW4之任一者進行步驟 5〇 1之If形時’色彩成分、畫質成分、解像度成分、空 間區域成分之至少任一者滿足廢棄基準 '然而，於如畫； 153397.doc -15· 201141240 成分、解像度成分清除錯誤判定之情形時，可實現於實用 上品質^夠高之圖像解碼^於此種情形時，將處理移至匿 合點J10。進而’即使當於步驟ST501中 j疋為無法復原圖 像時，亦存在於框接收結束前進行再發送請求較佳之情 形’又’即使因圖像框之特性而導致各成分未達容許值: 亦存在於㈣容許值之前進行再發送請求較佳之情形。因 此，於步驟ST502中，判斷再發送請求之必要性j步驟 ST502)’若判斷為需要再發送請求，則發送請求⑷之發 送請求35)(步驟ST503)，將處理移至匯合點。另—方面， 當於步驟ST502中判斷為不需要再發送請求時，廢棄該對 象圖像框（步驟ST504)，將處理移至匯合點Jl〇。 僅挑選滿足於以上之各可調能力之錯誤判定中資料缺損 率為容許範圍内（未達設定值L1、L2、L3、L4)、資料連續 性被確認等各條件之圖像框，繼而進行解碼（步驟 ST450)。 再者，於上述錯誤判定中，針對各可調能力設定預先經 加權之判定值（L1、L2、L3、L4)，但亦可動態地變更該加 權。例如，如圖6之區域（a)所示，亦可藉由比較連續之圖 像框fn、fn·,間而檢測像素A之移動，並於檢測出該像素移 動之對象圖像框fn之框資料中的空間區域内，進行用於決 定挑選步驟中之挑選基準值之加權。 具體而言，如圖6之區域（b)之流程圖所示，若藉由比較 連續之圖像框fn、fn^間而檢測出像素A僅移動了 V 1，則比 較該移動量VI與預先設定之判定值L5(步驟ST601)，若移 153397.doc -16- 201141240 S判疋值L5以上’則變更於構成對象圖像框之框 空間區域之錯誤敎時所利用的判定值L4作為加權 動作（步驟ST602)。尤装，伯主_ ^ 、像素移動受到檢測之空間區域 :被觀察者目視確認之可能性較高之區域，較佳為儘可能 地避免應顯示之對象圖 了豕圖像框之廢棄。因此，藉由執行圖6

之區域⑻之流程圖中所示之加權步驟，以使檢測出像素A 移動之對象圖像框匕的判定值（挑選基準值）低於其他對 象圖像框之判定值（挑選基準值）之方式加以差別化。 =者’作為錯誤判定方法’除如上所述之錯誤判定（以 色¥、畫質、解像度、空間之順序進行判定者，參照圖4) =外’例如亦能夠以列之順序進行該等各可調能力之判 疋又Φ可不針對各可調能力進行錯誤判定，而求出各 可調能力之資料缺指率夕g接 杰·、 羊之累積值，並根據該累積資料缺損 率進行錯誤判定。谁而，介# 進而亦可使用PSNR(Peak Signal t0

Noise Ratio，峰值作缺M .. 值乜唬雜汛比）或SSIM(Structural

Snmlarity ’結構相似度）等畫質評價指標。 其次，使用圖7及圖8詳細地說明本發明之動圖像編碼資 枓之顯示方法中之框率的調整方法。如上所述，本發明之 動圖像編碼資料之顯示方法係基於如下之見解而完成者， 即觀察者之影像劣化識別對於顯示影像之畫質劣化較框率 之增減更敏感，該動圖像編碼資料之顯示方法根據框間隔 變動U每單位時間T内應顯示之圖像框之中實際被挑選 之圖像框數的變動聯動），進行各種框率調整。 例如’於圖7中’表示伴隨-部分圖像框之廢棄之框間 153397.doc 201141240 隔之最大值比較小時的框率調整。具體而言，如圖7之區 域⑷所示，於以植間隔_等地配置在單位時間τ内之： 數個圖像框f0~f10之§首干姑制g「生，. 1。之』不控制(框率.11/τ)中，當藉由挑選 步驟而廢棄圖像桓f丨、時，應被解碼之圖像框fG、f2〜f5、 f7〜f,o之每單位時間T内的最大框間隔為^而比較小，因 此如圖7之區域(b)所示，簡單地以拉長所廢棄之圖像桓 fl、f6之間隔的狀態使經解碼之圖像框G〜G依 次顯示於顯示用監視器400(參照圖2)中(框率丨。、 另-方面’如圖8之區域⑷所示，於廢棄連續之複數個 圖像框之情形時，备i „ 母皁位時間T内應顯示之圖像框之最大 框間隔變大。例如，於圖8之區域⑷之情形時，於以框間 隔Μ均等地配置在單位時間τ内之複數個圖像框^。〜匕〇之顯 示控制（框率：11/T)中，當藉由挑選步驟而廢棄圖像框 Μ、ί6〜f7時’應被解碼之圖像框f。、f4〜f5、f8〜b之每單 位時間τ内的最大框間隔為3At而變得比較大。於此情形 時’若進行圖7之區域⑻所示之框率調整，則會被觀察者 識別出對象圖像框之跳躍顯示。因此，於如圖8之區域⑷ 所示般應被解石馬之圖像框間之框間隔變大的情形時，較佳 為如圖8之區域（b)所示，以使被解碼之對象圖像框各自之 框間隔一致的方4，於單位時間内均等地配置該等對象圖 像框（框間隔：At，)(框率·· 6/丁）。再者，藉由圖7及圖8各自 所示之任一框率調整，僅進行框率之調整，所顯示之對象 圖像框均不存在品質劣化或品質劣化較少，因此可有效地 L藏由觀察者之視覺特性所顯示之影像之畫質劣化。再 153397.doc 201141240 者，關於框率調整，若為錯誤判定步驟之後，則可於解碼 之前、解碼之後之任一階段進行。 根據以上之本發明之說明，可對本發明進行各種變形這 一點較明確。不能認為此種變形係脫離本發明之思想及範 圍者，對於所有本領域技術人員而言自明之改良係包含於 以下之專利申請範圍内者。 【圖式簡單說明】 圖1係用以說明用於實現本發明之動圖像編碼資料之顯 示方法之—實施形態的系統構成（本發明之通訊系統）之一 例之概念圖。 圖2係表示圖〖中所示之終端裝置（本發明之顯示裝置）之 具體構造之圖。 圖3(a)、（b)係用以說明成為顯示對象之動圖像編碼資料 之構造之圖。 $ 4係用以說明本發明之動圖像編碼資料之顯示方法之 一實施形態中之主要步驟的流程圖。 圖5係用以說明本發明之動圖像編碼資料之顯示方法中 之廢棄判定處理的流程圖。 圖6(a)、（b)係用以說明本發明之動圖像編 方法中之加權步驟的圖。 ”· 員不 圖7⑷、(b)係用以說明本發明之動圖像編碼資料之顯示 方法中之框率調整之第1例的圖。 不 圖8⑷’係用以說明本發明之動圖像編碼資料之顯示 方法中之框率調整之第2例的圖。 不 153397.doc -19· 201141240 【主要元件符號說明】 10 網路 20 伺服器 21 資料庫 22 編碼 23 發送 24 接收請求 30 終端裝置（顯示裝置） 31 接收 32 錯誤判定 33 解碼 34 顯示 35 發送請求 300 資訊處理部 310 ' 340 輸入輸出部（I/O) 320 控制部 330 描繪部 350 記憶體 400 顯示用監視器 410 鍵盤 420 滑鼠 A、B、C 色彩成分 Al、B1、 Cl 畫質 A2、B2、 C2 解像度 153397.doc -20-

S 201141240 f〇~fn+l 圖像框 τ 單位時間 VI 移動量 At、At' 框間隔 153397.doc -21

Claims (1)

1. 201141240 七、申請專利範圍： 1· 一種動圖像編碼資料之顯示方法，其係由分別被壓縮之 複數個圖像框之編碼資料構成並經由特定之傳輸機構傳 送的動圖像編碼資料之顯示方法，其包括： 接收步驟，其係經由上述傳輸機構而依次接收上述複 數個圖像框之編碼資料； 挑選步驟’其係於所接收之圖像框之中，分別針對每 單位時間内應顯示且以特定之框間隔配置之對象圖像框 的編碼資料’計算由傳輸錯誤所弓丨起之資料缺損率，並 根據所獲传之計算結果’自上述各㈣象圖像框之中挑 選應解碼的對象圖像框； 解碼步驟，其係僅對上述挑選步驟中所挑選之對象圖 像框之編碼資料進行解碼；以及 顯示步驟’其係一面根據於上述解碼步驟中被解碼之 對象圖像框之框數調整框率’―面使該對象圖像框顯示 於特定之顯示裝置中。 2. 如請求項1之動圖像編碼資料之顯示方法，其中於上述 對象圖像框之編碼請之接收結束之前的期間内，進行 所接收之編碼資料中所包含之缺損f料的再發送請求。 3. 如請求項！或2之動圖像編碼資料之顯示方法，其令於上 述挑選步驟中，根據上述資料缺損率之計算結果 收之資料間之連續性，自上述各個對象圖像框之中挑選 應解碼之對象圖像框。 4.如請求項⑴中任一項之動圖像編碼資料之顯示方法， 153397.doc 201141240 其中於上述挑選步驟中，對排除於解碼對象之外之對象 圖像框中的至少任一者進行再發送請求。 5.如請求項i至4中任一項之動圖像編碼資料之顯示方法， 其中於上述顯示步驟之框率之調整中，不變更每單位時 間内應顯示之對象圖像框在時間軸上之位置，而廢棄於 上述挑選步驟中未被挑選之對象圖像框。 6·如請求項1至4中任一項之動圖像編碼資料之顯示方法， 其中上述顯示步驟之框率之調整中，以使於上述解碼步 驟中被解碼之對象圖像框各自之框間隔一致的方式，於 上述單位時間内均等地配置該等對象圖像框。 7.如請求項1至6中任一項之動圖像編碼資料之顯示方法， 其t於上述接收步驟中所接收之上述對象圖像框之編碼 資料包含優先順序不同之複數種資訊，且上述對象圖像 框之編碼資料係自該優先順序較高之資訊起依次傳送。 8·如請求項1至6中任一項之動圖像編碼資料之顯示方法， 其中藉由比較上述對象圖像框之中鄰接之對象圖像框而 檢測像素移動，並於檢測出像素移動之對象圖像框之框 資料中的空間區域内，進行用於決定上述挑選步驟中之 挑選基準值之加權。 9. 如明求項2之動圖像編碼資料之顯示方法，其中較其他 預定發送之編碼資料優先傳送相當於成為上述再發送請 求之對象之缺彳貝資料的編碼資料。 10. —種顯示裝置，其包括： 輪入輸出部，其係用於經由特定之傳輸機構取入由分 153397.doc 201141240 別被壓縮之複數個圖像框之編碼資料所構成的動圖像編 碼資料； 記憶體’其係用於暫時儲存經由上述輸入輸出部所取 入之動圖像編碼資料；以及 控制部，其係用於執行如請求項丨至9中任一項之動圖 像編碼資料之顯示方法。 11. 種通訊系統’其係用於由分別被壓縮之複數個圖像框 之編碼貝料構成並經由特定之傳輸機構傳送的動圖像編 瑪資料者，其包括： 發送機構，其係根據如請求項7至9中任-項之動圖像 編碼資料之顯示方法’傳送動圖像編碼資料；以及 :收機構’其係實施如請求項1至6中任一項之動圖像 編碼資料之顯示方法。 153397.doc