TWI376158B - Prediction reference data generating apparatus, and video encoding apparatus and decoding apparatus - Google Patents

Description

1376158 九、發明說明： 【發明所屬之技術領域】 本發明係關於：預測參照資訊產生方法及其裝置，係 對晝像進行區域分割，並按照各個區域，適用時間性或空 間性的圖框（fe)間預測編碼方式，且根據處理對象區= 之參照圖框與表示該參照圖框之處理對象區域的預測對象 $置之參照資訊而產生處理對象區域的預測晝像來處理動 旦像時，用以產生將成為該參照資訊之預測資訊的預測表 照貧訊；使用該預測參照資訊產生方法之動畫像編碼方法 及其裝置’ ·將利用該動晝像編碼方法所產生的編碼資料進 之動晝像解碼方法及其裝置；記錄有使用於實現該 S =照資訊產生方法之預測參照資訊產生程式及其程式 可讀取之記錄媒體；記錄有使用於實現該動畫像編 =方法之動畫像編碼程式及其程式的電腦可讀取之記錄媒 碑程己錄有使用於實現該動晝像解碼方法之動晝像解 >馬知式及其程式的電腦可讀取之記錄媒體。 =請㈣㈣於義㈣㈣日提出申請之日本 =⑴月案2_-簡29號而主張優先榷，在此並援用其 【先前技術】 戶斤言胃多視點動晝像（多方 影機拍攝像^ f指利用複數台攝 蔣利用」△ 皮景之複數個動晝像。以下， ，…攝影機拍攝的動晝像稱之為“ 2次元動晝 將利用複數台攝影機拍攝相同的拍攝對象與背景 319693 …70動畫像鮮稱之為“多視點動晝像”。 .時間方視：動晝像之各攝影機的2次元動畫像，以 時，於相同時刻拍各攝衫機同步 攝完全相同的壯1 各攝衫機的影像係從不同的位置拍 ^. σ I之拍攝對象與背景，故在攝影機間有腎 密相關性。在動查德的绝戊山 你僻知機間有緊 提高編碼效率。 碼中，係藉由利用上述相關性而 :2敘J4有關2次元動晝像的編碼技術之習知技術。 1國際標準動晝像編碼規格之ΜΡΕ㈠或fi 264等為首 多：2次元動晝像編碼方式中，係藉由稱為圖框 ^碼之方法，利用時間方向的相關性達成高度編碼 在2 -人το動畫像編碼之圖框間預測編碼所使用之方 ::於係利用隨著時間的經過所產生之影像的變化，亦 广動作，故-般上稱為動作補償(_咖一_。 二了二照該：將時間方向之圖框間預測編碼稱為動作補 】員带查禮’所謂圖框係表示在構成動晝像之某時刻拍攝之 丄浪Ϊ像。 在:般性的2次元㈣像編碼之各圖框的編碼模式 (mode)係有.··不使關框間的相關性而進行編碼之^圖 框；-邊從過去所編碼之i張圖框進行動作補償一邊進行 編媽之P圖框，·以及-邊從過去所編竭的2張圖框進行動 作補償一邊進行編碼之B圖框。 而且’為了提高影像預測的效率，在影像編碼方式 319693 7 263與Η. 264中，可於夾明去你 .«上的複數個圖框分之解像記憶趙預先儲備2圖框 晝像以進行預測。解尋旦像’而從該記憶體選擇參照 'f 2;LT:按照各個區塊來選擇，且可藉由將指定 > 之參照晝像指定資訊予以編碼而進行解碼處理。 在動作補償中，除了參照晝像指定資訊之外，對用以 表不使用參照畫像内之哪個位置來進行％p & 測之向量進行编碼“ 對象區塊的預 進订編碼。此向量稱為動作向量。 =動作向量之編碼中，於ΜΡΕ㈠或Η 264係從編碼對 鄰接區塊的動作向量產生預測向量，且僅對於編 塊之動作補償所使用之動作向量與該預測向量之 連進行編碼。依據此方法，於鄰接區塊間有動作的 連，性~，可有效地賴作向量進行編碼。 有關Η. 264之預測向量的產生步驟的詳細情況，記載 下列所不之非專利文獻1，以下說明其概要。 在Η. 264中，如第20Α圖所示，從於編碼對象 邊的區境（圖中之3)、上面的區塊（圖中之〇、右上的區塊 (之0所使用的動作向量（mv—a, mv—b，mv__c)，各別取 中央值求取水平成分及垂直成分。 在H. 264 +，由於採用可變區塊大小動作補償，故有 編碼對象區塊與周邊區塊的動作補償區塊大小不相同之情 況’此時，如第20Β圖所示，區塊以設為鄰接於左邊的 ^鬼中的最上面區塊而區塊㈣設為鄰接於上面的區塊 的最左邊區塊，區塊㈠系設為位於右上之最近的區塊。 319693 8 丄:)¾ 以例外而言，編碼對象區塊的大小為8x16晝素時，如 圖所示，於預測時左邊區塊使用區塊β，右邊區塊 C區境士c ’以取代中央值，而編碼對象區塊的大小為16 旦素時，如第20D圖所示，於預測時下面區塊使用區塊 3上面區塊使用區塊b，以取代中央值。. 卜如别述，在H. 264中，從過去所編碼之複數個 "J 按、各個區塊選擇參照圖框，且使用該參照圖框

進仃動作補償。 M 般而5，由於拍攝對象的動作因參照圖框而變化， 可認為比起使用與編竭對象區塊的參照圖框不同之表昭 二動 補償時的動作向量，使用相同的參照圖框進 用的動向量，較為接近在編碼對象區塊所使 因此，在Η.264中，係在區塊a，b，c之中，編碼斜复 區塊與參照圖框相等之區 .....象 動作向量作為预、… 時’藉由將該區塊的 度高二向量測向置使用’以取代中央值，來產生可靠 動作動之情形中’於複數個圖框間有 =2續：時’以作為有效率地對動作向量進行編瑪之 框之動作^種方法健照編碼财縣職瞬前的.圖 例缩放（Λ· ’且依照時間間隔將該動作向量資訊進行比 編放（scaling)而算出動作向量。 在用以瞭解此時間間隔之資訊 輸出時刻。 ° ，係利用各圖框之 319693 順二而:倩攝畫像的輸入順序與編 ,時所需，故按照各個圖框進行解码 設定按照輸入順序所伊干之=扁碼。亦即，在編碼器中， 框進行編碼，而輸入晝像的時刻資訊來將各圖 仃柄而在解碼器中 定之順序輸出各圖框的解碼晝像。斤5又疋的貝訊所指 地』=存在於複數個圖框間之動作的連續性而有效率 1也!動作向量進行編狀方法而言，“.264中二; 為4間導向模式（direct mode)者。 美 =’關於第21圖所示之圖框A，B，C，係設為按照圖 框一，：二順序進行編碼，且圖框C以圖框A作為參照圖 一行動作補償一邊進行編碼。在此種狀況下，於時 p杈式中’圖框B之某個區塊的動作向量係以如下 式求出。 首先，尋找出於與編碼對象區塊相同位置之圖框c上 •的區塊所使用之動作向量mv。 士其夂，依照下列的式子，來計算將圖框A設為參照圖 框時之動作向量frav、以及將圖框c設為參照圖框時之動 作向量bmv。 fmv=(mvxTAB)/TAc bmv=(mvxTBc)/TBc 其中’ Tab，Tbc，Tac係分別表示圖框A與圖框B之間的時 間間隔、圖框B與圖框C之間的時間間隔、以及圖框a與 圖框C之間的時間間隔。 10 319693 1376158 C 在H·264中，時間導向模式係僅在按照各個區塊使用 • 2張參照圖框之B圖框（Bi_predictive Frame :雙預測圖 ，框）時才可利用。 —在下列所示之非專利文獻2中，提案有一種方法，係 ‘'«用此模式，而在按照各個區塊僅使用1張參照圖框 之P圖框中，亦能有效率地對動作向量進行編碼。 以假設鄰接區塊間之動作的連續性、以及複數個圖框 間之動作的連續性之兩者而有效率地將動作向量進行編碼 籲之方法而言，有記載於下列所示之非專利文獻3的方法。

於第22A圖至第22D圖揭示其概要。於此手法中，與 H. 264或MPEG-4相同地，係使用編碼對象區塊的周邊區塊 之動作向量產生預測向量，且僅將實際的動作補償所使用 之動作向量與預測向量之差分向量進行編碼（參照第22A 與Η. 264等不同之點，不是直接使用周邊區塊的動 向量，=是使用以下的式子，依照時間間隔將動作向量進 行比例縮放之後再加以利用之點。 mv_k, =mv_kxTct/Tck 其中，—表示原來的動作向量〆而mvk，表亍經比 例縮放後之動作向量，Tct表示 /、左比 ^ gg ^ , '焉對象圖框與編碼對象區 塊擬參…的圖框之間的時間間隔，而&表示 與其周'邊區塊所參照的圖框之_時間 /象=框

圖至第22D圖）。 ’、、、弟Z2B 其次，就習知的多視點動畫像之編碼方式加以說明。 319693 11 1376158

-C 在一般性的多視點動畫像之編碼 間的相關性，#龚出於* 4门 马了利用輪影機 ’純 由在相同的時刻利用不同的攝影捲所 v拍攝的圖框間使用適用動作 '、機所 高度編碼效率。 貝之；見差補償，以達成 乂使用此手法之例而言，有記載在M p加ile或非專利文獻4之方法等。 福tlview -視ί::::獻4之方法中，按各個區塊選擇動作補償 編的任何一方而進行編媽。透過按每個區塊選取 門的= 的相關性與攝影機 關性之雙方，且比起只使用任何—方之情況，已達 到咼度編碼效率。 運 編碼於=補償，係除了預測殘差之外亦對視差向量進行 作向旦去明視差向量’係對應屬於圖框間的時間變化之動 平面：矣且在利甩配置在不同位置之攝影機拍攝之畫像 千面上，表示拍攝對象上之相同的位置所投影之位置差。 =23圖表示於此攝影機間產生之視差向量的概念 =面=概念m直往下看絲平行的攝影機 于面之圖。 用^視差向量之編碼中’與動作向量的編碼相同，可使 法係從編碼對象區塊的鄰接區塊之視差向量產生預 量僅將在編碼對象區塊之視差補償使用的視差向 接之差分向量進行編石馬。依據此方法，於鄰 2塊間有視差的連續·性時，可有效率地對視差向量進行 319693 12 1376158 '1 [非專利文獻 1] ITU-T Rec. Η. 264/ISO/IEC 1 1496-10， - “Editor’s Proposed Draft Text Modifications for m

Joint Video Specification (ITU-T Rec. H. 264/ISO/IEC

V 14496- 10 AVC), Draft 7M , Final Committee Draft, Document JVT-E022, pp.63-64, and 117-121, September 2002.

[非專利文獻 2] Alexis Michael Tourapis, “Direct Prediction for Predictive(P)and Bidirectionally ® Predictive(B) frames in Video Coding, M “JVT-C128, Joint Video Team (JVT)of ISO/IEC MPEG&ITU-T VCEG Meeting，pp. 1-11, May, 2002.

[非專利文獻3 ]加藤禎篤，Boon Chung Seng “使用時間性 動作向量正規化之複數個預測參照畫像的編碼之動作向量 預測” PCSJ2004畫像編碼研討會資料19th, P-2. 18, Nov. 2004. •[非專利文獻 4] Hideaki Kimata and Masaki Kitahara， MPreliminary results on multiple view video coding (3DAV)”，document Ml 0976 MPEG Redmond Meeting, July, 2004.. 【發明内容】 - (發明所欲解決之課題） 使用與鄰接區塊所使用之動作向量或視差向量而產生 之預測向量之差分，將在編碼對象區塊實際使用之動作向 量或視差向量，進行編碼之習知的方法，由於係根據在實 319693 ^76158 不工間上拍攝對象係連續存在，且拍攝對象的動作 •的拍攝對象内沒太大變化之機率很高的事實，故可將目问 *碼對象區塊❹之動作向量與 ，在編 量來進行編碼。 利収少的符號 在翻最適合預測編碼對象區塊的晝像之參照圖框， ;::=沒被使用時’實際使用之動作向量與預測向量 之差會&大，而無法充分地削減編碼量。 里 h賞而ί其：，，個區塊適應性地選擇動作補償與視差補 同，旦由於在動作向量與視差向量性質大為不 .旦〗 向篁無法產生視差向量之預測向量，或從視 以：量1 法產生動作向量的_向量’無法有效率地將用 進订圖框間預測之資訊進行編碼。 導向t動Γ量，藉由使用記載在非專利文獻1之時間 =模式、或記載在非專利文獻2與非專利文獻3之類的 昭在最適合預測編石馬對象區塊的晝像之時刻的參 量。i 使用於鄰接區塊時，亦可產生有效率的動作向 也这但疋’上述方法係假定圖框間之動作的連續性，故若 =象含跨數個圖框而未對攝影機進行接近等速直線運 令動作，則便無法產生有效率的預測向量。 關於視差向量，利用預測編碼對象區塊之最適當的攝 2拍攝之參照圖框沒使用於鄰接區塊.時，以用以產生有 即在里之方法而言’可輕易地類推-種方法，亦 在時間間隔的變化上使用攝影機間隔，且將在鄰接區塊 319693 14 【實施方式】 將為了t發月之動晝像編碼方法或動晝像解碼方法，於 ㈣象區域/解码對象區域進行編碼/解碼而使 域象區域/解碼對象區域之鄰接區 進行編碼/解碼時參::二使域在進藉由使用將對鄰接區域 之參照資訊，：―; 進行編碼/解碼時所使用 個s 5…品域之參照資訊施加修正，而在複數 1固圖框之間盔影俊轡 文 高的預測參照=的連續性之情況，亦可產生精確度 於在3知的方法中’如第1圖之虛線箭頭符號所示，由 正====化假設有連續性’且單純地修 圖摊ΓΓ 產生預測參照資訊），故在複數個 王曰之衫像3化無連續性時，便會施行錯誤的變換。 相2地，依據本發明，由於可由對_區域的參照區 4 碼/解碼時的參照資訊取得從鄰接區域的參照圖 ㈣Kb ’故可不假定複數個圖框間的影像變 化之連π性，而修正鄰接區域的參照資訊。

在此’在本發明中，將對此鄰接區域之參照區域，亦 即對依照預測參照資訊預測資料表示之區域進行編碼省 碼時之參照資訊稱為參照區域參照資訊I 此參照區域參照資訊係對該參照區域進行編碼/解碼 時貫際利用者，由於具有好的編媽效率故顯示可靠度高的 影像變化。因此，可說使用此種資訊施加修正 ς 示可靠度高的影像變化。. ° . 319693 25 1376158 y 以‘正參妝資訊之方法而言，如第.1圖所示，亦可採 .用在對郿接區域之參照資訊’加上參照區域參照資訊之方 ，法（向量合成之方法）。 在此方法中，係藉由在從鄰接區域的參照圖框到編碼/ 解碼對象圖框之影像變化，加上由鄰接區域之參照區域的 參照圖框到鄰接區域的參照圖框之影像變化，求取從鄰接 區域的參照區域之參照圖框到編碍/解碼對象圖框之影像 變化。 •此係根據已經進行有編碼/解碼之影像變化不產生變 化之事實，而達成可靠度高的參照資訊變換。 。在此’鄰接區域的參照區域未成為編碼/解碼處理之單 位區域❿可Α為在該區域包含有複數個參照資訊之情 況，此時，亦可使用下列方法·· (I) 將在包含最多參照區域之編碼/解碼處理的單位區 域所使用之參照資訊設為參照區域參照資訊之方 .法， (II) 將按照參照區域所包含之比例而於編碼/解碼處理 之單位區域的參照資訊加上權重求得之平均的參照 資訊設為參照區域參照資訊之方法， (⑴）將對編碼/解碼處理的單位區域進行編碼/解碼之參 照資訊設為包含於該區域之所有的晝素持有，而將 在複數個參照區域中最多出現的參照資訊設為參照 區域參照資訊之方法。 此外，此修正不僅1次，亦可重複對已施加予修正之 319693 26 1376158 參照資訊再度施以修正等。 • 透過重複加以修正，翻技斤试认卷加 -j- , . ^ „ 郇接區域的參照區域之參照圖框 ‘不十分接近編碼/解碼對象區域參照圖框時，可得到 於來自編碼/解碼對象區域參照圖框 照資訊預測資料。 〈關參 …資訊之方法而言，如第2圖，亦可採用以 …^域參照>訊替換對_區域之參照資訊的方法。 剌此方法’係設為從鄰接區域之參照 =對象圖框之影像變化，與從鄰接區域之參二:編 馬/解媽對象區域參照圖框之影像變化 ^ ，對象區域參照圖框到編碼綱對象圖框碼 化。 个叉 於此方法，乃利用實際世界之2個事實。 制之Ϊ上個:2際世界之拍攝對象的變化有物理性的限 之時：關=攝對象的變化有物理性的限制係表示視差 即時間上不同的圖框之對應關係的已知區域，亦 ‘高繼域與該鄰接區域的參照區域之視差的類似性非 藉由將鄰接區域之時間上的參照資訊，替 鄰接區域的參照區域之攝影機間的參照、: 換成鄰接區域之攝影機間的參照資訊。δ ' ί ^ 第2個係實際世界之拍攝對象的運動為i個之。 攝對象的變化只有i個係表示利用各攝影機所拍攝之動 319693 27 1376158 同且拍攝對象的動作在攝影機間的相關高。 .儀之p、/ ^不同攝衫機於同—時刻所拍攝的圖框之對應關 •之、叙你& ^㉟亦即’ _ 11域與該鄰接區域的參照區域 之動作的類似性非常高。 因此’藉由將鄰接區域的摄 為鄰接區域的來昭區域機間之參照資訊，替換 換為鄰接區域之時間上的參照資訊:“、、貝訊了精準地^ I方式’在編碼對象區域與其鄰接區域，即使來照 ’對象於時間方向與攝影 |:>”、、 訊。 y機方向不同亦可精準地預測參照資 士再者成匕方法係鄰接區域的參照區域鱼該來昭 %刻關係與視點關係，命 /、>”，、圖杧的 D編碼/解碼對象圖框與編碼/ 解媽對象區域參照圖框的時 可作正確的制之替換。關係與視㈣係，愈可進行 修正參照資訊之方法，亦可按照各 域，而適當選擇上述任何方法。 ’料對象£ 在各個方法中，由於所利用之 個方法適當，係依狀況而不同。冢㈣質不冋’故哪 因此，藉由按各個編碼/解碼 施加適合該區域之修正，且 °°域4仃替換，而可 預測參照資訊。 生更正確顯示影像變化之 仆纽’由於前面的方法累積圖框間的影像之時門變 ’故為適合於預測時間方向的影像變 ο 的方法為適合於變換影像變化的時間與攝影機;;之:= 319693 1376158 方法’故可從依照編碼/解碼對象區域所使用之影像預測的 方法或由預測參照資訊預測資料或參照區域參照資訊所顯 ·不之影像變化之次元，來判斷適用哪個方法較理想。 亦即’藉由使用下列資訊，可精準地判定應適用的方 法，該等資訊包含：編碼/解碼對象區域參照圖框之時刻資 ^及視點資訊；參照區域所包含之圖框的時刻資訊及視點 資訊；為對參照區域進行編碼/解碼時之參照圖框的參昭區 域參照圖框之時刻資訊及視點資訊；以及 對*象 框之時刻資訊及視點資訊。 鮮爾圖 以修正參照資訊之方法而言，亦可依照編碼/解碼對象 圖框的視點之攝影機參數、編竭/解碼對象區域參照圖框的 機參數、以及參照區域所包含之圖框的視點之 =機參數.，而採取透過在參照資訊加上幾何變 修正之方法。 疋玎 或夫ίίΠ亦可將此種變換’加在預測參照資訊預測資料、 次多…、區域參照資訊。 像變：據ί =法’可將利用2台攝影機拍攝之圖框的影 影像變化為利用別的組合之2台攝影機拍攝之圖框的 因於= 變化不同，影像的攝影機間之變化係起 2個不同⑽、*與拍攝對象的位置，故有從時刻相同之 等之摄-、位置拍攝之晝像，而表示該攝影機的位置關係 攝之晝像。為已知時，復可精準地預測從別的位置拍 319693 29 1376158 〜纟於此對應關係非僅按照攝影機間隔進行比例縮放而 到者，故㈣僅擴張按照習知的時間間隔而進行比例縮 ，的方法之單㈣方法，無法進行可作正確的預測之變換。 以修正參照貢訊之方法而言，亦可採取一種方法，係 .將糾/料對象區域之參照圖框上的區域作為探索對’、 .^對ί對與依照預測參照資訊預測資料指示之參照區域建 替換為探索結果的對應=。而將預測參照資訊預測資料 $外，以修正參照資訊之方法而言，亦可採取一種方 =係將編碼對㈣域的參照圖框上之區域作為探會對 進行ΐΓ!Γ象區域的鄰接區域建立對應關係之區域 對應丁=。’而將預測參照資訊預測資料替換為探索結果的 Θ在亡述方法中，於編碼側、解碼侧之兩方雖須進杆大 但由於可更正確地求得鄰接區的編碼/解碼對象 預對應點’故可產生更正確地顯示影像變 竭。男訊’結果’可有效率地對參照參訊進行編 t方法中，疋否可正確地求到對廡點， 決於探㈣應㈣時之财^ ^糸大大取 決於運算成本。 飞知索乾圍，亦即大大取 但是，預測參照資訊預測資料之灸昭 解媽對象圖框更接近編碼/解碼^域、編碼/ 參照資訊預夠資料的參照資訊將會顯示 ^19693 30 1376158 作，故只要探索中途之後的變化即可，而可減小運‘ ‘ 以下，依照實施形態詳細說明本發明。 於第3圖表示本發明的動蚩傻 形態例。 ㈣旦像編料置⑽之-實施 此動晝像編碼裝置100具借：輸入成為編碼對象的書 像之畫像輸入部⑻；為了按照各個分割編碼對象查像之 區域，求取已經編踢過的參照圖框之對應區域而進行區塊 匹配之區塊匹配實施部102;使用區塊匹配的結果^昭 圖框而產生編瑪對象區域之晝像的預測畫像之預測晝像製 作部103，對編碼對象區域的晝像與預測晝像之差分晝像 進行編碼之差分畫像編碼部1〇4;對差分晝像編碼資二進 行解碼之差分畫像解碼部！ 〇5 ;將由解碼過之差分畫像與 預測旦像的和產生之編碼對象區域的畫像之解碼畫像作為 參照圖框而錯存之參照圖框記憶體1〇6 ;將產生預測畫像 時使用之區塊匹配的結果之參照資訊予以儲存之參照資訊 儲存e憶體1 07 ;將成為使用於產生預測晝像時使用之區 塊匹配的結果之參照資訊的編碼之預測參照資訊的候補之 參照資訊予以儲存之預測參照資訊預測資料記憶體1〇8 ; 從預測參照資訊預測資料產生預測參照資訊之預測參照資 訊產生部109，對產生預測畫像時使用之區塊匹配的結果 之參照資訊與預測參照資訊之差分進行編碼的差分參照資 訊編碼部11 〇 ;在預測參照資訊預測資料記憶體i〇8上的 預’則參照資訊預測資料施加修正之參照資訊變更部1 1 1 ; 儲存編碼過的各區域參照之圖框的資訊之參照圖框指定資 31 319693 訊儲存記憶體112 ;選摆斟铯级似&广丄 8#你田Μ 、擇對，4碼對象區域的晝像進行編碼 .時使用之參照圖框之參照圖框選擇部113;以及對指定對 ...編，縣d域進行編騎使用之參㈣框的資訊進行編碼 之 > 照圖框指定資訊編碼部114。 " —在第4圖表示如上述構成之動晝像編碼裝置⑽的執 行之流程圖。 —依照此流程圖，就如此構成的動晝像編碼裝置1〇〇之 執行的處理加以詳細說明。 ^ 其中，設為已經對複數個圖框的晝像進行過編碼，且 結果為儲存在參照圖框記憶體106、參照資訊儲存記憶體 10 7、參照圖框指定資訊儲存記憶體112。 首先，由晝像輸入部輸入成為編碼_對象之畫像 [S101]。輸入之編碼對象晝像，係對整個畫面進行區域分 割且按各個區域進行編碼[Sl〇2至S121 ] » 在此流程圖中，將區塊（區域）的指標表示為b 1 ^，且 籲將對一個晝像之總區塊數表示為MaxBlk。 亦即，於將指標blk初始化為1後[S102]，直到blk 成為MaxBlk為止[S120]，一邊在blk加算1[S121]，一邊 重複執行以下的處理[S103至S119]。 在按各個區塊進行之處理中，求取為了對該區塊進行 編碼使用之參照圖框best一ref、參照.資訊best一mv、預測 參照資訊best_pmv[S103至S117]，且將用以進行此影像 預測之資訊以及使用上述資訊所編碼之區塊blk的畫像資 訊予以編碼並輸出後[S118]，為了以後的編碼處理，對編 319693 32 1376158 t .·碼資料予以解碼且將解碼結果的晝像資訊、b⑽—厂e f， ..次estjv’分別錯存在參照圖框記憶體⑽、參照圖框指定 .貝訊儲存5己憶體112、參照資訊儲存記憶體⑻⑻。 在此，於SU8之編碼處理中，表示以討『以之資訊 .係在參照圖框指定資訊編碼部114進行編碼且kb 與best—ρπιν之差分在差分參照資訊編碼部ιι〇進行編碼， 而輸入畫像與使用上述資訊而在預測晝像製作部⑽產生 •的預測晝像之差*晝像，在差分晝像編碼部1〇4進行編碼。 次此外，在SU9之解碼處理中，藉由將差分晝像之編碼 >料在差分晝像解碼部1〇5進行解碼，並求取其結果與在 預測晝像製作部1〇3產生的預測晝像之和而得到區塊blk 之解碼晝像資訊。 用以進行於編碼時使用之影像預測的資訊，係透過對 所有的可利用之參照圖框，重複執行以下的處理[以至 S115]而求取。 鲁亦即，將參照圖框指標ref初始化成1，且將最小位 疋率失真成本（Rate-distortion cost)bestC：ost初始化成 絕對不可能取得之最大值MaxCost後[S103]，直到ref成 為所有可利用之參照圖框的數目NumOfRef為止[S116]，一 邊於！"ef加算1[S117]，一邊重複執行產生預測參照資訊 之處理[S104至S107]、以及求取位元率失真成本成為最小 的參照資訊之處理[S108至S115]。 產生預測參照資訊之處理，係將預測參照資訊預測資 料記憶體108予以初始化後[S104]，關於鄰接於區塊blk 33 319693 1376158 * 之複數個區塊，將對該區塊進行編碼時使用之參照圖框號 - 碼REF、參照資訊MV、以及表示該區塊的位置之資訊p〇s -的組{REF，MV，POS}儲存在預測參照資訊預測資料記憶體 108[S105]。 . 此時，MV，REF係設為分別儲存在參照資訊儲存記憶體 10 7、參照圖框指定資訊儲存記憶體112、且與區塊指標或 晝像内之位置建立對應關係者。 再者’以鄰接於區塊b 1 k之複數個區塊而言，例如， •依光柵掃描之順序對分割晝像後之區域進行編碼時，可設 為在上、左、右上鄰接之區塊。 在本實施形態例中’設為將此3個鄰接區塊之參照資 訊設定在預測參照資訊預測資料。但是，符合之區塊如在 •S"面之外時设為從候補去除。 其次’取出預測參照資訊預測資料記憶體108内之預 測參照資訊預測資料，且在參照資訊變更部1丨丨加以變 鲁更’再次儲存在預測參照資訊預測資料記憶體1〇8 [S106]。有關在此進行之處理於後面加以詳細說明。 接著’由儲存在預測參照資訊預測資料記憶體1 〇8之 複數個參照資訊產生預測參照資訊.pmv[S107]。具體而 吕，藉由按各個參照資訊之成分取預測參照資訊預測資料 的中間值來製作預測參照資訊pmv。 亦即’參照資訊表示為χ-γ之2次元的向量時，按各 個成分，求取複數個預測參照資訊預測資料之持有的對應 之成分的中間值，且將pmv設為該成分的值。 34 319693 等作除中間值外亦可使用平均值或最大值、最小值 #用\ 4的基準值。但是，必彡頁使用與動畫像解碼農置 使用之基準相同的基準。 使^如此求得之pmv ’執行求取位元率失真成本成 取小之參照資訊。 亦即，將參照資訊指標mv—idx初始化成}後[幻⑽]， 直到mv—idx與可用以進行區塊blk的編碼而使用之參照資 訊的侯補之數目NumOfListMv —致為止[S114]，一邊於 mvjdx加算i[S115] ’一邊重複以下的處理[§11〇至sm]。 首先，求得對應mv__idx之參照資訊mv[sl〇9]。在此， 設為對應mv_idX之參照資訊已經儲存在記憶體cand—訂。 然後，使用此mv與參照圖框ref，產生對區塊Mk之 預測畫像Pre[Sll〇]。 具體而言，從區塊blk之位置將依照mv(向量）所表示 之參照圖框ref上的區域之晝像資訊設為預測畫像。 其次，使用產生之預測晝像pre、區塊b 1 k之畫像資 訊Org、pmv、mv、ref且根據下列的式子計算位元率失真 成本 cost[Slll]。 [數學式1] cost =D+Ax{bit(mv-pmv)+bit(re/)} D= - Pre[pa]| 區塊W々内之畫素} 在此’人係拉格朗日之未定乘數’且利用預先設定的 值。此外’ bit()係表示要將所給予之資訊進行編碼而將必 35 319693 076158 要之編碼量予以傳回的函數。 .曰，、再Ϊ，在此將D設為2個晝像資訊之差分絶對值和， •但亦可設為差分平方和，並亦可使用變換差分 區域後求取和之稱為SATD的指標。 5 _ “並且編碼處理之運算成本雖增加，但以求取正確的位 凡率失真成本之方法而言，亦可使用實際對編碼對象區域 之晝像與預測晝像之差分晝像Diff(=〇fg-Pre)it行 時之符號量簡、以及將該差分晝像的編媽資料予^碼 而得到之解碼差分晝像DecDiff，且利用以下的式子求 [數學式2] / ' casi ==乃十义)<{bit(wv - +bit(re/^+ Βτ= 2lDecDiffi>反卜咖㈣ 丨區塊办从内之畫素} 比較如此求得之C〇st與bestC〇st[SU2]，若c〇討變 得較小，則藉由變更bestC〇st為c〇st、變更以以―『Μ為 ref、變更 best_mv 為 mv、變更 best_pmv 成 pmv[Sl 13] ’ 便知*到使位元率-失真成本變為最小的編碼之資訊。 其次，依照第5圖至第12圖所示之流程圖，就在參照 .¾訊變更部111進行之S106的詳細處理加以說明。 在S106的處理中，首先 '，將分配給儲存在預測參照資 訊預測資料記憶體1 〇8之所有的預測參照資訊預測資料之 變數FIN初始化成〇 ’且直到所有的FIN成為】為止，重 複執行第5圖至第12圖之處理。 在此’第5圖係表示所有的輪入圖框及參照圖框為從 36 319693

丄y/UiJO 相同的攝影機輯之晝像時之流程圖。 、圖：二第6圖至第8圖係表示輸入多視點書像，且* ·= 圖框為顯示時刻(拍攝時刻)相同：書像ί 為利用相同的攝影機拍攝之晝像時的流程圖。-或 將任：ί绝第9圖至第12圖係表示輸入多視點晝像，且可 將任碼過之圖框作為參關框使用時的流程圖。 的攝:=:所示之所有的輸入圖框及參照圖框為從相同 攝办機拍攝之晝像時的流程圖加以說明。 首先由預測參照資訊預測資料記憶體⑽，將變 二束之亦即F1N為0之預測參照資訊預測資料予以取 且設為 p_can[S201]。 ,如在上述之S105的處理所說明，預測參照資訊預測資 料η己隱體’係由於為具有對鄰接於為編瑪對象區塊之區塊 blk的複數個區塊進行編碼時使用之參照圖框、參照資 訊、以及表不該區塊之位置的資訊之資訊，故p—can為具 籲有鄰接區塊之參照圖框號碼、鄰接區塊的參照資訊、以及 表示鄰接區塊之位置的資訊之資訊。 因此’將p—can之參照圖框號碼設定為ref_can ,且 δ又疋p_can之參照資訊為mv_can[s2〇2] 〇 在此’若ref__can與對區塊blk進行編碼時擬使用之 參照圖框的參照圖框號碼ref相等[S2〇3]，則將FIN設為 1 [ S 2 0 4 ] ’且直接儲存p _ c a n於預測參照資訊預測資料記憶 體 108[S2111] 〇 亦即’於鄰接區塊之參照圖框re f _can、與編碼對象 37 319693 1376158 -·區塊blk的參照圖框ref —致時’直接使用從預測參照資 '.訊預測資料δ己憶體1 〇 8取出之預測參照資訊預測資料而產 生預測參，日，?、為訊pmv較好’故以直接儲存p—can於預測來 照資訊預測資料記憶體1〇8之方式進行處理。 . 另一方面，於ref 一 can與對區塊blk進行編碼時擬使 用之參照圖框的參照圖框號碼ref不相等時，將圖框 ref_can上的，對僅將p—can(鄰接區域）偏移mv—can之區 域（參照區域）進行編碼時將於最多的晝素被使用之參照圖 •框設為ref_tel ’且將在此區域内參照圖框為ref_tel且 在最多的晝素被使用之參照資訊設為mv—tel[S2〇5]，且根 據下列條件式進行處理[S2〇6至s2i〇]。 [數學式3] 丨職(吟胸叫臟㈣一叫〜一— 在此’ TIMEO係傳回對應給予之參照圖框號碼的圖框 籲之顯示時刻（拍攝時刻）的函數。 此條件式係意味判斷ref—te丄之參照圖框是否比 ref_can之參照圖框於.時間上更接近編碼對象區塊训的 此條件式成立時，改寫ref_can為ref_te卜且於 mv_can 加上 mv_tel[S2()7]。 編碼Si方面，此條件式不成立時，使用乳⑽的位置之 炎昭圖* ^框的解碼晝像資訊，且將編碼對象區塊blk的 〜圖框⑽設為探索對象，並設定探索中心為’ 319693 38 1376158 且求取參照圖框ref上之對應區域，並將來自探索中心之 .位移（對應資訊）設為mv—canBM[S208]，且改寫ref_can成 ref ’ 並在 mv_can 加上 mv_canBM[S209]。 然後’任何一種情況皆於ref_can與mv一can的變更結 束後’將ref_can與mv—can設定於p_can的參照圖框號碼 與參照資訊[S210 ]，且將該p_can儲存在預測參照資訊預 測資料記憶體l〇8[S211]，而結束處理。 在此，於第5圖的流程圖中，係設想直到對所有的預 測參照資訊預測資料，設定FIN的值為丨之前，亦即，到 達編碼對象區塊blk的參照圖框ref之前，重複執行此流 程圖，而亦可使用例如僅重複規定次數（亦可丨次）之類的 方法。 、 此外，在第5圖之流程圖中，使用的方法係於S2〇8 的區塊匹配處理，將編碼對象區塊blk的參照圖框設 為探索對象，並探索跟與編碼對象區塊的鄰接區域建 ,立對應關係之參照區域匹配的區域，但亦可使用探索與編 碼對象區塊blk的鄰接區域匹配之區域的方法。 的判在第5圖之流程圖中，使用的方法係依照S206 處理，來決定執行S207的處理，或執行湖，2〇9 、处 但亦可使用無條件地執行S207的處理之方法。 圖，資訊變更部⑴係藉由執行第5圖的流程 預測資料斤示之形態’以變更儲存在預測參照資訊 =資心憶體108之預測參照資訊預測資料的方式進行 319693 39 υ丄 參照=與圖所示之多視點晝像，且 或為利用相同的攝影機拍攝的畫像之流程圖加以說明。 在此於第6圖至第8圖之流程圖中，係設想在對所 …、預測參照貧訊預測資料將剛的值設定為工之前，重 複執行此流程圖’但亦可使用例如僅重複規定次數（亦 1次）之方法。 ’ 首先取出FIN為0之預測參照資訊預測資料且設為 P_can[S301]。其次，將p—咖的參照圖框號碼設定為 ref_can，且设定p_can的參照資訊為。 在此若ref-can與對區塊blk進行編碼時擬使用之 參照圖框的參照圖框號碼rei相等[S3〇3]，便將F1N設為 1[S304]，且直接將p_can儲存在預測參照資訊預測資料記 憶體 108[S336，S337]。 否則，於對圖框ref_can上之mv—can所示之區域（參 鲁照區域）進行編碼時將於最多的晝素被使用之參照圖框設 為ref_tel，且將在此區域内參照圖框為ref_tel且於最 多的晝素被使用之參照資訊設為mv_tel[S3〇5]，並進行以 下的處理[S306至S335]後，儲存p_can於預測參照資訊預 測資料記憶體108[S336，S337]。 在S306至S335之處理中’首先，若j*ef_tel與ref 相等[S306]，則改寫ref_can為ref ’且在mv_can加上 mv_tel[S3 07]= 否則，比較編碼對象圖框cur的顯示時刻與編碼對象 40 319693 1376158 ·'' 區塊的參照圖框ref之顯示時刻[S308]，若相同，則在區 - 塊blk執行進行影像的攝影機間之變化的預測時之處理 [第7圖：S309至S320]，而若不同，則在區塊blk執行進 行影像的時間變化之預測時的處理[第8圖：S321至S335]。 . 於在區塊blk進行影像的攝影機間之變化的預測時之 處理[第7圖：S309至S320 ]中，檢查拍攝圖框cur與圖框 ref_can之視點（攝影機）是否相同[S309]。 在此，第7圖之流程圖上的VIEW()，係表示傳回拍攝 鲁對應給予的圖框號碼之圖框的視點（攝影機）指標之函數。 利用不同之攝影機拍攝圖框cur與圖框ref_can時， 使用圖框cur、圖框ref_can以及圖框ref之攝影機參數 進行幾何變換，而將圖框cur之p_can之位置的區域（鄰接 區域）之對圖框ref_can的視差mv_can，變換為對該鄰接 區域的圖框ref之視差mv_transl [S310]，且將ref_can 改寫為 ref，並將 mv_can 改寫為 mv_trans[S311 ]。 φ 在S310的處理進行之幾何變換以以下的步驟執行。 1. 求取以p_can表示的區域（編畴對象區域的鄰接區 域）之中心位置pos_cur 2. 求取由以p_can表示之位置僅偏移mv_can之區域 • (參照區域）的中心位置pos_can • 3.以 X 作為變數，求取 Trans(cur，ref_can, pos_cur， x)(將此表示為在p(以下敘述之對應晝素）之上附加〜者）

Trans(src，dst，pix，d)係可以下列的式子來定義，且 從視點src之晝像上的位置pix之晝素到拍攝對象為止之 41 319693 1376158 9

距離為d時，表示視點 素P的齊次座標值。 [數學式4] dst之晝像上的晝素 A相R》RarpA二 ρ|χ J ^ 。r 其中，A，R’t係攝影機參數，而分別表示内部參數、 旋轉參數、位移參數。内部參數與旋轉參數係3χ3矩陣， 而t為3次元的向量。 々此外，在座標值附加〜者係表示齊次座標值。尤其是， 將第三成分為1的齊次座標值於座標值附加「、來表示。 ^再者，攝影機參數之表示方式各式各樣，在本實施形 態例中，設為可利用上述式子來計算攝影機間的對應點之 攝影機參數® 4. 求取Λρ(ρ的第三成分為！之齊次座標值）與 pos—can之歐幾里得距離變為最小之χ且將之設為'dw。 5. 依知、下列的式子求取mvjransi [數學式5] pos^ref ^Tyawsicwr^^pos^air,^) mv一transl=|»〇8”ι^ 一 p0S_cur 此外’上述式子係以2次元座標提供各位置資訊’且 以2次元向量表示參照資訊時的式子。 在第13圖’表示於S310的處理進行之幾何變換的一 例。此外，為了容易看得懂，上下偏移mv_can與mv—transl 42 319693 1376158 來表示。 • 如此圖所示’在S310中，於 TIME(cur)=TIME(ref)=TIME(ref_can) 之狀況下進行將mv—can作幾何變換為1之處理 〇果在中，开> 成進行改寫mv一can為㈣-化抓“之 處理。 一 另一方面，以相同的攝影機拍攝圖框cur與圖框 ref—can，[在S309為YES時]，判定圖框ref_can與圖框 ref—tel是否利用相同的攝影機拍攝[s3i2]。 利用相同的攝影機拍攝時，判定圖框㈣與圖框 ref_tel的間間隔是否比預先提供之臨限值卻還小 [S313]。此時間間隔比™小時，改寫ref一can為 ref-tei，且在 mv-can 加上 mv_tel[S314]。 另一方面，此時間間隔為TH1以上時，使用ρ—“η的

位置之編碼對象圖框的解碼晝像資訊，求取參照圖框W 上的對應區域，且將央白η θ ,, 且將來自P-can的位置之位移（對應資訊） 設為 mv_BM[S315]，並改耷 . 一咖]寫為…，且改寫一 在饥2之判定處理中，判定圖框加一咖與圖框 _tel為利用不同之攝影機拍攝時，判定圖框『Μ盘圖 框Μ」61是否利用相同的攝影機所拍攝[S317〆、 又利用相同的攝ϋ拍攝時，使用 []’而將在VlEW(r(咖）拍攝的畫像之僅將P 一 can 319693 43 1376158 *'(鄰接區塊之位置）偏移mv_can之位置的區域（參照區域） * 之對在VIEW(ref_tel)拍攝的晝像之視差mv_tel，變換為 該參照區域之對在VIEW(ref)拍攝之畫像的視差 mv_trans2，且改寫 ref_can 為 ref，並改寫 mv_can 為 mv_trans2[S319]。 在S318的處理進行之幾何變換依照以下之順序來執 行。 1. 求取僅將p_can偏移mv_can之位置的區域之中心位置 Φ pos_can。 2. 求取僅將p_can偏移mv_can+mv_tel之位置的區域之中 心位置pos_tel。 3. 以 X 作為變數，求取 Trans(ref_can, ref_tel，pos_can， x)(將此以附加~在p之上來表示）。 4. 求取Λρ與pos_tel之歐幾里得距離變為最小之X且將 之設為dean。 鲁5.依照下列式子求取mv_trans2。 [數學式6] pos_rrf = Tram(ref _ccm9r^f9pos_cAnida2n) mv_trans2 = pos_ref -pos_can • 在第14圖表示在S 318的處理進行之幾何變換的一例。 如此圖所示，在S318中，於 TIME(cur)=TIME(ref), VIEW(cur)=VIEW(ref_can) TIME(ref_can)=TIME(ref_tel),VIEWCref)^ 44 319693

丄二）/U丄JO VIEW(ref一tel) 之狀況下，進行蔣丄 •結果，在咖中，進行改e幾何變換為wj·2之處理’ .圖中所示之虛線為處理、^^CanW—加郎2之處理（於 在S317之判定虚饰士 處理中’於判定圖框ref與圖框 利用柏同的攝影機所拍攝時，改寫 re : mv—can 改寫為 mv_tel[S320]。 方面於在區塊blk進行影像的時間變化 時的處理[第8圖：S321 $ ς川u d至幻35]中，首先，判定圖框cUr ”"匡ref-can疋否以相同的攝影機所拍攝[S321]。 判定以相同的攝影機拍攝時，判定圖框ref can與圖 框ref—tel是否以相同的攝影機拍攝[S322]。 此亦判定利用相同的攝影機拍攝時，判定在圖框 ref—tel與圖框ref_can巾，於時間上那個較接近圖框w [S323]。 • 判定圖框ref-tel於時間上比較接近圖框ref時，改 寫ref一can為r；ef_tel ’且在mv一can加上财-忱以幻以]。 在322之判疋處理中，判定圖框can與圖框 ref—tel利用不同的攝影機拍攝時，或在幻23之判定處理 中’判定圖框ref—can於時間上比較接近圖框ref時，使 用p_can的位置之編碼對象圖框的解碼晝像資訊，將探索 中心設定於mV一can，並求取參照圖框ref上的對應區域， 並將來自探索中心的位移（對應資訊）設為财―canM [S325 ]，且改寫ref_can成ref，並在mv—can加上 319693 45 1376158 ** [S326]。 - 另一方面，在S321之判定處理中，判定圖框cur與圖 框ref can利用不同的攝影機拍攝時，判定圖框ref _can 與圖框ref_tel是否以相同的攝影機所拍攝[S327]。 . 判定為利用相同的攝影機拍攝時，判定圖框ref之顯 示時刻與圖框ref_te 1之顯示時刻（拍攝時刻）是否為相同 [S328]。 判定為具有相同的顯示時刻時，改寫ref__can為ref， Φ 且改寫 mv_can 成 mv_tel[S329]。 在S328之判定處理中，判定為具有不同的顯示時刻 時，使用p_can的位置之編碼對象圖框的解碼晝像資訊， 且設定探索中心於mv_te 1，並求取參照圖框ref上之對應 區域，且將來自探索中心之位移（對應資訊）設為mv_telBM [S330 ] ’ 並改寫 ref_can 為 ref，且將 mv_can 改寫為 mv_tel 與 mv_telBM 之和[S331 ]。 φ 在S327之判定處理中，判定圖框ref_can與圖框 ref_tel利用不同的攝影機拍攝時，判定VIEW(cur)與VIEW (ref_tel)之拍攝區域的一致比例，是否比預先給予之臨限 值 TH2 還大[S332]。 • 在此流程圖中，D i f f (cam 1, cam2)表示拍攝區域的一致 • 程度，而給予對可藉一方的攝影機（事先決在在任一方，且 選擇適合其之臨限值TH2)拍攝的區域之可藉雙方的攝影 機所拍攝的區域之比例。其中，設成僅以從攝影機到另外 給予的距離為止之實際空間為對象。此外，給予之臨限值 46 319693 1376158 TH2係設為比在所有的攝影機之組合中最小的pi f f值還 大。 在 S332 之判定處理中，VIEW(cur)與 ViEW(ref_tel) 的拍攝區域之一致比例比臨限值TH2還大時，將ref_can 改寫為 ref_tel ’ 且在 mv_can 加上 mv—tel [S333]。

另一方面，在S332之判定處理中，viEW(cur)與VIEW (ref_tel)之拍攝區域的一致比例為臨限值TH2以下時，使 用P_can的位置之編碼對象圖框的解碼畫像資訊，求取參 照圖框ref上的對應區域，且將來自p—can的位置之位移 (對應資訊）設為mv一BM[S334]，且改寫ref—can為ref，並 將 mv_can 改寫成 mv_BM[S335]。 其次，就如在第9圖至第12圖所示之輸入多視點晝 像，且可使用任意已編碼過的圖框作為參照圖框時之流程 圖加以說明。 在此，於第9圖至第12圖之流程圖中，係設想對所有 的預測參照資訊預測資料直到將FIN的值設定為丨為止， 重複執行此流程圖’但亦可使用例如僅重複規定次數（亦可 僅為1次）之方法。 首先’取出FIN為0之預測參照資訊預測資料並將之 設為p_can[S401]。其次 f* 設定P_can的參照圖框號碼為

[S404]，且直接將p_can 號踢ref相等[S4〇3]，將FIN設為1 can儲存在預測參照資訊預測資料記 319693 47 1376158 ’憶體 l〇8[S452，S453：|。 * 否則，對圖框ref-can上之僅將P_can(鄰接區域）偏 移mv_can的區域（參照區域）進行編碼時將以最多的晝素 使用之參照圖框設為ref_te卜且將在此區域内參照圖框 .為ref 一 tel且以最多的晝素使用之參照資訊設為 [S405]，並進行以下的處理[34〇6至以51]後，將抓 儲存在預測參照資訊預測資料記憶體1〇8[S452，S453] ^ 在S406至S451之處理中，首先，若ref_tel與ref 鲁相等[S406]，則改寫r(can為ref，且在财―咖加上 fflv一tel[S407] 〇 否則，比較編碼對象圖框cur的顯示時刻與編碼對象 區塊的參照圖框ref之顯示時刻[S4〇8]，若為相同，在區 塊blk執行進行影像之攝影機間的變化之預測時的處理 [第10圖.S409至S420]，若為不同，判定拍攝圖框c虹 與圖框ref之攝影機是否相同[S421]。 若為相同，在區塊b〗k執行進行影像的時間變化之預 測時的處理[第π圖·· 3422至S441]，若為不同，執行進 行合併影像的時間變化與攝影機間之變化的預測理 [第 12 圖·· S442 至 S451 ]。 於在區塊blk進行影像的攝影機間之變化的預測努 處理[第10圖..S409至S42〇]中，首先，判定圖框咖 顯不時刻與圖框rei-can的顯示時刻是否相同[S4〇9]e 判定為相同時，以與在前述的S31 〇的處理同樣的_ 法，使用圖框cur、圖框ref_can以及圖框之攝^ 319693 48

Ip/0105 :數進行幾何變換，而將對圖框，之p—的位置之區 $ ^接區域）的圖框r(can之視差mv—咖，變換為對該 •品域的圖框Fef之視差mv_transl[S410]，且改寫 _ an 為 ref，並改寫 mv—can 為㈣―[S4u ]。 在此於此S41〇進行之幾何變換處理，係與S310說 明的幾何變換處理相同。 _另一方面，在S409之判定處理中，判定圖框.的顯 不時刻與圖框ref-can的顯示時刻不同時，判定圖框 ref—can的顯示時刻與圖框ref—tel的顯示時刻是否相同 [S412]。 判疋為相同時，拍攝圖框ref一tel的攝影機與拍攝圖 框ref的攝影機相同，並且，判定拍攝圖框ref-can的攝 影機與拍攝圖框cur的攝影機是否相同[S413]。 判定2組的一對攝影機分別為相同的攝影機時，改寫 ref—can 為 ref ’ 且改寫 mv_can 為 mv_tel [S4l4] p • 在S413的判定處理中，只要判定2組的一對攝影機的 任何一方不相同時，使用VIEW(cur)、VIEW(ref—〇抓） (ref一tel)以及VIEW(ref)的攝影機參數進行幾何變換，而 將在VIEW(ref_c.an)拍攝的晝像之僅將p_can(鄰接區塊之 位置）偏移mv_can之位置的區域（參照區域）之對在vIEw (ref_tel)拍攝之晝像的視差mv_tel，變換成在VIEW(cur) 拍攝的晝像的P-can之位置的區域（鄰接區域）之對在VIEW (ref)拍攝的晝像之視差mv_trans3[S415]，並改寫 ref-can 為 ref，且改寫 mv_can 為 mv_trans3[S416]。 49 319693 1376158 在S415之處理進行的幾何變換係依以下之步驟執行。 1. 求取僅將p_can偏移mv_can之位置的區域之中心位置 pos_can 2. 求取僅將p_can偏移mv_can+mv_tel之位置的區域之中 心位置pos_tel 3. 以 X 作為變數，求取 Trans(ref_can，ref_tel,pos__can， x)(將此以附加~在p之上來表示） 4. 求取Λρ與p〇s_tel之歐幾里得距離變為最小之X且將 之設為dean 5. 依照下列的式子求取mv_trans3 [數學式7] pos_cnr2 = Trans^ef ^can^ cur, pos^can, dcm ) fmt pos_r^ = Trans(ref^can,ref9posjcsLik,dcan) mv^transS=pos_ref -pos_cur2 在第15圖表示在S415的處理進行之幾何變換的一 例。此外，為了容易看懂，上下偏移mv_tel與mv_tran3 來表示。 如此圖所示，在S415中，於 TIME(cur)=TIME(ref)Φ TIME(ref_can)=TIME(ref_tel) VIEW(ref)#VIEW(ref_tel)或 VIEW(cur)#VIEW(ref_can) 之狀況下，將mv_tel進行幾何變換為mv_trans3之處理， 結果，在S416中，進行改寫mv_can為mv_trans3之處理（表 示在圖中之虛線為處理結果）。 50 319693 1376158 ’ 在S41 2之判定處理中，判定圖框ref_can的顯示時刻 - 與圖框ref_tel的顯示時刻不同時，判定圖框cur與圖框 ref_tel之時間間隔，是否比事先給予之臨限值TH1還小 [S417]。 時間間隔比TH1還小時，改寫ref_can為ref_tel， 且在 mv_can 加上 mv_tel [S418] 〇

時間間隔為TH1以上時，使用p_can之位置的編碼對 象圖框之解碼晝像資訊，求取參照圖框ref上的對應區 •域，且將距離p_can的位置之位移（對應資訊）設為mv_BM

[5419] ，且改寫 ref_can 為 ref，並改寫 mv_can 成 mv_BM

[5420] 。 於在區塊blk進行影像的時間變化之預測時的處理 [第11圖：S422至S441]中，首先，判定拍攝圖框cur之 攝影機與拍攝圖框ref_can的攝影機是否相同[S422]。 相同時，復判定拍攝圖框ref _can的攝影機與拍攝圖 •框ref_tel的攝影機是否相同[S423]。 .此亦相同時，進行前述（數學式3)式之判定[S424]。 此（數學式3)式子成立時，將ref_can置換為ref_tel，且 在 mv_can 力口上 mv_1:el [S425 ] ° ' 另一方面，此[數學式3]式不成立時，使用p_can的 • 位置之編碼對象圖框的解碼晝像貧訊’設定棟索中心為 mv_can，且求取參照圖框ref上之對應區域，並將距離探 索中心的位移（對應資訊）設為mv_canBM[S426 ]，且改寫 ref_can 為 ref，並在 mv_can 加上 mv_canBM[S427]。 51 319693 1376158 ‘ 在S423之判定處理中，判定拍攝圖框ref—can的攝影 • •機與拍攝圖框ref一tel的攝影機不同時，判定拍攝圖框ref 的攝影機與拍攝圖框ref 一 tei的攝影機是否相同[S428]。 一相同時，使用p一 can的位置之編碼對象圖框的解碼晝 .像資訊，且设定探索中心為mv一can+mv一tel，並求取參照 圖框ref上的對應區域，且將距離探索中心之位移（對應資 訊）設為 πιν-epiMl [S429]，並改寫 ref一can 為 ref，^在 mv—can 加上 與 mv_epiM1[S43〇]。 • 再者，在此S429之探索，亦可藉由使用攝影機間的限 制，而僅探索對應區域的中心成為依下面的步驟得到之直 線的周圍之情況。 1·求取僅wP_can偏移mv_can+mv_tel的位置之區域的中 心位置pos_tel 2.以 X 為變數 _，求取 Trans(ref_tel，ref，p〇s—χ)(將 此以附加〜在Ρ之上來表示） 鲁3.改變X時求取ρ所描繪的圖框ref上之直線 在此，雖不決定改變之X的值之最大值與最小值，但 亦可預先設定。 一 ^此外，於S428之判定處理中，判定拍攝圖框ref的攝 影機與拍攝圖框ref_tel的攝影機不同時，進行前述的 S426之處理與S427的處理。 另一方面，在最初進行之S422的判定處理中，判定拍 攝圖框cur的攝影機與拍攝圖框ref 一 can的攝影機不同 時，判定圖框ref的顯示時刻與圖框ref」el的顯示時刻 319693 52 1376158 ’ 是否相同[S431]。 - 為相同時，復判定圖框ref的顯示時刻與圖框ref_can 的顯示時刻是否相同[S432]。 此亦相同時，採用與在前述的S318之處理相同的方法， . 而使用 VIEWCref—can)、VIEW(ref_tel)以及 VIEW(ref)的 攝影機參數進行幾何變換，將在VIEW (ref_can)拍攝的晝 像之僅將p_can(鄰接區塊之位置）偏移mv_can之位置的區 域（參照區域）之對在VIEW(ref_tel)拍攝的晝像之視差 鲁mv_tel，變換為該參照區域之對在VIEW(ref)拍攝的晝像 之視差mv_trans2[S433]，且改寫ref_can成ref ’並在 mv_can 力口上 mv_trans2[S434] 〇 第16圖表示在S433的處理進行之幾何變換的一例。 如此圖所示，於S433中，在 VIEW(cur)=VIEW(ref), VIEW(cur)^VIEW(ref_can) TIME(ref)=TIME((ref_Can)=TIME=TIME(ref_ te l) 鲁之狀況下，對mv_tel進行幾何變換成mv_trans2之處理， 結果’在S434中，進行在inv_can加上mv_trans2之處理（圖 中所示之虛線為處理結果）。 再者，在S432之判定處理中，判定圖框ref的顯示時 • 刻與圖框ref_can的顯示時刻不同時，進行前述S429之處 • 理與S430之處理。 此外，於S431之判定處理中，判定圖框ref之顯示時 刻與圖框re_tel之顯示時刻不同時，判定圖框ref之顯示 時亥1J與圖框ref_can之顯示時亥是否相同[S435] 〇 53 319693 1.376158 f * 判定為相同時，使用p_can的位置之編碼對象圖框的 解媽畫像資訊，而將探索中心設定為mv_can，並求取參照 圖框ref上的對應區域，且將距離探索中心的位移（對應資 訊）設為 mv_epiBM2[S436]，且改寫 ref_can 為 ref，且在 . mv_can 加上 mv_epiBM2[S437]。 此外，在此S436之探索，亦可藉由使用攝影機間的限 制，而僅探索對應區域的中心成為依下面的步驟得到之直 線的周圍之情況。 ® 1 ·求取僅將p_can偏移mv_can的位置之區域的中心 位置 pos_can 2. 以 X 為變數’求取 Trans(ref_can，ref，p.os_can，x) (將此以附加〜在p之上來表示） 3. 改變X時求取p所描繪的圖框ref上之直線 在此，雖不決定改變之X的值之最大值與最小值，但 亦可預先設定。 φ 在S4.35之判定處理中，判定圖框ref之顯示時刻與圖 框ref_can之顯示時刻不同時，進行下列2個條件式之判 定[S438]。 [數學.式8] VIEW(r^)= VIEW{ref_tel) < \TIAdE(r^)-TIME(ref _canj 只要任何一方成立時，改寫ref_can為ref_tel，且 在 mv_ can 加上 mv_tel[S439]。 54 319693 1376158 ’ 任何一方皆不成立時，使用p_can的位置之編碼對象

圖框的解碼晝像資訊，求取參照圖框ref上之對應區域， 且將距離p_can的位置之位移（對應資訊）設為mv_BM

[5440] ，且改寫 ref_can 為 ref，並改寫 mv_can 為 mv_BM

[5441] 。 於在區塊blk進行合併影像的時間變化與攝影機間之 變化的預測之情況的處理[第12圖：S442至S451]中，首 先，判定圖框ref_can的顯示時刻與圖框ref的顯示時刻 籲是否相同[S442]。 判定為相同時，判定圖框ref_tel的顯示時刻與圖框 ref的顯示時刻是否相同[S443]。 判定此亦相同時，以與在前述S318之處理相同的方法， 而使用 VIEW(ref_can)、VIEW(ref_tel)以及 VIEW(ref)的 攝影機參數進行幾何變換，將在VIEW(ref_can)拍攝的晝 像之僅將p_can(鄰接區塊的位置）偏移mv_can之位置的區 φ域（參照區域）之對在VIEW(ref_te 1)拍攝的晝像之視差 mv_tel，變換為該參照區域之對在VIEW(ref)拍攝的晝像 之視差mv_trans2[S444]，且改寫ref_can為ref，並在 mv_can 力口上 mv_trans2[S445]。 第1 7圖表示在S444之處理進行之幾何變換的一例。 此外，為了容易看懂，上下偏移mv_te 1與mv_trans2來表 示。 如在此圖所示，在S444中，於 VIEWCcur)^TIME(ref), VIEWCcur) ^ VIEW(ref) 55 319693 1376158 TIME(ref)=TIME((ref_can)=TIME(ref_tel) .之狀況下，將mv_tel進行幾何變換為mv_trans2之處理， 結果，在S445中’進行在rav_can加上mv—trans2之處理（圖 中所示之虛線為處理結果）。 此外，在S443之判定處理中，判定圖框ref 一 tel之顯 示時刻與圖框ref之顯示時刻不同時，使用p—can的位置 之編碼對象圖框的解碼晝像資訊，設定探索中心為 iDv_can，並求取參照圖框ref上的對應區域，且將距離探 索中心的位移（對應資訊）設為mv_epiBM2[S446]，並改寫 ref_can 成 ref，且在 mv_can 加上 mv—epiBM2[S447]。 再者，在此S446之探索，亦可藉由使用攝影機間的.限 制，僅探索對應區域的中心成為依與前述湖的處理時相 同的順序得到之直線的周圍之情況。 另一方面，在最初進行之s 4 4 2的判定處理中，判定圖 框ref_Can之顯示時刻與圖框ref之顯示時刻不同時，進 行前述[數學式3]式之判定[S448]。 此[數學式3]式成立時，替換ref—can為，且 在 mv_can 加上 mv_tel [S449]。 另一方面’此[數學式3]式不成立時，使用p—議的 位置之編碼對象圖框的解碼晝像資訊，求取參照圖框Μ 上的對應區域，且將距離p—can的位置之位 設為rov一BM[S450J，並改寫ref can為 …§ 改寫mV_M⑻51]。 -咖為且將

如此’參照資訊變更部ln係藉由執行第6圖至第U 319693 56 1376158 在第1圖與第2圖所示之形態’依變更儲存 • ^參照資訊預測㈣記憶體m之制參照資訊預測 -貝科之方式進行處理。 其f ’就具備本發明之動晝像解碍裝置加以說明。 在第18圖表示本發明的動晝像解碼裝置之一實施 形態例。 、 此動晝像解碼裝置係俱備：將對成為解碼對象之 :㈣測晝像之差分畫像的編碼資料予以解碼之差分畫 =碼部2(Π ;將對產生預測.晝像時之參照#訊的預測參 …、-貝訊之差分參照資訊的編碼資料予以解之昭 訊解碼部氣·將產生預測畫像時之參照圖框指定資訊、的貝 竭媽貧料予以解碼之參照圖框指定資訊解碼部203;使用 f已經解碼過的聽之參照圖框、參照圖框指定資訊以及 :照資訊來產生解碼對象圖框的制晝像之預測畫像製作 部204 ;儲存以預測畫像與解碼過的差分晝像之和求取的 #解碼晝像之參照圖框記憶體2〇5;從預測參照資訊預測資 料（成為預測參照資訊的候補之參照資訊）產生預測參照 訊之預測參照資訊產生部206 ;儲存預測參照資訊預測資 料之預測參照資訊預測資料記憶體2〇7;儲存過去對晝像 進行解碼時使用之參照貧訊的參照資訊儲存記憶體⑽； 在預測參照資訊預測資料記憶體2 〇 7上之預測參昭資訊 測資料施行修正之參照資訊變更部2〇9;以及儲存過去進 行解碼晝像時使用的參照圖框指定資訊之參照圖框指定資 訊儲存記憶體210。 319693 57 1376158 的流ίΓ。9圖表示如此構成的動晝像解码裝置_之執行 依：此流程圖，就如此構成的動畫像解碼裝置之 =的處理加轉細說明。但是，已經對複數個圖框的書 象違行過解碼，而設為將其結果儲存在參照圖框記憶體― 憶體t貪訊儲存記憶體208、參照圖框指定資訊儲存記 〜I先’將差分晝像的編碼資料、差分參照資訊的編碼 貝枓、及參照@框指定資訊的編碼資料，輸人到動晝像解 2裝置200,且分別傳送到差分晝像解碼部2(n、差分參照 Η訊解碼部202、以及參照圖框指定資訊解碼部2〇3 [S501]。 解碼對象晝像對整個晝像進行區域分割’且按各個區 域，行解碼[S502至S515]。在此流程圖中，將區塊（區域） 钓指標表示為blk，而將包含在一個畫像之總區塊數表示 φ 為 MaxBlk。 亦即，將指標blk初始化成1後[S502]，直到blk成 為MaxBlk之前[S514]，一邊在blk加算1[S515]，且一邊 重複執行以下的處理[S503至S513]。 在按各個區塊進行之處理中，對參照圖框指定資訊之 編碼資料進行解碼’以取得參照圖框指定資訊ref [S503] ’並進行產生用以預測對參照圖框ref之參照資訊 的預測參照資訊pmv之處理[S504至S507]後，對差分參照 資訊的編碼資料進行解碼，且取得差分參照資訊mvd 58 319693 1376158 j ‘ [S508] ’並產生以pmv與mvd的和構成之參照資訊㈣ • . [S509]。 然後，使用參照圖框W與參照資訊^產生預測晝像 pre[S5i〇]，且對差分晝像的編碼資料進行解碼，·以取得差 .分畫像Sub[S511]，且藉由計算Pre與Sub之各晝素的和 . 產生解碼畫像Dec[S512]。 然後，將解碼畫像Dec、為用以對區塊Mk進行解碼 之資訊的參照資訊mv、以及參照圖框指定資訊ref，分別 儲存於參照圖框§己憶體205、參照資訊儲存記憶體2〇8、以 及參照圖框指定資訊儲存記憶體21〇[S513]。 此外，關於各圖框，就包含在該圖框之所有的區塊結 束解碼處理後，並且，全部輸出具有比該圖框更前面的顯 示時刻之圖框後，從動晝像解碼裝置2〇〇輸出解碼過的圖 框。 在產生預測參照資訊pmv之處理[S5〇4至S5〇7]中，將 鲁預測參照資訊預測資料記憶體2〇7予以初始化後[S5〇4]， 關於鄰接於區塊blk之複數個區塊，將對該區塊進行解碼 時使用之參照圖框號碼REF、參照資訊肝、以及表示該區 塊的位置之資訊P〇S的組（REF，MV，p〇s)儲存在預測參照資 訊預測資料記憶體207[S505]。 此時，MV，REF設為分別與區塊指標或晝像内之位置建 立對應關係而儲存在參照資訊儲存記憶體208、參照圖框 指定資訊儲存記憶體210。 再者’以鄰接於區塊blk之複數個區塊而言，例如.， 59 319693 1376158 3 ‘ 按照光柵掃描之順序對分割晝像之區域進行編碼時，在 -·上、左、右上可設為鄰接之區塊。 . 在本形態實施例中，設為將此3個鄰接區塊的參照資 訊設定為預測參照資訊預測資料。但是，設為如符合之區 . 塊成為晝面之外時從候補去除。 . 其次’將預測參照資訊預測資料記憶體207内之預測 參照貧訊預測資料予以取出，且在參照資訊變更部2〇9施 加、麦更’再次儲存在預測參照資訊預測資料記憶體2 〇 7 • [S506]。在此進行之處理於後面詳鈿說明。 然後’從儲存在預測參照資訊預測資料記憶體2〇7之 複數個參照資訊產生預測參照資訊pmv[S507]。具體而 言’藉由按各個參照資訊的成分取預測參照資訊預測資料 的中間值來製作預測參照資訊pmv。 亦即，參照資訊以χ-γ的2次元之向量表示時，按各 個成分’求取複數個預測參照資訊預測資料具有的對應之 籲成分的中間值，且將pmv設為該成分的值。 再者’除中間值以外亦可使用平均值或最大值、最小 值等作為任意的基準。但是，必須使用與動晝像編碼裝置 使用的基準相同之基準。 在參照資訊變更部209進行之S506的處理，係與在已 •經敘述過之第3圖所示的動晝像編碼裝置1〇()内之參照資 訊變更部111進行的第4圖中所示之sl〇6的處理相同。 亦即，最初’對儲存在預測參照資訊預測資料記憶體 2 0 7之所有的預測參照資訊預測資料將ρ I n初始化成〇，直 60 319693

Ip/0158 j 為止，重複執行第 圖至第12圖的流 * 到所有的FIN成為 .程圖之處理。 在此’第5圖係表示所有的輪入圖 相同的攝影機所拍攝之晝像的情況之流程圖。為仗 圖框入：：至第8圖係表示輸入多視點晝像且參照 輸®柜為顯示時刻（拍攝時刻） 利用相㈣攝频拍攝之晝料之流㈣。 戈為 將任Si已:I!:至第12圖係表示輪入多視點畫像，且可 在編碼，义之圖框作為參照圖框使用時的流程圖。 ’、、、，亦可設為可將任意的已編碼過之圖框作為 參照圖框使用時之流程圖。 作為 ㈣圖示實施形態例對本發明已作了說明，而本發明 並不叉此貫施形態例所限制。 除了取如上述之眾 中間值或平均值來 例如，以產生mv_tel之方法而言，

數（mode)之外，亦可採用按各個成分之 產生之方法。 置側 但疋，必須以動晝像編碼裝置侧與動晝像解碼裝 之對應的處理而採用相同的方法。 t 此外，雖在實施形態例中未就圖框内編碼加以 但以製作預測晝像的方法之一而言’例如 的號碼以作為參照圖框指定資訊而容易追加。刀㈣ 再者，對鄰接區塊在圖框内進行編碼時設定(表照 二貝訊為〇且產生預測參照資訊預測資料，而或 ()，係假定將在其他的情況（亦即，在圖框内未進行編碼） 319693 61 中絶對不傳回之類的絶對值之 框内進行有绝 w得~，即使在圖 .此外，：：：：？依前述流程圖進行適當的處理。 -碼模次“ > 妝圖框指定資訊，而如H.264另外準備編 碼杈式而達成之動畫像編碼裝 備，.扁 本發明容易加以類推。 動旦像解碼裝置亦可從 ▲軟晝像編碼及解碼的處理，亦可透過電腦 錄媒可讀取之記 錄媒體而美供，或可透過網路提供。 書像實施形態例中雖以動晝像編碼裝置及動 像m 加以說明，但亦可藉由對應上述動書 η畫像解碼裳置之各部分的動作之步驟來執 订本發明·畫像編碼方法及動晝像解碼方法。 以上’參照圖不說明了本發明的實施形態例，但以上 說明之實施形態例僅為本發明之例示，但明顯地本發明不 文以上說明之實施形態例所限。因此，只要在不脫離本發 明的精神及範圍之範圍亦可進行構成要素的追加、省略、 替換、其他的變更。 [產業上之可利用性] 依據本發明，藉由使用對該參照區域進行編碼時使用 之編碼資訊，將對鄰接於編料象區域之區域進行編碼時 使用之參照資訊，變換為適用於編碼對象圖框與編码對象 ^照圖框的時刻及視點關係之參照資訊後，且產生預測參 照資=，而即使不具複數個圖框間的影像變化之時間的連 續性枯、或备各個編碼單位區域一邊選擇動作補償與視差 319693 62 1376158 補償一邊對多視點晝像進行編 . 為碼¥，亦可不對表示變換操 •作的方之附加請進行料，而可減小對碼對象區域進 行編糾使用的參照資訊與_參照資訊之差，且可有效 率地對用以進行圖框間預測 〆此在 j、扁碼之動作向量與視差資訊進 Ί丁編碼。 【圖式簡單說明】 、β圖係表示藉由本發明將預測參照資訊預測資料變 更為預測參照資訊預測資料與參照區域參照資訊的和 況的處理例圖。 第2圖係表示藉由本發明將預測參照資訊預測資料變 更為參照區域參照資訊的情況之處理例圖。 第3圖係本發明的動晝像編媽襄置之一實施形態例。 第4圖係本實施形態例的動畫像編碼裝置執行之動晝 像編碼處理的流程圖例。 第5圖係在本實施形態例之編碼中，僅可進行時間方 #向的影像預測之情況的預測參照資訊預測資料之變更處理 的流程圖例。 ^ 6圖係在本實施形態例之編碼中，可按照各個編碼 對象區塊進行時間方向或攝影機間的影像預測之任何一方 之情況的預測參照資訊預測資料之變更處理的流程圖例。 第7圖係作為第β圖之流程圖的一部分之編碼對象區 塊進行攝影機間的影像變化之預測的情況之流程圖例。 第8圖係作為第6圖之流程圖的一部分之編碼對象區 塊進行時間性的影像變化之預測的情況之流程圖例。 319693 63 切6158 第9圖係在本實施形態例之編碼中， .對象區塊進行任了按&、各個編碼 資料的蠻p _ #像 月况之預測參照資訊預測 -貝科的邊更處理之流程圖例。 第^圖係作為第9圖之流程圖的一部分之編㈣ 塊進仃攝影機間之影像變化的預測之情況的流程圖例。 弟=係作為第9圖之流程圖的—部分之編碼對象區 龙進仃時間性的影像變化之預測的情況之流程圖例。 塊進第系作為第9圖之流程圖的一部分之編碼對象區 變==變化與攝影機間的變化之混在-起的影像 I化之預測的情況之流程圖例。 〜第13,係在第7圖的流程圖之㈣執行的預測參照 —貝訊預測資料之變更處理的說明圖。 第14圖係在第7圖的流程圖之㈣執行的預测來昭 貢訊預測資料之變更處理的說明圖。 〆 一帛15圖係在第10圖的流程圖之咖執行的預測參照 _貝讯預測資料之變更處理的說明圖。 —第16圖係在第U圖的流程圖之湖執行的預測參昭 貢訊預測資料之變更處理的說明圖。 〆 —第17圖係在第12圖的流程圖之湘執行的預測來昭 貧訊預測資料之變更處理的說明圖。 " 第18圖係本發明的動晝像解碼裝置之—實施形態例。 第19圖係本實施形態例的動晝像解碼裝置執行之動 晝像解碼處理的流程圖例。 第20A圖係H. 264之動作向量預測的說明圖。 319693 64 1376158 * 帛謂圖係同樣為H.264之動作向量預測的說明圖。 -f 2GC圖係同樣為H.264之動作向量預測的說明圖。 .第2〇D圖係同樣為H. 264之動作向量預測的說明圖。 第21圖係導向模式之動作向量產生的說明圖。 第22A圖係使用編碼對象區塊之周邊區塊的動作向量 而產生預測向量的手法之說明圖。 第22B圖係使用時刻資訊而適用比例縮放之動作向量 預測的說明圖。 鲁 帛22C圖係同樣為使用時刻資訊而適用比例縮放之動 作向量預測的說明圖。 第22D圖係同樣為使用時刻資訊而適用比例縮放之動 作向量預測的說明圖。 第23圖係於攝影機間產生之視差的說明圖。 【主 要元件符號說明】 100 動畫像編碼裝置 101 畫像輸入部 102 區塊匹配實施部 103 預測晝像製作部 104 差分晝像編碍部 105 差分畫像解碼部 106 參照圖框記憶體 107 參照資訊儲存記憶體 108 預測參照資訊預測資料記憶體 109 預測參照資訊產生部1 1 0 差分參照資訊編碼部 111 參照資訊變更部 112 參照圖框指定資訊儲存記憶體 113 參照圖框選擇部 114 參照圖框指定資訊編 碼部 65 319693

Claims (1)

1. ⑸ 6158 第09614〇158號專利申請案 «丄 1〇1年4月6曰修正替換頁 v十、申請專利範圍·· - L 一種預測參照資訊產生裝置，係將晝像進行區域分割， 且按照各個區域，適用時間上或空間上的圖框間預測編 碼方式，並根據處理對象區域之參照圖框與表示該參照 圖框之處理對象區域的預測對象位置之參照資訊而產 生處理對象區域的預測畫像來處理動晝像時所使用，以 產生將成為該參照資訊的預測資訊之預測參照資訊 者’其特徵在具有： 預測參照資訊預測資料設定模組，係將處理鄰接於 處理對象區域之已經處理完的鄰接區域時之參照資 訊’設定為使用於處理對象區域之參照資訊的預測之預 測參照資訊預測資料； 參照區域參照資訊產生模組，從處理依照前述預測 參照資訊預測資料所指示的參照區域時所使用之丨個 以上的參照資訊產生參照區域參照資訊； 預測參照資訊預測資料變更模組，使用所產生的前 述參照區域參照資訊來變更前述預測參照資訊預 料；以及 、 *十、=測參照資訊產生模組，使用存在1個或複數個前 ΐ;更過的預測參照資訊預測資料，而產生前述預測參 ^訊0 2·—種動晝像編碼裝置’係於採用藉由將整個晝像進行區 =割$=按照各個區域’從已經完成編碼之複數個圖 中，、擇於預測該區域的晝像資訊時使用作為參照圖 (修正本)319693 66 1376158 _ 第096140158號專利申請案 101年4月6曰修正替換頁 框之編碼對象區域參照圖框’且使用編碼對象區域參照 圖框、以及表示該編碼對象區域參照圖框之編碼對象區 域的預測對象位置之參照資訊而產生預測晝像，且將預 測畫像與編碼對象區域的晝像之差分資訊進行編碼，而 • 將動畫像進行編碼之動畫像編碼裝置，其特徵在具有： • 預測參照資訊預測資料設定模組，將對鄰接於編碼 對象區域之已經完成編碼的鄰接區域進行編碼時之參 照ΐ訊，设定作為使用於編碼對象區域之參照資訊的預 測之預測參照資訊預測資料； 參照區域參照資訊產生模組，由將依照前述預測參 照資訊預測資料所指示之參照區域進行編碼時所使用 之1個以上的參照資訊產生參照區域參照資訊； 預測參照資訊預測資料變更模組，使用所產生之前 述前述參照區域參照資訊來變更前述預測參照資訊預 測資料； 1預測參照資訊產生模組’使用存在丨個或複數個前 述變更過之預測參照資訊預測資料，產生將成為編碼對 象區域=參照資訊之預測資訊的預測參照資訊；以及 。差分參照資訊編碼模組，將用以產生對於編碼對象 . @域之預測畫像所使用之參照f訊與前述預測參 ’訊之差分資訊予以編碼。 、 3· 一種動晝像解碼裝置’係於對整個晝像進行區域分割， 從已I解碼之複數個圖框—邊產生預測晝像—邊 旦像進行解碼時，按照各個區域，將表示屬於用以產生 (修正本)319693 67 1376158 第09δ14〇158號專利申請案 101年4月6日修正替換頁 預測畫像所使用之已經完成解碼的圖框之情形的解碼 對象區域參照圖框的資訊、表示解碼對象區域參照圖框 之解碼對象區域的預測對象位置之參照資訊、以及對預 測畫像與解碼對象區域的晝像之差分資訊進行解碼，而 藉此將動晝像解碼之動畫像解碼裝置，具備： 預測參照資訊預測資料設定模組，將鄰接於解碼對 象區域之已經解碼之鄰接區域進行解碼時之參照資 訊，設定作為使用於解碼對象區域之參照資訊的預測之 預測參照資訊預測資料； 參照區域參照資訊產生模組，由將依照前述預測參 照資訊預測資料所指示之參照區域進行解碼時所使用 之1個以上的參照資訊產生參照區域參照資訊； 預測參照資訊預測資料變更模組，使用所產生的前 述參照區域參照資訊來變更前述預測參照資訊預測資 料； 預測參照資訊產生模組，使用存在丨個或複數個前 述已變更之預測參照資訊預測資料，產生將成為解碼對 象區域的參照資訊之預測資訊的預測參照資訊；以及 差分參照資訊解碼模組，從編碼資料，將用以產生 對於解碼對象區域的預測畫像所使用之參照資訊與前 述預測參照資訊之差分資訊進行解碼。 (修正本)319693 68