TWI364221B - - Google Patents

Description

1364221 六、發明說明： 【發明所屬之技術領域】 . 本發明係有關一種使用於多視點映像的編碼之映像編 碼裝置及其方法、將藉由該映像編碼技術所編碼的編碼貢 料予以解碼之映像解碼裝置及其方法、使用於實現該映像 , 編碼裝置的映像編瑪程式及記錄有該程式之電腦可讀取的 . 記錄媒體、以及使用於實現該映像解碼裝置的映像解碼程 式及記錄有該程式之電腦可讀取的記錄媒體。 • 本案係根據2007年6月25日所申請的日本特願 2007-165828號申請案來主張優先權，並援用其内容於本 說明書。 【先前技術】 所謂多視點影像係指以複數台攝影機所攝影的相同 被攝體與背景之複數個影像，所謂多視點動態影像（多視點 映像）係指該多視點映像的動態影像。以下，將由一台攝影 機所攝影的動態影像稱為「二次元動態影像」，將攝影有相 * 同被攝體與背景之二次元動態影像群稱為「多視點動態影 像」。 二次元動態影像係與時間方向有很高的關連性，藉由 利用此關連性來提高編碼效率。另一方面，在多視點影像 與多視點動態影像中，當各個攝影機同步時，由於在相同 時間所對應的各個攝影機的映像係從不同位置攝影完全相 同狀態的被攝體與背景，因此各個攝影機之間有很高的關 連性。在多視點影像與多視點動態影像的編碼中，藉由利 320335 1364221 , 用該關連性可提高編碼致率。 首先，說明習知技術的二次元動態影像的編碼技術。 * 以國際編碼標準之H. 264、MPEG-2、MPEG-4為首之習 .知許多的二次元動態影像編碼方式中，係利用動態補償、 正父變換、置化、滴編碼（entr〇py c〇ding)之技術來進行 -高效率的編.碼。稱為動態補償的技術係利用訊框間的時間 • 關連性之方法。 H.264所使用的動態補償技術的詳細說明係記載於下 _ 述非專利文獻1 ’以下說明其概要。 在H· 264的動態補償中’將編碼對象訊框分割成各種 尺寸的區塊，而可作成在各區塊具有不同的動態向量，對 於局部性的映像變化亦達成高編碼效率。此外，作為參照 訊框的候補者，係準借相對於編碼對象訊框之過去或未來 已完成編碼之複數個訊框’而可作成在各區塊使用不同的 參照訊框。藉此，即使對於因為時間變化而產生遮蔽 φ (occlusion)之映像亦可達成高編媽效率。 接著’說明習知的多視點影像與多視點動態影像的編 碼方式。 關於多視點動態影像的編碼’已知有一種方式，係藉 由將動態補償適用於由安置於相同時刻的不同視點的攝影 ，所攝影的影像之「視差補償」’而高效率地將多視點動態 v像予以編碼。在此，所謂視差係指在配置於不同位置的 攝景》機的影像平面上，在被攝體上相同位置所投影之位置 的差。 ” 320335 4 1364221 r 第12圖係顯示該攝影機間所產生的視差的概念圖。在 此概念圖中，光軸係垂直俯視平行的攝影機的影像平面 '者。如此，一般將在不同攝影機的影像平面上將被攝體上 .相同位置所投影的位置稱為對應點。視差補償係根據此對 應關係從參照訊框來預測編碼對象訊框的各像素值，並將 ' 其預測殘差以及顯示對應關係之視差資訊予以編碼。 . 由於在多視點動態影像的各訊框同時存在時間方向的 備份性（亦稱冗長性）與攝影機間的備份性，故作為同時去 > 除雙方的備份性的方法有下述專利文獻1之手法。. 在該手法中，係在每個時刻產生輸入影像與視差補償 影像之差分影像’並將差分影像當作二次元動態影像，一 邊應用動態補償一邊進行編碼。依據此方法’由於能藉由 動態補償去除在用以去除攝影機間的備份性之視差補償中 無法去除的時間方向的備份性，因此最後進行編碼的預測 殘差會變小，可達成高編碼效率。 _ 非專利文獻 1 : ITU-TRec. H.264/IS0/IEC 11496-10，

Editor s Proposed Draft Text Modifications for Joint Video Specification (ITU-TRec. H. 264/ISO/IEC 11496-10 AVC), Draft V , Document JVT-E022d7, pp. 10-13, 62-73, September 2002 專利文獻1 :日本特開2007-036800號公報 【發明内容】 (發明所欲解決之課題） 依據將視差補償殘差信號（輸入影像與視差補償影像 5 320335 1364221 , 之差分影像）當作映像來進行動態補償之習知多視點動態 影像的編碼方法，由於能縮小同時具有時間方向與攝影機 - 間的備份性之部分的預測殘差，因此能有效率地將多視點 . 動態影像予以編碼。 然而，由於差分動態影像信號的位元深度（量化位元數） - 比通常的映像還大1位元，因此在此方式中，編碼/解碼 . 器的規模會變得比將原本的映像予以編碼者還大。亦即， 例如在8位元影像的情形中，雖然最小值為0而最大值為 鲁 255，然而由於此情形的差分影像的最小值變為一255而最 大值變為+ 2 5 5，因此差分動態影像信號的位元深度會變得 比通常的映像還大1位元。 此外，由於亦存在對應基準視點（選出一台攝影機作為 基準視點的攝影機）的攝影機等用以進行將通常的映像直 接編碼/解碼的攝影機，因此作為多視點動態影像編碼/ 解碼器整體須具備用以處理兩種位元深度之機構，而有電 A 路規模和安裝規模變大之問題。 並且，在因遮蔽等無法從其他的攝影機映像來預測編 碼/解碼對象的攝影機映像的區域中，在使用差分的編碼 /解碼中與未使用差分的情形相比，效率會變差。因此， 適當地切換使用差分的編碼/解碼以及未使用差分的編碼 /解碼係能提升編碼效率。 然而，由於在差分的情形與非差分的情形中位元深度 會不同，因此無法以相同的編碼/解碼部來進行處理。因 此，在進行適當地切換處理的情形中，即使在將一個視點 6 320335 1364221 , 的映像予以編碼/解碼的部分亦須具備能處理 編碼/解料，而有電路規模和安裝規模變大的δ逮之 —不僅是這些電路和安I規模，當在差分動 。 灯動態補償時’在原始映料的像素值所料的 進

大值與最小㈣部分中，有可能會將無用的信號予^為最 例如在8位元的映像中，設原始影像的某像素的喝。 值為255，而其位置的合成影像（視差補償影像傍=素 為250。，亦即，此像素中的差分影像的像素值為5。此時值 在使用其他時_差分影像並使用動態補縣預測此像夸 的像素值時的值為1G之情形中，會變成將5幻 沾 一 5的值予以編石馬。 、 ，、、':而，由於原始映像的像素值的最大值為255，且比 255還大的值皆會被截除（clipping)成 255 ’因此，將〇予 去爲馬以取代將—5 編瑪時所獲得之對合成影像的像 素值250加算經由差分影像的動態補償所計算出的預測值 1〇而獲得的260之值亦可顯示255的輸入映像之值。亦即， 在^清形中’將—5之差分影像間的預測殘差予以編碼並 無意義，而會導致編碼量的增加。 如此’在差分動態影像中進行動態補償時，在原始映 像時的像錢成為所料值的最大值和最 小值的部分會產 生將不需要的信號予以編碼之情形。 本發明乃有鑑於上述課題而研創者，其目的係提供一 種^將夕視點映料以編碼時，對使用差分影像的預測值 加开。成衫像的像素值而作成相對於輸人影像的預測影 320335 7 :，藉此無須於編竭 4號，且使用相對於輸入映像與數個位元深度的映像 測之新的映像編碼解碼技術。 映像之差分映像的預 (解決課題的手段） 因此，本發明係提供一種映像編 硯點不同的複數台攝影機所攝影的/裝置，係在將藉由 知，根據與對編碼對象的影像進彳-了視點衫像予以編碼 不同的至少—個視點中已完二：影的攝影機之視點 及該參照攝影機影像與編骑照攝影機影像、以 來產生相對於對編碼對象的影像進Γ之間的視差資訊， 成影像，並㈣該合成影像將 ϋ攝影的攝影機之合 該映像編嫣裴置係具備有： ·的影像予以編碼， 差分影像預測手段，係產生後碎 象區域的輪入影像以及相對於 β進L馬的編石馬對 之差分影像的預測影像；^々影像的前述合成影像 預測影像產生手段，係產生 =的預测差分影像與編竭對像==测手段 和來表示之該區域的預測影像；以及述5成影像之 預測殘差編碼手段.，係將以前 產生的編㈣象區域的預測影像兮生手段所 像之差來表示之賴殘差。和域的鱗對象影 在典型的例子中，前述差分影 碼對象影像已完成編碼的 $料係使用以蝙 前述合成影像之差來表示之與攝影域的 、、扁碼對象影像的時刻 320335 為相同時刻的差分M h 影像。 〜象’來產生前述編竭對象區域的差分

在另一個典型的例子 X 用以在對編竭對象影像進行=差分影像預測手段係使 料的影像的解蝴象、以及=的視點所攝影之已完成 刖述合成影像之差 /、Μ解碼影像為相同時刻的 為不同時刻的差分影像:、=!有編碼對象影像的時财 影像的預測影像。 則述編碼對象區域的差分 在另一個典型的例子中， 影像解石馬手段，係將:、備有： 碼而產生編喝對象影像的解影像的編瑪資料予以解 解竭差分影像產生儲存手丨^以及 手段所解媽的解碼影像以二系產生以前述影像解碼 碼差分影像’且將所產生的解碼：f影像之差來表示的解 m， ’’、》影像館存至館存記憶 則述差分影像預測手段係使 之解碼差分影像來產生前 ：二前述儲存記憶體 測影像。 £域的差分影像的預 在另一個封_子t.，係具備有： 預測殘差解碼手段，係將寸 碼的預測殘差予以解碣；以、及别心預測殘差編碼手段所編 解碼差分影像產生儲存手段，/ 解石馬手段所冑石馬的解石馬預測殘差卩系f纟以前述預測殘差 和來表示的解碼差分影傻， 及岫述預測差分影像之 像麵該所產生的解馬差分影像 320335 9 1364221 ( 儲存至儲存記憶體；其中， 前述差分影像預測手段係使用儲存於前述儲存記憶體 * 之解碼差分影像來產生前述編碼對象區域的差分影像的預 , 測影像。 在此情形之較佳的例子中，前述解碼差分影像產生儲 存手段係以令前述解碼差分影像的各像素具有預定有效範 - 圍内的像素值之方式進行截除。 在另一個典型的例子中，係具備有原始影像預測手 ® 段，係使用編碼對象影像已完成編碼的區域的解碼影像、 以及在對編碼對象影像進行了攝影的視點所攝影且為在與 編碼對象影像不同時刻所攝影之已完成編碼的影像的解碼 影像中的任一種解碼影像，來產生編碼對象影像的預測影 像；其中，前述預測影像產生手段係選擇性地執行：根據 前述預測差分影像與前述合成影像來產生編碼對象區域的 預測影像、或直接利用前述原始影像預測手段所產生的預 Φ 測影像來產生編碼對象區域的預測影像。 在較佳的例子中，前述預測影像產生手段係以令前述 預測影像的各像素具有預定有效範圍内的像素值之方式進 行截除。 本發明復提供一種映像解碼裝置，係在將藉由視點不 同的複數台攝影機所攝影的多視點影像的編碼資料予以解 碼時，根據與對編碼對象的影像進行了攝影的攝影機之視 點不同的至少一個視點中已完成解碼的參照攝影機影像、 以及該參照攝影機影像與解碼對象的影像之間的視差資 10 320335 之合成：相象的影像進行了攝影的攝影機 資料予以解碼，該映;;象的影像的㈣ 影像的預碼係將編碼資料所含有的解碼對象 差分影像預測手段系 象區域的解瑪對象影_===進行解碼的解_ 合成影像之差分影像的_=於Z碼對象影像的前述 影像解碼手段，係針 像預測手段所產生的預t碼對象區域加算前述差分影 段所解碼的預測殘差、、以=影像、前述預測殘差解碼手 象影像予以解碼。 及削述合成影像，藉此將解碼對 在典型的例子中，前/ 碼對象影像已完成解=刀衫像預測手段係使用以解 合成影像之差來表示之解碼影像以及該區域的前述 同時刻的差分影像有解碼對象影像的時刻為相 的預測影像。 別述解瑪對象區域的差分影像 在另一個典型的例子中二 用以在對解料象影像進^差分影像預測手段係使 解碼的參照影像以及輿該=攝影的視點所攝影之已完成 影像之差來表示之與攝“：影像為相同時刻的前述合成 刻的差分影像，來產切述象影像的時刻為不同時 測影像。 對象區域的差分影像的預 在另-個典型的例子中，係 。、備有解喝差分影像產生 320335 11 與影像 存記憶體；苴尹，‘、、碼差刀衫像’並儲存至儲 领存記億體的二手段係使用錯存於前 差分影像的預測=影像來產生前述解碼對象區域的 儲存手段，係產係具備有解瑪差分影像產生 預測殘差與前月处預測殘差解碼手段所解碼的解碼 係使用儲存於前述^ —，/、，别述差分影像預測手段 解碼對象區域的差:::= 存手===:中’前述解碼差分影像產生儲 圍内的像素值之方式來進;的各像素具有預定有效範 段，係使用解子中’係具財原始影像預測手 碼對_:=;:==?及在對解 像不同時刻所攝影之已完成解在與解褐咖 產生解碼對象㈣心 的影像中任一種影像，來 係針對解碼對象區域選:::執其中’前述影像解碼手段 =r刚差分影像：述=== 像予以解";或者加算前述原始影像預 測影像以及前述預測殘差解碼手段所解碼的制殘差，、ξ 320335 12 1364221 , 此將解碼對象影像予簡Μ之任 本發明復提供-種映像二 同的複數台攝影機所攝影 ，，係在將藉由視點不 與對編碼對象的影像進 ..衫像予以編喝時，根據 少-個視點中已完成編機之視點不同的; 攝影機影像與編碼對象 〜機衫像、以及該參照 對於對編碼對象的影像的視差資訊，來產生相 並使用該合成影像將編碼對象的二=影機之合成影像， 碼方法係具備有： 〜予以編碼，該映像編 差分影像預測步驟，係 ， 象區域的輪入影像以及相^會進行編竭的編喝對 之差分影像的預測影像；…入影像的前述合成影像 預測影像產生步驟，係 、、 所產生的預測差分 2差分影像預測步驟 之和來表示之該區域的預對=域的前述合成影像 所產生的 像之差來表示之預測殘差予=媽象與該區域的編碼對象影 用，二完差，像預測步驟中， 域的前述人成公偾：亡、’的區域的解碼影像、與該區 時刻為相㈣:的差分妈對象影像的 差分影像的_影像。 生^料對象區域的 個㈣_子中，w分影像預測步驟 320335 13 1364221 .争’係使用以在對鵠喝對象影像進行 之已完成編碼的影像的解碼影、攝衫的視點所攝影 相同時刻的前述合成影像之^矣=及在與該解碼影像為 影像的時刻為不同時刻之差分^不之與攝影有編竭對象 區域的差分影像的預挪影像。心，來產生前述編碼對象 在另一個典型的例子中，係具備有. 預測殘差解碼步驟：有 編瑪的預測殘差予以解碼:以及心預測殘差編碼步驟所 解瑪差分影像產生錯存步驟 差解碼步驟所解碼的解碼預測殘差鱼以在前述預測殘 和來表示的解碼差分影像，並將㈣p預測差分影像之 健存至儲存記憶體；其中，'〜生的解媽差分影像 在則述差分影像預測步驟 記憶體的解碼差分影像來產 ^用錯存於前述館存 像的預測影像。 34編碼對’象區域的差分影 在另一個典型的例子中， 驟，係使用編竭對象影像已^ 原始影像預測步 以及在對㈣對象影像進 ^㈣域的解喝影像、 編卿象影像不同時刻所攝所攝影且為在與 影像中的任-個解碼影像，來產生;的影像的解瑪 像；其中， 產生編碼對象影像的預測影 在前述預測影像產生步驟中，係 前述預測差分影像與前述合成影像來;根據 預測影像、十士 λ編喝對象區域的 或者直接利用在前述原始影像預__以 320335 14 1364221 的預測影像來產生編碼對象區域的預測影像中之任一者。 本發明復提供一種映像解碼方法，係在將藉由視點不 • 同的複數台攝影機所攝影的多視點影像的編碼資料予以解 . 碼時，根據與對編碼對象的影像進行了攝影的攝影機之視 點不同的至少一個視點中已完成解碼的參照攝影機影像、 - 以及該參照攝影機影像與解碼對象的影像之間的視差資 - 訊，來產生相對於對解碼對象的影像進行了攝影的攝影機 之合成影像，並使用該合成影像將解碼對象的影像的編碼 • 資料予以解碼，該映像解碼方法係具備有： 預測殘差解碼步驟，係將編碼資料所含有的解碼對象 影像的預測殘差予以解碼； 差分影像預測步驟，係產生後續會進行解碼的解碼對 象區域的解碼對象影像以及相對於該解碼對象影.像的前述 合成影像之差分影像的預測影像；以及 影像解碼步驟，係對解碼對象區域加算前述差分影像 Φ 預測步驟所產生的預測差分影像、前述預測殘差解碼步驟 所解碼的預測殘差、以及前述合成影像，藉此將解碼對象 影像予以解瑪。 在典型的例子中，前述差分影像預測步驟係使用以解 碼對象影像已完成解碼區域的解碼影像以及該區域的前述 合成影像之差來表示之與攝影有解碼對象影像的時刻為相 同時刻的差分影像，來產生前述解碼對象區域的差分影像 的預測影像。 在另一個典型的例子中，在前述差分影像預測步驟 15 320335 中，係使用以在經 影之已完成解碼的參::::影像進㈣ 刻的前述合成f彡像 及與料料像為相同的時 時刻為不同時刻的差八不之與攝影有解碼對象影像的 差分影像的預測影像。〜來產生前述解碼對象區域的 存步驟，係產具備有解碼差分影像產生儲 ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ mm m 二並儲存至儲存記憶體广其 的解碼差分影 驟令，係使用錯存於計物—在别迷差分影像預測步 生前述解骑象區域的ί存記憶體的解喝差分影像來產 在此情形之較佳的例;:像::=像。 .=令，係以令前述解瑪差分影像差分影像產生 較圍内的像素值之方式進行截除。的各像素具有預定有效 係使用料中，爾縣雜預測步驟， 象影像進完成解碼的影像、以及在對解媽對 同時刻所攝影之所攝影且為在與解碼對象影像不 解碼對象影像的預:影=象中任一個影像，來產生 地執碼步驟中’係針對解竭對象區域選擇性 影像、在前=，述差/刀影像預測步驟所產生的預測差分 前述合成差解媽步驟所解碼的預測殘差、以及 在前述原藉此將解碼對象影像予以解竭；或者加算 始衫像預測步驟所產生的預測影像、以及在前述 320335 16 丄 丄， 預測殘#紐 像予以解驟所解碼的預測殘差，藉此將解喝對象影 鮮碼中之任一者。 裝置述所說明之本發明的映像編碼裝置或映像解碼 儲存於適ΐ理手段亦能以電腦程式來實現’該電腦程式係 19之電腦可讀取的記錄媒體而提供，或經由網 進;動本發明時進行安裝而在cpu等控制手段上來 开’藉此能實現本發明。 的給所迷’在本發明中’係使用已完成編石馬的區域中 中^輪2與合成映像之差分映像來預測編觸象的區域 二=合成映像之差分，並對該差分加算編： 像。I成映像，而能產生相對於輸人映像之預测映 因此 — 映像編竭方：：予以編碼的部分中，係與-般的 測映像的預剩殘:予：ΓΓ及相對於輸入峡像之預 增加在殘差4=的 於預劂本身係針對輸入映像以：對：並且’由 像之差分來進行 ±彳對於輸人映像的合咸映 框内的空間性關連用攝影機間的關連性與訊 此手法係=Λ成高編碼效率。 景來產生合成.映像、亦張參照映像與攝影場 來產生合成映像像、亦可使用 影機的映像，可使用各種=在解觸象視點所攝影的攝 320335 17 1364221 . 參考文獻：M. Kitahara，H.Kimata，M. Tanimoto, T. Fuj i i and K. Yamamoto, “Report of Core Experiment on View Interp〇lation(Multi-view Video Coding CE3),M Document JVT-T119, pp. 1-8, July, 2006.

此外，殘差的編碼方法亦與以屬於國際編碼標準之 H. 264、MPEG-2、MPEG4為首的習知大多數的二次元動態影 像編碼方式相同’係可藉由DCT(Discrete c〇sine Transform;離散餘弦變換）或量化、亦可藉由使用樣板 (template)的向量編碼，可使用任何的方法。 在本發明中，當同樣地依據差分映像所進行的預測與 在CT成映像之處並相對於輸人映像進行預測時，亦可並非 在，框内空間性地預測輸人映像與合成映像之差分映像， 而疋攸其他時刻的訊框利用差分映時間關 預測。 ..

邻八與，說明相同，在將預測殘差予以編碼的 =二==動態影像編·，由於將輸入映像 因此处解决：二丰像之預剩映像的預測殘差予以編碼， 因此旎解決在習知手法的問 。 信號的位元深料加之問題=中㈣差編碼步驟處理的 機間的關連性與時間方向的：且’由於能同時利用攝影 率。 關連性，因此能達成高編碼效 此外，亦能一邊選擇殘差 連性與時間方向關連性一邊予 南編碼效率。 映像中的訊框内的空間性關 以編碼，藉此能進一步達成 320335 1:5 04221 在通常的映像編碼方法中，為 存並利用已完成編喝的輸入的^預測映像，係儲 發明中，為了= 然而，在本 入映像與合絲像之差分映 ^像’係使用輪 ，象時產生合成映像，.:求每次產生 差，因此相當耗費運算成本。、所錯存的解碑映像之 算已】=得解碼映像後，為了產生預測映像，_. 省略每:==:處生理差分― 刀映像的處理，而大幅減少運 對於解碼映像之差分映像此的：：值’藉此能產生相 生差分映像的情形相比，能=減生解碼映像再產 進—步降低運算成本。減r合成映像之運算，可 作為^值像的像素值乘算負號之值 差作為最大值，並將解碼殘差資料與 後再求1= 截除，藉此能產生與產生解碼映像 t 映像的情形完全相同的差分映像。 及未使用差擇使用差分映像的預測映像產生以 碼。 刀、、預_像產生-邊進行輸人映像的編 分中在分等中無法精度佳地產生合成映像。在該部 h入映像與合成映像所產生的差分映像中含有 320335 19 丄JD4221 利用時^ 因此’在該部分中，可作 用時間方向關連性而有效率地將輸 如同習知的方法’在產生差八…象予以摘。 為輪入來進行編碼時，為了實現該差分映像作 對象映德- 現未使用差分的編碼，編碼 ，虎，亦需==不同，因此不僅是切換輸入信 像的譯碼器一)包含處理兩:味/:須 相對於此，依據本發明器' 或在輪人映像進行賴時，由 仃預測 為輪入映像，且預測信號係成為輸入信號 :象’因此可使用相同的輸入信號與編 ===映 (:::效本果Γ大幅減少譯碼器的電心 t述說明’依據本發明，在將多視點 h，產生相對於輸人映像與合成映像的差分2 '扁石馬 號，並將所產生的預測差分映像與 、象之預測信 於輸入映像之_錢·，藉此二規，和作為扣辦 小的方絲實錢用好映像之高安震規模 在習知技術中，係使用產 像的合成映像之差分映像，並二:=與相對於輸八映 動態影像編碼之方法，相對生的差分映像予以 相對於該差分映像之預測信號，明中係使用產生 像與合成映像之和作為相對 =差:映 將輸入影像直接進行動態影像編，之方法藉 320335 20 規模小且安裝規模小 之 高效率的編碼。 x只現使用差分映像的預測 【實施方式】 以下根據實施形態詳細 在以下所說明的實施形雄 明。 =編碼/解碼，碼對個以上已 用見些視點與編碼對不门視點的映像、以及使 像’來將某-個視點的映像予以1差資訊所產生的合成映 產生合成映像所需的視:解碼之方法。 傳送至解竭器側，亦可為=:=編馬器側產生並 的十此外，從減資訊產生合成映像的手法可為任何 爿如可減魏個視點_制點資鉢得平均 之方法，亦可為取得一個代表值之方法。 實施形.態— I先’說明第〆實施形態（以下記載為實施形態一）。 的構成^圖係顯示本發明實施形態1映像編瑪裝 置100 備有如f 1圖所7^ ’貫施形態—的映像編碼裝置100係具 生部^像輪人部m、合成影像輸入部102、預測影像產 分=1、預測殘差編媽部1〇4、預測殘差解碼部105、差 像;1=:，。6、差分影像記憶體一及預測差㈣ 、〜像）口成衫像輸入部102係輸入相對於該 9Ί 320335 1364221 . 攝影機之合成映像（合成影像，亦即視差補償影像）。 預測影像產生部103係加算預測差分影像產生部108 • 所產生的預測差分影像（使用解碼影像與合成影像之差分 . 影像進行預測之相對於輸入影像與合成影像之差分影像的 預測影像）以及合成影像輸入部102所輸入的合成影像，藉 ' 此產生相對於輸入影像的預測影像。 - 預測殘差編碼部104係將影像輸入部101所輸入的輸 入影像與預測影像產生部103所產生的預測影像之預測殘 ® 差予以編碼並輸出編碼資料。預測殘差解碼部105係將預 測殘差編碼部104所編碼的預測殘差予以解碼。 差分影像解碼部106係一邊根據合成影像輸入部102 所輸入的合成影像決定處理範圍，一邊加算預測差分影像 產生部108所產生的預測差分影像以及預測殘差解碼部 105所解碼的預測殘差，藉此產生以解碼影像與合成影像 之差分所表示的差分影像。差分影像記憶體107係儲存差 φ 分影像解碼部106所產生的差分影像。 預測差分影像產生部108係使用儲存於差分影像記憶 體107的差分影像，產生相對於以輸入影像與合成影像之 差分所表不的差分影像之預測影像（預測差分影像）。 第2圖係顯示上述構成的實施形態一的映像編碼裝置 10 0執行的處理流程。 此處理流程係顯示藉由實施形態一的映像編碼裝置 100將某時刻的影像（訊框）予以編碼時之處理，且在進行 複數個訊框的編碼時會反覆執行此處理流程。 22 320335 以 踢裝置⑽執行的流程詳細說明實施形態一的映像編 在實施形雄— 輸入部101輪碼裝置100中，首先，在影像 (輸入影像）係表㈣’㉔像〔Α1〕°訂，編碼對象影像 藉此表示特定F A、0rg〔 ·〕。此外，對影像附加記號〔〕， 接著 也埤的影像信號。 的Org〔 ·〕之人出:像輪入部102輪入相對於在此所輸入 在本實=象U2>合成影像係表雨〔.〕。 於每個區塊反覆:行:理將=二=複數個區塊’ :可 j j个進仃分割。以下， 像所包含的區塊數表示成的索引表示成blk’將影 直至=達Γ1，為鳴3〕，對_^ 至〔Α1〇Ί _ lk為止〔A12〕前反覆以下的處理〔A4〕

至U10〕，以進行編碼。 LA4J /亦即’在每個區塊進行反覆處理中，首先 分影像產生部1〇8係使用 差 _的不_的』上。:之已 的區，峨差分影像==4已〕完成編- m框門從其他時刻的訊框進行預測的情形稱為 訊=間預測，將在從相同時刻的訊框已完成編碼的區域進 的情形稱為訊框内預測。作為上述所進行的訊框間 〆、訊框内預測的方法’係能使用各種方法，例如使用 320335 23 1364221 前述非專利文獻丨所示之已知的映像編屬方式。 例如’如下式⑴所示，在其他時刻的訊框中，係可指 定某區域並將該區域的複製作為預測值，亦可如下式〇 所示，從相同時刻的訊框已完成編碼的周邊像素進行$定向 (Directional)的預測。 V (X, y) eblk, PredDiff [t, X, y] =DecDiff [t-1, x+mv y-Hnvw (1) (2) V(x，y) eblk, PredDiff[t, x，y]=DecDiff[t, x, Up_jine] 式 式 其中，DecDiff〔 ·〕係表示儲存於差分影像記憶體 107之已解碼的差分影像（解碼差分影像），t係表示編碼對 象訊框的時刻，（mVx，mvy)係表示任意二次元向量，up—Hne 係表示blk正上方的像素位置（線）。 .接著，在預測影像產生部1〇3係產生以預測差分影像

PredDiff〔 ·〕與合成影像Syn〔 ·〕之和來表示的預 影像 Pred〔 ·〕〔 A5〕。 、 此時’各像素之值係被戴除在有效範圍内。像素值的 有效範圍係藉由輪入影像的位元深度來決定，在8位元影 像的情形中，最小值為0，最大值為255。使用數學式表示 時，此截除處理係如下式（3)所示。 V(x, y) Sb|k( Pred[t, x, y]=CI ipiPredDiffCt.x.yJ+SynCt.x, y], min "3Χ) …式(3) ’ 其中1niri係表示像素值的有效最小值，max係表示像 素值的有效最大值。函數Clip係為下述情形之函數：當第 24 320335 1364221 一自變數所授予的值小於第二自變數的值時會返回第二自 變數的值，當大於第三自變數的值時會返回第三自變數的 值，當皆非上述的情形時則返回第一自變數的值。 接著，產生以輸入影像〇rg〔 ·〕與預測影像Pred〔 ·〕 之差分所表示的預測殘差Res〔·〕〔A6〕。此產生處理以 數學式表示時係如下式（4)所示 V(xFy) eblk, Res[t, x, y] =Org[t, x. y] — Pred[t, x, y] . ·.式 (4) 當產生預測殘差Res〔·〕時，預測殘差編碼部104 係將該預測殘差Res〔 ·〕予以編碼〔A7〕。 預測殘差Res〔·〕的編碼係可使用任何方式。在一 般的映像編碼方式中，以DCT(離散餘弦轉換）進行頻率變 換後，進行量化，將DCT係數資訊予以二值化，再對其進 行算數編碼。 . 以此方式所產生的預測殘差Res〔·〕的編碼資料係 成為映像編碼裝置100的輸出，並傳送至預測殘差解碼部 105，預測殘差解碼部105係予以解碼以進行之後的預測 〔A8〕。解碼後的預測殘差係表示成DecRes〔 ·〕。 經預測殘差解碼部105所解碼的預測殘差DecRes〔 ·〕 係傳送至差分影像解碼部106，差分影像解碼部106係使 用預測差分影像PredDiff〔 ·〕來產生解碼差分影像 DecDiff〔 ·〕〔 A9〕。 此時，藉由像素值的有效最小值與像素值的有效最大 值，以滿足 minSDecRes〔 t，X，y〕+ PredDiff〔 t，X，y〕 25 320335 1364221 + Syn〔 t, X，y〕S max之方式進行截除。當使用前述函數 Clip時，此截除處理係以下式（5)來表示。 . V(x. y) eblk, DecDiff [t, x, y] =CI ip(DecRes[t, x, y]-f PredDiff [t, x, y], min—Syn[t, x, y], max—Syn[t, x, y]) · · ·式（5) 此外，此截除可進行亦可不進行。然而，在進行截除 時，須在編碼器與解碼器進行相同的處理。 藉由差分影像解碼部106所產生的解碼差分影像 DecDiff〔·〕係儲存於差分影像記憶體107，而利用於後 φ 續將區塊予以編碼時的預測〔A10〕。 如此，實施形態一的映像編碼裝置100係產生相對於 輸入影像與合成影像的差分影像之預測信號，並將所產生 的預測差分影像與合成影像之和作為相對於輸入影像的預 測信號，以進行輸入影像的編碼。 接著，根據第3圖的處理流程，詳細說明第2圖的處 理流程A5所執行的預測影像Pred〔 ·〕的產生處理。 產生相對於編碼對象影像之預測影像Pred〔 ·〕的處 ® 理〔A5〕係在區塊所包含的每個像素藉由預測像素產生部 103所進行。為了進行此處理，如第1圖所示，預測影像 產生部103係具備有：加算功能，係加算合成影像輸入部 102所輸入的合成影像Syn〔 ·〕的像素值與預測差分影像 產生部108所產生的預測差分影像PredDiff〔·〕的像素 值；以及截除功能，係截除經該加算功能加算的像素值。 此處的處理係在區塊内的每個像素進行。亦即，當將 各像素的索引設為pix時，將pix初始化為0後〔B1〕，一 26 320335 邊對pix加算丨〔Β7〕， _直至此達至區魂内的=，^ w亦即，在進行此反覆處;:素數-—〕。 預夠差分影像產生部108所 百先，針對像素Pix將 i·〕的值讀人至暫存器 、預，聰分影像PredDiff 二成影像輪入部1G2所輪〜人H著針對像素PU將 入至暫存nrl〔B3〕。 °成讀加〔·〕.的值讀 接著，使用上述加算功舎t ^ $值與儲存於暫存器Η的像匕素，行儲存於暫存器r0的像 儲存至暫存器r2〔B4〕。 ’、之加异’並將該加算結果 接著’使用上述截除功 值在相對於輪入影像的有效將^存=暫存器d的像素 錯存至暫存器糊〕。截除 元深度來決m彳# 猎由輪人影像的位 大值為255。 位70影像的情形中’最小值為0’最 素暫存器d的像素值作為相對於針對像 在此預測影像㈣·〕而輸出叫 成。在心二可採用未使用暫存器的構 暫存哭之、中’係採’處理結果儲存於不同 用一^1但亦可覆寫入至暫存器Μ。此外，在能使 用個暫存器來進行加曾#裡拉你π從人 的值讀入至暫P 時’㈣將合成影像糾·〕 理流程中，：=，而可直接執行加算。此外，在此處 ㈣以-輪統對各像相制 〔·〕，但亦可進行缓衝而一次輸出。 320335 27 Ϊ364221 第4A圖及苐4B圖係顯示比較實施形態一的映像編碼 裝置100以及將多視點映像予以編碼的習知映像編碼裝置 在此，第4A圖所示的構成係實施形態一的映像編碼裝 置100之構成，第4B圖所示的構成係將多視點映像予以編 碼的習知映像編碼裝置之構成。此外，圖中所示最細的線 係處理N位元之構成部分，而稍粗的線係處理N+1位元之 構成部分，最粗的線係處理N+2位元之構成部分。 在實施形態-的映像褊石馬震置1〇〇中，係使用產生輪 ^映像與相狀輸人映像的合成映像之差分映像的預測信 號，將該所生成的預測差分影像與合成映像之和作為相對 於輪入映像的預測信號’而將輸入映像與相對於輪入映像 的預測映像之差分予以編竭之方法，由於之後僅執行—次 ^分’因此如第4A圖所示能以與將動態影像予以編石馬之 通常的映像編碼裝置相同的位元深度來進行編瑪。 :對於此，在將多視點映像予以編碼的習知映像 =中，係使用產生輸入映像以及相對於輸入映像的合成 2之差分映像，並將該所產生的差分映像予以動態影像 f法，由於之後須執行二次的差分，因此如第4B圖 映I編將動㈣像予以編碼之通常的 ^此，依據本發明的實施形態，係產生相對於輸入映 相對於輸人映像的合成映像的差分映像之預· 儿，並將該所產生的預測差分映像與合成映像之和作為^ 320335 28 規模來實規，的預測信號，藉此能以小電路規模/小安裝 2 /分映像之高效率的編喝。 亚’在習知技術中，係使用產生輸入映像與相對於 ㈣成映像之差分映像，並將該所產生的差分映 像^動g影像編喝之方法’而有在像素值成為所容許值 的最大值與最小值的部分會將無用的信號予以編瑪之問 題，相對於此，在本發明的實施形態中，由於採用將像素 值之值截除轉素值所料的最A值與最小值，因此不會 產生上述問題。 實施形態二 ，著’說明第二實施形態（以下記載為實施形態二）。 第5圖係顯示本發明實施形態二的映像編碼裝置測 的構成。 -如第5圖所示，實施形態二的映像編碼裝置_係具 備有.影像輸入部2(U、合成影像輪入部2()2、第一預測影 像產生部咖、第二預測影像產生部2〇4、預測殘差編碼部 205、預測殘差解碼部·、影像解崎部m、解媽影像記 憶體2G8、差分影像記憶體’、預測差分影像產生部別、 以及預測切換開關211。 /該❼像輸人部21G係輸人以成為編碼對象的攝影機所 攝'衫的映像（影像）。合成影像輸入部2〇2係輸入相對於該 攝影機的合成影像（合成映像）。 第一預測影像產生部203係根據相對於差分影像（輸 入影像與合成影叙差分影像）的_來產生相對於輸入 320335 29 1364221 影像的預測影像者’並執行與第 理，藉此-邊實施截除處理，一邊=處理流程相同的處 部加所產生的預測差分影像（相對;;預測差分影像產生 像）以及合成影像輸入部202所輪;^分影像的預測影 相對於輸入影像的預測影像。 、5成影像，藉此產生 第二預測影像產生部204係拍祕* 於輪入影像的預測影像者，且不使像來，生相對 存於解喝影像記憶體208的解碼力心刀影像而是使用健 像的預測影像。 _^像來產生相對於輸入影 預測殘差解碼部205係蔣旦彡你认 入影像與第-預測影像產生部2 =部2G1所輸入的輪 咖所產生的預測影像之預測殘差產生部 解碼部細係將預測殘差= 的預測殘差予以解碼。 1 I 所編碼 影像解碼部207係加算預 預測殘差與第一預測影像產生部2〇3=。口 〇6所解喝的 部204所產生的預測影像予 《第一預測影像產生 :影像_ 係儲存影像解:部 的解W與合解碼部2G7所解辦 分來表示的差分影像。 斤輪入的合成影像之差 預測差分影像產生部2】η 體的差分影像來產生相對於 ，存於差分影像記憶 輸入衫像與合成影像之差分 320335 30 1364221 _ 所表示的差分影像的預測影像（預測差分影像）。 預測切換開關211係選擇性地輸出第一預測影像產生 • 部203所產生的預測影像或第二預測影像產生部204所產 . 生的預測影像任一方的預測影像。 第6圖係顯示上述構成的實施形態二的映像編碼裝置 • 200所執行的處理流程。 - 此處理流程係顯示藉由實施形態二的映像編碼裝置 200將某時刻的影像予以編碼時之處理，且在進行複數個 ® 訊框的編碼時反覆執行該處理流程。 以下，根據該處理流程詳細說明實施形態二的映像編 碼裝置200所執行的處理。在此，係直接使用前述實施形 態一所使用的符號來說明。 在實施形態二的映像編碼裝置200中，首先，影像輸 入部201係輸入編碼對象影像Org〔 ·〕〔C1〕，合成影像 輸入部202係在此輸入相對於所輸入的Org〔·〕之合成 •影像 Syn〔 ·〕〔C2〕。 在本實施形態二中，亦將影像整體分割成複數個區 塊，並於每個區塊反覆進行處理，藉此將影像整體予以編 碼。此外，並非一定需要分割成區塊狀，係可分割成任意 形狀，亦可不進行分割。以下，與實施形態一相同，將區 塊的索引表示成blk，將影像所包含的區塊數表示成 numBlk ° 因此，將blk初始化為0後〔C3〕，對blk加算1〔 C15〕 直至blk達至numBlk為止〔C16〕前反覆以下的處理〔C4〕 31 320335 1364221 . 至〔C14〕’以進行編喝。 區塊一進行反覆處理中，首先，產生預測 至〔C ^在本貫施形態二中，第_預測影像產生部 使用差T影像來產生預測影像（以下將此 為 係不使用差分影像而是使屋生# 2〇4 π將此預測皆…冑解象來產生預測影像(以 下將此預L己载為解喝預測影像以咖 使用這些預測影像來產生—個預測影像。 〕）’並 關於差分預測影像DiffPred〔 ·〕的產生處理 預測差分影像產生部21。係使用儲存在差分乂 2 預來 影像pr，〔.〕 影像__〔.係^預測差分 的情形中，县，㈠1 70冰度不决疋，在8位元影像 示時，^ 値為〇，最大值為255。當使用數學式來表 所進行的*除處理係如下式（6)所示。並且，在該C4、C5 同。勺處理係與實施形態一的A4、A5所進行的處理相 V (χ \ mi^. maxi" eb'k，DiffPred[t，X，y]=C，ip(PredDiff[t'x'y3+Syn[t.x.y]. 另一 ·.·式（6) 一方面，關於解碼預測影像DecPred〔 ·〕的產生 320335 32 1364221 . 處理，第二預測影像產生部204係使用儲存於解碼影像記 憶體208之已完成編碼的其他時刻的訊框或編碼對象訊框 • 内已完成編碼的區塊的解碼影像Dec〔·〕來進行〔C6〕。 . 作為此種解碼預測影像DecPred〔 ·〕的產生法，係 能使用任何方法，例如能使用前述非專利文獻1所示之已 • 知的映像編瑪方式。 - 例如，如下式（7)所示，在其他時刻的訊框中，亦可指 定某區域並將該區域的複製作為預測值，亦可如下式（8) ® 所示，從相同時刻的訊框之已完成編碼的周邊像素進行定 向的預測。 V(x, y) eblk, DecPred[t, x, y] = Dec[t-1, x+mvx.y相vy ] · . ·式(7) V(x,y) eblk, DecPred[t, x, y] =Dec[t, x, up_I ine] · ·.式（8) 在本實施形態二中，預測影像係使用預測切換開關211 來選擇第一預測影像產生部203所產生的差分預測影像 DiffPred〔 ·〕或第二預測影像產生部.204所產生的解碼 預測影像DecPred〔 ·〕而產生〔C7〕。此外，亦有使用對 * 應的像素間的平均值作為預測影像之方法。 在此，對於選擇兩個預測影像，係可使用任何方法來 進行選擇。例如，可先進行編碼再選擇編碼效率佳的一方， 亦可使用差分絕對值和或差分二次方和來計算相對於編碼 對象影像Org〔·〕之預測效率，並選擇效率佳的一方。 此外，對應輸入影像，可在每個訊框、訊框内的每個 部分區域、以及每個區塊等適當地切換而選擇。 在產生預測影像時，係產生以輸入影像Org〔·〕以 33 320335 1364221 及預測切㈣關211所輸出的預測影像之差分所表示的預 測殘差S〔 ·〕〔 C8〕。若使用數學式時，則該產生處理 係如前述式（4)所示。 田產生預;則殘差Res〔·〕時’預測殘差編碼部205 係將該嶋Res〔 ·〕Μ編碼〔❿翻殘差的編 碼係可使用任何方式。 …、、此種方式所產生的預測殘差Res〔 ·〕的編碼資料 係成為映像'4瑪裝置的輸出，並傳送至預測殘差解碼 P 206殘差解碼部_係予以解碼以進行後續的預 測〔C10〕。 、 預測殘差解碼部2〇6所解碼的預測殘差“以“〔·〕 係傳送至影像解碼部2〇7，影像解碼部m係使用預測切 換開關211所輸出的預測影像來產生解瑪影像⑹〔 〔Cll〕。 此時，藉由像素值的有效最小值與像素值的有效最大 •值來進行截除。若使用數學式時，該截除處理係以下式（9) 來表示。 V (x, y) e b I k, Dec [t, x, y] =C I i p (DecRes [t, x, y] + Pred [t, x, y], m in, max) • .式（9) 藉由影像解碼部207所產生的解碼影像Dec〔·〕係 儲存至解碣影像記憶體208，且被利用於後續將區塊予以 編石I時之預測〔C12〕。 此外’使用該解碼影像J)ec〔 ·〕與合成影像Syn〔 ·〕， 並根據下式（10)來產生解碼差分影像DecDiff〔 ·〕〔C13〕。 34 320335 15M221 ••式 d〇)iX y) eb'k，DecDiffCt,x,y]=Dec[t*x-y]-syn[t.x.y] 以 :、此種方式所產生的解碼差分影像

DecDiff〔 ·〕传' 記〕憶體2°9’並利用於後續將區塊予以編 如此，貫施形態二的映像編碼裝置2〇〇係產生相 二影，合成影像之差分影像的預測信號，並將該所產 預測=差像之和作為相對於輸入影像的 ι仃輸入影像的編碼。 裝置麵咐實罐：的映像蝙喝 像編碼裝置之圖Γ❹概映像予以編碼之f知的映 置20。的構？所不的構成係實施形態二的映像編瑪裝 置200.的構成，g 7β圖所 ：裝 將多視點映像予以編^〜/⑽卵弟的構成 外，圖中最細的線^習知的映像編碼裝置的構成。此 外圖的線係處理N位元之構成部分’較粗的錄後 處理N+1 =7〇之構成部 >，最粗的線係處理N+ 2位元^ 構成部^虛線係切換所處理的位元之構成部分。之 在實施形態二的映像編碼裝置_中，係使 入映像以及相對於輪人映像的合成差 2輸 對於輸入映㈣f、像之和作為相 咏後的_映像之差八* 像以及相對於輪入 一次差刀因此如第7A圖所示，能以舆將動態影像予t 320335 35 1364221 . 碼映像編喝裝置相同的位元深度來進行_。 ;此，在將纽點映料以編碼之習知的映 ‘碼裝置中，係使用產生輸入映像以及相對於輸入映像的合 .成映像之差分映像，並將所產生的差分映像予以動態影: 編碼之方法，由於後續需要執行兩次差分，因此如第7B圖 -所示’比起將動態影像予以編碼之習知的映像編碼裝置， - 位元深度會增加。 再者’只要比較第7A圖與第7B圖即可得知，在實施 •形態二的映像編碼裝置200中，即使根據差分映像來進行 預測’或根據輪入映像來進行預測，由於編碼器所處理的 .輸入信號係輪入映像，且預測信號會成為相對於輸入映像 的預測映像，因此可使用相同的輸入信號與編碼器來進行 編碼。 實施形態三 接著’說明第三實施形態（以下記載為實施形態三）。 第8圖係顯示本發明實施形態三的映像解碼裝置300 的構成圖。 如第8圖所示，實施形態三的映像解碼裝置3〇〇係具 備有：編碼資料輸入部3Q1、合成影像輸入部302、顇測殘 差解碼部303、差分影像解碼部304、差分影像記憶體305、 預測差分影像產生部3G6、以及影像解碼部307。 該編碼資料輸入部301係輸入藉由實施形態一的映像 、編碼裝置1〇〇所產生的編碼資料（以成為解碼對像的攝影 機所攝影的映像的編碼資料）。合成影像輸入部302係輸入 36 320335 1364221 · 1 對於該攝職的合成映像（合絲像 予以解碼。 、將H讀所含有的預測殘差 差分影像解碼部304係一邊据接人 所輸彡根據合成影像輸入部302 像產生部 —邊加算預測差分影 像盥人、的制差分影像（相對於解碼對像影 〇二=影像之預測影像)與預測細 影像之差分所表示的ΐ分產#生:解锡影像與合成 技矣八m 〜象。差为影像記憶體305係儲 存差刀影像解碼部3〇4所產生的差分影像。 體產生部_係使用儲存於差分影像記憶 後^ ”衫絲產生相對於續碼對象影像與合成影 ^所㈣的差分雜之制料（_差分影像）。 影像解碼部307係加算差分影像解碼部3〇4所產生的 差分影像與合成影像輸人部3G2所輸人的合成影像，藉此 將解碼對象的影像予以解碼。 第9圖係顯示上述構成的實施形態三的映像解碼裝置 300所執行的處理流程。 該處理流程係顯示藉由實施形態三的映像解碼裝置 300將某時刻的影像的編碼資料予以解碼時之處理，並在 進行複數個訊框的解碼時反覆執行該處理流程。 以下，係根據該處理流程詳細說明實施形態三的映像 解碼裝置300所執行的處理。在此，直接使用前述實施形 態一與實施形態二所使用的記號來說明。 320335 37 料輸入部如丨碼裝置3〇〇尹，首在 _ — 。 係輪入解碼對象影傍Μ ，編碼資 著，合成影像輪入部3 〜的蝙碼資料〔扒〕。接 成影像〔D2〕。 入相對於解碼對象影像的合 區塊Si::態三中，係假定將影像整體分割成複數個 _二:::每=進行處理，= 割成任意的形狀，亦可不分/以^割成區塊狀’係可分 示成灿，將影像所含有的區，j錄輯的索引表 算1⑽〕，始化成〇後〔剛，一邊對仙加 仙達_二=以:的處理〔⑷至_而至 心卩」 為藉此進行解碼。 , 在母個區塊反覆進行的虛rb 部303係將所輪 4理中’預測殘差解碼 〔D4〕。 以的編碼請中所含有制殘差予以解碼.

像_3。5'之已：碼:口 訊框::完Ϊ”的區塊，來產生預測差=:象 -亍在^ 魏_駐衫彡像的產生法時，使用 ，…員不在編碼資料所含有 町使用 法之資訊，特定-織生法，並根據m碼時；^測方 差分影像。 爆孩產生法來產生預測

當預測差分影像產生部306 差分影像解碼部3〇4會產生 產生預測差分影像後，接 以所產生的預測差分影像 320335 38 與所解碼的預測殘差 此時，藉由.像t來表示的解碼差分影像⑽〕。 值來進行與實施㈣效最錢與像素值的有效最大 除處理（以前述式⑸I A9所進行的截除處理相同的截 截除處理，亦可不L表示的截除處理此外，可進行此 須以編碼器與解㈣進行相同的處理。$處理卜 存於像解碼部304所產生的解碼差分影像係儲 存於差刀影像記憶體3Q5 储 時產生預測差分影像[1)7〕用於後續紅塊予以解碼 田藉由差分影像解碼部3〇4產生解碼差分影像後 _307係產生以解碼差分影像與合成影像之和 不的解碼影像〔D8〕。 、 V(x，y) eblk, Dec[t.x,y]=Clip(DecDiff[t.x,y]+Syn[t,x,y], min, • · ·式（1 1) 、，此時，各像素值會被截除至有效範圍内。然而，在卯 進行截除時，無須進行此處的截除。使用數學式時，此·截 除處理係以下式（11)來表示 max) 以上述方式所產生的解碼影像係成為映像解碼震置 300的輪出。在實施形態三中雖會立即輸出已解碼的影像， 在以解碼―編碼的順序中未成為適當的顯示時序時，會 在輪出前進行緩衝而在適當的顯示時序來到時從映像解喝 裝置300輪出。 在此，第9圖所示的處理流程係採用下述構成：將編 石馬資料所含有的解碼對象影像的預測殘差予以解碼，並使 39 320335 1364221 用以解碣對象影像已完成解碼的區域的影像與合成影像之 差來表示的差分影像，產生後續進行解碼的區域中差分= 像的預測影像後，加算該所產生的預測差分影像與已 的預測殘差，藉此獲得解碼差分影像，並加算該解碼差丄 影像與合成影像，藉此將解碼影像予以解碼。但踩 的產生順序並非限定於此。衫像

亦即，亦可採用下述構成：將編碼資料所含有的解碼 對象影像的預測殘差予以解碣，並使用以解碼對象影像已 完成解碼的區域的影像與合成影像之差來表示的差分麥 像，產生後續進行解碼的區域中的差分影像的預測二= 後，加算該所產.生的預測差分影像與合成影像，藉此^得 ，象影像的預測影像，並加算該解碼對象影‘的；測 影像與已解碼的預測殘差，藉此將解碼影像予以解蝎。、、 實施形態四 ° 接著，說明第四的實施形態（以下記載為實施形態四）。 第10圖係顯示本發明實施形態四的映像解碼裝置仙〇 的構成。 如第10圖所示，實施形態四的映像解碼裝置4卯係且 =:編碼資料輸入部4(Π、合成影像輸入部術、預測殘 麵碼部、影像解碼部4〇4、解碼影像記憶體鄕 为影像記憶體406、預測差分影像產生部4〇7、 ， 像產生部權、第二預測影像產生部4()9 預測影 關41〇。 从及預測切換開 態二的映像 該編碼資料輪入部401係輸入藉由實施形 320335 40 編竭裝置2 η 機所攝影的映像^生,的=碼資料（以成為解瑪對象的攝影 尉於該攝影機ίίΐ 合成影像輸入部權係輸入相 係將編H、°、映像(合成影像)。預測殘差解碼部403 ，貝枓所含有的預測殘差予以解，。 預測部4〇4係加算預測殘差解碼部4G3所解碼的 走興第一預測影像產生 所產生的預測影像，藉此將解:_ == 解^影像記憶體·係儲存影_部傷所解碼的 的解記憶體綱係儲存以影像解碼部_所解碼 =:像與合成影像輸人部術所輪人的合成影像之差 厅表不的差分影像（解碼差分影像）。 體分影像產生部407係'使用儲存於差分影像記憶 、分轉，來產生相對於以解觸象影像與合成

I之差分所表示的差分影像之預測影像（預測差分影 像）〇 第一預測影像產生部408係加算預測差分影像產生部 4〇7所產生的預測差分影像與合成影像輪入部402所輸入 的合成影像，H此產生相對於_對象影像_測影像。 第一預測影像產生部409係根據儲存於解碼影像記憶 體405的解喝影像來產生相對於解竭對象影像的預測影 預測切換開關410係選擇輸出第一預測影像產生部 408所產生的預測影像或第二預測影像產生部4〇9所產生 320335 41 1364221 的預測影像中的任一方。 第11圖係顯示上述構成的實施形態四的映像解碼裝 4 置400所執行的處理流程。 • 該處理流程係顯示藉由實施形態四的映像解碼裝置 400將某時刻的影像的編碼資料予以解碼時之處理，並在 .進行複數個訊框的解蝎時，反覆執行該處理流程。 ' 以下，根據該處理流程詳細說明實施形態四的映像解 碼裝置400所執行的處理。在此，直接使用前述實施形態 鲁-至三所使用的符號來說明…. 在實施形態四的映像解碼裝置400中，首先，編碼資 料輸入部401係輸入解碼對象影像的編碼資料〔£1〕。接 著’合成影像輸入部402係輸入相對於解碼對象影像的合 成影像〔E2〕。 在本實施形態四中，係假設將影像整體分割成複數個 區塊並予以編碼’並在每個區塊反覆進行處理，藉此將影 φ 像整體予以解碼。此外，不一定需要分割成區塊狀，可分 割成任意形狀，亦可不分割。以下，係將區塊的索引表示 成blk，將像素所含有的區塊數表.示成numBlk。 因此，將blk初始化成〇後〔E3〕，一邊對blk加算1 〔E10〕’ 一邊反覆進行以下的處理〔E4〕至〔E9〕，直至 blk達至numBik〔 E11〕，藉此進行解碼。 亦即，在每個區塊反覆進行的處理中，首先，預測殘 差解碼部403係將所輸入的編碼資料所含有的預測殘差予 以解碼〔E4〕。 42 320335 1364221 接著，第一預測影像產生部408係使用儲存於差分影 像記憶體406之已完成解碼的其他時刻的訊框或解碼對象 訊框内已完成解碼的區塊的解碼差分影像來產生預測影 ‘ 像，或者第二預測影像產生部409係使用儲存於解碼影像 屺憶體405之已完成解碼的其他時刻的訊框的解碼影像來 產生預測影像〔E5〕。 ’ 在此，預測影像的產生法係可藉由各種方法針對每個 鲁 區塊決定一個產生法。該決定係可使用至今已解碼的影像 或區塊的資訊來決定，亦可藉由用以指定編碼資料所含有 的預測方法之資訊來決定。然而，需使用映像編碼裝置所 想疋的決定法。 在本實施形態四中，係使用預測切換開關41〇切換成 進行使用第一預測影像產生部408所產生的差分影像的預 測，或者進行未使用第二預測影像產生部409所產生的差 分影像的預測。 • 在進行使用第一預測影像產生部408所使用的差分影 像之預測時，首先，預測差分影像產生部4〇7係使用儲存 於差分影像記憶體406的差分影像來產生預測差分影像。 =著’第一預測影像產生部408係產生以預測差分影像與 合成影像之和來表示的預測影I。該預測影像係成為相對 於解碼對象影像的預測影像。 此時，藉由像素值的有效最小值與像素值的有效最大 值來進行與實施形態二的C4'C5所進行的截除處理相同的 截除處理（以前述式（6)所表示的截除處理）。可進行此截除 320335 43 1364221 處理，亦可不進行此截除處理。但在進行截除時，須以編 碼器與解碼器進行相同的處理。 另一方面，在進行未使用第二預測影像產生部4〇9所 使用的差分影像之預測時’第二預測影像產生部409係使 =儲存於解碼料記憶體傷的解碼影像來產生預測影 預而衫像係成為相對於解碼對象影像之預測影像。在 土所進行的處理係與實施形態二的C6所進行的處理相同。 座預2實施形態四中，雖具備有第二預測影像產生部彻 同時、^影像產生部樹’但在兩者所進行的預測法相 產生輸人的影像記憶體，藉此以—個預測影像 用差22。此時，僅在預測影像產生部的輸出進行使 没刀衫像的預測時才需要輸入至第一 408。亦即，需要兩個連動動作的開關。，、衫象產生部 係與實施形態二的值:广::至::乾圍内。此截除處理 時^截除處理如前述式相同。使用數學式 體405，所產生的解碼影像係儲存於解碼影像^ ⑽〕。利用於後續將區塊予以㈣時產生 此外，使__料料絲像1_麵式⑽ 320335 44 丄允4221 ，產生料差分影像〔E8〕。該所產生的解竭差 存於差分影像記憶體406，並利用;'、象係儲 時產生預測影像⑽〕。]用於錢將區塊予以解妈 =⑽產生的解碼影像係成為映像解㈣置侧的輸 在以中，雖然已解如影像立即輸出，但 輸出2:觸_料未成為私的料料時，會在 置^輸Γ㈣在適#賴_序來到時從映像解碼裝 (產業上的可利用性） 模小視點映像的編碼，並能以電路規 碼:規模小的方式實現使用差分映像之高效率的編 【圖式簡單說明】 圖。第1 H係本發明實施形態i映像編碼裝置的構成 程。第2圖係實施形態—的映像編碼裝置執行的處理流 第3圖係預測影像的產生處理之處理流程。 與將ί二明比較實施形態-的映像編續裝置 施㈣的地 碼之習知的映像編碼裝董、且為實 祕態1映像料裝置侧的圖。 置側:二圖係用以說明上述比較、且為f知的映像編碼裝 第5圖係本發明的實施形態二的映像編碼裝置的構成 320335 45 1364221 . 圖。 第6圖係實施形態二的映像編碼裝置執行的處理流 程。 第7A圖係用以說明比較實施形態二的映像編碼裝置 與將多視點映像予以編碼之習知的映像編碼裝置、且為貫 施形感二的映像編瑪裝置側的圖。 第7B圖係用以說明上述比較、且為習知的映像編碼裝 置側的圖。

第8圖係本發明實施形態三的映像解碼裝置的構成 圖。 第9圖係本實施形態三的映像解碼裝置執行的處理流 程。 第10圖係本發明實施形態四的映像解碼裝置的構成 圖。 .第11圖係實施形態四的映像解碼裝置執行的處理流 程。 第12圖係攝影機間所產生的視差之說明圖。 【主要元件符號說明】 100、 200 映像編碼裝置 101、 201 影像輸入部 102 > 202 合成影像輸入部 103 預測影像產生部 104 > 205 預測殘差編碼部 105、206、303、403預測殘差解碼部 46 320335 1364221 . 106 ' 304 差分影像解碼部 107、209、305、406差分影像記憶體 • 108、210、306、407預測差分影像產生部 . 203、408 第一預測影像產生部 204、409 第二預測影像產生部 : 207、307、404影像解碼部 . 208、405 解碼影像記憶體 211、410 預測切換開關 • 300、400 映像解碼裝置 301、401 編碼資料輸入部 302 > 402 合成影像輸入部

47 320335

Claims (1)

1364221 . 七、申請專利範圍： 1. 一種映像編碼裝置，係在將藉由視點不同的複數台攝影 機所攝影的多視點影像予以編碼時，根據與對編碼對象 的影像進行了攝影的攝影機之視點不同的至少一個視 點中已完成編碼的參照攝影機影像、以及該參照攝影機 影像與編碼對象的影像之間的視差資訊，來產生相對於 對編碼對象的影像進行了攝影的攝影機之合成影像，並 使用該合成影像將編碼對象的影像予以編碼’該映像編 碼裝置係具備有： 差分影像預測手段，係產生後續會進行編碼的編碼 對象區域的輸入影像以及相對於該輸入影像的前述合 ( 成影像之差分影像的預測影像； 預測影像產生手段，係產生以前述差分影像預測手 段所產生的預測差分影像與編碼對像區域.的前述合成 影像之和來表示之該區域的預測影像；以及 預測殘差編碼手段，係將以前述預測影像產生手段 所產生的編碼對象區域的預測影像以及該區域的編碼 對象影像之差來表示之預測殘差予以編碼。 .2.如申請專利範圍第1項之映像編碼裝置，其中，前述差 分影像預測手段係使用以編碼對象影像已完成編碼的 區域的解碼影像、以及該區域的前述合成影像之差來表 不之與攝影有編碼對象影像的時刻為相同時刻的差分影 像，來產生前述編碼對象區域的差分影像的預測影像。 3.如申請專利範圍第1項之映像編碼裝置，其中，前述差 48 320335 2像預測手段係使用以在 衫的視點所攝影之已：對象衫像進行了揭 2解科像為影像、以及 之與攝影有編碼對象 ^讀之差來表示 像，來產生前述編碼：域二為不同時刻的差分影 4.如申請專利範圍第〗項之影像的預測影像^ 影像解碼手段Μ裝置’係具備有： 解碼而產生編竭二m對象影像的編碼資料予 解石馬差分影像；以及 左刀知像產生儲存手段 所解碼的解碼影像以及前c影像解 不的解碼差分影像 。成衫像之差來表 儲存記憶體；.其中，、、解碼差分影像儲存至 憶體之解碣差分二用儲存於前述儲存記 影像的預測影像。、相喝對象區域的差分 5·如申請專mK$l項之映像編瑪 預測殘差解碼手段，係將係具備有： 編碼的預測殘差予以解碼’;、以及^、測殘差編碼手段所 解碼差分影像產生儲存 差解碼手段所解喝的解瑪預測;前述預測殘 影像之和來表示的解 及則述預測差分 差分影像儲存至儲存記憶體^中並將該所產生的解瑪 前述差分影像預測手段係使 憶體之解碼差分影像來產生前述編； 320335 49 1364221 · 影像的預測影像。 6. 如申請專利範圍第1項之映像編碼裝置，係具備有： 原始影像預測手段，係使用編碼對象影像已完成編 碼的區域的解碼影像、以及在對編碼對象影像進行了攝 影的視點所攝影且為在與編碼對象影像不同時刻所攝 影之已完成編碼的影像的解碼影像中的任一種解碼影 像，來產生編碼對象影像的預測影像；其中， 前述預測影像產生手段係選擇性地執行：根據前述 預測差分影像與前述合成影像來產生編碼對象區域的 預測影像、或直接利用前述原始影像預測手段所產生的 預測影像來產生編碼對象區域的預測影像中之任一者。 7. 如申請專利範圍第1項之映像編碼裝置，其中，前述預 測影像產生手段係以令前述預測影像的各像素具有預 定有效範圍内的像素值之方式進行截除。 8. 如申請專利範圍第5項之映像編碼裝置，其中，前述解 碼差分影像產生儲存手段係以令前述解碼差分影像的 各像素具有預定有效範圍内的像素值之方式進行截除。 9. 一種映像解碼裝置，係在將藉由視點不同的複數台攝影 機所攝影的多視點影像的編碼資料予以解碼時，根據與 對編碼對象的影像進行了攝影的攝影機之視點不同的 至少一個視點中已完成解碼的參照攝影機影像、以及該 參照攝影機影像與解碼對象的影像之間的視差資訊，來 產生相對於對解碼對象的影像進行了攝影的攝影機之 合成影像，並使用該合成影像將解碼對象的影像的編碼 50 320335 :該映像解料置係具備有： 象影像的預測殘差予以解妈將名碼貝科所含有的解碼對 對象n域=Γ㈣手段’係產生後續會進行解碼的解碼 的解碼對象影像以 : 的剛^成影像之差分影像的預測影像；以及私像 影像=ΪΓ段’係針對解碼對象區域加算前述差分 碼手俨所又所產生的預測差分影像、前述預測殘差解 =解碼的預測、以及前述 = 解碼對象影像予以解碼。错此將 1〇^^專利_9項之映像_置，其中，前述差 的解碼影像已完成解瑪區域 述解碼對象區.域的差分影像__=像， 11. 如申钼專利範圍第9項之映像解 分影像預測手段係使用以在’巧對了則述差 影的視點稿私y ί 1對象讀進行了攝 ^ ^ ，'已化成解碼的參照影像以及鱼兮炎 ΐ:像為相同時刻的前述合成影像之差來表示二攝 ^解碼縣影像㈣刻為—的差分影像，^ 别精碼對象區域的差分影像的預測影像。 12. 如申請專利範圍第9項之映像解㈣置，_ 解碼差分影像產生儲存手段.，係產生以前述 碼手段所產生的解碼影像與前述合成影像之差所表= 320335 的解=差分影像，並儲存至館存記憶體；其中， 传r If差分影像關手段係❹料於前述儲存記 ^ -、解懸分影像來產生前述解碼對㈣域的差 衫像的預測影像。 刀 13.如申請專利範圍第9項之映像解碼裝置，#且 1碼差分景彡像產生料手段，級生Μ述預測殘 像ίΓΓ段所解碼的解碼_殘差與前述_差分影 =和來表㈣解碼差分影像，麵存至儲存記憶體； ::差：影像預測手段係使用儲存於前述儲存記 影像的預娜彡像。“杨觸“域的差分 U·如申請專利簡第9項之映像解碼裝置，係且備有， 碼的=景彡像_手段，係❹解碼縣影像已完成解 媒的衫像、以及在對解碼對象影像進行 Ζ =影且為在與解碼料料不 影 = 影像,·其中， 像，來產生解碼對象影像的_ 前述影像解碼手段係針對解碼對象區域選擇 加算_差匈像_手段難 :::述預測殘差解碼手段所解碼的預測殘差、U ^成影像，藉此將解碼對象f彡舒 管j := 始影像預測手段所產生的預測影像以及 測殘差解碼手段所解媽的預測殘差，藉此將解娜象= 320335 52 1364221 . 像予以解碼中之任一者。 15. 如申請專利範圍第13項之映像解碼裝置，其中，前述 解碼差分影像產生儲存手段係以令前述解碼差分影像 的各像素具有預定有效範圍内的像素值之方式進行截 除。 16. —種映像編碼方法，係在將藉由視點不同的複數台攝影 機所攝影的多視點影像予以編碼時，根據與對編碼對象 的影像進行了攝影的攝影機之視點不同的至少一個視 點中已完成編碼的參照攝影機影像、以及該參照攝影機 影像與編碼對象的影像之間的視差資訊，來產生相對於 對編碼對象的影像進行了攝影的攝影機之合成影像，並 使用該合成影像將編碼對象的影像予以編碼，該映像編 碼方法係具備有： 差分影像預測步驟，係產生後續會進行編碼的編碼 對象區域的輸入影像以及相對於該輸入影像的前述合 成影像之差分影像的預測影像， 預測影像產生步驟，係產生以前述差分影像預測步 驟所產生的預測差分影像以及編碼對象區域的前述合 成影像之和來表示之為該區域的預測影像；以及 預測殘差編碼步驟，係將以在前述預測影像產生步 驟所產生的編碼對象區域的預測影像與該區域的編碼 對象影像之差來表示之預測殘差予以編碼。 17. 如申請專利範圍第16項之映像編碼方法，其中，在前 述差分影像預測步驟中，係使用以編碼對象影像已完成 •53 320335 1364221 · 編碼的區域的解碼影像、與該區域的前述合成影像之差 來表示之為與攝影有編碼對象影像的時刻為相同時刻 的差分影像，來產生前述編碼對象區域的差分影像的預 測影像。 18. 如申請專利範圍第16項之映像編碼方法，其中，在前 述差分影像預測步驟中，係使用以在對編碼對象影像進 行了攝影的視點所攝影之已完成編碼的影像的解碼影 像、以及在與該解碼影像為相同時刻的前述合成影像之 差來表示之與攝影有編碼對象影像的時刻為不同時刻 之差分影像，來產生前述編碼對象區域的差分影像的預 測影像。 19. 如申請專利範圍第16項之映像編碼方法，係具備有： 預測殘差解碼步驟，係將在前述預測殘差編碼步驟 所編碼的預測殘差予以解碼；以及 解碼差分影像產生儲存步驟，係產生以在前述預測 殘差解碼步驟所解碼的解碼預測殘差與前述預測差分 影像之和所表示的解碼差分影像，並將該所產生的解碼 差分影像儲存至儲存記憶體；其中， 在前述差分影像預測步驟中，係使用儲存於前述儲 存記憶體的解碼差分影像來產生前述編碼對象區域的 差分影像的預測影像。 20. 如申請專利範圍第16項之映像編碼方法，係具備有： 原始影像預測步驟，係使用編碼對象影像已完成編 碼的區域的解碼影像、以及在對編碼對象影像進行了攝 54 320335 1364221 · 影的視點所攝影且為在與編碼對象影像不同時刻所攝 影之已完成編碼的影像的解碼影像中的任一個解碼影 . 像，來產生編碼對象影像的預測影像；其中， . 在前述預測影像產生步驟中，係選擇性地執行：根 據前述預測差分影像與前述合成影像來產生編碼對象 - 區域的預測影像、或者直接利用在前述原始影像預測步 . 驟所產生的預測影像來產生編碼對象區域的預測影像 中之任一者。 • 21. —種映像解碼方法，係在將藉由視點不同的複數台攝影 機所攝影的多視點影像的編碼資料予以解碼時，根據與 對編碼對象的影像進行了攝影的攝影機之視點不同的 至少一個視點中已完成解碼的參照攝影機影像、以及該 參照攝影機影像與解碼對象的影像之間的視差資訊，來 產生松對於對解碼對象的影像進行了攝影的攝影機之 合成影像，並使用該合成影像將解碼對象的影像的編碼 _ 資料予以解碼，該映像解碼方法係具備有： 預測殘差解碼步驟，係將編碼資料所含有的解碼對 象影像的預測殘差予以解碼； 差分影像預測步驟，係產生後續會進行解碼的解碼 對象區域的解碼對象影像以及相對於該解碼對象影像 的前述合成影像之差分影像的預測影像；以及 影像解碼步驟，係對解碼對象區域加算前述差分影 像預測步驟所產生的預測差分影像、前述預測殘差解碼 步驟所解碼的預測殘差、以及前述合成影像，藉此將解 55 320335 1364221 . 碼對象影像予以解碼。 22. 如申請專利範圍第21項之映像解碼方法，其中，前述 差分影像預測步驟係使用以解碼對象影像已完成解碼 區域的解碼影像以及該區域的前述合成影像之差來表 示之與攝影有解碼對象影像的時刻為相同時刻的差分 影像，來產生前述解碼對象區域的差分影像的預測影像。 23. 如申請專利範圍第21項之映像解碼方法，其中，在前 述差分影像預測步驟中，係使用以在對解碼對象影像進 行了攝影的視點所攝影之已完成解碼的參照影像以及 與該參照影像為相同的時刻的前述合成影像之差來表 示之為與攝影有解碼對象影像的時刻為不同時刻的差 分影像，來產生前述解碼對象區域的差分影像的預測影 像。 24. 如申請專利範圍第21項之映像解碼方法，係具備有： 解碼差分影像產生儲存步驟，係產生以在前述預測 殘差解碼步驟所解碼的解碼預測殘差與前述預測差分 影像之和所表示的解碼差分影像，並儲存至儲存記憶 體；其中， 在前述差分影像預測步驟中，係使用儲存於前述儲 存記憶體的解碼差分影像來產生前述解碼對象區域的 差分影像的預測影像。 25. 如申請專利範圍第21項之映像解碼方法，係具備有： 原始影像預測步驟，係使用解碼對象影像已完成解 碼的影像、以及在對解碼對象影像進行了攝影的視點所 56 320335 1364221 . 攝影且為在與解碼對象影像不同時刻所攝影之已完成 解碼的影像中任一個影像，來產生解碼對象影像的預測 影像；其中， 在前述影像解碼步驟中，係針對解碼對象區域選擇 性地執行：加算在前述差分影像預測步驟所產生的預測 差分影像、在前述預測殘差解碼步驟所解碼的預測殘 差、以及前述合成影像，藉此將解碼對象影像予以解 碼；或者加算在前述原始影像預測步驟所產生的預測影 像、以及在前述預測殘差解碼步驟所解碼的預測殘差， 藉此將解碼對象影像予以解碼中之任一者。 26. 如申請專利範圍第24項之映像解碼方法，其中，在前 述解碼差分影像產生儲存步驟中，係以令前述解碼差分 影像的各像素具有預定的有效範圍内的像素值之方式 來進行截除。 27. —種映像編碼程式，係使電腦執行用以實現申請專利範 圍第1項的映像編碼裝置的處理。 28. —種電腦可讀取的記錄媒體，係記錄有使電腦執行用以 實現申請專利範圍第1項的映像編碼裝置的處理之映 像編瑪程式。 29. —種映像解碼程式，係使電腦執行用以實現申請專利範 圍第9項的映像解碼裝置的處理。 30. —種電腦可讀取的記錄媒體，係記錄有使電腦執行用以 實現申請專利範圍第9項的映像解碼裝置的處理之映 像解碼程式。 57 320335