TW200910975A - Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs - Google Patents

Description

200910975 六、發明說明： 【發明所屬之技術領域】 本發明係有關一種使用於多視點映像的編碼之映像編 碼裝置及其方法、將猎由該映像編碼技術所編碼的編碼貧 料予以解碼之映像解碼裝置及其方法、使用於實現該映像 編碼裝置的映像編碼程式及記錄有該程式之電腦可讀取的 記錄媒體、以及使用於實現該映像解碼裝置的映像解碼程 式及記錄有該程式之電腦可讀取的記錄媒體。 本案係根據2007年6月25日所申請的日本特願 2007-165828號申請案來主張優先權，並援用其内容於本 說明書。 【先前技術】 所謂多視點影像係指以複數台攝影機所攝影的相同 被攝體與背景之複數個影像，所謂多視點動態影像（多視點 映像）係指該多視點映像的動態影像。以下，將由一台攝影 機所攝影的動態影像稱為「二次元動態影像」，將攝影有相 同被攝體與背景之二次元動態影像群稱為「多視點動態影 像」。 二次元動態影像係與時間方向有很高的關連性，藉由 利用此關連性來提高編碼效率。另一方面，在多視點影像 與多視點動態影像中，當各個攝影機同步時，由於在相同 時間所對應的各個攝影機的映像係從不同位置攝影完全相 同狀態的被攝體與背景，因此各個攝影機之間有很高的關 連性。在多視點影像與多視點動態影像的編碼中，藉由利 3 320335 200910975 用該關連性可提高編碼效率。 首先，說明習知技術的二次元動態影像的編；技術。 以國際編碼標準之H. 264、MPEG-2、MPEG-4為首之羽 知許多的二次元動態影像編碼方式中，係利用動態補償、 正交變換、量化、嫡編碼（entropy coding)之技術來進行 高效率的編碼。稱為動態補償的技術係利用訊框間的時^ 關連性之方法。 " Η. 264所使用的動 ，入W4洲巩明保記載於 述非專利文獻1 ’以下說明其概要。 、 在H. 264義態補償中，將編碼對象訊框 尺寸的區塊，而可作成在各區塊具有不同的動態向t 於局部性㈣㈣化亦達成高編碼鱗。料 訊框的候補者，係準備相對於編碼對象訊框之過去或^ 已完成編碼之複數個訊框，而可作成在各區塊使 參照訊框。藉此，即使對於 α 1 ...、丄 、u马時間變化而產生逆. (〇CCluS1〇n)之映像亦可達成高編碼效率。 碼方Ϊ著’說明習知的多視點影像與多視點動態影像的； 關於多視點動態影像的編碼，已知有一種方式 由將動態補償適用於由安置於知 ί ,^ , Α 女罝於相同時刻的不同視點的攝； 機所攝影的影像之「視差補儅，而a 1貝」而向效率地將多視點動ί

影像予以編碼。在此，簡視差係指在配置科同位L 攝^㈣像平面上，在被攝體上铜位置所投影之 的差。 320335 4 200910975 第12圖係顯示該攝影機間所產生的視差的概念圖。在 此概念®巾，光轴㈣直俯視平行的攝影機的影像平面 者。如此’-般將在不同攝影機的影像平面上將被攝體上 相同位置賴影的位置稱為對應點。視差補償係根據此對 應關係從參照訊框來預L㈣象訊框的各像素值， 其預測殘差以及顯示對應_之視差#訊予以編竭。， 由於在多視點動態影像的各訊框同時存在時間方向的 備份性（亦稱冗長性）與攝影機間的備份性，故作為同時去 除雙方的備份性的方法有下述專利文獻丨之手法。丁 在該手法中’係在每個時刻產生輸入影像與視差補償 影像之差分影像，並將差分影像當作二次元動態影像，一 邊應用動態補償一邊進行編碼。依據此方法，由於能藉由 動態補償去除在用以去除攝影機間的備份性之視差補償中 無法去除的時間方向的備份性，因此最後進行編碼的預測 殘差會變小，可達成高編碼效率。 非專利文獻 1 : ITU-T Rec. H. 264/IS0/IEC 11496-10, “Editor’ s Proposed Draft Text Modifications for Joint Video Specification (ITU-TRec. H.264/ISO/IEC 11496-10 AVC), Draft , Document JVT-E022d7, pp. 10-13, 62-73, September 2002 專利文獻1 :日本特開2007-036800號公報 【發明内容】 (發明所欲解決之課題） 依據將視差補償殘差信號（輸入影像與視差補償影像 5 320335 200910975 之差分影像）當作映像來進行動態補償之習知多視點動態 影像的編碼方法，由於能縮小同時具有時間方向與攝影機 間的備份性之部分的預測殘差，因此能有效率地將多視點 動態影像予以編瑪。 然而，由於差分動態影像信號的位元深度（量化位元數） 比通常的映像遥大1 _位元，因此在此方式中’編碼/解碼 器的規模會變得比將原本的映像予以編碼者還大。亦即， 例如在8位元影像的情形中，雖然最小值為0而最大值為 255，然而由於此情形的差分影像的最小值變為一 255而最 大值變為+ 255，因此差分動態影像信號的位元深度會變得 比通常的映像還大1位元。 此外，由於亦存在對應基準視點（選出一台攝影機作為 基準視點的攝影機）的攝影機等用以進行將通常的映像直 接編碼/解碼的攝影機，因此作為多視點動態影像編碼/ 解碼器整體須具備用以處理兩種位元深度之機構，而有電 路規模和安裝規模變大之問題。 並且，在因遮蔽等無法從其他的攝影機映像來預測編 碼/解碼對象的攝影機映像的區域中’在使用差分的編碼 /解碼中與未使用差分的情形相比，效率會變差。因此， 適當地切換使用差分的編碼/解碼以及未使用差分的編碼 /解碼係能提升編碼效率。 然而，由於在差分的情形與非差分的情形中位元深度 會不同，因此無法以相同的編碼/解碼部來進行處理。因 此，在進行適當地切換處理的情形中，即使在將一個視點 6 320335 200910975 的映像予以編碼/解碼的部分亦須具備能處理兩種信號之 編碼/解碼部，而有電路規模和安裝規模變大的問題。 不僅是這些電路和安裝規模，當在差分動態影像中進 行動態補償時，在原始映像時的像素值所容許的值成為最 大值與最小值的部分中，有可能會將無用的信號予以編碼。 例如在8位元的映像中，設原始影像的某像素的像素 值為255,而其位置的合成影像（視差補償影像）的像素值 為2 5 0。亦即，此像素中的差分影像的像素值為5。此時， 在使用其他時刻的差分影像並使用動態補償來預測此像素 的像素值時的值為10之情形中，會變成將5與10之差的 —5的值予以編碼。 然而，由於原始映像的像素值的最大值為2 5 5，且比 255還大的值皆會被截除（clipping)成255，因此，將0予 以編碼以取代將一5予以編碼時所獲得之對合成影像的像 素值250加算經由差分影像的動態補償所計算出的預測值 1◦而獲得的260之值亦可顯示255的輸入映像之值。亦即， 在此情形中，將一5之差分影像間的預測殘差予以編碼並 無意義，而會導致編碼量的增加。 如此，在差分動態影像中進行動態補償時，在原始映 像時的像素值成為所容許值的最大值和最小值的部分會產 生將不需要的信號予以編碼之情形。 本發明乃有鑑於上述課題而研創者，其目的係提供一 種在將多視點映像予以編碼時，對使用差分影像的預測值 加算合成影像的像素值而作成相對於輸入影像的預測影 7 320335 200910975 像，藉此無須於編碼/解碼器處理複數個位元深度的映像 信號，且使用相對於輸入映像與合成映像之差分映像的預 測之新的映像編碼解碼技術。 (解決課題的手段） 因此，本發明係提供一種映像編碼裝置，係在將藉由 視點不同的複數台攝影機所攝影的多視點影像予以編碼 時，根據與對編碼對象的影像進行了攝影的攝影機之視點 不同的至少一個視點中已完成編碼的參照攝影機影像、以 及該參照攝影機影像與編碼對象的影像之間的視差資訊， 來產生相對於對編碼對象的影像進行了攝影的攝影機之合 成影像，並使用該合成影像將編碼對象的影像予以編碼， 該映像編碼裝置係具備有： 差分影像預測手段，係產生後續會進行編碼的編碼對 象區域的輸入影像以及相對於該輸入影像的前述合成影像 之差分影像的預測影像； 預測影像產生手段，係產生以前述差分影像預測手段 所產生的預測差分影像與編碼對像區域的前述合成影像之 和來表示之該區域的預測影像；以及 預測殘差編碼手段，係將以前述預測影像產生手段所 產生的編碼對象區域的預測影像以及該區域的編碼對象影 像之差來表示之預測殘差予以編碼。 在典型的例子中，前述差分影像預測手段係使用以編 碼對象影像已完成編碼的區域的解碼影像、以及該區域的 前述合成影像之差來表示之與攝影有編碼對象影像的時刻 8 320335 200910975 為相同時刻的差分影像，來產生前述編碼對象區域的差分 影像。 在另一個典型的例子中，前述差分影像預測手段係使 用以在對編碼對象影像進行了攝影的視點所攝影之已完成 編碼的影像的解碼影像、以及與該解碼影像為相同時刻的 前述合成影像之差來表示之與攝影有編碼對象影像的時刻 為不同時刻的差分影像，來產生前述編碼對象區域的差分 影像的預測影像。 在另一個典型的例子中，係具備有： 影像解碼手段，係將編碼對象影像的編碼資料予以解 碼而產生編碼對象影像的解碼影像；以及 解碼差分影像產生儲存手段，係產生以前述影像解碼 手段所解碼的解碼影像以及前述合成影像之差來表示的解 碼差分影像，且將所產生的解碼差分影像儲存至儲存記憶 體；其中， 前述差分影像預測手段係使用儲存於前述儲存記憶體 之解碼差分影像來產生前述編碼對象區域的差分影像的預 測影像。 在另一個典型的例子中，係具備有： 預測殘差解碼手段，係將前述預測殘差編碼手段所編 碼的預測殘差予以解碼；以及 解碼差分影像產生儲存手段，係產生以前述預測殘差 解碼手段所解碼的解碼預測殘差以及前述預測差分影像之 和來表示的解碼差分影像，並將該所產生的解碼差分影像 9 320335 200910975 儲存至儲存記憶體；其中， 前述差分影像預測手段係使用儲存於前述儲存記憶體 之解碼差分影像來產生前述編碼對象區域的差分影像的預 測影像。 在此情形之較佳的例子中，前述解碼差分影像產生儲 存手段係以令前述解碼差分影像的各像素具有預定有效範 圍内的像素值之方式進行截除。 在另一個典型的例子中，係具備有原始影像預測手 段，係使用編碼對象影像已完成編碼的區域的解碼影像、 以及在對編碼對象影像進行了攝影的視點所攝影且為在與 編碼對象影像不同時刻所攝影之已完成編碼的影像的解碼 影像中的任一種解碼影像，來產生編碼對象影像的預測影 像；其中，前述預測影像產生手段係選擇性地執行：根據 前述預測差分影像與前述合成影像來產生編碼對象區域的 預測影像、或直接利用前述原始影像預測手段所產生的預 測影像來產生編碼對象區域的預測影像。 在較佳的例子中，前述預測影像產生手段係以令前述 預測影像的各像素具有預定有效範圍内的像素值之方式進 行截除。 本發明復提供一種映像解碼裝置，係在將藉由視點不 同的複數台攝影機所攝影的多視點影像的編碼資料予以解 碼時，根據與對編碼對象的影像進行了攝影的攝影機之視 點不同的至少一個視點中已完成解碼的參照攝影機影像、 以及該參照攝影機影像與解碼對象的影像之間的視差資 10 320335 200910975 訊，來產生相對於 ， 之合成影像，並使用該=對象的影像進行了攝影的攝影機 資料予以解碼，該該合成影像將解碼對象的影像的編碼 預測殘差解;手:解:裝置係具備有： 影像的預測殘差予以^系將編碼資料所含有的解碼對象 差分影像預御I手段 象區域的解碼對象麥又、’.係產生後續會進行解碼的解碼對 合成影像之差分A:像从及相對於該解碼對象影像的前述 左刀衫像的預阀 影像解碼手段，係 像預測手段所產生的、宁解碼對象區域加算前述差分影 段所解碼的預測殘差、/差分影像、前述預測殘差解碼手 象影像予以解碼。 以及前述合成影像，藉此將解碼對 在典型的例子中，前、屯 碼對象影像已完成解碼區2分影像預-測手段係使用以解 合成影像之差來表示之=次的解碼影像以及該區域的前述 同時刻的差分影像，來產，f有解石馬對象影像的時刻為相 的預測影像。 則述解碼對象區域的差分影像 在另一個典型的例子 ^ 用以在對解觸象f彡像進4差分影像賴手段係使 解碼的參照影像以及與該=了攝影的視點所攝影之已完成 影像之差來表示之與攝為相同_的前迷合成 刻的差分影像，來產生前述^馬對象影像的時刻為不同時 測影像。 玟解碼對象區域的差分影像的預 在另一個典型的例 中，係具備有解碼差分影像產生 11 32〇335 200910975 儲存手段，係產生以前述影像解碼手段所產生的解碼影像 與前述合成影像之差來表示的解碼差分影像，並儲存至儲 存記憶體；其中，前述差分影像預測手段係使用儲存於前 述儲存記憶體的解碼差分影像來產生前述解碼對象區域的 差分影像的預測影像。 在另一個典型的例子中，係具備有解碼差分影像產生 儲存手段，係產生以前述預測殘差解碼手段所解碼的解碼 預測殘差與前述預測差分影像之和來表示的解碼差分影 像，並儲存至儲存記憶體；其中，前述差分影像預測手段 係使用儲存於前述儲存記憶體的解碼差分影像來產生前述 解碼對象區域的差分影像的預測影像。 在此情形之較佳的例子中，前述解碼差分影像產生儲 存手段係以令前述解碼差分影像的各像素具有預定有效範 圍内的像素值之方式來進行截除。 在另一個典型的例子中，係具備有原始影像預測手 段，係使用解碼對象影像已完成解碼的影像、以及在對解 碼對象影像進行了攝影的視點所攝影且為在與解碼對象影 像不同時刻所攝影之已完成解碼的影像中任一種影像，來 產生解碼對象影像的預測影像；其中，前述影像解碼手段 係針對解碼對象區域選擇性地執行：加算前述差分影像預 測手段所產生的預測差分影像、前述預測殘差解碼手段所 解碼的預測殘差、以及前述合成影像，藉此將解碼對象影 像予以解碼；或者加算前述原始影像預測手段所產生的預 測影像以及前述預測殘差解碼手段所解碼的預測殘差，藉 12 320335 200910975 此將解碼對象影像予以解碼中之任一者。 本發明復提供一種映像編碼方法，係在將藉由視點不 同的複數台攝影機所攝影的多視點影像予以編碼時，根據 與對編碼對象的影像進行了攝影的攝影機之視點不同的至 少一個視點中已完成編碼的參照攝影機影像、以及該參照 攝影機影像與編碼對象的影像之間的視差資訊，來產生相 對於對編碼對象的影像進行了攝影的攝影機之合成影像， 並使用該合成影像將編碼對象的影像予以編碼，該映像編 碼方法係具備有： 差分影像預測步驟，係產生後續會進行編碼的編碼對 象區域的輸入影像以及相對於該輸入影像的前述合成影像 之差分影像的預測影像_， 預測影像產生步驟，係產生以前述差分影像預測步驟 所產生的預測差分影像以及編碼對象區域的前述合成影像 之和來表示之該區域的預測影像；以及 預測殘差編碼步驟，係將以在前述預測影像產生步驟 所產生的編碼對象區域的預測影像與該區域的編碼對象影 像之差來表示之預測殘差予以編碼。 在典型的例子中，在前述差分影像預測步驟中，係使 用以編碼對象影像已完成編碼的區域的解碼影像、與該區 域的前述合成影像之差來表示之與攝影有編碼對象影像的 時刻為相同時刻的差分影像，來產生前述編碼對象區域的 差分影像的預測影像。 在另一個典型的例子中，在前述差分影像預測步驟 13 320335 200910975 中，係使用以在對編碼對象影像進行了攝影的視點所攝影 之已完成編碼的影像的解碼影像、以及在與該解碼影像為 相同時刻的前述合成影像之差來表示之與攝影有編碼對象 影像的時刻為不同時刻之差分影像，來產生前述編碼對象 區域的差分影像的預測影像。 在另一個典型的例子中，係具備有： 預測殘差解碼步驟，係將在前述預測殘差編碼步驟所 編碼的預測殘差予以解碼；以及 解碼差分影像產生儲存步驟，係產生以在前述預測殘 差解碼步驟所解碼的解碼預測殘差與前述預測差分影像之 和來表示的解碼差分影像，並將該所產生的解碼差分影像 儲存至儲存記憶體；其中， 在前述差分影像預測步驟中，係使用儲存於前述儲存 記憶體的解碼差分影像來產生前述編碼對象區域的差分影 像的預測影像。 在另一個典型的例子中，係具備有原始影像預測步 驟，係使用編碼對象影像已完成編碼的區域的解碼影像、 以及在對編碼對象影像進行了攝影的視點所攝影且為在與 編碼對象影像不同時刻所攝影之已完成編碼的影像的解碼 影像中的任一個解碼影像，來產生編碼對象影像的預測影 像；其中， 在前述預測影像產生步驟中，係選擇性地執行：根據 前述預測差分影像與前述合成影像來產生編碼對象區域的 預測影像、或者直接利用在前述原始影像預測步驟所產生 14 320335 200910975 的預測影像來產生編碼對象區域的預測影像中之任一者。 本發明復提供一種映像解碼方法，係在將藉由視點不 同的複數台攝影機所攝影的多視點影像的編碼資料予以解 碼時，根據與對編碼對象的影像進行了攝影的攝影機之視 點不同的至少一個視點中已完成解碼的參照攝影機影像、 以及該參照攝影機影像與解碼對象的影像之間的視差資 訊，來產生相對於對解碼對象的影像進行了攝影的攝影機 之合成影像，並使用該合成影像將解碼對象的影像的編碼 資料予以解碼，該映像解碼方法係具備有： 預測殘差解碼步驟，係將編碼資料所含有的解碼對象 影像的預測殘差予以解碼； 差分影像預測步驟，係產生後續會進行解碼的解碼對 象區域的解碼對象影像以及相對於該解碼對象影像的前述 合成影像之差分影像的預測影像；以及 影像解碼步驟，係對解碼對象區域加算前述差分影像 預測步驟所產生的預測差分影像、前述預測殘差解碼步驟 所解碼的預測殘差、以及前述合成影像，藉此將解碼對象 影像予以解碼。 在典型的例子中，前述差分影像預測步驟係使用以解 碼對象影像已完成解碼區域的解碼影像以及該區域的前述 合成影像之差來表示之與攝影有解碼對象影像的時刻為相 同時刻的差分影像，來產生前述解碼對象區域的差分影像 的預測影像。 在另一個典型的例子中，在前述差分影像預測步驟 15 320335 200910975 中，係使用以在經對解碼對象影像進行了攝影的視點所攝 影之已完成解碼的參照影像以及與該參照影像為相同的時 刻的前述合成影像之差來表示之與攝影有解碼對象影像的 時刻為不同時刻的差分影像，來產生前述解碼對象區域的 差分影像的預測影像。 在另一個典型的例子中，具備有解碼差分影像產生儲 存步驟，係產生以在前述預測殘差解碼步驟所解碼的解碼 預測殘差與前述預測差分影像之和來表示的解碼差分影 像，並儲存至儲存記憶體；其中，在前述差分影像預測步 驟中，係使用儲存於前述儲存記憶體的解碼差分影像來產 生前述解碼對象區域的差分影像的預測影像。 在此情形之較佳的例子中，在前述解碼差分影像產生 步驟中，係以令前述解碼差分影像的各像素具有預定有效 範圍内的像素值之方式進行截除。 在另一個典型的例子中，具備有原始影像預測步驟， 係使用解碼對象影像已完成解碼的影像、以及在對解碼對 象影像進行了攝影的視點所攝影且為在與解碼對象影像不 同時刻所攝影之已完成解碼的影像中任一個影像，來產生 解碼對象影像的預測影像；其中， 在前述影像解碼步驟中，係針對解碼對象區域選擇性 地執行：加算在前述差分影像預測步驟所產生的預測差分 影像、在前述預測殘差解碼步驟所解碼的預測殘差、以及 前述合成影像，藉此將解碼對象影像予以解碼；或者加算 在前述原始影像預測步驟所產生的預測影像、以及在前述 16 320335 200910975

預測殘差解碼+ 〜A 像予以解瑪中^壬:碼的預測殘差，藉此將解石馬舞象影 裝二映像f碼裝置或映像解媽 儲存於適當之電可、：二广私式來貫現’該電腦程式係 提供，在實施本媒體而提供’或經由網路 進行動作，# μ %物安裝而在cpu等控制手段上來 丁動作错此能實現本發明。 丁仅上來 的輪:明#中:係使用已完成編，區域中 中的輪入映像與人映像來預測編石馬對象的區域 象區域令的合’並對該差分加算編碼對 像。 4生相對於輸人映像之_映 因此’在將預測殘差予以編 映像編石馬方法相同 ρ刀巾’係與—般的 測映像的預測殘差予以：碼、以及相對於輪入映像之預 增加在殘差編瑪步驟所處理的;二;:習知的手法，錢 像之差及相對於輪入映㈣^ 框内的空間性_，的關連性與訊 此手法係可如專利文们般從—二 景來產生合成映像 張參知映像與攝影場 照映像來尋找對應點^考文獻般使用複數個參 來產生合成映像厂只要能合:在=對=可使用其他方法 影機的映像，可使用各種方法。馬對象視點所攝影的攝 320335 17 200910975 參考文獻：M. Kitahara，H.Kimata, M. Tanimoto, T. Fuji i and K. Yamamoto, “Report of Core Experiment on View Interpolation(Multi-view Video Coding CE3)，” Document JVT-T119，pp.卜8，July, 2006. 此外’殘差的編碼方法亦與以屬於國際編碼標準之 H.264、MPEG-2、MPEG4為首的習知大多數的二次元動態影 像編碼方式相同，係可藉由DCT(Discrete Cosine Transform ’·離散餘弦變換）或量化、亦可藉由使用樣板 (template)的向量編碼，可使用任何的方法。 在本發明中，當同樣地依據差分映像所進行的預測與 在合成映像之處並相對於輸入映像進行預測時，亦可並非 在訊框内空間性地預測輸入映像與合成映像之差分映像， 而是從其他時刻的練利用差分映像的時間關連性來進行 預測。 此手法亦與上述說明相同，在將預測殘差予以編碼的 部分中，係與-般的動態影像編碼㈣，由於將輪入映像 以及相對於缝人映像之_映㈣賴殘差^以編碼， 因此能解決在習知手法的問題點中於殘差編碼步驟處理的 信號的位元深度增加之問題。並且，㈣能㈣利用攝影 =間的關連性與時間方向的關連性，因此能達成高編碼效 準。 此外 ，亦能-邊選擇殘差映像中的訊框内的空間性關 連性與時間方向關連性一邊予以編碼，藉 高編碼效率。 芡運成 320335 18 200910975 在通常的映像編碼方法中，為了產生預測映像，係儲 存並利用已完成編碼的輸入映像的解碼映像。然而，在本 發明中，為了產生相對於輸入映像之預測映像，係使用輸 入映像與合成映像之差分映像。亦即，由於須於每次產生 預測映像時產生合成映像，來求出與所儲存的解碼映像之 差，因此相當耗費運算成本。 因此，在獲得解碼映像後，為了產生預測映像，係減 算已產生的合成映像而產生差分映像並予以儲存，藉此可 省略每次產生差分映像的處理，而大幅減少運算成本。 此外，在使用差分映像進行預測時，係對已編碼的預 測殘差的解碼資料加算差分映像的預測值，藉此能產生相 對於解碼映像之差分映像。藉此，與先產生解碼映像再產 生差分映像的情形相比，能省略減算合成映像之運算，可 進一步降低運算成本。 此時，將針對對應的合成映像的像素值乘算負號之值 作為最小值，將以該最小值與容許的解碼映像的像素值的 最大值之和來表示的值作為最大值，並將解碼殘差資料與 差分映像預測之和予以截除，藉此能產生與產生解碼映像 後再求出差分映像的情形完全相同的差分映像。 此外，亦可一邊選擇使用差分映像的預測映像產生以 及未使用差分映像的預測映像產生一邊進行輸入映像的編 石馬。 在遮蔽部分等中無法精度佳地產生合成映像。在該部 分中，在從輸入映像與合成映像所產生的差分映像中含有 19 320335 200910975 大的誤差，無法有效率地編碼。因此，在該部分中，可僅 利用時間方向關連性而有效率地將輸入映像予以編碼。 如同習知的方法，在產生差分映像並將該差分映像作 為輸入來進行編碼時’為了貫現未使用差分的編瑪’編碼 對象映像信號的位元深度會不同，因此不僅是切換輸入信 號，亦需要切換編碼器本身。此意味著必須在處理一個映 像的譯碼器（encoder)包含處理兩個不同信號的編碼器。 相對於此，依據本發明，即使在差分映像上進行預測 或在輸入映像進行預測時，由於編碼器所處理的輸入信號 為輪入映像，且預測信號係成為相對於輸入映像之預測映 像，因此可使用相同的輸入信號與編碼器來進行編碼。亦 即，依據本發明可大幅減少譯碼器的電路和安裝的規模。 (發明之效果） 如上述說明，依據本發明，在將多視點映像予以編碼 時，產生相對於輸入映像與合成映像的差分映像之預測信 號，並將所產生的預測差分映像與合成映像之和作為相對 於輸入映像之預測信號，藉此能以電路規模小且安裝規模 小的方式來實現使用差分映像之高效率的編碼。 在習知技術中，係使用產生輸入映像與相對於輸入映 像的合成映像之差分映像，並將該所產生的差分映像予以 動態影像編碼之方法，相對於此，在本發明中係使用產生 相對於該差分映像之預測信號，並將所產生的預測差分映 像與合成映像之和作為相對於輸入映像之預測信號，藉此 將輸入影像直接進行動態影像編碼之方法，藉此能以電路 20 320335 200910975 之方式來實現使用差分映像的 預測之 規模小且安裝規模4 高效率的編碼。 【實施方式j 以下根據實施形態詳細說明本發明。 i t I所說明的實施形態中，係說明使用—個以上已 = 解碼之與編碼對象為不同視點的映像、以及使 用這些視點與編碼對象視點之視差資 二二^ 像，來將某—個⑽… 貝孔所產生的合成映 ”個視點的映像予以編碼/解碼之方法。 =合成映像所f的視差資訊係可在編碼器側產生並 =知^側，亦可為在編碼器側/解碼器側進行相同 此外，從視差資訊產生合成映像的手法可 何 ^手法’例如可為從複數個視關的對舰#訊取得平^ 方法亦可為取得一個代表值之方法。 實施形態一 I先’說明第-實施形態（以下記載為實施形態一）。 第1圖係顯示本發明實施形態一的映像編 的構成圖。 衣夏丄uo 如第1圖所不，實施形態一的映像編碼裝置1卯係具 備，·影像輸入部ΚΠ、合成影像輸入部i〇2、預測影像產 =部1〇3、預測殘差編碼部1〇4、預測殘差解碼部}叩、 分影像解碼部1〇6、差分影像記憶體1〇7、以及預測差八a 像產生部108。 、刀衫 /該影像輸入部101係輸入以成為編碼對象的攝影機 攝影的映像（影像）。合成影像輸入部1Q2係輸入相對於該 320335 21 200910975 攝影機之合成映像（合成影像，亦即視差補償影像）。 預測影像產生部1 〇 3係加算預測差分影像產生部1 〇 8 所產生的預測差分影像（使用解碼影像與合成影像之差分 影像進行預測之相對於輸入影像與合成影像之差分影像的 預測影像）以及合成影像輸入部102所輸入的合成影像，藉 此產生相對於輸入影像的預測影像。 預測殘差編碼部104係將影像輸入部1〇1所輸入的輸 入衫像與預測影像產生部103所產生的預測影像之預測殘 差予以編碼並輸出編碼資料。預測殘差解碼部105係將預 測殘差編碼部104所編碼的預測殘差予以解碼。

差分影像解碼部106係一透很據合成影像輸入部1〇2 所輸入的合成影像決定處理範圍，一邊加算預測差分影像 產生部108所產生的預測差分影像以及預測殘差解碼部 1〇5所解碼的預測殘差，藉此產生以解碼影像與合成影像 之差分所表示的差分影像。差分影像記憶體⑽係儲存差 分影像解碼部1〇6所產生的差分影像。 預測差分影像產生部1〇8係使用儲存於差分影 體107的差分影像，產生㈣独輪人影像與合成影像: 差分所表示的差分影像之_影像（預測差分影像）Γ 第2圖係顯示上述構成的實施形態一的映像編碼裝置 執行的處理流程。 =處理流程係顯示藉由實施形態—的映像編碼裝置 ★將某時刻的影像（訊框）予以編碼時之處理，且 複數個訊框的編碼時會反覆執行此處理流程。 盯 320335 22 200910975 «* 以下係根據該處理流程詳細說明實施形態一的映像編 碼裝置100執行的處理。 在實施形態一的映像編碼裝置100中，首先，在影像 輸入部101輸入編碼對象影像〔A1〕。以下，編碼對象影像 (輸入影像）係表示成Org〔 ·〕。此外，對影像附加記號〔〕， 藉此表示特定區域的影像信號。 接著，在合成影像輸入部102輸入相對於在此所輸入 的Org〔 ·〕之合成影像〔A2〕。合成影像係表示成Syn〔 ·〕。 在本實施形態一中，將影像整體分割成複數個區塊， 於每個區塊反覆進行處理，藉此將影像整體予以編碼。此 外，並非一定需要分割成區塊狀，係可分割成任意形狀， 亦可不進行分割。以下，將區塊的索引表示成blk，將影 像所包含的區塊數表示成numB 1 k。 因此，將blk初始化為0後〔A3〕，對blk加算1〔 All〕 直至blk達至numBlk為止〔A12〕前反覆以下的處理〔A4〕 至〔A10〕，以進行編碼。 亦即，在每個區塊進行反覆處理中，首先，在預測差 分影像產生部108係使用儲存於差分影像記憶體107之已 完成編碼的不同時刻的訊框或編碼對象訊框内已完成編碼 的區塊來產生預測差分影像PredDiff〔 ·〕〔A4〕。 一般而言，將從其他時刻的訊框進行預測的情形稱為 訊框間預測，將在從相同時刻的訊框已完成編碼的區域進 行預測的情形稱為訊框内預測。作為上述所進行的訊框間 預測與訊框内預測的方法，係能使用各種方法，例如使用 23 320335 200910975 前述非專利文獻1所示之已知的映像編喝方式。 例如，如下式（1)所示，在其他時刻的訊框中，/ 定某區域並將該區域的複製作為賴值，亦可如’係可指 =示’^目_的訊框已完成編碼的周邊像素=定(2) (Directional)的預測。 订疋向 (1) 式 V(x,y) eblk, PredDiff[t(xFy]=DecDiff[t-i>x+ni^y+mvJ . ^ 式

V(x,y) eblk, PredDiff[tIx,y]=DecDiff[ttXtup |inel (2) J 其中，DecDiff〔 ·〕係表示儲存於差分影像記 ==?的差分影像(解碼差分影像)，t係表示編· 係表不blk正上方的像素位置（線）。 d接著^在制影像產生部Η)3係產生以預測差 PredDiff〔 ·〕與合成影像s 〔 · 豕 影像㈣〔·〕〔Α5〕。 和來表不的預測 」時4像叙值缝在有效範㈣。像素值的 有效範圍鋪由輸人影像的位元深度來決定，纟8位元影 像的情形中，最小值為〇，最大值為255。使用數學式表: 時，此截除處理係如下式所示。 V(x,y) eblk, Pred[tIxiy]=ciip(PredDiff[tlX.yJ+Syn[tXiyL min max) , • · ·式（3) 其中，min係表示像素值的有效最小值，臟絲示像 素值的有效最大值。函數⑴祕為下述情形之函數·當第 320335 24 200910975 一自變數所授予的值小於第二自變數的值時會返回第二自 變數的值’當大於第三自變數的值時會返回第三自變=的 值，當皆非上述的情形時則返回第一自變數的值。 接著，產生以輸入影像〇rg〔 ·〕與預測影像pred〔 ·〕 之差分所表示的預測殘差Res〔 ·〕〔A6〕。此產生處理以 數學式表示時係如下式（4)所示 V(x,y〉eblk, Res[t，X，y]=〇rg[t.x,y]—pred[t x y] . (4) ••瓦 t產生預測殘差Res〔 ·〕時，預測殘差編碼部ι〇4 係將該預測殘差Res〔 ·〕予以編碼〔A7〕。 預測殘差Res〔·〕的編碼係可使用任何方式。在一 般的映像編碼方式中，以DCT(離散餘弦轉換）進行頻率變 換後’進行量化，將DCT係數資訊予以二值化，再對其進 行算數編碼。 、以此方式所產生的預測殘i Res〔 ·〕白勺編碼資料係 成為映像編碼裝置100的輸出，並傳縣制殘差解碼部 105，預測殘差解碼部1〇5係予以解碼以進行之後的預測 〔A8〕。解碼後的預測殘差係表示成DecRes〔 ·〕。 ,經預測殘差解碼部105所解碼的預測殘差DecRes〔 ·〕 係傳送至差分影像解碼部1〇6，差分影像解碼部1⑽係使 用預測差分影像PredI)iff〔 ·〕來產生解碼差分影像 DecDiff〔 ·〕〔A9〕。 此# ’藉由像素值的有效最小值與像素值的有效最大 值’以滿足 minSDecRes〔 t,x，y〕+predDiff〔 t，x，y〕 320335 25 200910975 + Syn〔 t，X，y〕$ max 之方式 _ Γ1. Di , ^ 万式進仃截除。當使用前述函數

Cl㈣，此截除處理係以下式⑸來表示。 V(x.y) eblk, DecDlff[ttXt)f] -Clip(DecRes[t(Xfy]+predDiff[ mm-Syn[t,x,y]r max-Syn[t,x,y]) ，yJ, ...式（5) 此外’此截除可進行亦可不進行。然而，在進 時，須在編碼器與解碼H進行相_處理。 、 藉由差分影像解碼部106所產生的解碼差分影像 DecDiff〔 ·〕係儲存於差分影像記憶體，而利用於後 續將區塊予以編碼時的預測〔A 1 〇〕。 如此，實施形態一的映像編碼褒置100係產生相對於 輸入影像與合成影㈣差分影像之制㈣，並將所產生 的預測差分影像與合成影像之和作為相對於輸人影像的預 測信號，以進行輸入影像的編碼。 接著’根據第3 _處理流程，詳細說明第2圖的處 理流程A5所執行的預測影像pred〔 ·〕的產生處理。 產生相對於編碼對象影像之預測影j象Pred〔 ·〕的處 理〔A5〕係在區塊所包含的每個像素藉由制像素產生部 103所進行。為了進行此處理，如第！圖所示，預測影像 產生部1G3係具備有：加算功能，係加算合成影像輸入部 102所輸入的合成影像Syn〔 ·〕的像素值與預測差分影像 產生部108所產生的預測差分影像PredDiff〔 ·〕的像素 值；以及截除魏’係截除㈣加算功能加算的像素值。 此處的處理係在區塊内的每個像素進行。亦即，當將 各像素的索引设為ριχ時，將pix初始化為〇後〔Μ 一 320335 26 200910975 邊對Pix加算1〔B7〕，一邊反覆進行以下的處理〔β2〕至 〔Β6〕直至pix達至區塊内的像素數numpix〔肋〕。 亦即’在進行此反覆處理中，首先，針對像素啦將 預測差分影像產生部108所產生的預測差分影像predj)iff ^〕的值讀入至暫存1^〔批〕，接著針對像素啦將 口成影像輸入部102所輪入的合成影像加〔·〕魂 入至暫存器rl〔B3〕。 °貝 接耆，使用上述加算功能，執行錯存 =雜存於暫存W的像錄之加算，㈣^ = 儲存至暫存器r2〔B4〕。 、°果 接：’使用上述截除功能，將儲存於暫存器d的像素 錯存至目暫入影像的有效範圍内進行截除，並將其結果 =:定’在—情形 辛齡於料^ d的料值料相對於針對像 素了編碼對象影像之預測影像 二'像 成。在採用未使用暫存器的構 暫存器之構成，&處了理；;’係採用將處理結果館存於不同 取但亦可覆寫入至暫存哭 用-個暫存器來進行加曾處理：。匕外，在能使 理流程中，直接執行加算。此外’在此處

〔·〕，但亦可St 各像素的預測影像U 進仃緩衝而一次輪出。 320335 27 200910975 第4A圖及第4B圖係顯示比較實施形態一的映像編碼 裝置100以及將多視點映像予以編碼的習知映像編碼裝置 之圖。 在此，第4A圖所示的構成係實施形態一的映像編碼裝 置100之構成，第4B圖所示的構成係將多視點映像予以編 碼的習知映像編碼裝置之構成。此外，圖中所示最細的線 係處理N位元之構成部分，而稍粗的線係處理N + 1位元之 構成部分，最粗的線係處理N+2位元之構成部分。 : 在實施形態一的映像編碼裝置100中，係使用產生輸 入映像與相對於輸入映像的合成映像之差分映像的預測信 號，將該所生成的預測差分影像與合成映像之和作為相對 於輸入映像的預測信號，而將輸入映像與相對於輸入映像 的預測映像之差分予以編碼之方法，由於之後僅執行一次 差分，因此如第4A圖所示，能以與將動態影像予以編碼之 通常的映像編碼裝置相同的位元深度來進行編碼。 相對於此，在將多視點映像予以編碼的習知映像編碼 裝置中，係使用產生輸入映像以及相對於輸入映像的合成 映像之差分映像，並將該所產生的差分映像予以動態影像 編碼之方法，由於之後須執行二次的差分，因此如第4B圖 所示，位元深度會增加的比將動態影像予以編碼之通常的 映像編碼裝置遥多。 如此，依據本發明的實施形態，係產生相對於輸入映 像以及相對於輸入映像的合成映像的差分映像之預測信 號，並將該所產生的預測差分映像與合成映像之和作為相 28 320335 200910975 對於輸入映像的預測信號，藉此能以小電路規模/小安裝 規模來實現使用差分映像之高效率的編碼。 並且，在習知技術中，係使用產生輸入映像與相對於 輸入映像的合成映像之差分映像，並將該所產生的差分映 像予以動態影像編碼之方法，而有在像素值成為所容許值 的最大值與最小值的部分會將無用的信號予以編碼之問 題，相對於此，在本發明的實施形態中，由於採用將像素 值之值截除至像素值所容許的最大值與最小值，因此不會 產生上述問題。 實施形態二 接著，說明第二實施形態（以下記載為實施形態二）。 第5圖係顯示本發明實施形態二的映像編碼裝置200 的構成。 如第5圖所示，實施形態二的映像編碼裝置200係具 備有：影像輸入部201、合成影像輸入部202、第一預測影 像產生部203、第二預測影像產生部204、預測殘差編碼部 205、預測殘差解碼部206、影像解碼部207、解碼影像記 憶體208、差分影像記憶體209、預測差分影像產生部210、 以及預測切換開關211。 該影像輸入部210係輸入以成為編碼對象的攝影機所 攝影的映像（影像）。合成影像輸入部202係輸入相對於該 攝影機的合成影像（合成映像）。 第一預測影像產生部203係根據相對於差分影像（輸 入影像與合成影像之差分影像）的預測來產生相對於輸入 29 320335 200910975 影像的預測影像者，並執行與第3圖的處理流程相同的處 理，藉此一邊實施截除處理，一邊加算預測差分影像產生 部210所產生的預測差分影像（相對於差分影像的預測影 像）以及合成影像輸入部202所輸入的合成影像，藉此產生 相對於輸入影像的預測影像。 第二預測影像產生部204係根據解碼影像來產生相對 於輸入影像的預測影像者，且不使用差分影像而是使用儲 存於解碼影像記憶體208的解碼影像來產生相對於輸入影 像的預測影像。 預測殘差解碼部205係將影像輸入部201所輸入的輸 入影像與第一預測影像產生部203或第二預測影像產生部 204所產生的預測影像之預測殘差予以編碼並輸出編碼資 料。預測殘差解碼部206係將預測殘差編碼部205所編碼 的預測殘差予以解碼。 影像解碼部207係加算預測殘差解碼部206所解碼的 預測殘差與第一預測影像產生部203或第二預測影像產生 部204所產生的預測影像予以加算，以產生解碼影像。解 碼影像記憶體208係儲存影像解碼部207所產生的解碼影 像。 差分影像記憶體209係儲存以影像解碼部207所解碼 的解碼影像與合成影像輸入部202所輸入的合成影像之差 分來表示的差分影像。 預測差分影像產生部210係使用儲存於差分影像記憶 體的差分影像來產生相對於以輸入影像與合成影像之差分 30 320335 200910975 所表示的差分影像的預測影像（預測差分影像）。 預測切換開關211係選擇性地輪出第—預測影像產生 部203所產生的預測影像或第二預測影像產生部挪所產 生的預測影像任一方的預測影像。 第6圖係顯示上述構成的實施形態二的映像編碼裝置 所執行的處理流程 此處理流程係顯示藉由實施形態二的映像編碼裝置 200將某時刻的影像予以編碼時之處理，且在進行複數個 訊框的編碼時反覆執行該處理流程。 以下，根據該處理流程詳細說明實施形態二的映像編 碼裝置2GG所執行的處理。在此，係直接使用前述實施形 態一所使用的符號來說明。 在實施形態二的映像編碼裝置2〇〇中，首先，影像輸 入部201係輸入編碼對象.影像〇rg〔 ·〕〔〔I〕，合成影像 輸入部202係在此輸入相對於所輸入的〇rg〔·〕之合成 影像 Syn〔 ·〕〔 C2〕。 在本實施形態二中，亦將影像整體分割成複數個區 塊，並於每個區塊反覆進行處理，藉此將影像整體予以編 碼。此外，並非一定需要分割成區塊狀，係可分割成任意 形狀’亦可不進行分割。以下，與實施形態一相同，將區 塊的索引表示成blk，將影像所包含的區塊數表示成 numBlk 〇 因此，將blk初始化為0後〔C3〕，對blk加算1〔 ci5〕 直至blk達至numBlk為止〔Cl6]前反覆以下的處理〔匸4〕 31 320335 200910975 至〔Cl4〕，以進行編石馬。 在每個區塊進行反覆處理中，首先，產生預測影像〔C4〕 至〔C7〕。在本實施形態二中，第一預測影像產生部2〇3係 使用差分影像來產生預測影像（以下將此預測影像記载為 差分預測影像DiffPred〔 ·〕），帛二預測影像產生部2〇4 係不使用差分影像而是使用解碼影像來產生預測影像（以 下將此預測影像記载為解碼預測影像DecPred〔 ·〕），並 使用這些預測影像來產生一個預測影像。 關於差分預測影像DiffPred〔 ·〕的產生處理，首先 預測差分影像產生部21〇係使用儲存在差分影像記憶體 209之已凡成編碼的不同時刻的訊框或編碼對象訊框内已 完成編碼的區塊，來產生預測差分影像PredDiff〔 ·〕 〔C4〕。接著，第一預測影像產生部2〇3係產生以預測差分 影像PredDiff〔·〕.與合成影像Syn〔·〕之和來表示的 差分預測影像DiffPred〔·〕〔 C5〕。 此時，各像素之值係被截除至有效的範圍。像素值的 有效範圍係由輸入影像的位元深度來決定，在8位元影像 的情形中，最小值為〇，最大值為255。當使用數學式來表 示時，此截除處理係如下式（6)所示。並且，在該以、〇5 =進行的處理係與實施形態一的A4、A5所進行的處理相

y) eblk, DiffPred[t, x, y]= Cl ip (PredDiff [t, x, y]+Syn[t, χ, yJ 一贿） ·..式⑹， 另一方面，關於解碼預測影像DecPred〔·〕的產生 320335 32 200910975 處理，第二預測影像產生部2〇4 憶體208之已6 s ''使用儲存於解碼影像記 ^ p ^ ^疋成、為碼的其他時刻的訊框或編碼對象

内已j編碼的區塊的解碼影像-〔叫來進行^ 作為此種解石馬預測影像D 能使用任何方法，如^At/± 」的產生法，係 法例如此使用前述非專利文獻1所示之P 知的映像編碼方式。 1不之已 1例如A下式⑺所示，在其他咖的訊框中，亦奸 疋:、區域並將該區域的複t作為制值，亦可如下曰 所π ’從相同時刻的訊框之已完成編碼 工 向的預測。 逆爆京進仃疋 b I k, DecPred [t, x, y] = Dec [t-1, x+mvx y-HnV J · ·.式⑺ V(，V) eblk, DecPred[tx,y]=Dec[tXfUp__iine] ...=)) 實施形態二中，預測影像係使用預測切換開關2U 适擇弟一預測影像產生部203所產生的差分預測影像 DiffPred〔 ·〕$第二預測影像產生冑m所產生的解碼 預測影像DecPred〔·〕而產生〔α〕β此外，亦有使用對 應的像素間的平均值作為預測影像之方法。 在此，對於選擇兩個預測影像，係可使用任何方法來 進行選擇。例如，可先進行編碼再選擇編碼效率佳的一方， 亦可使用差分絕對值和或差分二次方和來計算相對於編碼 對象影像Org〔·〕之預測效率，並選擇效率佳的一方。 此外，對應輸入影像，可在每個訊框、訊框内的每個 部分區域、以及每個區塊等適當地切換而選擇。 在產生預測影像時，係產生以輸入影像〇rg〔 ·〕以 320335 33 200910975 及預測切換開關211所輸出的預測影像之差分所表示的預 若使用數學式時，則該產生處】 係如則述式（4)所示。 ，當產生預測殘差ReS〔·〕日夺，預測殘差編碼部205 =該_殘差Res〔 ·〕予以編瑪〔⑻。預測殘差的編 碼係可使用任何方式。 / X此種方式所產纟的預測殘i Res〔 ·〕#編碼資料 係成為映像編姑置的輸出，並魏至制殘差解碼 部206，預測殘差解碼部2〇6係予以解碼以進行後續的預 測〔C10〕。 、 預測殘差解碼部206所解碼的預測殘差DecRes〔 ·〕 係傳送至影像解碼部2G7，影像解碼部m係使用預測切 換開關211所輸出的預測影像來產生解碼影像d 〔C11〕。 此時，藉由像素值的有&最小值與像素值的有效最大 值來進行截除。錢賴學⑽，職除處理細下式 來表示。 V(x.y) ^blk, ^[t,x,y]=ciip(DecRes[t,x,y]+pred[t(XiyLminmax) • ··.式（9) 藉由影像解碼部207所產生的解碼影像Dec〔·〕係 錯存至解碼影像記憶體2G8，且被觀於後續將區塊予以 編碼時之預測〔C12〕。 、，此外，使用該解碼影像Dec〔 ·〕與合成影像Syn〔 ·〕， 亚根據下式（ίο)來產生解碼差分影像DecDiff〔 ·〕〔ci3〕。 320335 34 200910975 V (x, y) ^blk, DecDiff [t, x, y] =Dec[t, x, y] — Syn[t, x, y] . ·.式 (10) 以此種方式所產生的解碼差分影像DecDiff〔·〕係 儲存於差分影像記憶體209，並利用於後續將區塊予以編 碼時之預測〔C14〕。 如此，實施形態二的映像編碼裝置200係產生相對於 輸入影像與合成影像之差分影像的預測信號，並將該所產 生的預測差分影像與合成影像之和作為相對於輸入影像的 預測信號，來進行輸入影像的編碼。 第7A圖及第7B圖係顯示比較實施形態二的映像編碼 裝置200以及對應其之將多視點映像予以編碼之習知的映 像編碼裝置之圖。 在此，第7A圖所示的構成係實施形態二的映像編碼裝 置200的構成，第7B圖所示的構成係對應第7A圖的構成 將多視點映像予以編碼之習知的映像編碼裝置的構成。此 外，圖中最細的線係處理N位元之構成部分，較粗的線係 處理N+1位元之構成部分，最粗的線係處理N+2位元之 構成部分，虛線係切換所處理的位元之構成部分。 在實施形態二的映像編碼裝置200中，係使用產生輸 入映像以及相對於輸入映像的合成映像之差分映像的預測 信號，並將所產生的預測差分映像與合成映像之和作為相 對於輸入映像的預測信號，而將輸入映像以及相對於輸入 映像的預測映像之差分予以編碼之方法，由於後續僅執行 一次差分，因此如第7 A圖所示，能以與將動態影像予以編 35 320335 200910975 碼之通常的映像編碼裝置相同的位7G珠度來進行編碼。 相對於此，在將多視點映像予以編碼之習知的映像編 碼裝置中，係使用產生輸入映像以及相對於輸入映像的合 成映像之差分映像，並將所產生的差分映像予以動態影像 編碼之方法，由於後續需要執行兩次差分，因此如第7B圖 所示，比起將動態影像予以編碼之習知的映像編碼裝置， 位元深度會增加。 再者，只要比較第7A圖與第7B圖即可得知，在實施 形態二的映像編碼裝置200中，即使根據差分映像來進行 預測，或根據輸入映像來進行預測，由於編碼器所處理的 輸入信號係輸入映像，且預測信號會成為相對於輸入映像 的預測映像，因此可使用相同的輸入信號與編碼器來進行 編碼。 實施形態三 接著，說明第三實施形態（以下記載為實施形態三）。 第8圖係顯示本發明實施形態三的映像解碼裝置300 fe.· 的構成圖。 如第8圖所示，實施形態三的映像解碼裝置300係具 備有：編碼資料輸入部301、合成影像輸入部302、預測殘 差解碼部303、差分影像解碼部304、差分影像記憶體305、 預測差分影像產生部306、以及影像解碼部307。 該編碼資料輸入部301係輸入藉由實施形態一的映像 編碼裝置100所產生的編碼資料（以成為解碼對像的攝影 機所攝影的映像的編碼資料）。合成影像輸入部302係輸入 36 320335 200910975 相對於該攝影機的合成映像（合成影像，亦即視差補償影 像）。預測殘差解碼部303係將編碼資料所含有的預測殘差 予以解碼。 差分影像解碼部304係一邊根據合成影像輸入部302 所輸入的合成影像來決定處理範圍，一邊加算預測差分影 像產生部306所產生的預測差分影像（相對於解碼對像影 像與合成影像的差分影像之預測影像）與預測殘差解碼部 303所解碼的預測殘差，藉此產生以解碼對像影像與合成 影像之差分所表示的差分影像。差分影像記憶體305係儲 存差分影像解碼部304所產生的差分影像。 預測差分影像產生部306係使用儲存於差分影像記憶 體305的差分影像來產生相對於以解碼對象影像與合成影 像之差分所表示的差分影像之預測影像（預測差分影像）。 影像解碼部307係加算差分影像解碼部304所產生的 差分影像與合成影像輸入部302所輸入的合成影像，藉此 將解碼對象的影像予以解碼。 第9圖係顯示上述構成的實施形態三的映像解碼裝置 3 0 0所執行的處理流程。 該處理流程係顯示藉由實施形態三的映像解碼裝置 3 0 0將某時刻的影像的編碼貢料予以解瑪時之處理，並在 進行複數個訊框的解碼時反覆執行該處理流程。 以下，係根據該處理流程詳細說明實施形態三的映像 解碼裝置300所執行的處理。在此，直接使用前述實施形 態一與實施形態二所使用的記號來說明。 37 320335 200910975 在貫施形態三的映像解碼裝置3〇〇中，首先，編碼資 ，輸入部301係、輸入解渴對象影像的編碼資料⑶〕。接 著5成汾像輸入部302係輸入相對於解碼對象影像的合 成影像〔D2〕。 在本實施形態三中’係假定將影像整體分割成複數個 區塊並予以編碼，並在每個區塊反覆進行處理，藉此將影 像整體予以解碼。此外，並非需要分割成區塊狀，係可分 割成任意的形狀，亦可不分割。以下，係將區塊的索引表 不成碰’將影像所含有的區塊數表示成rmmBIk。 —因此，將blk予以初始化成〇後㈤〕，__邊對碰加 异1⑽〕，一邊反覆進行以下的處理〔D4〕至〔D8〕而至 blk達numBlk^1〇〕為止，藉此進行解碼。 亦即，在每個區塊反覆進行的處理中，預測殘差解碼 303係將所輪人的編碼資料中所含有預測殘差予以 I D4 ] ° 像記影像產生部3〇6係使用儲存於差分影 70成解碼的其他時刻的訊框或解碼對象 訊框内已完成解侧區塊，來產域測差分影像〔D5〕 在此，當存在複數個預測差分影像的產生法時 料所含有的區塊Mk中的（編碼時的）預測方 S3定—個產生法，並根據該產生法來產生預測 著分影像產生部306產生預測差分影像後，接 ，刀解碼部3G4會產生以所產生的預測差分影像 320335 38 200910975 與所解碼的預測殘罢 此時，藉由==來表示的解喝差分影像〔⑹。 值來進行與實施形能一、有效最小值與像素值的有效最大 除處理（以前述式^㈣A9所進行的截除處理相同的截 截除處理，亦^不所表不的截除處理）。此外，可進行此 須以編碼器舆解碼器==的處:當進行載除處理時， 存於差分影像記3〇4,所產生的解瑪差分影像係儲 時產生預测差分影像_，。並利用於後續將區塊予以解碼 像解解碼部3°4產生解物像後，影 示的解邱像^〕_差分影像與合成影像之和來表 進行截:時各會被截除至有效範圍内。然而，在D6 除處理係以下式截除。使用數學式時，此截 v(x，y) ebfk，D「广不。 max) - CI iP(DecDiff [t, X, y] +Syn[t, x, y]( mjn> 以上述方式所甚* ···式（ιυ 300的輪ii{。在•的解碼影像係成為映像解碼裝置 但在以解喝二中雖會立即輪出已解碼的影像， 在輸出、、力、序中未成為適當的顯示時序時，4 裝置‘::緩衝而在適當的顯示時序來到 在此，第（J ^ 一 瑪資科所含有的解^的旦處理流程係採用下述構成：崩 ’’、、、象影像的預測殘差予以解碣： 320335 39 200910975 用以解碼對象影像已完成解碼的區域的影像與合成影像之 差來表示的差分影像，產生後續進行解碼的區域中差分影 像的預測影像後，加算該所產生的預測差分影像與已解碼 的預測殘差，藉此獲得解碼差分影像，並加算該解碼差分 影像與合成影像，藉此將解碼影像予以解碼。但解碼影像 的產生順序並非限定於此。 亦即，亦可採用下述構成：將編碼資料所含有的解碼 對象影像的預測殘差予以解碼，並使用以解碼對象影像已 完成解碼的區域的影像與合成影像之差來表示的差分影 像，產生後續進行解碼的區域中的差分影像的預測影像 後，加算該所產生的預測差分影像與合成影像，藉此獲得 解碼對象影像的預測影像，並加算該解碼對象影像的預測 影像與已解碼的預測殘差，藉此將解碼影像予以解碼。 實施形態四 接著，說明第四的實施形態（以下記載為實施形態四）。 第10圖係顯示本發明實施形態四的映像解碼裝置400 的構成。 如第10圖所示，實施形態四的映像解碼裝置400係具 備有：編碼資料輸入部401、合成影像輸入部402、預測殘 差解碼部403、影像解碼部404、解碼影像記憶體405、差 分影像記憶體406、預測差分影像產生部407、第一預測影 像產生部408、第二預測影像產生部409、以及預測切換開 關 410。 該編碼資料輸入部401係輸入藉由實施形態二的映像 40 320335 200910975 產生的編碼資料(以成為解碼對象的攝， == 料)。合成影像輪入部顯輪= 對於該攝衫機的合成映像（合成影像）。 係將編碼資料所含有的_殘差予以解石馬。& ，，、、邛403 衫像解碼部404係加算預辦j綠# s 預測殘差盘第-預測旦增漆I殘差解碼部403所解碼的 部彻所產生的=ί部408 4第二預測影像產生 V座玍自頂心像，藉此將解碼對1 碼。解碼影像記憶體405係错 于象的心像予以解 解碼影像。 儲存办像解碼部404所解碼的 差分影像記憶體406係儲存以爭後和ε 的解碼影像與合成影像輸入部4。2二輪入：：40:所解碼 分所表示的差分影像（解碼差分影像3成影像之差 ㈣產=術係使用錯存於差分影像· 影像之1C來產生相對於簡碼對象影像舆合Ξ 像)所表示的差分影像之預測影像(預測差= 4。7所產二r,]差分影像產生邹 的人心 77 4與合絲像輪人部402 ^ 像。·的一來產生相對於㈣物：= 的換Γ410係選擇輪出第—預測影像產生部 產生的預測影像或第二預測影像產生部409所= 320335 41 200910975 的預測影像中的任一方。 第11圖係顯示上述構成的實施形態四的映像解碼裝 置4 0 0所執行的處理流程。 該處理流程係顯示藉由實施形態四的映像解碼裝置 4 0 0將某時刻的影像的編碼貧料予以解碼時之處理，並在 進行複數個訊框的解碼時，反覆執行該處理流程。 以下，根據該處理流程詳細說明實施形態四的映像解 碼裝置400所執行的處理。在此，直接使用前述實施形態 一至三所使用的符號來說明。 在實施形態四的映像解碼裝置400中，首先，編碼資 料輸入部401係輸入解碼對象影像的編碼資料〔E1〕。接 著，合成影像輸入部402係輸入相對於解碼對象影像的合 成影像〔E2〕。 在本實施形態四中，係假設將影像整體分割成複數個 區塊並予以編碼，並在每個區塊反覆進行處理，藉此將影 像整體予以解碼。此外，不一定需要分割成區塊狀，.可分 割成任意形狀，亦可不分割。以下，係將區塊的索引表示 成b 1 k，將像素所含有的區塊數表示成numB 1 k。 因此，將blk初始化成0後〔E3〕，一邊對blk加算1 〔E10〕，一邊反覆進行以下的處理〔E4〕至〔E9〕，直至 blk達至numBlk〔 El 1〕，藉此進行解碼。 亦即，在每個區塊反覆進行的處理中，首先，預測殘 差解碼部403係將所輸入的編碼資料所含有的預測殘差予 以解碼〔E4〕。 42 320335 200910975 接著，第一預測影像產生部408係使用儲存於差分影 像兄1:¾體406之已完成解碼的其他時刻的訊框或解碼對象 訊框内已完成解碼的區塊的解碼差分影像來產生預測影 像，或者第二預測影像產生部彻係使用儲存於解碼影像 記憶體405之已完成解碼的其他時刻的訊框的解瑪影像來 產生預測影像〔E5〕。 。在此，預測影像的產生法係可藉由各種方法針對每個 區個產生法。該決定係可使用至今已解碼的影像 或區塊的資訊來決定，亦可藉由用以指定編碼資料所含有 的，測方法之資訊來決定。然而，需使用映像編碼裝置所 想定的決定法。 在本只施形態四中，係使用預測切換開關4ϊ〇切換 =行第-預測影像產生部4〇8所產生的差分影像的預 ^或者進行未使用第二預測影像產生部409所產生的差 分影像的預測。 7產 像之吏用第一預測影像產生部408所使用的差分影 於差’首先’預測差分影像產生部術係使用儲存 接著憶體彻的差分影像來產生預測差分影像。 合成影像係產生以預測差分影像與 於解碼物像_=，像。該預測影像係成為相對 值來進二有效最* 截除處理(以前述式⑻所表示的截二。:進:= 320335 43 200910975 =盥：可不進行此截除處理。但在進行截除時，須以編 尋口口/、釦碼器進行相同的處理。 m μ μ方面在進行未使用第二預測影像產生部409所 用館存2影像之預測時，第二預測影像產生部彻係使 子於知碼影像記憶體4〇5的解碼影像來產生 影像係成為相對於解麟象影像之預測影像。'在/ )仃的處顆與實施形態二的G6所進行的處理相同。 与2實施形態四中’雖具備有第二預測影像產生部409 同時，了 像產生部407 ’但在兩者所進行的預測法相 =部ZTT的影像記憶體’藉此以-個預測影像 用差==時，絲制料產生料輪⑽行使 用差刀衫像的預測時才需要輸入至第一預 。亦即，需要兩個連動動作的開關。、〜 4 部40=Γ預測影像產生部408或第二預測影像產生 #彻產生預測影像後，影像解料樹

影像以及藉由預测殘差解碼部 ’ '/I，J 來表示的解碼影像⑽。 所解碼的預測殘差之和 此時’各像素值係被截除5古 係與實施形態二的C11所進行的處：二。此截除處理 時，該截除處理係以前述式⑻丁來的表處;1相同。使用數學式 體4^上述方式所產生的解碼影像係錯存於解碼影像吃恃 體405，並利用於後續將 肝灼〜彳豕忑憶 〔E7〕。 扣塊予以解碼時產生預測影像 此外，使肋解碼騎與合料像，餘㈣述式⑽ 320335 44 200910975 來產生解瑪差分影像〔E8〕'該所產生的解媽 存於差分影像記憶體彻，並利用於後續將區塊儲 時產生預測影像〔E9〕。 卞乂解碼 在E6所產纟的解碼影像係成為映像解碼農置 出。在本實施形態四中，雖然已解碼的影像立即、雨 在以編碼—解碼的順序中未成為適當的顯示時序^士但 輸出前進行緩衝而在適當的顯示時序來到 丁 = 置400輸出。 、像％瑪裝 (產業上的可利用性） 本發明係能應用於多視點映像的編碼，並能 絲規模小的方式實現制差分映像之高效率的編 【圖式簡單說明】 圖 程 弟1圖係本發明實施形態—的映像編碼裝置的構成 。第2圖係實施形態一的映像編碼裝置執行的處理流 f3圖係預測影像的產生處理之處理流程。 轉說明比較實施形態—的映像編媽裝置 祐'字=視點映像予以編碼之習知的映像編 施形m—的映像編碼裝置側的圖。 為只 第4B圖係用以說明上述 置側之圖。 杈且為白知的映像編碼裝 第5圖係本發明的實施形態二的映像編碼裝置的構成 320335 45 200910975 程 圖係實施形ϋ二的映像編碼裝置執行的處理流 盘將多'視fέ jn兄明比h麵態二的映像編碼裝置 =視,_像予關碼之f知的映像編碼U、且為實 施形恝一的映像編碼裝置側的圖。 置侧用以說明上述比較、且為習知的映像編碼裝 第8圖係本發明實施形態三的映像解贿置的構成 第9圖係本實施形態三的映像解碼裝置執行的處理流 第10圖係本發明實施形態四的映像解碼裝置的構成 第η圖係實施形態四的映像解碼裝置執行的處理流 第12圖係攝影機間所產生的視差之說明圖。 【主要元件符號說明】 m 200 映像編碼裝置 101 ' 201 影像輸入部 102、202 合成影像輪入部 103 預測影像產生部 104 ' 205 預測殘差編碼部 105、206、303、403預測殘差解碼部 320335 46 200910975 106 107 108 203 204 207 208 211 300 301 302 304 差分影像解碼部 209、 305、406差分影像記憶體 210、 306、407預測差分影像產生部 408 第一預測影像產生部 409 第二預測影像產生部 307、404影像解碼部 405 解碼影像記憶體 410 預測切換開關 400 映像解碼裝置 401 編碼貧料輸入部 402 合成影像輸入部 47 320335

Claims (1)

1. 200910975 七、申請專利範圍： 1. 一種映像編碼裝置，係在將藉由視點不同的複數台攝影 機所攝影的多視點影像予以編碼時，根據與對編碼對象 的影像進行了攝影的攝影機之視點不同的至少一個視 點中已完成編碼的參照攝影機影像、以及該參照攝影機 影像與編碼對象的影像之間的視差資訊，來產生相對於 對編碼對象的影像進行了攝影的攝影機之合成影像，並 使用該合成影像將編碼對象的影像予以編碼，該映像編 碼裝置係具備有： 差分影像預測手段，係產生後續會進行編碼的編碼 對象區域的輸入影像以及相對於該輸入影像的前述合 成影像之差分影像的預測影像； 預測影像產生手段，係產生以前述差分影像預測手 段所產生的預測差分影像與編碼對像區域.的前述合成 影像之和來表示之該區域的預測影像；以及 預測殘差編碼手段，係將以前述預測影像產生手段 所產生的編碼對象區域的預測影像以及該區域的編碼 對象影像之差來表示之預測殘差予以編碼。 2. 如申請專利範圍第1項之映像編碼裝置，其中，前述差 分影像預測手段係使用以編碼對象影像已完成編碼的 區域的解碼影像、以及該區域的前述合成影像之差來表 不之與攝影有編碼對象影像的時刻為相同時刻的差分影 像，來產生前述編碼對象區域的差分影像的預測影像。 3. 如申請專利範圍第1項之映像編碼裝置，其中，前述差 48 320335 200910975 分影像預測手段係使用以在對編碼對象影像進行了攝 影的視點所攝影之已完成編碼的影像的解碼影像、以及 與該解碼影像為相同時刻的前述合成影像之差來表示 之與攝影有編碼對象影像的時刻為不同時刻的差分影 像，來產生前述編碼對象區域的差分影像的預測影像。 4. 如申請專利範圍第1項之映像編碼裝置，係具備有： 影像解碼手段，係將編碼對象影像的編碼資料予以 解碼而產生編碼對象影像的解瑪影像；以及 解碼差分影像產生儲存手段，係產生以前述影像解 碼手段所解碼的解碼影像以及前述合成影像之差來表 示的解碼差分影像，且將所產生的解碼差分影像儲存至 儲存記憶體；其中， 前述差分影像預測手段係使用儲存於前述儲存記 憶體之解碼差分影像來產生前述編碼對象區域的差分 影像的預測影像。 5. 如申請專利範圍第1項之映像編碼裝置，係具備有： 預測殘差解碼手段，係將前述預測殘差編碼手段所 編碼的預測殘差予以解碼；以及 解碼差分影像產生儲存手段，係產生以前述預測殘 差解碼手段所解碼的解碼預測殘差以及前述預測差分 影像之和來表示的解碼差分影像，並將該所產生的解碼 差分影像儲存至儲存記憶體；其中， 前述差分影像預測手段係使用儲存於前述儲存記 憶體之解碼差分影像來產生前述編碼對象區域的差分 49 320335 200910975 影像的預測影像。 6. 如申請專利範圍第1項之映像編碼裝置，係具備有： 原始影像預測手段，係使用編碼對象影像已完成編 碼的區域的解碼影像、以及在對編碼對象影像進行了攝 影的視點所攝影且為在與編碼對象影像不同時刻所攝 影之已完成編碼的影像的解碼影像中的任一種解碼影 像，來產生編碼對象影像的預測影像；其中， 前述預測影像產生手段係選擇性地執行：根據前述 預測差分影像與前述合成影像來產生編碼對象區域的 預測影像、或直接利用前述原始影像預測手段所產生的 預測影像來產生編碼對象區域的預測影像中之任一者。 7. 如申請專利範圍第1項之映像編碼裝置，其中，前述預 測影像產生手段係以令前述預測影像的各像素具有預 定有效範圍内的像素值之方式進行截除。 8. 如申請專利範圍第5項之映像編碼裝置，其中，前述解 碼差分影像產生儲存手段係以令前述解碼差分影像的 各像素具有預定有效範圍内的像素值之方式進行截除。 9. 一種映像解碼裝置，係在將藉由視點不同的複數台攝影 機所攝影的多視點影像的編碼資料予以解碼時，根據與 對編碼對象的影像進行了攝影的攝影機之視點不同的 至少一個視點中已完成解碼的參照攝影機影像、以及該 參照攝影機影像與解碼對象的影像之間的視差資訊，來 產生相對於對解碼對象的影像進行了攝影的攝影機之 合成影像，並使用該合成影像將解碼對象的影像的編碼 50 320335 200910975 資料予以解碼，該映像解碼裝置係具備有： 預測殘差解碼手段，係將編碼資料所含有的解碼對 象影像的預測殘差予以解碼； 差分影像預測手段，係產生後續會進行解碼的解碼 對象區域的解碼對象影像以及相對於該解碼對象影像 的前述合成影像之差分影像的預測影像；以及 影像解碼手段，係針對解碼對象區域加算前述差分 影像預測手段所產生的預測差分影像、前述預測殘差解 碼手段所解碼的預測殘差、以及前述合成影像，藉此將 解碼對象影像予以解碼。 10. 如申請專利範圍第9項之映像解碼裝置，其中，前述差 分影像預測手段係使用以解碼對象影像已完成解碼區域 的解碼影像以及該區域的前述合成影像之差來表示之與 解碼對象影像所被攝影的時刻為相同時刻的差分影像， 來產生前述解碼對象區域的差分影像的預測影像。 11. 如申請專利範圍第9項之映像解碼裝置，其中，前述差 分影像預測手段係使用以在對解碼對象影像進行了攝 影的視點所攝影之已完成解碼的參照影像以及與該參 照影像為相同時刻的前述合成影像之差來表示之與攝 影有解碼對象影像的時刻為不同時刻的差分影像，來產 生前述解碼對象區域的差分影像的預測影像。 12. 如申請專利範圍第9項之映像解碼裝置，係具備有： 解碼差分影像產生儲存手段，係產生以前述影像解 碼手段所產生的解碼影像與前述合成影像之差所表示 51 320335 200910975 的解碼差分影像，並儲存 前述差分影像預測手段係體；其中， 憶體的解碼差分影像來產生:、冑存於前述儲存t 影像的預測影像。 則述解碼對象區域的差^ 13.如申請專利範圍第9項 解碼差分影像產切存置，細備有·· 差解石馬手段所解褐的解：，：產生以前述預測, 像之和來表示的解碼差、&差與前述預挪差分景 其中: 像’並错存至儲存記憶體; 前述差分影像預測手 憶體的解碼差分影像來產生:用”儲存於前述儲存記 影像的預測影像。 心解碼對象區域的差分 14.如申請專·_9項之映像 原始影像預測手段，係、，、裝置，係具備有·· 碼的影像、以及在對解喝對：：喝對象影像已完成解 攝影且為在與解碼對象:像進行了攝影的視點所 解，影像中任一種影：=時刻所攝影之已完成 影像；其中， 產生解，象影像的預測 執別述影像解碼手段係針對解石馬對 二加算前述差分影像_手段=選擇性地 預測殘差解辦段所解妈的預4Γ差分影 成景> 像’藉此將解碼縣影像予、以及前 剛切、始影像預測手段所產生的 '，或者加算 及殘差解碼手段所解，預測殘差:藉:二^ 320335 52 I 200910975 像予以解碼中之任一者。 15. 如申請專利範圍第13項之映像解碼裝置，其中，前述 解碼差分影像產生儲存手段係以令前述解碼差分影像 的各像素具有預定有效範圍内的像素值之方式進行截 除。 16. —種映像編碼方法，係在將藉由視點不同的複數台攝影 機所攝影的多視點影像予以編碼時，根據與對編碼對象 的影像進行了攝影的攝影機之視點不同的至少一個視 點中已完成編碼的參照攝影機影像、以及該參照攝影機 影像與編碼對象的影像之間的視差資訊，來產生相對於 對編碼對象的影像進行了攝影的攝影機之合成影像，並 使用該合成影像將編碼對象的影像予以編碼，該映像編 碼方法係具備有： 差分影像預測步驟，係產生後續會進行編碼的編碼 對象區域的輸入影像以及相對於該輸入影像的前述合 成影像之差分影像的預測影像； 預測影像產生步驟，係產生以前述差分影像預測步 驟所產生的預測差分影像以及編碼對象區域的前述合 成影像之和來表示之為該區域的預測影像；以及 預測殘差編碼步驟，係將以在前述預測影像產生步 驟所產生的編碼對象區域的預測影像與該區域的編碼 對象影像之差來表示之預測殘差予以編碼。 17. 如申請專利範圍第16項之映像編碼方法，其中，在前 述差分影像預測步驟中，係使用以編碼對象影像已完成 53 320335 200910975 編碼的區域的解碼影像、與該區域的前述合成影像之差 來表示之為與攝影有編碼對象影像的時刻為相同時刻 的差分影像，來產生前述編碼對象區域的差分影像的預 測影像。 18. 如申請專利範圍第16項之映像編碼方法，其中，在前 述差分影像預測步驟中，係使用以在對編碼對象影像進 行了攝影的視點所攝影之已完成編碼的影像的解碼影 像、以及在與該解碼影像為相同時刻的前述合成影像之 差來表示之與攝影有編碼對象影像的時刻為不同時刻 之差分影像，來產生前述編碼對象區域的差分影像的預 測影像。 19. 如申請專利範圍第16項之映像編碼方法，係具備有： 預測殘差解碼步驟，係將在前述預測殘差編碼步驟 所編碼的預測殘差予以解碼；以及 解碼差分影像產生儲存步驟，係產生以在前述預測 殘差解碼步驟所解碼的解碼預測殘差與前述預測差分 影像之和所表示的解碼差分影像，並將該所產生的解碼 差分影像儲存至儲存記憶體；其中， 在前述差分影像預測步驟中，係使用儲存於前述儲 存記憶體的解碼差分影像來產生前述編碼對象區域的 差分影像的預測影像。 20. 如申請專利範圍第16項之映像編碼方法，係具備有： 原始影像預測步驟，係使用編碼對象影像已完成編 瑪的區域的解碼影像、以及在對編碼對象影像進行了攝 54 320335 200910975 影的視點所攝影且為在與編碼對象影像不同時刻所攝 影之已完成編碼的影像的解碼影像中的任一個解碼影 像，來產生編碼對象影像的預測影像；其中， 在前述預測影像產生步驟中，係選擇性地執行：根 據前述預測差分影像與前述合成影像來產生編碼對象 區域的預測影像、或者直接利用在前述原始影像預測步 驟所產生的預測影像來產生編碼對象區域的預測影像 中之任一者。 21. —種映像解碼方法，係在將藉由視點不同的複數台攝影 機所攝影的多視點影像的編碼資料予以解碼時，根據與 對編碼對象的影像進行了攝影的攝影機之視點不同的 至少一個視點中已完成解碼的參照攝影機影像、以及該 參照攝影機影像與解碼對象的影像之間的視差資訊，來 產生相對於對解碼對象的影像進行了攝影的攝影機之 合成影像，並使用該合成影像將解碼對象的影像的編碼 資料予以解碼，該映像解碼方法係具備有： 預測殘差解碼步驟，係將編碼資料所含有的解碼對 象影像的預測殘差予以解碼； 差分影像預測步驟，係產生後續會進行解碼的解碼 對象區域的解碼對象影像以及相對於該解碼對象影像 的前述合成影像之差分影像的預測影像；以及 影像解碼步驟，係對解碼對象區域加算前述差分影 像預測步驟所產生的預測差分影像、前述預測殘差解碼 步驟所解碼的預測殘差、以及前述合成影像，藉此將解 55 320335 200910975 碼對象影像予以解碼。 22. 如申請專利範圍第21項之映像解碼方法，其中，前述 差分影像預測步驟係使用以解碼對象影像已完成解碼 區域的解碼影像以及該區域的前述合成影像之差來表 不之與攝影有解瑪對象影像的時刻為相同時刻的差分 影像，來產生前述解碼對象區域的差分影像的預測影像。 23. 如申請專利範圍第21項之映像解碼方法，其中，在前 述差分影像預測步驟中，係使用以在對解碼對象影像進 行了攝影的視點所攝影之已完成解碼的參照影像以及 與該參照影像為相同的時刻的前述合成影像之差來表 示之為與攝影有解碼對象影像的時刻為不同時刻的差 分影像，來產生前述解碼對象區域的差分影像的預測影 像。 24. 如申請專利範圍第21項之映像解碼方法，係具備有： 解碼差分影像產生儲存步驟，係產生以在前述預測 殘差解碼步驟所解碼的解碼預測殘差與前述預測差分 ' 影像之和所表示的解碼差分影像，並儲存至儲存記憶 體；其中， 在前述差分影像預測步驟中，係使用儲存於前述儲 存記憶體的解碼差分影像來產生前述解碼對象區域的 差分影像的預測影像。 25. 如申請專利範圍第21項之映像解碼方法，係具備有： 原始影像預測步驟，係使用解碼對象影像已完成解 碼的影像、以及在對解碼對象影像進行了攝影的視點所 56 320335 200910975 攝影且為在與解碼對象影像不同時刻所攝影之已完成 解碼的影像中任一個影像，來產生解碼對象影像的預測 影像；其中， 在前述影像解碼步驟中，係針對解碼對象區域選擇 性地執行：加算在前述差分影像預測步驟所產生的預測 差分影像、在前述預測殘差解碼步驟所解碼的預測殘 差、以及前述合成影像，藉此將解碼對象影像予以解 碼；或者加算在前述原始影像預測步驟所產生的預測影 像、以及在前述預測殘差解碼步驟所解碼的預測殘差， 藉此將解碼對象影像予以解碼中之任一者。 26. 如申請專利範圍第24項之映像解碼方法，其中，在前 述解碼差分影像產生儲存步驟中，係以令前述解碼差分 影像的各像素具有預定的有效範圍内的像素值之方式 來進行截除。 27. —種映像編碼程式，係使電腦執行用以實現申請專利範 圍第1項的映像編碼裝置的處理。 ' 28. —種電腦可讀取的記錄媒體，係記錄有使電腦執行用以 實現申請專利範圍第1項的映像編碼裝置的處理之映 像編碼程式。 29. —種映像解碼程式，係使電腦執行用以實現申請專利範 圍第9項的映像解碼裝置的處理。 30. —種電腦可讀取的記錄媒體，係記錄有使電腦執行用以 實現申請專利範圍第9項的映像解碼裝置的處理之映 像解碼程式。 57 320335