TWI545935B - Encoding apparatus and an encoding method, a decoding apparatus and decoding method - Google Patents

Description

編碼裝置及編碼方法、解碼裝置及解碼方法

本技術係有關於編碼裝置及編碼方法、解碼裝置及解碼方法，尤其是有關於，使用視差影像之相關資訊而可改善視差影像之編碼效率的編碼裝置及編碼方法、解碼裝置及解碼方法。

近年來，3D影像正受到矚目，多視點之3D影像之生成時所使用的視差影像之編碼方法，係被提出(例如參照非專利文獻1)。此外，所謂視差影像，係由該視差影像所對應之視點的彩色影像的各像素、和該像素所對應之作為基點的視點的彩色影像的像素在畫面上之位置的水平方向距離加以表示的視差值所成之影像。

又，目前為了比AVC(Advanced Video Coding)方式更加提升編碼效率，一種稱作HEVC(High Efficiency Video Coding)的編碼方式的標準化正在進行，到2011年8月為止，作為Draft係發行有非專利文獻2。

[先前技術文獻] [非專利文獻]

[非專利文獻1]"Call for Proposals on 3D Video Coding Technology", ISO/IEC JTC1/SC29/WG11, MPEG2011/N12036, Geneva, Switzerland, March 2011

[非專利文獻2]Thomas Wiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm, GaryJ. Sullivian, "WD3: Working Draft3 of High-Efficiency Video Coding", JCTVC-E603_d5(version5), 2011年5月20日

然而，使用視差影像之相關資訊來提升視差影像之編碼效率的編碼方法，未被考量。

本技術係有鑑於此種狀況而研發，其目的在於使用視差影像之相關資訊來改善視差影像之編碼效率。

本技術之第1側面的編碼裝置，係一種編碼裝置，其係具備：補正部，係使用基準視點的視差影像之相關資訊，來補正前記基準視點之視差影像的預測影像；和編碼部，係使用已被前記補正部所補正過的前記預測影像，來將前記基準視點之視差影像予以編碼；和傳輸部，係將已被前記編碼部所編碼過的前記基準視點之視差影像和前記基準視點之視差影像之相關資訊，加以傳輸。

本技術之第1側面的編碼方法，係對應於本技術之第1側面的編碼裝置。

在本技術的第1側面中，係使用基準視點的視差影像之相關資訊，來補正基準視點之視差影像的預測影像，使用已被補正過的前記預測影像，來將前記基準視點之視差 影像予以編碼，已被編碼之前記基準視點之視差影像和前記基準視點之視差影像之相關資訊，會被傳輸。

本技術之第2側面的解碼裝置，係一種解碼裝置，其係具備：收取部，係將使用藉由基準視點之視差影像之相關資訊而被補正過的前記基準視點之視差影像的預測影像而被編碼的前記基準視點之視差影像、和前記基準視點之視差影像之相關資訊，加以收取；和補正部，係使用已被前記收取部所收取的前記基準視點之視差影像之相關資訊，來將前記基準視點之視差影像的預測影像加以補正；和解碼部，係使用已被前記補正部所補正過的前記預測影像，來將前記收取部所收取到的已被編碼之前記基準視點之視差影像，予以解碼。

本技術之第2側面的解碼方法，係對應於本技術之第2側面的解碼裝置。

在本技術的第2側面中係為，使用基準視點之視差影像之相關資訊而被補正過的前記基準視點之視差影像的預測影像而被編碼的前記基準視點之視差影像、和前記基準視點之視差影像之相關資訊會被收取，使用已被收取的前記基準視點之視差影像之相關資訊，來補正前記基準視點之視差影像的預測影像，使用已被補正過的前記預測影像，來將已被編碼之前記基準視點之視差影像予以解碼。

此外，第1側面的編碼裝置及第2側面的解碼裝置，係可藉由令電腦執行程式而實現。

又，為了實現第1側面的編碼裝置及第2側面的解碼 裝置，而令電腦執行的程式，係可透過傳輸媒體來傳輸，或可記錄在記錄媒體中來提供之。

若依據本技術的第1側面，則可使用視差影像之相關資訊來改善視差影像之編碼效率。

又，若依據本技術的第2側面，則可將藉由使用視差影像之相關資訊來進行編碼而改善了編碼效率的視差影像之編碼資料，予以解碼。

<第1實施形態> [編碼裝置的第1實施形態的構成例]

圖1係適用了本技術之編碼裝置的第1實施形態之構成例的區塊圖。

圖1的編碼裝置50係由：多視點彩色影像攝像部51、多視點彩色影像補正部52、多視點視差影像生成部53、視點生成用資訊生成部54、及多視點影像編碼部55所構成。

編碼裝置50，係將所定視點的視差影像，使用視差影像之相關資訊而予以編碼。

具體而言，編碼裝置50的多視點彩色影像攝像部51，係拍攝多視點的彩色影像，成為多視點彩色影像而供給至多視點彩色影像補正部52。又，多視點彩色影像攝 像部51，係生成外部參數、視差最大值、及視差最小值(細節將於後述)。又，多視點彩色影像攝像部51，係將外部參數、視差最大值、及視差最小值，供給至視點生成用資訊生成部54，並且將視差最大值與視差最小值，供給至多視點視差影像生成部53。

此外，外部參數係為，將多視點彩色影像攝像部51的水平方向位置加以定義的參數。又，視差最大值與視差最小值，係分別為多視點視差影像中所能採取之世界座標上的視差值之最大值、最小值。

多視點彩色影像補正部52，係對從多視點彩色影像攝像部51所供給之多視點彩色影像，進行色彩補正、亮度補正、失真補正等。藉此，補正後的多視點彩色影像中的多視點彩色影像攝像部51的水平方向(X方向)之焦距，係在全視點中為共通。多視點彩色影像補正部52，係將補正後的多視點彩色影像當作多視點補正彩色影像而供給至多視點視差影像生成部53與多視點影像編碼部55。

多視點視差影像生成部53，係基於從多視點彩色影像攝像部51所供給之視差最大值與視差最小值，而根據從多視點彩色影像補正部52所供給之多視點補正彩色影像，生成多視點的視差影像。具體而言，多視點視差影像生成部53，係針對多視點的各視點(基準視點)，根據多視點補正彩色影像而求出各像素的視差值，將該視差值基於視差最大值與視差最小值而進行正規化。然後，多視點視 差影像生成部53，係針對多視點之各視點，將已被正規化的各像素之視差值當作視差影像的各像素之像素值，生成視差影像。

又，多視點視差影像生成部53，係將已被生成之多視點的視差影像，當作多視點視差影像而供給至多視點影像編碼部55。然後，多視點視差影像生成部53，係將表示多視點視差影像之像素值之精度的視差精度參數加以生成，供給至視點生成用資訊生成部54。

視點生成用資訊生成部54，係使用多視點的補正彩色影像和視差影像，生成在該多視點以外之視點之彩色影像生成之記所被使用的視點生成用資訊(視點生成資訊)。具體而言，視點生成用資訊生成部54係基於從多視點彩色影像攝像部51所供給之外部參數，求出攝影機間距離。所謂攝影機間距離，係針對多視點視差影像的每一視點，拍攝該視點之彩色影像時的多視點彩色影像攝像部51的水平方向之位置、和拍攝與該彩色影像具有對應於視差影像之視差的彩色影像時的多視點彩色影像攝像部51的水平方向之位置之間的距離。

視點生成用資訊生成部54，係將來自多視點彩色影像攝像部51的視差最大值與視差最小值、攝影機間距離、及來自多視點視差影像生成部53的視差精度參數，當作視點生成用資訊。視點生成用資訊生成部54，係將已被生成之視點生成用資訊，供給至多視點影像編碼部55。

多視點影像編碼部55，係將從多視點彩色影像補正部52所供給之多視點補正彩色影像，以HEVC方式進行編碼。又，多視點影像編碼部55，係將從視點生成用資訊生成部54所供給之視點生成用資訊當中的視差最大值、視差最小值、及攝影機間距離，當作視差之相關資訊而使用之，將從多視點視差影像生成部53所供給之多視點視差影像，以依照HEVC方式之方式來進行編碼。

又，多視點影像編碼部55係將從視點生成用資訊生成部54所供給之視點生成用資訊當中的視差最大值、視差最小值、及攝影機間距離進行差分編碼，使其包含在多視點視差影像編碼之際所使用的關於編碼之資訊(編碼參數)中。然後，多視點影像編碼部55係將已被編碼之多視點補正彩色影像及多視點視差影像、含有已被差分編碼之視差最大值、視差最小值、及攝影機間距離的關於編碼之資訊、來自視點生成用資訊生成部54的視差精度參數等所成之位元串流，當作編碼位元串流而予以傳輸。

如以上所述，多視點影像編碼部55，係將視差最大值、視差最小值、及攝影機間距離進行差分編碼而傳輸，因此可削減視點生成用資訊的編碼量。為了提供舒適的3D影像，視差最大值、視差最小值、及攝影機間距離係在圖像間大幅變化的可能性很高，因此進行差分編碼這件事在編碼量的削減上是有效的。

此外，在編碼裝置50中，多視點視差影像是由多視點補正彩色影像所生成，但亦可在多視點彩色影像的攝像 時，藉由偵測視差值的感測器而加以生成。

[視點生成用資訊的說明]

圖2係視點生成用資訊的視差最大值與視差最小值的說明圖。

此外，於圖2中，橫軸係為正規化前的視差值，縱軸係為視差影像的像素值。

如圖2所示，多視點視差影像生成部53係將各像素之視差值，使用視差最小值Dmin與視差最大值Dmax，而正規化成例如0至255之值。然後，多視點視差影像生成部53，將0至255之任一值的正規化後的各像素之視差值當作像素值，而生成視差影像。

亦即，視差影像的各像素的像素值I係為，該像素的正規化前的視差值d、視差最小值Dmin、及視差最大值Dmax，是可用以下的式(1)來表示。

因此，在後述的解碼裝置中，必須要藉由以下的式(2)，從視差影像的各像素的像素值I，使用視差最小值Dmin與視差最大值Dmax，復原出正規化前的視差值d。

因此，視差最小值Dmin與視差最大值Dmax，係被傳輸至解碼裝置。

圖3係視點生成用資訊的視差精度參數的說明圖。

如圖3的上段所示，相當於正規化後的1視差值，正規化前的視差值係為0.5的情況下，視差精度參數係為表示視差值之精度0.5的參數。又，如圖3的下段所示，相當於正規化後的1視差值，正規化前的視差值係為1的情況下，視差精度參數係為表示視差值之精度1.0的參數。

在圖3的例子中，第1個視點的視點#1的正規化前之視差值係為1.0，第2個視點的視點#2的正規化前之視差值係為0.5。因此，視點#1的正規化後之視差值，係無論視差值之精度為0.5還是1.0，均為1.0。另一方面，視點#2的視差值，係視差值之精度為0.5時則為0.5，視差值之精度為1.0時則為0。

圖4係視點生成用資訊的攝影機間距離的說明圖。

如圖4所示，視點#1的以視點#2為基點之視差影像的攝影機間距離，係為視點#1的外部參數所表示之位置、與視點#2的外部參數所表示之位置的距離。

[多視點影像編碼部之構成例]

圖5係圖1的多視點影像編碼部55之構成例的區塊圖。

圖5的多視點影像編碼部55係由：切片編碼部61、切片標頭編碼部62、PPS編碼部63、及SPS編碼部64所構成。

多視點影像編碼部55的切片編碼部61，係對從多視點彩色影像補正部52所供給之多視點補正彩色影像，以HEVC方式進行切片單位的編碼。又，切片編碼部61係將從圖1的視點生成用資訊生成部54所供給之視點生成用資訊當中的視差最大值、視差最小值、及攝影機間距離，當作視差之相關資訊而使用，對來自多視點視差影像生成部53的多視點視差影像，以依據HEVC方式之方式，進行切片單位的編碼。切片編碼部61，係將編碼結果所得之切片單位的編碼資料等，供給至切片標頭編碼部62。

切片標頭編碼部62，係將從視點生成用資訊生成部54所供給之視點生成用資訊當中的視差最大值、視差最小值、及攝影機間距離，當作目前的處理對象之切片的視差最大值、視差最小值、及攝影機間距離，而加以保持。

又，切片標頭編碼部62，係針對目前的處理對象之切片的視差最大值、視差最小值、及攝影機間距離，是否分別與在編碼順序上比該切片前面1個切片的視差最大值、視差最小值、及攝影機間距離一致，在同一PPS所被附加之單位(以下稱作同一PPS單位)中進行判定。

然後，當被判定為，構成同一PPS單位的所有切片的視差最大值、視差最小值、及攝影機間距離，是與編碼順序上前1個之切片的視差最大值、視差最小值、及攝影機間距離一致時，則切片標頭編碼部62，係作為構成該同一PPS單位的各切片的編碼資料的切片標頭，是將該切片的視差最大值、視差最小值、及攝影機間距離以外的關於編碼之資訊予以附加，然後供給至PPS編碼部63。又，切片標頭編碼部62係表示沒有視差最大值、視差最小值、及攝影機間距離之差分編碼結果之傳輸的傳輸旗標，供給至PPS編碼部63。

另一方面，構成同一PPS單位的至少1個切片的視差最大值、視差最小值、及攝影機間距離，是被判定為與編碼順序上前1個之切片的視差最大值、視差最小值、及攝影機間距離不一致時，則切片標頭編碼部62，係對畫面內類型之切片的編碼資料，將含有該切片的視差最大值、視差最小值、及攝影機間距離的關於編碼之資訊，當作切片標頭而予以附加，然後供給至PPS編碼部63。

又，切片標頭編碼部62，係針對畫面間類型之切片，將該切片的視差最大值、視差最小值、及攝影機間距離，進行差分編碼。具體而言，切片標頭編碼部62，係從畫面間類型之切片的視差最大值、視差最小值、及攝影機間距離，分別減去與在編碼順序上比該切片前面1個切片的視差最大值、視差最小值、及攝影機間距離，成為差分編碼結果。然後，切片標頭編碼部62，係對畫面間類 型之切片的編碼資料，將含有視差最大值、視差最小值、及攝影機間距離之差分編碼結果的關於編碼之資訊予以附加而作為切片標頭，然後供給至PPS編碼部63。

又，此時，切片標頭編碼部62係表示有視差最大值、視差最小值、及攝影機間距離之差分編碼結果之傳輸的傳輸旗標，供給至PPS編碼部63。

PPS編碼部63，係生成含有從切片標頭編碼部62所供給之傳輸旗標、和從圖1之視點生成用資訊生成部54所供給之視點生成用資訊當中之視差精度參數的PPS。PPS編碼部63，係以同一PPS單位，對從切片標頭編碼部62所供給之已被附加有切片標頭之切片單位的編碼資料，附加上PPS，供給至SPS編碼部64。

SPS編碼部64，係生成SPS。然後，SPS編碼部64，係以序列單位，對已被附加有從PPS編碼部63所供給之PPS的編碼資料，附加SPS。SPS編碼部64，係作為傳輸部而發揮機能，將其結果所得之位元串流，以編碼位元串流的方式加以傳輸。

[切片編碼部之構成例]

圖6係將圖5的切片編碼部61當中的任意1視點的視差影像予以編碼的編碼部之構成例的區塊圖。亦即，切片編碼部61當中的將多視點視差影像進行編碼的編碼部，係由視點數份的圖6之編碼部120所構成。

圖6的編碼部120係由：A/D轉換部121、畫面排序 緩衝區122、演算部123、正交轉換部124、量化部125、可逆編碼部126、積存緩衝區127、逆量化部128、逆正交轉換部129、加算部130、去區塊濾波器131、畫格記憶體132、畫面內預測部133、運動預測．補償部134、補正部135、選擇部136、及速率控制部137所構成。

編碼部120的A/D轉換部121，係將從圖1之多視點視差影像生成部53所供給之所定視點的畫格單位的多工化影像，進行A/D轉換，輸出至畫面排序緩衝區122而記憶之。畫面排序緩衝區122係將已記憶之顯示順序的畫格單位的視差影像，隨應於GOP(Group of Picture)構造，排序成編碼所需之順序，輸出至演算部123、畫面內預測部133、及運動預測．補償部134。

演算部123係身為編碼部而發揮機能，藉由演算從選擇部136所供給之預測影像、與從畫面排序緩衝區122所輸出之編碼對象之視差影像的差分，將編碼對象之視差影像予以編碼。具體而言，演算部123係將從畫面排序緩衝區122所輸出之編碼對象之視差影像，減去從選擇部136所供給之預測影像。演算部123係將減算結果所得之影像，當作殘差資訊而輸出至正交轉換部124。此外，若沒有從選擇部136供給預測影像時，演算部123係將從畫面排序緩衝區122所讀出之視差影像，直接當作殘差資訊而輸出至正交轉換部124。

正交轉換部124，係對來自演算部123的殘差資訊，實施離散餘弦轉換、卡忽南-拉維轉換等之正交轉換，將 其結果所得之係數，供給至量化部125。

量化部125，係將從正交轉換部124所供給之係數，進行量化。已被量化之係數，係被輸入至可逆編碼部126。

可逆編碼部126，係對從量化部125所供給之已被量化之係數，進行可變長度編碼(例如CAVLC(Context-Adaptive Variable Length Coding)等)、算術編碼(例如CABAC(Context-Adaptive Binary Arithmetic Coding)等)等之可逆編碼。可逆編碼部126，係將可逆編碼之結果所得的編碼資料，供給至積存緩衝區127而積存之。

積存緩衝區127，係將從可逆編碼部126所供給之編碼資料，予以暫時記憶，並以切片單位而供給至切片標頭編碼部62。

又，從量化部125所輸出的已被量化之係數，係亦被輸入至逆量化部128，被逆量化後，供給至逆正交轉換部129。

逆正交轉換部129係對從逆量化部128所供給的係數，實施逆離散餘弦轉換、逆卡忽南-拉維轉換等之逆正交轉換，將其結果所得之殘差資訊，供給至加算部130。

加算部130，係將從逆正交轉換部129所供給的作為解碼對象之視差影像的殘差資訊、和從選擇部136所供給的預測影像，進行加算，獲得局部性解碼之視差影像。此外，當沒有從選擇部136供給預測影像時，則加算部130係將從逆正交轉換部129所供給之殘差資訊，當作已被局 部性解碼之視差影像。加算部130，係將已被局部性解碼之視差影像供給至去區塊濾波器131，並且當作參照影像而供給至畫面內預測部133。

去區塊濾波器131，係藉由將從加算部130所供給之局部性解碼之視差影像進行過濾，以去除區塊失真。去區塊濾波器131，係將其結果所得之視差影像，供給至畫格記憶體132並積存之。被積存在畫格記憶體132中的視差影像，係成為參照影像而輸出至運動預測．補償部134。

畫面內預測部133，係使用從加算部130所供給之參照影像，進行身為候補之所有畫面內預測模式的畫面內預測，生成預測影像。

又，畫面內預測部133，係對候補之所有畫面內預測模式，算出成本函數值(細節將於後述)。然後，畫面內預測部133係將成本函數值最小的畫面內預測模式，決定成最佳畫面內預測模式。畫面內預測部133，係將以最佳畫面內預測模式所生成之預測影像、及對應之成本函數值，供給至選擇部136。畫面內預測部133，係當從選擇部136通知了在最佳畫面內預測模式下所生成之預測影像之選擇時，則將表示最佳畫面內預測模式等的畫面內預測資訊，供給至圖5的切片標頭編碼部62。該畫面內預測資訊，係被當成關於編碼之資訊而含在切片標頭中。

此外，成本函數值係亦稱作RD(Rate Distortion)成本，例如，基於如H.264/AVC方式中的參照軟體亦即JM(Joint Model)所制定的High Complexity模式或Low Complexity模式之任一手法而被算出。

具體而言，作為成本函數值的算出手法是採用High Complexity模式時，對於候補的所有預測模式，會嘗試進行到可逆編碼為止，對各預測模式算出下式(3)所表示的成本函數值。

Cost(Mode)=D+λ．R………(3)

D係為原影像與解碼影像之差分(失真)，R係為計算到正交轉換之係數為止的發生編碼量，λ係為作為量化參數QP之函數而被給予的拉格朗日乘數。

另一方面，當作為成本函數值之算出手法是採用Low Complexity模式時，對於候補的所有預測模式，進行解碼影像之生成、及表示預測模式之資訊等的標頭位元之算出，對各預測模式算出下式(4)所表示之成本函數。

Cost(Mode)=D+QPtoQuant(QP)．Header_Bit………(4)

D係為原影像與解碼影像之差分(失真)，Header_Bit係為相對於預測模式的標頭位元，QPtoQuant係為作為量化參數QP之函數而被給予之函數。

在Low Complexity模式下，對所有的預測模式，只需生成解碼影像即可，不須進行可逆編碼，因此演算量可以減少。此外，此處係假設，作為成本函數值之算出手 法，是採用High Complexity模式。

運動預測．補償部134，係基於從畫面排序緩衝區122所供給之視差影像、和從畫格記憶體132所供給之參照影像，而進行身為候補之所有畫面間預測模式的運動預測處理，生成運動向量。具體而言，運動預測．補償部134係每一畫面間預測模式地，進行參照影像、與從畫面排序緩衝區122所供給之視差影像的比對，生成運動向量。

此外，所謂畫面間預測模式，係為表示畫面間預測之對象的區塊的尺寸、預測方向、及參照索引的資訊。預測方向中係包含有：使用了顯示時刻比畫面間預測之對象的視差影像還早之參照影像的前方向之預測(L0預測)、使用了顯示時刻比畫面間預測之對象的視差影像還晚之參照影像的後方向之預測(L1預測)、使用了顯示時刻比畫面間預測之對象的視差影像還早之參照影像與還晚之參照影像的雙向之預測(Bi-prediction)。又，所謂參照索引，係用來特定參照影像所需的號碼，例如，越靠近畫面間預測對象視差影像的影像，其參照索引的號碼就越小。

又，運動預測．補償部134係身為預測影像生成部而發揮機能，藉由每一畫面間預測模式地，基於已被生成之運動向量，從畫格記憶體132讀出參照影像，以進行運動補償處理。運動預測．補償部134，係將其結果所生成的預測影像，供給至補正部135。

補正部135，係將從圖1的視點生成用資訊生成部54 所供給之視點生成用資訊當中的視差最大值、視差最小值、及攝影機間距離，當作視差影像之相關資訊而使用，生成(設定)將預測影像予以補正之際所使用之補正係數。補正部135，係將從運動預測．補償部134所供給之各畫面間預測模式的預測影像，使用補正係數進行補正。

此處，編碼對象之視差影像的被攝體的縱深方向之位置Z_c與預測影像的被攝體的縱深方向之位置Z_p，係用以下的式(5)來表示。

此外，於式(5)中，L_c,L_p係分別為編碼對象之視差影像的攝影機間距離、預測影像的攝影機間距離。f係為編碼對象之視差影像與預測影像共通之焦距。又，d_c,d_p係分別為編碼對象之視差影像的正規化前之視差值的絕對值、預測影像的正規化前之視差值的絕對值。

又，編碼對象之視差影像的視差值I_c與預測影像的視差值I_p，係使用正規化前之視差值的絕對值d_c,d_p，而用以下的式(6)來表示。

此外，於式(6)中，D^c _min,D^p _min係分別為編碼對象之視差影像的視差最小值、預測影像的視差最小值。D^c _max,D^p _max係分別為編碼對象之視差影像的視差最大值、預測影像的視差最大值。

因此，即使編碼對象之視差影像的被攝體的縱深方向之位置Z_c與預測影像的被攝體的縱深方向之位置Z_p是相同，若攝影機間距離L_c與L_p、視差最大值D^c _min與D^p _min、及視差最大值D^c _max,D^p _max之至少1者為不同，則視差值I_c與視差值I_p會不同。

於是，補正部135係當位置Z_c與位置Z_p為相同的情況，生成補正係數以將預測影像進行補正以使得視差值I_c與視差值I_p變成相同。

具體而言，當位置Z_c與位置Z_p相同時，根據上述的式(5)，成立以下的式(7)。

又，若將式(7)變形，則變成以下的式(8)。

然後，若使用上述的式(6)，將式(8)的正規化前之視 差值的絕對值d_c,d_p，置換成視差值I_c與視差值I_p，則變成以下的式(9)。

藉此，視差值I_c，係可使用視差值I_p而用以下的式(10)來表示。

因此，補正部135係生成式(10)的a與b來作為補正係數。然後，補正部135係使用補正係數a,b和視差值Ip，求出式(10)中的視差值Ic來作為補正後的預測影像的視差值。

又，補正部135，係使用補正後之預測影像，對各畫面間預測模式，算出成本函數值，將成本函數值最小的畫面間預測模式，決定成最佳畫面間預測模式。然後，補正部135係將以最佳畫面間預測模式所生成之預測影像與成本函數值，供給至選擇部136。

然後，補正部135係當從選擇部136通知了以最佳畫面間預測模式所生成之預測影像的選擇時，就將運動資訊輸出至切片標頭編碼部62。該運動資訊係由，最佳畫面間預測模式、預測向量索引、目前之運動向量，減去預測向量索引所表示之運動向量而得之差分，亦即運動向量殘差等所構成。此外，所謂預測向量索引，係為將已解碼之視差影像的預測影像之生成時所使用之作為候補的運動向量當中的1個運動向量加以特定用的資訊。運動資訊，係被當成關於編碼之資訊而含在切片標頭中。

選擇部136，係基於從畫面內預測部133及補正部135所供給之成本函數值，而將最佳畫面內預測模式與最佳畫面間預測模式的其中一者，決定成最佳預測模式。然後，選擇部136，係將最佳預測模式的預測影像，供給至演算部123及加算部130。又，選擇部136係將最佳預測模式之預測影像的選擇，通知給畫面內預測部133或補正部135。

速率控制部137，係基於積存緩衝區127中所積存之編碼資料，以不會發生溢位或下溢之方式，控制量化部125的量化動作之速率。

[編碼位元串流之構成例]

圖7係編碼位元串流之構成例的圖示。

此外，在圖7中係為了說明上的方便，而僅記載了多視點視差影像之切片的編碼資料，但實際上在編碼位元串 流中係還配置有多視點彩色影像之切片的編碼資料。這點在後述的圖22及圖23中也是同樣如此。

在圖7的例子中，第0個PPS亦即PPS#0的構成同一PPS單位之1個畫面內類型的切片與2個畫面間類型之切片的視差最大值、視差最小值、及攝影機間距離，是分別與編碼順序上前1個切片的視差最大值、視差最小值、及攝影機間距離不一致。因此，在PPS#0中係含有，表示有傳輸的傳輸旗標「1」。又，在圖7的例子中，PPS#0的構成同一PPS單位之切片的視差精度係為0.5，在PPS#0中，作為視差精度參數係含有表示視差精度0.5的「1」。

然後，在圖7的例子中，PPS#0的構成同一PPS單位之畫面內類型之切片的視差最小值係為10，視差最大值為50，攝影機間距離為100。因此，在該切片的切片標頭中係含有，視差最小值「10」、視差最小值「50」、及攝影機間距離「100」。

又，在圖7的例子中，PPS#0的構成同一PPS單位之第1個畫面間類型之切片的視差最小值係為9，視差最大值為48，攝影機間距離為105。因此，在該切片的切片標頭中，係有從該切片之視差最小值「9」減去編碼順序上前1個畫面內類型之切片的視差最小值「10」後的差分「-1」，被當成視差最小值的差分編碼結果而含在其中。同樣地，視差最大值之差分「-2」係被當成視差最大值的差分編碼結果而含在其中，攝影機間距離之差分「5」係 被當成攝影機間距離的差分編碼結果而含在其中。

然後，在圖7的例子中，PPS#0的構成同一PPS單位之第2個畫面間類型之切片的視差最小值係為7，視差最大值為47，攝影機間距離為110。因此，在該切片的切片標頭中，係有從該切片之視差最小值「7」減去編碼順序上前1個的第1個畫面間類型之切片的視差最小值「9」後的差分「-2」，被當成視差最小值的差分編碼結果而含在其中。同樣地，視差最大值之差分「-1」係被當成視差最大值的差分編碼結果而含在其中，攝影機間距離之差分「5」係被當成攝影機間距離的差分編碼結果而含在其中。

又，在圖7的例子中，第1個PPS亦即PPS#1的構成同一PPS單位之1個畫面內類型的切片與2個畫面間類型之切片的視差最大值、視差最小值、及攝影機間距離，是分別與編碼順序上前1個切片的視差最大值、視差最小值、及攝影機間距離一致。亦即，PPS#1的構成同一PPS單位之1個畫面內類型的切片與2個畫面間類型之切片的視差最大值、視差最小值、攝影機間距離，是分別為與PPS#0的構成同一PPS單位之第2個畫面間類型之切片相同的「7」、「47」、「110」。因此，在PPS#1中係含有，表示無傳輸的傳輸旗標「0」。又，在圖7的例子中，PPS#1的構成同一PPS單位之切片的視差精度係為0.5，在PPS#1中，作為視差精度參數係含有表示視差精度0.5的「1」。

[PPS之語法的例子]

圖8係圖7的PPS之語法的例子的圖示。

如圖8所示，在PPS中係含有視差精度參數(disparity_precision)與傳輸旗標(dsiparity_pic_same_flag)。視差精度參數，係例如表示視差精度1時則為「0」，表示視差精度0.25時則為「2」。又，如上述，視差精度參數，係若表示視差精度0.5時則為「1」。又，傳輸旗標，係如上述，若表示有傳輸時則為「1」，表示無傳輸時則為「0」。

[切片標頭之語法的例子]

圖9及圖10係切片標頭之語法之例子的圖示。

如圖10所示，當傳輸旗標為1、切片類型為畫面內類型時，切片標頭中係會含有視差最小值(minimum_disparity)、視差最大值(maximum_disparity)、及攝影機間距離(translation_x)。

另一方面，當傳輸旗標為1、切片類型為畫面間類型時，切片標頭中係含有視差最小值的差分編碼結果(delta_minimum_disparity)、視差最大值的差分編碼結果(delta_maximum_disparity)、及攝影機間距離的差分編碼結果(delta_translation_x)。

[編碼裝置之處理的說明]

圖11係圖1的編碼裝置50之編碼處理的說明用流程圖。

於圖11的步驟S111中，編碼裝置50的多視點彩色影像攝像部51，係拍攝多視點的彩色影像，成為多視點彩色影像而供給至多視點彩色影像補正部52。

於步驟S112中，多視點彩色影像攝像部51係生成視差最大值、視差最小值、及外部參數。又，多視點彩色影像攝像部51，係將視差最大值、視差最小值、及外部參數，供給至視點生成用資訊生成部54，並且將視差最大值與視差最小值，供給至多視點視差影像生成部53。

於步驟S113中，多視點彩色影像補正部52，係對從多視點彩色影像攝像部51所供給之多視點彩色影像，進行色彩補正、亮度補正、失真補正等。藉此，補正後的多視點彩色影像中的多視點彩色影像攝像部51的水平方向(X方向)之焦距，係在全視點中為共通。多視點彩色影像補正部52，係將補正後的多視點彩色影像當作多視點補正彩色影像而供給至多視點視差影像生成部53與多視點影像編碼部55。

於步驟S114中，多視點視差影像生成部53，係基於從多視點彩色影像攝像部51所供給之視差最大值與視差最小值，而根據從多視點彩色影像補正部52所供給之多視點補正彩色影像，生成多視點的視差影像。然後，多視點視差影像生成部53，係將已被生成之多視點的視差影像，當作多視點視差影像而供給至多視點影像編碼部 55。

於步驟S115中，多視點視差影像生成部53係生成視差精度參數，供給至視點生成用資訊生成部54。

於步驟S116中，視點生成用資訊生成部54係基於從多視點彩色影像攝像部51所供給之外部參數，求出攝影機間距離。

於步驟S117中，視點生成用資訊生成部54，係將來自多視點彩色影像攝像部51的視差最大值與視差最小值、攝影機間距離、以及來自多視點視差影像生成部53的視差精度參數，當作視點生成用資訊而加以生成。視點生成用資訊生成部54，係將已被生成之視點生成用資訊，供給至多視點影像編碼部55。

於步驟S118中，多視點影像編碼部55係進行將來自多視點彩色影像補正部52的多視點補正彩色影像和來自多視點視差影像生成部53的多視點視差影像予以編碼的多視點編碼處理。關於該多視點編碼處理之細節，將參照後述的圖12來說明。

於步驟S119中，多視點影像編碼部55係將多視點編碼處理結果所得之編碼位元串流予以傳輸，結束處理。

圖12係圖11的步驟S118的多視點編碼處理的說明用流程圖。

於圖12的步驟S131中，多視點影像編碼部55的切片編碼部61(圖5)，係將來自多視點彩色影像補正部52的多視點補正彩色影像、和來自多視點視差影像生成部 53的多視點視差影像，以切片單位進行編碼。具體而言，切片編碼部61係將多視點補正彩色影像以HEVC方式進行編碼的彩色影像編碼處理，以切片單位而進行之。又，切片編碼部61係將使用從圖1之視點生成用資訊生成部54所供給之視點生成用資訊當中的視差最大值、視差最小值、及攝影機間距離，將多視點視差影像以依照HEVC方式的方式進行編碼的視差影像編碼處理，以切片單位而進行之。該視差影像編碼處理的細節，將參照後述的圖13及圖14來說明。切片編碼部61，係將編碼結果所得之切片單位的編碼資料，供給至切片標頭編碼部62。

於步驟S132中，切片標頭編碼部62，係將從視點生成用資訊生成部54所供給之視點生成用資訊當中的攝影機間距離、視差最大值、及視差最小值，當作目前的處理對象之切片的攝影機間距離、視差最大值、及視差最小值，而加以保持。

於步驟S133中，切片標頭編碼部62，係判定構成同一PPS單位的所有切片的攝影機間距離、視差最大值、及視差最小值，是否分別與在編碼順序上比該切片前面1個切片的攝影機間距離、視差最大值、及視差最小值一致。

若在步驟S133中判定攝影機間距離、視差最大值、及視差最小值是一致，則於步驟S134中，切片標頭編碼部62，係生成表示無傳輸攝影機間距離、視差最大值、及視差最小值之差分編碼結果的傳輸旗標，供給至PPS編 碼部63。

於步驟S135中，切片標頭編碼部62，係對步驟S133的處理對象亦即構成同一PPS單位之各切片的編碼資料，作為切片標頭而附加上該切片的攝影機間距離、視差最大值、及視差最小值以外的關於編碼之資訊。此外，在該關於編碼之資訊中，係含有從切片編碼部61所供給之畫面內預測資訊或運動資訊。然後，切片標頭編碼部62係將其結果所得之構成同一PPS單位之各切片的編碼資料，供給至PPS編碼部63，使處理前進至步驟S140。

另一方面，若在步驟S133中判定攝影機間距離、視差最大值、及視差最小值是不一致，則於步驟S136中，切片標頭編碼部62，係將表示有傳輸攝影機間距離、視差最大值、及視差最小值之差分編碼結果的傳輸旗標，供給至PPS編碼部63。此外，後述的步驟S137乃至S139之處理，係對步驟S133之處理對象亦即構成同一PPS單位之每一切片進行之。

於步驟S137中，切片標頭編碼部62，係判定步驟S133的處理對象亦即構成同一PPS單位之切片的類型，是否為畫面內類型。若步驟S137中判定切片之類型是畫面內類型，則於步驟S138中，切片標頭編碼部62，係對該切片的編碼資料，作為切片標頭而附加上包含該切片的攝影機間距離、視差最大值、及視差最小值的關於編碼之資訊。此外，在該關於編碼之資訊中，也含有從切片編碼部61所供給之畫面內預測資訊或運動資訊。然後，切片 標頭編碼部62係將其結果所得之切片單位的編碼資料，供給至PPS編碼部63，使處理前進至步驟S140。

另一方面，若步驟S137中判定切片之類型不是畫面內類型，亦即切片之類型是畫面間類型時，則處理係前進至步驟S139。於步驟S139中，切片標頭編碼部62，係將該切片的攝影機間距離、視差最大值、及視差最小值進行差分編碼，對該切片的編碼資料，將含有差分編碼結果的關於編碼之資訊，當作切片標頭而予以附加。此外，在該關於編碼之資訊中，也含有從切片編碼部61所供給之畫面內預測資訊或運動資訊。然後，切片標頭編碼部62係將其結果所得之切片單位的編碼資料，供給至PPS編碼部63，使處理前進至步驟S140。

於步驟S140中，PPS編碼部63係生成含有從切片標頭編碼部62所供給之傳輸旗標、和從圖1之視點生成用資訊生成部54所供給之視點生成用資訊當中之視差精度參數的PPS。

於步驟S141中，PPS編碼部63係以同一PPS單位，對從切片標頭編碼部62所供給之已被附加有切片標頭之切片單位的編碼資料，附加上PPS，供給至SPS編碼部64。

於步驟S142中，SPS編碼部64係生成SPS。

於步驟S143中，SPS編碼部64係以序列單位，對已被附加有從PPS編碼部63所供給之PPS的編碼資料，附加SPS，生成編碼位元串流。然後，處理係返回至圖11 的步驟S118，前進至步驟S119。

圖13及圖14係圖5的切片編碼部61的視差影像編碼處理之細節的說明用流程圖。該視差影像編碼處理，係會對每一視點進行。

於圖13的步驟S160中，編碼部120的A/D轉換部121，係將從多視點視差影像生成部53所輸入的所定視點的畫格單位的視差影像進行A/D轉換，輸出至畫面排序緩衝區122而記憶之。

於步驟S161中，畫面排序緩衝區122係將已記憶之顯示順序的畫格之視差影像，隨應於GOP構造，排序成編碼所需的順序。畫面排序緩衝區122，係將排序後的畫格單位的視差影像，供給至演算部123、畫面內預測部133、及運動預測．補償部134。

於步驟S162中，畫面內預測部133，係使用從加算部130所供給之參照影像，進行身為候補之所有畫面內預測模式的畫面內預測處理。此時，畫面內預測部133，係對候補之所有畫面內預測模式，算出成本函數值。然後，畫面內預測部133係將成本函數值最小的畫面內預測模式，決定成最佳畫面內預測模式。畫面內預測部133，係將以最佳畫面內預測模式所生成之預測影像、及對應之成本函數值，供給至選擇部136。

於步驟S163中，運動預測．補償部134，係基於從畫面排序緩衝區122所供給之視差影像、和從畫格記憶體132所供給之參照影像，而進行運動預測．補償處理。

具體而言，運動預測．補償部134，係基於從畫面排序緩衝區122所供給之視差影像、和從畫格記憶體132所供給之參照影像，而進行身為候補之所有畫面間預測模式的運動預測處理，生成運動向量。又，運動預測．補償部134係藉由每一畫面間預測模式地，基於已被生成之運動向量，從畫格記憶體132讀出參照影像，以進行運動補償處理。運動預測．補償部134，係將其結果所生成的預測影像，供給至補正部135。

於步驟S164中，補正部135係基於從圖1之視點生成用資訊生成部54所供給之視點生成用資訊當中的視差最大值、視差最小值、及攝影機間距離，而算出補正係數。

於步驟S165中，補正部135係將從運動預測．補償部134所供給之各畫面間預測模式的預測影像，使用補正係數進行補正。

於步驟S166中，補正部135係使用補正後之預測影像，對各畫面間預測模式，算出成本函數值，將成本函數值最小的畫面間預測模式，決定成最佳畫面間預測模式。然後，補正部135係將以最佳畫面間預測模式所生成之預測影像與成本函數值，供給至選擇部136。

於步驟S167中，選擇部136係基於從畫面內預測部133及補正部135所供給之成本函數值，而將最佳畫面內預測模式與最佳畫面間預測模式當中的成本函數值成最小者，決定成最佳預測模式。然後，選擇部136，係將最佳 預測模式的預測影像，供給至演算部123及加算部130。

於步驟S168中，選擇部136係判定最佳預測模式是否為最佳畫面間預測模式。若步驟S168中判定為最佳預測模式是最佳畫面間預測模式，則選擇部136係將以最佳畫面間預測模式所生成之預測影像之選擇，通知給補正部135。

然後，於步驟S169中，補正部135係將運動資訊，輸出至切片標頭編碼部62(圖5)，使處理前進至步驟S171。

另一方面，若步驟S168中判定為最佳預測模式不是最佳畫面間預測模式，亦即最佳預測模式是最佳畫面內預測模式時，則選擇部136係將以最佳畫面內預測模式所生成之預測影像之選擇，通知給畫面內預測部133。

然後，於步驟S170中，畫面內預測部133係將畫面內預測資訊輸出至切片標頭編碼部62，使處理前進至步驟S171。

於步驟S171中，演算部123係從畫面排序緩衝區122所供給之視差影像，減去從選擇部136所供給之預測影像。演算部123係將減算結果所得之影像，當作殘差資訊而輸出至正交轉換部124。

於步驟S172中，正交轉換部124係對來自演算部123的殘差資訊，實施正交轉換，將其結果所得之係數，供給至量化部125。

於步驟S173中，量化部125係將從正交轉換部124 所供給之係數，進行量化。已被量化之係數，係被輸入至可逆編碼部126與逆量化部128。

於步驟S174中，可逆編碼部126係將從量化部125所供給之已被量化的係數，進行可逆編碼。

於圖14的步驟S175中，可逆編碼部126，係將可逆編碼處理之結果所得的編碼資料，供給至積存緩衝區127而積存之。

於步驟S176中，積存緩衝區127係將所積存之編碼資料，輸出至切片標頭編碼部62。

於步驟S177中，逆量化部128係將從量化部125所供給之已被量化的係數，進行逆量化。

於步驟S178中，逆正交轉換部129係對從逆量化部128所供給之係數，實施逆正交轉換，將其結果所得之殘差資訊，供給至加算部130。

於步驟S179中，加算部130係將從逆正交轉換部129所供給之殘差資訊、和從選擇部136所供給的預測影像，進行加算，獲得局部性解碼之視差影像。加算部130，係將所得到之視差影像，供給至去區塊濾波器131，並且當作參照影像而供給至畫面內預測部133。

於步驟S180中，去區塊濾波器131係藉由對從加算部130所供給之局部性解碼之視差影像進行過濾，以去除區塊失真。

於步驟S181中，去區塊濾波器131係將過濾後的視差影像，供給至畫格記憶體132並積存之。被積存在畫格 記憶體132中的視差影像，係成為參照影像而輸出至運動預測．補償部134。然後，處理係結束。

此外，圖13及圖14之步驟S162乃至S181之處理，係例如，以具有階層構造之編解碼單元單位來進行之。又，在圖13及圖14的視差影像編碼處理中，為了簡化說明，而假設總是進行畫面內預測處理與運動補償處理，但實際上會隨著圖像類型等而有時候僅會進行其中一方。

如以上，編碼裝置50係使用視差影像之相關資訊來補正預測影像，使用補正後的預測影像來將視差影像予以編碼。更詳言之，編碼裝置50係作為視差影像之相關資訊是使用攝影機間距離、視差最大值、及視差最小值，在預測影像與視差影像之間，若縱深方向之被攝體位置是相同時則補正預測影像以使視差值變成相同，使用補正後的預測影像來將視差影像予以編碼。因此，因視差影像之相關資訊所生之預測影像與視差影像的差分會被削減，提升編碼效率。尤其是，當視差影像之相關資訊是隨每一圖像而變化時，可提升編碼效率。

又，編碼裝置50，係作為預測影像之補正中所使用之資訊，並非補正係數本身，而是將補正係數之算出時所使用的攝影機間距離、視差最大值、及視差最小值，加以傳輸。此處，攝影機間距離、視差最大值、及視差最小值，係為視點生成用資訊的一部分。因此，可將攝影機間距離、視差最大值、及視差最小值，當作預測影像之補正時所使用之資訊及視點生成用資訊之一部分而共有之。其 結果為，可削減編碼位元串流的資訊量。

[解碼裝置的第1實施形態的構成例]

圖15係將從圖1之編碼裝置50所傳輸之編碼位元串流予以解碼，適用了本技術的解碼裝置的第1實施形態之構成例的區塊圖。

圖15的解碼裝置150，係由：多視點影像解碼部151、視點合成部152、及多視點影像顯示部153所構成。解碼裝置150係將從編碼裝置50所傳輸過來的編碼位元串流予以解碼，使用其結果所得之多視點彩色影像、多視點視差影像、及視點生成用資訊來生成顯示視點的彩色影像而顯示之。

具體而言，解碼裝置150的多視點影像解碼部151，係將從圖1之編碼裝置50所傳輸過來的編碼位元串流，加以收取。多視點影像解碼部151，係從所收取的編碼位元串流中所含之PPS，抽出視差精度參數與傳輸旗標。又，多視點影像解碼部151，係隨應於傳輸旗標，從編碼位元串流的切片標頭，抽出攝影機間距離、視差最大值、及視差最小值。多視點影像解碼部151，係生成由視差精度參數、攝影機間距離、視差最大值、及視差最小值所成之視點生成用資訊，供給至視點合成部152。

又，多視點影像解碼部151，係將編碼位元串流中所含之切片單位的多視點補正彩色影像的編碼資料，以對應於圖1之多視點影像編碼部55之編碼方式的方式進行解 碼，生成多視點補正彩色影像。又，多視點影像解碼部151，係身為解碼部而發揮機能。多視點影像解碼部151，係使用攝影機間距離、視差最大值、及視差最小值，將編碼位元串流中所含之多視點視差影像的編碼資料，以對應於多視點影像編碼部55之編碼方式的方式進行解碼，生成多視點視差影像。多視點影像解碼部151，係將已被生成之多視點補正彩色影像及多視點視差影像，供給至視點合成部152。

視點合成部152，係使用來自多視點影像解碼部151的視點生成用資訊，對來自多視點影像解碼部151的多視點視差影像，進行多視點影像顯示部153所對應之視點數的往顯示視點之撓曲(warping)處理。具體而言，視點合成部152，係基於視點生成用資訊中所含之攝影機間距離、視差最大值、及視差最小值等，以對應於視差精度參數之精度，對多視點視差影像進行往顯示視點的撓曲處理。此外，所謂撓曲處理，係只從某個視點之影像往別的視點之影像的幾何轉換之處理。又，顯示視點中係含有，對應於多視點彩色影像之視點以外的視點。

又，視點合成部152，係使用撓曲處理之結果所得的顯示視點之視差影像，而對從多視點影像解碼部151所供給之多視點補正彩色影像，進行往顯示視點的撓曲處理。視點合成部152，係將其結果所得之顯示視點的彩色影像，當作多視點合成彩色影像而供給至多視點影像顯示部153。

多視點影像顯示部153，係將從視點合成部152所供給之多視點合成彩色影像，以每一視點的可視角度不同的方式，加以顯示。視聽者係藉由以左右各眼來觀看任意2視點之各影像，可不必佩戴眼鏡就能從複數視點來觀看3D影像。

如以上，視點合成部152，係基於視差精度參數，以對應於視點精度參數的精度，對多視點視差影像進行往顯示視點的撓曲處理，因此視點合成部152，係不需要進行不必要之高精度的撓曲處理。

又，視點合成部152，係基於攝影機間距離，而對多視點視差影像進行往顯示視點的撓曲處理，因此撓曲處理後的多視點視差影像的視差值所對應之視差若非適切的範圍時，則可基於攝影機間距離，而將視差值修正成對應於適切範圍之視差的值。

[多視點影像解碼部之構成例]

圖16係圖15的多視點影像解碼部151之構成例的區塊圖。

圖16的多視點影像解碼部151係由SPS解碼部171、PPS解碼部172、切片標頭解碼部173、及切片解碼部174所構成。

多視點影像解碼部151的SPS解碼部171，係身為收取部而發揮機能，將從圖1之編碼裝置50所傳輸過來的編碼位元串流，加以收取，將該編碼位元串流當中的SPS 予以抽出。SPS解碼部171，係將所抽出的SPS和SPS以外之編碼位元串流，供給至PPS解碼部172。

PPS解碼部172，係從SPS解碼部171所供給之SPS以外之編碼位元串流，抽出PPS。PPS解碼部172，係將所抽出的PPS、SPS、及SPS和PPS以外之編碼位元串流，供給至切片標頭解碼部173。

切片標頭解碼部173，係將從PPS解碼部172所供給之SPS與PPS以外之編碼位元串流，抽出切片標頭。切片標頭解碼部173，係來自PPS解碼部172的PPS中所含之傳輸旗標是表示有傳輸的「1」時，將切片標頭中所含之攝影機間距離、視差最大值、及視差最小值加以保持，或是基於攝影機間距離、視差最大值、及視差最小值的差分編碼結果而將所保持的攝影機間距離、視差最大值、及視差最小值予以更新。切片標頭解碼部173，係根據所保持的攝影機間距離、視差最大值、及視差最小值、以及PPS中所含之視差精度參數，生成視點生成用資訊，供給至視點合成部152。

然後，切片標頭解碼部173，係將SPS,PPS、及切片標頭的攝影機間距離、視差最大值、及視差最小值之相關資訊以外、以及SPS,PPS、及切片標頭以外的編碼位元串流亦即切片單位的編碼資料，供給至切片解碼部174。又，切片標頭解碼部173係將攝影機間距離、視差最大值、及視差最小值，供給至切片解碼部174。

切片解碼部174，係基於從切片標頭解碼部173所供 給之SPS,PPS、及切片標頭的攝影機間距離、視差最大值、及視差最小值之相關資訊以外，以對應於切片編碼部61(圖5)之編碼方式的方式，將切片單位的多工化彩色影像之編碼資料予以解碼。又，切片解碼部174，係基於SPS,PPS、切片標頭的攝影機間距離、視差最大值、及視差最小值之相關資訊以外、以及攝影機間距離、視差最大值、及視差最小值，以對應於切片編碼部61之編碼方式的方式，將切片單位的多工化視差影像之編碼資料予以解碼。切片標頭解碼部173，係將解碼結果所得之多視點補正彩色影像與多視點視差影像，供給至圖15的視點合成部152。

[切片解碼部之構成例]

圖17係將圖16的切片解碼部174當中的任意1視點的視差影像予以解碼的解碼部之構成例的區塊圖。亦即，切片解碼部174當中的將多視點視差影像進行解碼的解碼部，係由視點數份的圖17之解碼部250所構成。

圖17的解碼部250係由：積存緩衝區251、可逆解碼部252、逆量化部253、逆正交轉換部254、加算部255、去區塊濾波器256、畫面排序緩衝區257、D/A轉換部258、畫格記憶體259、畫面內預測部260、運動向量生成部261、運動補償部262、補正部263、及開關264所構成。

解碼部250的積存緩衝區251，係從圖16的切片標 頭解碼部173收取切片單位的所定視點之視差影像的編碼資料，並加以積存。積存緩衝區251，係將所積存的編碼資料，供給至可逆解碼部252。

可逆解碼部252，係對來自積存緩衝區251的編碼資料，實施可變長度編碼、算術解碼部等之可逆解碼，以獲得已被量化之係數。可逆解碼部252，係將已被量化之係數，供給至逆量化部253。

逆量化部253、逆正交轉換部254、加算部255、去區塊濾波器256、畫格記憶體259、畫面內預測部260、運動補償部262、及補正部263，係進行和圖6的逆量化部128、逆正交轉換部129、加算部130、去區塊濾波器131、畫格記憶體132、畫面內預測部133、運動預測．補償部134、及補正部135分別相同之處理，藉此，所定視點的視差影像就被解碼。

具體而言，逆量化部253，係將來自可逆解碼部252的已被量化之係數予以逆量化，將其結果所得之係數，供給至逆正交轉換部254。

逆正交轉換部254係對來自逆量化部253的係數，實施逆離散餘弦轉換、逆卡忽南-拉維轉換等之逆正交轉換，將其結果所得之殘差資訊，供給至加算部255。

加算部255，係身為解碼部而發揮機能，藉由將從逆正交轉換部254所供給的作為解碼對象之視差影像的殘差資訊、和從開關264所供給的預測影像進行加算，以將解碼對象之視差影像予以解碼。加算部255，係將其結果所 得之視差影像，供給至去區塊濾波器256，並且當作參照影像而供給至畫面內預測部260。此外，當沒有從開關264供給預測影像時，則加算部255係將從逆正交轉換部254所供給之殘差資訊亦即視差影像，供給至去區塊濾波器256，並且當作參照影像而供給至畫面內預測部260。

去區塊濾波器256，係藉由將從加算部255所供給之視差影像進行過濾，以去除區塊失真。去區塊濾波器256，係將其結果所得之視差影像，供給至畫格記憶體259而積存，並供給至畫面排序緩衝區257。被積存在畫格記憶體259中的視差影像，係成為參照影像而供給至運動補償部262。

畫面排序緩衝區257，係將從去區塊濾波器256所供給之視差影像，以畫格單位加以記憶。畫面排序緩衝區257，係將記憶之編碼所需順序的畫格單位之視差影像，排序成原本的顯示順序，供給至D/A轉換部258。

D/A轉換部258，係將從畫面排序緩衝區257所供給之畫格單位的視差影像進行D/A轉換，成為所定視點之視差影像而供給至視點合成部152(圖15)。

畫面內預測部260，係使用從加算部255所供給之參照影像，進行從切片標頭解碼部173(圖16)所供給之畫面內預測資訊所表示之最佳畫面內預測模式的畫面內預測，生成預測影像。然後，畫面內預測部260，係將預測影像供給至開關264。

運動向量生成部261，係將所保持之運動向量當中的 從切片標頭解碼部173所供給之運動資訊中所含有之預測向量索引所表示的運動向量、和運動向量殘差，進行加算，將運動向量予以復原。運動向量生成部261，係將已被復原之運動向量，加以保持。又，運動向量生成部261，係將已被復原之運動向量、和運動資訊中所含之最佳畫面間預測模式等，供給至運動補償部262。

運動補償部262，係身為預測影像生成部而發揮機能，基於從運動向量生成部261所供給之運動向量與最佳畫面間預測模式，而從畫格記憶體259讀出參照影像，以進行運動補償處理。運動補償部262，係將其結果所生成的預測影像，供給至補正部263。

補正部263，係和圖6的補正部135同樣地，基於從圖16的切片標頭解碼部173所供給之視差最大值、視差最小值、及攝影機間距離，生成將預測影像予以補正之際所使用之補正係數。又，補正部263，係和補正部135同樣地，將從運動補償部262所供給之最佳畫面間預測模式的預測影像，使用補正係數進行補正。補正部263係將補正後的預測影像，供給至開關264。

開關264，係當從畫面內預測部260供給了預測影像時，則將該預測影像供給至加算部255，當從運動補償部262供給了預測影像時，則將該預測影像供給至加算部255。

[解碼裝置之處理的說明]

圖18係圖15的解碼裝置150的解碼處理的說明用流程圖。此解碼處理，係例如當編碼位元串流被從圖1之編碼裝置50傳輸過來時，就會開始。

於圖18的步驟S201中，解碼裝置150的多視點影像解碼部151，係將從圖1之編碼裝置50所傳輸過來的編碼位元串流，加以收取。

於步驟S202中，多視點影像解碼部151，係進行將所收取到的編碼位元串流予以解碼的多視點解碼處理。該多視點解碼處理的細節，將參照後述的圖19來說明。

於步驟S203中，視點合成部152，係身為彩色影像生成部而發揮機能，使用從多視點影像解碼部151所供給之視點生成用資訊、多視點補正彩色影像、及多視點視差影像，生成多視點合成彩色影像。

於步驟S204中，多視點影像顯示部153，係將從視點合成部152所供給之多視點合成彩色影像，以每一視點的可視角度不同的方式，加以顯示，結束處理。

圖19係圖18的步驟S202的多視點解碼處理之細節的說明用流程圖。

於圖19的步驟S221中，多視點影像解碼部151的SPS解碼部171(圖16)，係將所收取到的編碼位元串流當中的SPS予以抽出。SPS解碼部171，係將所抽出的SPS和SPS以外之編碼位元串流，供給至PPS解碼部172。

於步驟S222中，PPS解碼部172，係從SPS解碼部171所供給之SPS以外之編碼位元串流，抽出PPS。PPS 解碼部172，係將所抽出的PPS、SPS、及SPS和PPS以外之編碼位元串流，供給至切片標頭解碼部173。

於步驟S223中，切片標頭解碼部173，係將從PPS解碼部172所供給之PPS中所含之視差精度參數，當作視點生成用資訊的一部分而供給至視點合成部152。

於步驟S224中，切片標頭解碼部173係判定來自PPS解碼部172的PPS中所含之傳輸旗標是否為表示有傳輸的「1」。此外，以後的步驟S225至S234之處理，係以切片單位而被進行。

當步驟S224中被判定為傳輸旗標是表示有傳輸的「1」時，則處理係前進至步驟S225。於步驟S225中，切片標頭解碼部173，係從PPS解碼部172所供給之SPS與PPS以外之編碼位元串流中，抽出含有視差最大值、視差最小值、及攝影機間距離、或視差最大值、視差最小值、及攝影機間距離之差分編碼結果的切片標頭。

於步驟S226中，切片標頭解碼部173，係判定切片之類型是否為畫面內類型。當步驟S226中被判定為切片之類型是畫面內類型時，則處理係前進至步驟S227。

於步驟S227中，切片標頭解碼部173，係將步驟S225中所抽出之切片標頭中所含之視差最小值加以保持，作為視點生成用資訊的一部分而供給至視點合成部152。

於步驟S228中，切片標頭解碼部173，係將步驟S225中所抽出之切片標頭中所含之視差最大值加以保 持，作為視點生成用資訊的一部分而供給至視點合成部152。

於步驟S229中，切片標頭解碼部173，係將步驟S225中所抽出之切片標頭中所含之攝影機間距離加以保持，作為視點生成用資訊的一部分而供給至視點合成部152。然後，處理係前進至步驟S235。

另一方面，若步驟S226中判定切片之類型不是畫面內類型，亦即切片之類型是畫面間類型時，則處理係前進至步驟S230。

於步驟S230中，切片標頭解碼部173，係將步驟S225中所抽出之切片標頭中所含之視差最小值的差分編碼結果，加算至所被保持之視差最小值。切片標頭解碼部173，係將藉由加算而被復原的視差最小值，當作視點生成用資訊之一部分而供給至視點合成部152。

於步驟S231中，切片標頭解碼部173，係將步驟S225中所抽出之切片標頭中所含之視差最大值的差分編碼結果，加算至所被保持之視差最大值。切片標頭解碼部173，係將藉由加算而被復原的視差最大值，當作視點生成用資訊之一部分而供給至視點合成部152。

於步驟S232中，切片標頭解碼部173，係將步驟S225中所抽出之切片標頭中所含之攝影機間距離的差分編碼結果，加算至所被保持之攝影機間距離。切片標頭解碼部173，係將藉由加算而被復原的攝影機間距離，當作視點生成用資訊之一部分而供給至視點合成部152。然 後，處理係前進至步驟S235。

另一方面，當步驟S224中被判定為傳輸旗標並非表示有傳輸的「1」時，亦即傳輸其標示表示無傳輸的「0」時，則處理係前進至步驟S233。

於步驟S233中，切片標頭解碼部173，係從PPS解碼部172所供給之SPS與PPS以外之編碼位元串流中，抽出不含有視差最大值、視差最小值、及攝影機間距離、或視差最大值、視差最小值、及攝影機間距離之差分編碼結果的切片標頭。

於步驟S234中，切片標頭解碼部173，係藉由將所被保持之視差最大值、視差最小值、及攝影機間距離、亦即編碼順序上前1個切片的視差最大值、視差最小值、及攝影機間距離，當作處理對象之切片的視差最大值、視差最小值、及攝影機間距離，藉此而將處理對象之切片的視差最大值、視差最小值、及攝影機間距離予以復原。然後，切片標頭解碼部173係將已被復原的視差最大值、視差最小值、及攝影機間距離，當作視點生成用資訊之一部分而供給至視點合成部152，使處理前進至步驟S235。

於步驟S235中，切片解碼部174，係以對應於切片編碼部61(圖5)之編碼方式的方式，將切片單位之編碼資料予以解碼。具體而言，切片解碼部174，係基於來自切片標頭解碼部173的SPS,PPS、及攝影機間距離、視差最大值、及視差最小值之相關資訊以外的切片標頭，以對應於切片編碼部61之編碼方式的方式，將切片單位的多視 點彩色影像之編碼資料予以解碼。又，切片解碼部174，係基於來自切片標頭解碼部173的SPS,PPS、攝影機間距離、視差最大值、及視差最小值之相關資訊以外的切片標頭、以及攝影機間距離、視差最大值、及視差最小值，而以對應於切片編碼部61之編碼方式的方式，進行將切片單位的多視點補正影像之編碼資料予以解碼的視差影像解碼處理。該視差影像解碼處理的細節，將參照後述的圖20來說明。切片標頭解碼部173，係將解碼結果所得之多視點補正彩色影像與多視點視差影像，供給至圖15的視點合成部152。

圖20係圖16的切片解碼部174之視差影像解碼處理之細節的說明用流程圖。該視差影像解碼處理，係會對每一視點進行。

於圖20的步驟S261中，解碼部250的積存緩衝區251，係從圖16的切片標頭解碼部173收取所定視點之視差影像的切片單位之編碼資料，並加以積存。積存緩衝區251，係將所積存的編碼資料，供給至可逆解碼部252。

於步驟S262中，可逆解碼部252係將從積存緩衝區251所供給之編碼資料，進行可逆解碼，將其結果所得之已被量化之係數，供給至逆量化部253。

於步驟S263中，逆量化部253係將來自可逆解碼部252的已被量化之係數予以逆量化，將其結果所得之係數，供給至逆正交轉換部254。

於步驟S264中，逆正交轉換部254係對來自逆量化 部253的係數，實施逆正交轉換，將其結果所得之殘差資訊，供給至加算部255。

於步驟S265中，運動向量生成部261，係判定從圖16之切片標頭解碼部173是否有供給運動資訊。步驟S265中判定為有運動資訊被供給時，則處理係前進至步驟S266。

於步驟S266中，運動向量生成部261，係基於運動資訊與所保持之運動向量而將運動向量予以復原，並保持之。運動向量生成部261，係將已被復原之運動向量、和運動資訊中所含之最佳畫面間預測模式等，供給至運動補償部262。

於步驟S267中，運動補償部262係基於從運動向量生成部261所供給之運動向量與最佳畫面間預測模式，而從畫格記憶體259讀出參照影像，以進行運動補償處理。運動補償部262，係將運動補償處理之結果所生成的預測影像，供給至補正部263。

於步驟S268中，補正部263係和圖6的補正部135同樣地，基於從圖16的切片標頭解碼部173所供給之視差最大值、視差最小值、及攝影機間距離，算出補正係數。

於步驟S269中，補正部263係和補正部135同樣地，將從運動補償部262所供給之最佳畫面間預測模式的預測影像，使用補正係數進行補正。補正部263，係將補正後的預測影像，透過開關264而供給至加算部255，使 處理前進至步驟S271。

另一方面，當步驟S265中判定為沒有運動資訊被供給時，亦即畫面內預測資訊是從切片標頭解碼部173被供給至畫面內預測部260時，則處理係前進至步驟S270。

於步驟S270中，畫面內預測部260係使用從加算部255所供給之參照影像，進行從切片標頭解碼部173所供給之畫面內預測資訊所示之最佳畫面內預測模式的畫面內預測處理。畫面內預測部260，係將其結果所生成之預測影像，透過開關264而供給至加算部255，使處理前進至步驟S271。

於步驟S271中，加算部255係將從逆正交轉換部254所供給之殘差資訊、和從開關264所供給的預測影像，進行加算。加算部255，係將其結果所得之視差影像，供給至去區塊濾波器256，並且當作參照影像而供給至畫面內預測部260。

於步驟S272中，去區塊濾波器256係藉由對從加算部255所供給之視差影像進行過濾，去除區塊失真。

於步驟S273中，去區塊濾波器256係將過濾後的視差影像，供給至畫格記憶體259而積存，並供給至畫面排序緩衝區257。被積存在畫格記憶體259中的視差影像，係成為參照影像而供給至運動補償部262。

於步驟S274中，畫面排序緩衝區257係將從去區塊濾波器256所供給之視差影像以畫格單位加以記憶，將已記憶之編碼所需順序的畫格單位之視差影像，排序成原本 的顯示順序，供給至D/A轉換部258。

於步驟S275中，D/A轉換部258係將從畫面排序緩衝區257所供給之畫格單位的視差影像進行D/A轉換，成為所定視點之視差影像而供給至圖15的視點合成部152。

如以上，解碼裝置150係將藉由使用以視差影像之相關資訊而補正過的預測影像來進行編碼以提升了編碼效率的視差影像之編碼資料、和含有其視差影像之相關資訊的編碼位元串流，加以收取。然後，解碼裝置150係使用視差影像之相關資訊來補正預測影像，使用補正後的預測影像來將視差影像之編碼資料予以解碼。

更詳言之，解碼裝置150係作為視差影像之相關資訊而會收取：使用以攝影機間距離、視差最大值、及視差最小值而被補正過之預測影像而被編碼而成的編碼資料、和攝影機間距離、視差最大值、及視差最小值。然後，解碼裝置150係使用攝影機間距離、視差最大值、及視差最小值而將預測影像予以補正，使用補正後的預測影像來將視差影像之編碼資料予以解碼。藉此，解碼裝置150係可將藉由使用以視差影像之相關資訊而補正過的預測影像來進行編碼以提升了編碼效率之視差影像之編碼資料，予以解碼。

此外，編碼裝置50係作為預測影像之補正時所使用之資訊，是將視差最大值、視差最小值、及攝影機間距離包含在切片標頭中而加以傳輸，但傳輸方法係不限定於 此。

[預測影像之補正時所使用之資訊的傳輸方法之說明]

圖21係預測影像之補正時所使用之資訊的傳輸方法的說明圖。

圖21的第1傳輸方法，係如上述，作為預測影像之補正時所使用之資訊，是將視差最大值、視差最小值、及攝影機間距離包含在切片標頭中而加以傳輸的方法。此情況下，將預測影像之補正時所使用之資訊與視點生成用資訊予以共有，可削減編碼位元串流的資訊量。然而，於解碼裝置150中，必須要使用視差最大值、視差最小值、及攝影機間距離來算出補正係數，解碼裝置150的處理負荷係比後述的第2傳輸方法還大。

另一方面，圖21的第2傳輸方法，係作為預測影像之補正時所使用之資訊是將補正係數本身包含在切片標頭中而加以傳輸的方法。此情況下，視差最大值、視差最小值、及攝影機間距離，係未被使用於預測影像之補正，因此是作為視點生成用資訊之一部分，而被包含在例如在編碼時不需要參照的SEI(Supplemental Enhancement Information)中而加以傳輸。在第2傳輸方法中，由於補正係數會被傳輸，因此在解碼裝置150中不需要算出補正係數，解碼裝置150的處理負荷會比第1傳輸方法還小。然而，由於新增傳輸了補正係數，因此編碼位元串流的資訊量會變多。

此外，在上述的說明中，雖然預測影像是使用視差最大值、視差最小值、及攝影機間距離而被補正，但亦可使用其他關於視差之資訊(例如表示多視點彩色影像攝像部51之縱深方向之攝像位置的攝像位置資訊等)而被補正。

此情況下，藉由圖21的第3傳輸方法，作為預測影像之補正時所使用之資訊，是將使用視差最大值、視差最小值、攝影機間距離、及其他關於視差之資訊而被生成之補正係數亦即追加補正係數，含在切片標頭中而傳輸。如此，也使用了視差最大值、視差最小值、及攝影機間距離以外之關於視差之資訊來補正預測影像時，可將視差之相關資訊所致之預測影像與視差影像之差分更為削減，可提升編碼效率。然而，由於新增傳輸了追加補正係數，因此相較於第1傳輸方法，編碼位元串流的資訊量會變多。又，由於必須要使用視差最大值、視差最小值、及攝影機間距離來算出補正係數，因此相較於第2傳輸方法，解碼裝置150的處理負荷係較大。

圖22係第2傳輸方法中傳輸預測影像之補正時所使用之資訊時的編碼位元串流之構成例的圖示。

在圖22的例子中，PPS#0的構成同一PPS單位之1個畫面內類型的切片與2個畫面間類型之切片的補正係數，是分別與編碼順序上前1個切片的補正係數不一致。因此，在PPS#0中係含有，表示有傳輸的傳輸旗標「1」。此外，此處，傳輸旗標係為表示有無補正係數之傳輸的旗標。

又，在圖22的例子中，PPS#0的構成同一PPS單位之畫面內類型之切片的補正係數a係為1，補正係數b係為0。因此，在該切片的切片標頭中係含有，補正係數a「1」與補正係數b「0」。

然後，在圖22的例子中，PPS#0的構成同一PPS單位之第1個畫面間類型之切片的補正係數a係為3，補正係數b係為2。因此，在該切片的切片標頭中，係有從該切片之補正係數a「3」減去編碼順序上前1個畫面內類型之切片的補正係數a「1」後的差分「+2」，被當成補正係數的差分編碼結果而含在其中。同樣地，補正係數b的差分「+2」係被當成補正係數b的差分編碼結果而含在其中。

又，在圖22的例子中，PPS#0的構成同一PPS單位之第2個畫面間類型之切片的補正係數a係為0，補正係數b係為-1。因此，在該切片的切片標頭中，係有從該切片之補正係數a「0」減去編碼順序上前1個的第1個畫面間類型之切片的補正係數a「3」後的差分「-3」，被當成補正係數的差分編碼結果而含在其中。同樣地，補正係數b的差分「-3」係被當成補正係數b的差分編碼結果而含在其中。

又，在圖22的例子中，PPS#1的構成同一PPS單位之1個畫面內類型的切片與2個畫面間類型之切片的補正係數，是分別與編碼順序上前1個切片的補正係數一致。因此，在PPS#1中係含有，表示無傳輸的傳輸旗標 「0」。

圖23係第3傳輸方法中傳輸預測影像之補正時所使用之資訊時的編碼位元串流之構成例的圖示。

在圖23的例子中，PPS#0的構成同一PPS單位之1個畫面內類型的切片與2個畫面間類型之切片的視差最大值、視差最小值、攝影機間距離、及追加補正係數，是分別與編碼順序上前1個切片的視差最大值、視差最小值、攝影機間距離、及追加補正係數不一致。因此，在PPS#0中係含有，表示有傳輸的傳輸旗標「1」。此外，此處，傳輸旗標係為表示有無視差最大值、視差最小值、攝影機間距離、及追加補正係數之傳輸的旗標。

又，在圖23的例子中，PPS#0的構成同一PPS單位的切片的視差最大值、視差最小值、及攝影機間距離，係與圖7的情況相同，各切片之切片標頭中所含之視差最大值、視差最小值、及攝影機間距離的相關資訊係和圖7相同，因此省略說明。

又，在圖23的例子中，PPS#0的構成同一PPS單位之畫面內類型之切片的追加補正係數係為5。因此，在該切片的切片標頭中係含有追加補正係數「5」。

再者，在圖23的例子中，PPS#0的構成同一PPS單位之第1個畫面間類型之切片的追加補正係數係為7。因此，在該切片的切片標頭中，係有從該切片之追加補正係數「7」減去編碼順序上前1個畫面內類型之切片的追加補正係數「5」後的差分「+2」，被當成追加補正係數的 差分編碼結果而含在其中。

又，在圖23的例子中，PPS#0的構成同一PPS單位之第2個畫面間類型之切片的追加補正係數係為8。因此，在該切片的切片標頭中，係有從該切片之追加補正係數「8」減去編碼順序上前1個的第1個畫面間類型之切片的追加補正係數「7」後的差分「+1」，被當成追加補正係數的差分編碼結果而含在其中。

又，在圖23的例子中，PPS#1的構成同一PPS單位之1個畫面內類型的切片與2個畫面間類型之切片的視差最大值、視差最小值、攝影機間距離、及追加補正係數，是分別與編碼順序上前1個切片的視差最大值、視差最小值、攝影機間距離、及追加補正係數一致。因此，在PPS#1中係含有，表示無傳輸的傳輸旗標「0」。

編碼裝置50，係亦可以圖21的第1至第3傳輸方法之任一方法，來傳輸預測影像之補正時所使用之資訊。又，編碼裝置50係亦可將用來識別，採用了第1至第3傳輸方法之中哪1個傳輸方法來作為傳輸方法的識別資訊(例如旗標、ID等)，含在編碼位元串流中而加以傳輸。然後，圖21的第1至第3傳輸方法，係隨應於利用編碼位元串流的應用程式，可考慮編碼位元串流的資料量與解碼之處理負荷的平衡而適宜選擇。

又，在本實施形態中，預測影像之補正時所使用之資訊，係作為關於編碼之資訊而被配置在切片標頭中，但預測影像之補正時所使用之資訊的配置領域，係只要是編碼 時會被參照的領域即可，並不限定於切片標頭。例如，預測影像之補正時所使用之資訊，係可配置在PPS的NAL單元等之既存的NAL(Network Abstraction Layer)單元、或HEVC規格中所提出的APS(Adaptation Parameter Set)的NAL單元等之新的NAL單元中。

例如，當補正係數或追加補正係數是在複數圖像間共通的情況下，在可適應於該複數圖像的NAL單元(例如PPS的NAL單元等)中，配置該共通的值，藉此就可提升傳輸效率。亦即，此情況下，由於在複數圖像間只要傳輸共通的補正係數或追加補正係數即可，因此不需要像是配置在切片標頭那樣每一切片地傳輸補正係數或追加補正係數。

因此，例如，當彩色影像是具有閃光或漸暗效果的彩色影像時，由於視差最小值、視差最大值、攝影機間距離等之參數會有不變化之傾向，因此補正係數或追加補正係數係被配置在PPS的NAL單元等，提升傳輸效率。

例如當補正係數或追加補正係數係每一圖像有所不同的情況下，就配置在切片標頭中，弱在複數圖像間為共通的情況下，則可配置在比切片標頭更上層(例如PPS的NAL單元等)中。

甚至，視差影像係亦可為，對應於該視差影像的視點之彩色影像的各像素之被攝體的表示其縱深方向之位置的深度值所成之影像。此情況下，視差最大值與視差最小值，係分別為多視點視差影像中所能採取之縱深方向之位 置的世界座標值之最大值、最小值。

又，本技術係亦可適用於HEVC方式以外的AVC,MVC(Multiview Video Coding)等之編碼方式。

<第2實施形態> [適用了本技術之電腦的說明]

其次，上述一連串處理，係可藉由的硬體來進行，也可藉由軟體來進行。在以軟體來進行一連串之處理時，構成該軟體的程式，係可安裝至通用的電腦等。

此處，圖24係圖示了執行上述一連串處理的程式所被安裝之電腦的一實施形態之構成例。

程式是可預先被記錄在內建於電腦中的做為記錄媒體之記憶部808或ROM(Read Only Memory)802。

又或者，程式係亦可先儲存(記錄)在可移除式媒體811中。此種可移除式媒體811，係可以所謂套裝軟體的方式來提供。此處，作為可移除式媒體811係例如有軟碟片、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)碟、DVD(Digital Versatile Disc)、磁碟、半導體記憶體等。

此外，程式除了可從如上述的可移除式媒體811透過驅動機810而安裝至電腦以外，還可透過通訊網或播送網而下載至電腦中，安裝至記憶部808。亦即，程式係可例如從下載網站，透過數位衛星播送用的人造衛星，以無線而傳輸至電腦，或透過LAN(Local Area Network)、網際 網路這類網路，以有線方式而傳輸至電腦。

電腦係內載有CPU(Central Processing Unit)801，對CPU801係透過匯流排804而連接有輸出入介面805。

CPU801係一旦透過輸出入介面805藉由使用者操作輸入部806等而進行了指令輸入，則會聽從之而執行ROM802中所儲存的程式。或者，CPU801係將記憶部808中所儲存的程式，載入至RAM(Random Access Memory)803中而加以執行。

藉此，CPU801係會進行依照上述流程圖之處理，或是由上述區塊圖之構成所進行之處理。然後，CPU801係將其處理結果，因應需要，例如，透過輸出入介面805而從輸出部807加以輸出，或者從通訊部809進行送訊，或甚至記錄在記憶部808中等。

此外，輸入部806係由鍵盤、滑鼠、麥克風等所構成。又，輸出部807係由LCD(Liquid Crystal Display)或揚聲器等所構成。

此處，於本說明書中，電腦依照程式而進行之處理，係並不一定依照流程圖方式所記載之順序而時間序列性地進行。亦即，電腦依照程式所進行的處理，係包含可平行地或個別地執行之處理(例如平行處理或是物件所致之處理)。

又，程式係可被1個電腦(處理器)所處理，也可被複數電腦分散處理。甚至，程式係亦可被傳輸至遠方的電腦而執行之。

本技術係可適用於，透過衛星播送、有線電視(TV)、網際網路、及行動電話機等之網路媒體而進行通訊之際，或是在光碟、磁碟、及快閃記憶體這類記憶媒體上進行處理之際所使用的編碼裝置及解碼裝置。

又，上述的編碼裝置及解碼裝置，係可適用於任意的電子機器。以下說明該例子。

<第3實施形態> [電視裝置之構成例]

圖25係例示了適用了本技術的電視裝置的概略構成。電視裝置900係具有：天線901、選台器902、解多工器903、解碼器904、映像訊號處理部905、顯示部906、聲音訊號處理部907、揚聲器908、外部介面部909。再者，電視裝置900係還具有控制部910、使用者介面部911等。

選台器902，係從天線901所接收到的播送波訊號中將所望之頻道加以選台然後進行解調，將所得到之編碼位元串流，輸出至解多工器903。

解多工器903係從編碼位元串流中抽出視聽對象之節目的映像或聲音的封包，將所抽出之封包的資料，輸出至解碼器904。又，解多工器903，係將EPG(Electronic Program Guide)等之資料的封包，供給至控制部910。此外，當有被進行擾頻時，則在解多工器等中進行擾頻之解除。

解碼器904，係進行封包的解碼處理，將解碼處理所生成之映像資料輸出至映像訊號處理部905，將聲音資料輸出至聲音訊號處理部907。

映像訊號處理部905，係對映像資料，進行雜訊去除或相應於使用者設定之映像處理等。映像訊號處理部905，係基於顯示部906中所被顯示之節目的映像資料、或透過網路所供給之應用程式，進行處理，而生成影像資料等。又，映像訊號處理部905，係生成項目選擇等的用來顯示選單畫面等所需的映像資料，將其重疊於節目的映像資料上。映像訊號處理部905，係基於如此所生成之映像資料，而生成驅動訊號，驅動顯示部906。

顯示部906，係根據來自映像訊號處理部905的驅動訊號，來驅動顯示裝置(例如液晶顯示元件等)，而使節目的映像等被顯示出來。

聲音訊號處理部907，係對聲音資料實施雜訊去除等之所定處理，進行處理後的聲音資料的D/A轉換處理或增幅處理，供給至揚聲器908而進行聲音輸出。

外部介面部909，係為用來與外部機器或網路做連接所需的介面，進行映像資料或聲音資料等之資料收送訊。

控制部910上係連接有使用者介面部911。使用者介面部911，係由操作開關或遙控訊號收訊部等所構成，會將相應於使用者操作之操作訊號，供給至控制部910。

控制部910係使用CPU(Central Processing Unit)或記憶體等所構成。記憶體係記憶著，被CPU所執行之程式 或CPU進行處理上所必需的各種資料、EPG資料、透過網路所取得之資料等。記憶體中所記憶的程式，係在電視裝置900之啟動時等的所定時序上被CPU所讀出而執行。CPU係藉由執行程式，而控制著電視裝置900相應於使用者操作而動作的各部。

此外，在電視裝置900中係設有，用來將選台器902、解多工器903、映像訊號處理部905、聲音訊號處理部907、外部介面部909等與控制部910做連接所需的匯流排912。

在如此構成的電視裝置中，係在解碼器904裡設有本案之解碼裝置(解碼方法)的機能。因此，可將藉由使用視差影像之相關資訊來進行編碼而改善了編碼效率的視差影像之編碼資料，予以解碼。

<第4實施形態> [行動電話機的構成例]

圖26係例示了適用了本技術的行動電話機的概略構成。行動電話機920係具有：通訊部922、聲音編解碼器923、攝影機部926、影像處理部927、多工分離部928、記錄再生部929、顯示部930、控制部931。這些係透過匯流排933而被彼此連接。

又，通訊部922上係連接有天線921，聲音編解碼器923上係連接有揚聲器924和麥克風925。然後，控制部931上係還連接有操作部932。

行動電話機920，係在語音通話模式或資料通訊模式等之各種模式下，進行聲音訊號之收送訊、電子郵件或影像資料之收送訊、影像攝影或資料記錄等之各種動作。

於語音通話模式中，由麥克風925所生成的聲音訊號，係以聲音編解碼器923進行往聲音資料之轉換或資料壓縮然後供給至通訊部922。通訊部922，係進行聲音資料之調變處理或頻率轉換處理等，生成送訊訊號。又，通訊部922係將送訊訊號供給至天線921然後發送至未圖示的基地台。又，通訊部922係進行天線921所接收之收訊訊號的增幅或頻率轉換處理及解調處理等，將所獲得之聲音資料，供給至聲音編解碼器923。聲音編解碼器923，係進行聲音資料的資料解壓縮或往類比聲音訊號之轉換，對揚聲器924進行輸出。

又，於資料通訊模式中，當進行郵件送訊時，控制部931係受理藉由操作部932之操作而被輸入的文字資料，將所被輸入的文字，顯示在顯示部930。又，控制部931係基於操作部932的使用者指示等而生成郵件資料，然後供給至通訊部922。通訊部922，係進行郵件資料的調變處理或頻率轉換處理等，將所得到之送訊訊號，從天線921進行送訊。又，通訊部922係進行天線921所接收之收訊訊號的增幅或頻率轉換處理及解調處理等，將郵件資料予以復原。將該郵件資料供給至顯示部930，進行郵件內容之顯示。

此外，行動電話機920係亦可將所收到之郵件資料， 以記錄再生部929而記憶至記憶媒體。記憶媒體係為可任意改寫的記憶媒體。例如，記憶媒體係為RAM或內建式快閃記憶體等之半導體記憶體、硬碟、磁碟、光磁碟、光碟、USB記憶體、或記憶卡等之可移除式媒體。

於資料通訊模式中，當要發送影像資料時，是將攝影機部926所生成的影像資料，供給至影像處理部927。影像處理部927係進行影像資料的編碼處理，生成編碼資料。

多工分離部928係將影像處理部927所生成之編碼資料、和從聲音編解碼器923所供給之聲音資料，以所定方式進行多工化然後供給至通訊部922。通訊部922，係進行多工化資料的調變處理或頻率轉換處理等，將所得到之送訊訊號，從天線921進行送訊。又，通訊部922係進行天線921所接收之收訊訊號的增幅或頻率轉換處理及解調處理等，將多工化資料予以復原。將該多工化資料供給至多工分離部928。多工分離部928，係進行多工化資料的分離，將編碼資料供給至影像處理部927，將聲音資料供給至聲音編解碼器923。影像處理部927係進行編碼資料的解碼處理，生成影像資料。將該影像資料供給至顯示部930，進行所收到之影像的顯示。聲音編解碼器923，係將聲音資料轉換成類比聲音訊號而供給至揚聲器924，將所收到的聲音予以輸出。

在如此構成的行動電話裝置中，係在影像處理部927裡設有本案之編碼裝置及解碼裝置(編碼方法及解碼方法) 的機能。因此，可使用視差影像之相關資訊來改善視差影像之編碼效率。又，可將藉由使用視差影像之相關資訊來進行編碼而改善了編碼效率的視差影像之編碼資料，予以解碼。

<第5實施形態> [記錄再生裝置的構成例]

圖27係例示了適用了本技術的記錄再生裝置的概略構成。記錄再生裝置940，係將例如所收到之播送節目的音訊資料與視訊資料，記錄在記錄媒體中，將該已被記錄之資料，以相應於使用者之指示的時序，提供給使用者。又，記錄再生裝置940係亦可從例如其他裝置取得音訊資料或視訊資料，將它們記錄至記錄媒體。然後，記錄再生裝置940係將記錄媒體中所記錄之音訊資料或視訊資料加以解碼並輸出，就可在監視器裝置等上，進行影像顯示或聲音輸出。

記錄再生裝置940係具有：選台器941、外部介面部942、編碼器943、HDD(Hard Disk Drive)部944、碟片驅動機945、選擇器946、解碼器947、OSD(On-Screen Display)部948、控制部949、使用者介面部950。

選台器941，係從未圖示之天線所接收到的播送訊號中，將所望之頻道予以選台。選台器941，係將所望之頻道的收訊訊號加以解調所得之編碼位元串流，輸出至選擇器946。

外部介面部942，係由IEEE1394介面、網路介面部、USB介面、快閃記憶體介面等之至少一者所構成。外部介面部942，係為用來與外部機器或網路、記憶卡等做連接所需的介面，進行所記錄之映像資料或聲音資料等之資料收訊。

編碼器943係從外部介面部942所供給之映像資料或聲音資料未被編碼時係以所定方式進行編碼，將編碼位元串流輸出至選擇器946。

HDD部944係將映像或聲音等之內容資料、各種程式或其他資料等，記錄在內建的硬碟裡，或是再生時從該當硬碟中加以讀出。

碟片驅動機945，係對所裝著之光碟，進行訊號的記錄及再生。光碟係為例如DVD碟片(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或Blu-ray碟片等。

選擇器946，係在映像或聲音之記錄時，選擇來自選台器941或編碼器943之任一者的編碼位元串流，供給至HDD部944或碟片驅動機945之任一者。又，選擇器946，係在映像或聲音之再生時，將從HDD部944或碟片驅動機945所輸出之編碼位元串流，供給至解碼器947。

解碼器947，係進行編碼位元串流之解碼處理。解碼器947，係將藉由進行解碼處理所生成之映像資料，供給至OSD部948。又，解碼器947，係將藉由進行解碼處理所生成之聲音資料，予以輸出。

OSD部948，係生成項目選擇等的用來顯示選單畫面等所需的映像資料，將其重疊至從解碼器947所輸出的映像資料而輸出。

控制部949上係連接有使用者介面部950。使用者介面部950，係由操作開關或遙控訊號收訊部等所構成，會將相應於使用者操作之操作訊號，供給至控制部949。

控制部949係使用CPU或記憶體等所構成。記憶體係記憶著，被CPU所執行之程式或CPU進行處理上所必需的各種資料。記憶體中所記憶的程式，係在記錄再生裝置940之啟動時等的所定時序上被CPU所讀出而執行。CPU係藉由執行程式，而控制著記錄再生裝置940相應於使用者操作而動作的各部。

在如此構成的記錄再生裝置中，係在解碼器947裡設有本案之解碼裝置(解碼方法)的機能。因此，可將藉由使用視差影像之相關資訊來進行編碼而改善了編碼效率的視差影像之編碼資料，予以解碼。

<第6實施形態> [攝像裝置的構成例]

圖28係例示了適用了本技術的攝像裝置的概略構成。攝像裝置960，係拍攝被攝體，將被攝體的影像顯示在顯示部上，或是將其當作影像資料而記錄在記錄媒體中。

攝像裝置960係具有：光學區塊961、攝像部962、 攝影機訊號處理部963、影像資料處理部964、顯示部965、外部介面部966、記憶體部967、媒體驅動機968、OSD部969、控制部970。又，控制部970上係連接有使用者介面部971。再者，影像資料處理部964、外部介面部966、記憶體部967、媒體驅動機968、OSD部969、控制部970等，係透過匯流排972而被連接。

光學區塊961，係使用對焦透鏡或光圈機構等所構成。光學區塊961，係使被攝體的光學像，成像在攝像部962的攝像面。攝像部962，係使用CCD或CMOS影像感測器所構成，藉由光電轉換而生成相應於光學像的電氣訊號然後供給至攝影機訊號處理部963。

攝影機訊號處理部963，係對從攝像部962所供給之電氣訊號，進行KNEE補正或γ補正、色彩補正等之各種相機訊號處理。攝影機訊號處理部963，係將攝影機訊號處理後的影像資料，供給至影像資料處理部964。

影像資料處理部964，係進行從攝影機訊號處理部963所供給之影像資料的編碼處理。影像資料處理部964，係將藉由進行編碼處理所生成之編碼資料，供給至外部介面部966或媒體驅動機968。又，影像資料處理部964，係進行從外部介面部966或媒體驅動機968所供給之編碼資料的解碼處理。影像資料處理部964，係將藉由進行解碼處理所生成之影像資料，供給至顯示部965。又，影像資料處理部964，係將從攝影機訊號處理部963所供給之影像資料供給至顯示部965，或將從OSD部969 所取得之顯示用資料，重疊至影像資料而供給至顯示部965。

OSD部969，係生成由記號、文字或圖形所成之選單畫面或小圖示等之顯示用資料而輸出至影像資料處理部964。

外部介面部966，係例如由USB輸出入端子等所構成，在進行影像之印刷時，與印表機連接。又，外部介面部966上係因應需要而連接有驅動機，磁碟、光碟等之可移除式媒體會被適宜裝著，從其中所讀出之電腦程式，係因應需要而被安裝。再者，外部介面部966係還具有被連接至LAN或網際網路等之所定網路的網路介面。控制部970係例如，依照來自使用者介面部971之指示，從記憶體部967中讀出編碼資料，將其從外部介面部966透過網路而提供至所連接的其他裝置。又，控制部970係可將透過網路而從其他裝置所供給之編碼資料或影像資料，透過外部介面部966而加以取得，將其供給至影像資料處理部964等等。

作為被媒體驅動機968所驅動的記錄媒體，係可使用例如磁碟、光磁碟、光碟、或半導體記憶體等之可讀寫之任意可移除式媒體。又，記錄媒體係為，身為可移除式媒體之種類亦可為任意，可以是磁帶裝置、也可以是碟片、也可以是記憶卡。當然，亦可以是非接觸IC卡等。

又，亦可將媒體驅動機968與記錄媒體一體化，例如，由內建式硬碟機或SSD(Solid State Drive)等這類非 可移除性之記憶媒體所構成。

控制部970係使用CPU或記憶體等所構成。記憶體係記憶著，被CPU所執行之程式或CPU進行處理上所必需的各種資料等。記憶體中所記憶的程式，係在攝像裝置960之啟動時等的所定時序上被CPU所讀出而執行。CPU係藉由執行程式，而控制著攝像裝置960相應於使用者操作而動作的各部。

在如此構成的攝像裝置中，係在影像資料處理部964裡設有本案之編碼裝置及解碼裝置(編碼方法及解碼方法)的機能。因此，可使用視差影像之相關資訊來改善視差影像之編碼效率。又，可將藉由使用視差影像之相關資訊來進行編碼而改善了編碼效率的視差影像之編碼資料，予以解碼。

本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。

此外，本技術係亦可視為如下之構成。

(1)一種編碼裝置，其特徵為，具備：補正部，係使用基準視點的視差影像之相關資訊，來補正前記基準視點之視差影像的預測影像；和編碼部，係使用已被前記補正部所補正過的前記預測影像，來將前記基準視點之視差影像予以編碼；和傳輸部，係將已被前記編碼部所編碼過的前記基準視點之視差影像和前記基準視點之視差影像之相關資訊，加 以傳輸。

(2)如前記(1)所記載之編碼裝置，其中，前記基準視點之視差影像之相關資訊係含有視點生成資訊，係為使用前記基準視點之彩色影像與前記基準視點之視差影像來生成與前記基準視點不同視點之彩色影像之際所使用之資訊；前記傳輸部係將前記視點生成資訊，當作將前記基準視點之視差影像進行編碼之際所使用的編碼參數而予以傳輸。

(3)如前記(2)所記載之編碼裝置，其中，前記補正部係使用，基於前記視點生成資訊來補正前記預測影像之際所使用的補正係數，來補正前記預測影像；前記傳輸部係將前記補正係數當作前記編碼參數而予以傳輸。

(4)如前記(2)所記載之編碼裝置，其中，前記基準視點之視差影像之相關資訊係含有攝像位置資訊，其係用來表示，拍攝前記基準視點之彩色影像的攝像部的縱深方向的攝像位置；前記補正部係使用，基於前記攝像位置資訊來補正前記預測影像之際所使用的補正係數和前記視點生成資訊， 來補正前記預測影像；前記傳輸部係將前記補正係數當作前記編碼參數而予以傳輸。

(5)如前記(3)或(4)所記載之編碼裝置，其中，前記補正部，係將前記補正係數予以設定。

(6)如前記(1)至(5)之任一項所記載之編碼裝置，其中，前記編碼部，係將前記基準視點之視差影像，以具有階層構造的單位予以編碼。

(7)如前記(1)至(6)之任一項所記載之編碼裝置，其中，還具備有：預測影像生成部，係生成前記基準視點之視差影像的預測影像。

(8)一種編碼方法，其特徵為，編碼裝置含有：補正步驟，係使用基準視點的視差影像之相關資訊，來補正前記基準視點之視差影像的預測影像；和編碼步驟，係使用已被前記補正步驟之處理所補正過的前記預測影像，來將前記基準視點之視差影像予以編碼；和傳輸步驟，係將已被前記編碼步驟之處理所編碼過的前記基準視點之視差影像和前記基準視點之視差影像之相 關資訊，加以傳輸。

(9)一種解碼裝置，其特徵為，具備：收取部，係將使用藉由基準視點之視差影像之相關資訊而被補正過的前記基準視點之視差影像的預測影像而被編碼的前記基準視點之視差影像、和前記基準視點之視差影像之相關資訊，加以收取；和補正部，係使用已被前記收取部所收取的前記基準視點之視差影像之相關資訊，來將前記基準視點之視差影像的預測影像加以補正；和解碼部，係使用已被前記補正部所補正過的前記預測影像，來將前記收取部所收取到的已被編碼之前記基準視點之視差影像，予以解碼。

(10)如前記(9)所記載之解碼裝置，其中，還具備：彩色影像生成部，係使用已被前記解碼部所解碼之前記基準視點之視差影像、和前記基準視點之彩色影像，來生成與前記基準視點不同視點之彩色影像；前記基準視點之視差影像之相關資訊係含有視點生成資訊，係為使用前記基準視點之彩色影像與前記基準視點之視差影像來生成與前記基準視點不同視點之彩色影像之際所使用之資訊；前記收取部，係將已被編碼之前記基準視點之視差影像在解碼之際所使用的作為編碼參數而被傳輸的前記視點 生成資訊，加以收取；前記彩色影像生成部，係使用已被前記解碼部所解碼之前記基準視點之視差影像、前記基準視點之彩色影像、已被前記收取部所收取的前記視點生成資訊，來生成與前記基準視點不同視點之彩色影像。

(11)如前記(10)所記載之解碼裝置，其中，前記收取部，係將作為前記編碼參數而被傳輸的編碼時用於前記預測影像之補正的補正係數，加以收取；前記補正係數，係基於前記視點生成資訊而被生成；前記補正部，係使用已被前記收取部所收取的前記補正係數，來將前記預測影像加以補正。

(12)如前記(10)所記載之解碼裝置，其中，前記基準視點之視差影像之相關資訊係含有攝像位置資訊，其係用來表示，拍攝前記基準視點之彩色影像的攝像部的縱深方向的攝像位置；前記收取部，係將作為前記編碼參數而被傳輸的編碼時用於前記預測影像之補正的補正係數，加以收取；前記補正部，係使用已被前記收取部所收取的前記補正係數和前記視點生成資訊，來將前記預測影像加以補正。

(13)如前記(12)所記載之解碼裝置，其中， 前記補正係數，係基於前記視點生成資訊而被設定。

(14)如前記(9)至(13)之任一項所記載之解碼裝置，其中，前記基準視點之視差影像，係以具有階層構造的單位而被編碼。

(15)如前記(9)至(14)之任一項所記載之解碼裝置，其中，還具備有：預測影像生成部，係生成前記基準視點之視差影像的預測影像。

(16)一種解碼方法，其特徵為，解碼裝置含有：收取步驟，係將使用基準視點之視差影像之相關資訊而被補正過的前記基準視點之視差影像的預測影像而被編碼的前記基準視點之視差影像、和前記基準視點之視差影像之相關資訊，加以收取；和補正步驟，係使用已被前記收取步驟之處理所收取的前記基準視點之視差影像之相關資訊，來將前記基準視點之視差影像的預測影像加以補正；和解碼步驟，係使用已被前記補正步驟之處理所補正過的前記預測影像，來將前記收取步驟之處理所收取到的已被編碼之前記基準視點之視差影像，予以解碼。

50‧‧‧編碼裝置

51‧‧‧多視點彩色影像攝像部

52‧‧‧多視點彩色影像補正部

53‧‧‧多視點視差影像生成部

54‧‧‧視點生成用資訊生成部

55‧‧‧多視點影像編碼部

61‧‧‧切片編碼部

62‧‧‧切片標頭編碼部

63‧‧‧PPS編碼部

64‧‧‧SPS編碼部

120‧‧‧編碼部

121‧‧‧A/D轉換部

122‧‧‧畫面排序緩衝區

123‧‧‧演算部

124‧‧‧正交轉換部

125‧‧‧量化部

126‧‧‧可逆編碼部

127‧‧‧積存緩衝區

128‧‧‧逆量化部

129‧‧‧逆正交轉換部

130‧‧‧加算部

131‧‧‧去區塊濾波器

132‧‧‧畫格記憶體

133‧‧‧畫面內預測部

134‧‧‧運動預測．補償部

135‧‧‧補正部

136‧‧‧選擇部

137‧‧‧速率控制部

150‧‧‧解碼裝置

151‧‧‧多視點影像解碼部

152‧‧‧視點合成部

153‧‧‧多視點影像顯示部

171‧‧‧SPS解碼部

172‧‧‧PPS解碼部

173‧‧‧切片標頭解碼部

174‧‧‧切片解碼部

250‧‧‧解碼部

251‧‧‧積存緩衝區

252‧‧‧可逆解碼部

253‧‧‧逆量化部

254‧‧‧逆正交轉換部

255‧‧‧加算部

256‧‧‧去區塊濾波器

257‧‧‧畫面排序緩衝區

258‧‧‧D/A轉換部

259‧‧‧畫格記憶體

260‧‧‧畫面內預測部

261‧‧‧運動向量生成部

262‧‧‧運動補償部

263‧‧‧補正部

264‧‧‧開關

801‧‧‧CPU

802‧‧‧ROM

803‧‧‧RAM

804‧‧‧匯流排

805‧‧‧輸出入介面

806‧‧‧輸入部

807‧‧‧輸出部

808‧‧‧記憶部

809‧‧‧通訊部

810‧‧‧驅動機

811‧‧‧可移除式媒體

900‧‧‧電視裝置

901‧‧‧天線

902‧‧‧選台器

903‧‧‧解多工器

904‧‧‧解碼器

905‧‧‧映像訊號處理部

906‧‧‧顯示部

907‧‧‧聲音訊號處理部

908‧‧‧揚聲器

909‧‧‧外部介面部

910‧‧‧控制部

911‧‧‧使用者介面部

912‧‧‧匯流排

920‧‧‧行動電話機

921‧‧‧天線

922‧‧‧通訊部

923‧‧‧聲音編解碼器

924‧‧‧揚聲器

925‧‧‧麥克風

926‧‧‧攝影機部

927‧‧‧影像處理部

928‧‧‧多工分離部

929‧‧‧記錄再生部

930‧‧‧顯示部

931‧‧‧控制部

932‧‧‧操作部

933‧‧‧匯流排

940‧‧‧記錄再生裝置

941‧‧‧選台器

942‧‧‧外部介面部

943‧‧‧編碼器

944‧‧‧HDD(Hard Disk Drive)部

945‧‧‧碟片驅動機

946‧‧‧選擇器

947‧‧‧解碼器

948‧‧‧OSD(On-Screen Display)部

949‧‧‧控制部

950‧‧‧使用者介面部

960‧‧‧攝像裝置

961‧‧‧光學區塊

962‧‧‧攝像部

963‧‧‧攝影機訊號處理部

964‧‧‧影像資料處理部

965‧‧‧顯示部

966‧‧‧外部介面部

967‧‧‧記憶體部

968‧‧‧媒體驅動機

969‧‧‧OSD部

970‧‧‧控制部

971‧‧‧使用者介面部

972‧‧‧匯流排

[圖1]適用了本技術之編碼裝置的第1實施形態之構成例的區塊圖。

[圖2]視點生成用資訊的視差最大值與視差最小值的說明圖。

[圖3]視點生成用資訊的視差精度參數的說明圖。

[圖4]視點生成用資訊的攝影機間距離的說明圖。

[圖5]圖1的多視點影像編碼部之構成例的區塊圖。

[圖6]編碼部之構成例的區塊圖。

[圖7]編碼位元串流之構成例的圖示。

[圖8]圖7的PPS之語法的例子的圖示。

[圖9]切片標頭之語法的例子的圖示。

[圖10]切片標頭之語法的例子的圖示。

[圖11]圖1的編碼裝置的編碼處理的說明用流程圖。

[圖12]圖11的多視點編碼處理之細節的說明用流程圖。

[圖13]圖12的視差影像編碼處理之細節的說明用流程圖。

[圖14]圖12的視差影像編碼處理之細節的說明用流程圖。

[圖15]適用了本技術之解碼裝置的第1實施形態之構成例的區塊圖。

[圖16]圖15的多視點影像解碼部之構成例的區塊圖。

[圖17]解碼部之構成例的區塊圖。

[圖18]圖15的解碼裝置150的解碼處理的說明用流程圖。

[圖19]圖18的多視點解碼處理之細節的說明用流程圖。

[圖20]圖16的視差影像解碼處理之細節的說明用流程圖。

[圖21]預測影像之補正時所使用之資訊的傳輸方法的說明圖。

[圖22]第2傳輸方法中的編碼位元串流之構成例的圖示。

[圖23]第3傳輸方法中的編碼位元串流之構成例的圖示。

[圖24]電腦之一實施形態之構成例的圖示。

[圖25]適用了本技術之電視裝置的概略構成例的圖示。

[圖26]適用了本技術之行動電話機的概略構成例的圖示。

[圖27]適用了本技術之記錄再生裝置的概略構成例的圖示。

[圖28]適用了本技術之攝像裝置的概略構成例的圖示。

120‧‧‧編碼部

121‧‧‧A/D轉換部

122‧‧‧畫面排序緩衝區

123‧‧‧演算部

124‧‧‧正交轉換部

125‧‧‧量化部

126‧‧‧可逆編碼部

127‧‧‧積存緩衝區

128‧‧‧逆量化部

129‧‧‧逆正交轉換部

130‧‧‧加算部

131‧‧‧去區塊濾波器

132‧‧‧畫格記憶體

133‧‧‧畫面內預測部

134‧‧‧運動預測．補償部

135‧‧‧補正部

136‧‧‧選擇部

137‧‧‧速率控制部

Claims (5)

1. 一種編碼裝置，其特徵為，具備：補正部，係使用視點生成資訊，來補正前記基準視點之視差影像的預測影像，其中，前記視點生成資訊係為，在使用基準視點之彩色影像與前記基準視點之視差影像來生成與基準視點不同視點之彩色影像之際所使用的資訊；和編碼部，係使用已被前記補正部所補正過的前記預測影像，來將前記基準視點之視差影像予以編碼，而生成位元串流；和傳輸部，係將含有視差最大值、視差最小值、相機間距離的前記視點生成資訊，當作已被前記編碼部所編碼而成的位元串流的編碼參數而加以傳輸；前記補正部係使用，基於前記視點生成資訊來補正前記預測影像之際所使用的補正係數，來補正前記預測影像；前記傳輸部係將前記補正係數當作前記編碼參數而予以傳輸；前記補正部，係將前記補正係數予以設定。
2. 如請求項1所記載之編碼裝置，其中，前記補正部係使用，基於表示拍攝前記基準視點之彩色影像的攝像部之縱深方向之攝像位置的攝像位置資訊來補正前記預測影像之際所使用的補正係數和前記視點生成資訊，來補正前記預測影像； 前記傳輸部係將前記補正係數當作前記編碼參數而予以傳輸。
3. 如請求項1所記載之編碼裝置，其中，前記編碼部，係將前記基準視點之視差影像，以具有階層構造的單位予以編碼。
4. 如請求項1所記載之編碼裝置，其中，還具備有：預測影像生成部，係生成前記基準視點之視差影像的預測影像。
5. 一種編碼方法，其特徵為，編碼裝置含有：補正步驟，係使用視點生成資訊，來補正前記基準視點之視差影像的預測影像，其中，前記視點生成資訊係為，在使用基準視點之彩色影像與前記基準視點之視差影像來生成與基準視點不同視點之彩色影像之際所使用的資訊；和編碼步驟，係使用已被前記補正步驟之處理所補正過的前記預測影像，來將前記基準視點之視差影像予以編碼，而生成位元串流；和傳輸步驟，係將含有視差最大值、視差最小值、相機間距離的前記視點生成資訊，當作已被前記編碼步驟之處理所編碼而成的位元串流的編碼參數而加以傳輸；在前記補正步驟中係使用，基於前記視點生成資訊來補正前記預測影像之際所使用的補正係數，來補正前記預測影像； 在前記傳輸步驟中係將前記補正係數當作前記編碼參數而予以傳輸；在前記補正步驟中係將前記補正係數予以設定。