TW201342884A - 編碼裝置及編碼方法、以及解碼裝置及解碼方法 - Google Patents

編碼裝置及編碼方法、以及解碼裝置及解碼方法 Download PDF

Info

Publication number
TW201342884A
TW201342884A TW102101632A TW102101632A TW201342884A TW 201342884 A TW201342884 A TW 201342884A TW 102101632 A TW102101632 A TW 102101632A TW 102101632 A TW102101632 A TW 102101632A TW 201342884 A TW201342884 A TW 201342884A
Authority
TW
Taiwan
Prior art keywords
unit
depth
image
parameter set
slice
Prior art date
Application number
TW102101632A
Other languages
English (en)
Inventor
Shinobu Hattori
Hironari Sakurai
Yoshitomo Takahashi
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201342884A publication Critical patent/TW201342884A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本技術係有關於，在使景深影像之相關資訊被包含在編碼串流內之際，可以削減編碼串流之編碼量的編碼裝置及編碼方法、以及解碼裝置及解碼方法。DPS編碼部，係將景深影像之相關資訊亦即景深影像資訊，設定成為與序列參數集及圖像參數集不同的DPS。切片編碼部係將景深影像予以編碼，生成編碼資料。又，切片編碼部係將含有DPS與編碼資料的編碼串流，予以傳輸。本技術係可適用於例如多視點影像的編碼裝置。

Description

編碼裝置及編碼方法、以及解碼裝置及解碼方法
本技術係有關於編碼裝置及編碼方法、以及解碼裝置及解碼方法，尤其是有關於，使景深影像之相關資訊被包含在編碼串流內之際可削減編碼串流之編碼量的編碼裝置及編碼方法、以及解碼裝置及解碼方法。
近年來，3D影像正受到矚目。作為該3D影像的視聽方式，係佩戴2視點影像的其中一方之影像的其中一方之影像的顯示時左眼用的快門會敞開、另一方之影像的顯示時右眼用的快門會敞開的眼鏡，觀看被交互顯示之2視點影像的方式(以下稱作有眼鏡方式)，是一般常見的。
然而，在此種有眼鏡方式中，視聽者係必須在3D影像之顯示裝置外另外購買眼鏡，因此會降低視聽者的購買意欲。又，視聽者由於在視聽時必須佩戴眼鏡，因此很麻煩。因此，不必佩戴眼鏡就能欣賞3D影像的視聽方式(以下稱作無眼鏡方式)的需求，正逐漸高漲。
在無眼鏡方式中，3視點以上之視點的影像， 係以每一視點的可視角度不同的方式而被顯示，視聽者係以左右各眼觀看任意2視點之各影像，就可不佩戴眼鏡而能看到3D影像。
作為無眼鏡方式的3D影像顯示方法，係想到 了取得所定視點之彩色影像與景深影像，使用該彩色影像與景深影像來生成包含所定視點以外之視點的多視點彩色影像並加以顯示的方法。此外，所謂多視點，係為3視點以上之視點。
又，作為將多視點彩色影像與景深影像予以 編碼的方法，係提出有將彩色影像與景深影像個別編碼的方法(例如，參照專利文獻1)。
[先前技術文獻]
[非專利文獻]
[非專利文獻1]“Draft Call for Proposals on 3D Video Coding Technology”, INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO, MPEG2010/N11679 Guangzhou, China, October 2010
然而，並沒有考慮到，在使景深影像之相關 資訊被包含在編碼串流內之際要削減編碼串流之編碼量。
本技術係有鑑於此種狀況而研發，目的在 於，在使景深影像之相關資訊被包含在編碼串流內之際，能夠削減編碼串流之編碼量。
本技術之第1側面的編碼裝置，係一種編碼裝置，其係具備：設定部，係將景深影像之相關資訊亦即景深影像資訊，設定成為與序列參數集及圖像參數集不同的參數集；和編碼部，係將前記景深影像予以編碼，生成編碼資料；和傳輸部，係將含有前記設定部所設定之前記參數集和前記編碼部所生成之前記編碼資料的編碼串流，予以傳輸。
本技術之第1側面的編碼方法，係對應於本技術之第1側面的編碼裝置。
在本技術的第1側面中，係景深影像之相關資訊亦即景深影像資訊係被設定成為與序列參數集及圖像參數集不同的參數集，前記景深影像係被編碼而生成編碼資料，含有前記參數集與前記編碼資料的編碼串流會被傳輸。
本技術之第2側面的解碼裝置，係一種解碼裝置，其係具備：取得部，係從含有被設定了景深影像之相關資訊亦即景深影像資訊的與序列參數集及圖像參數集不同之參數集、和前記景深影像之編碼資料的編碼串流 中，取得前記參數集和前記編碼資料；和剖析處理部，係從前記取得部所取得之前記參數集，剖析出前記景深影像資訊；和解碼部，係將已被前記取得部所取得之前記編碼資料，予以解碼。
本技術之第2側面的解碼方法，係對應於本技術之第2側面的解碼裝置。
在本技術的第2側面中，係從含有被設定了景深影像之相關資訊亦即景深影像資訊的與序列參數集及圖像參數集不同之參數集、和前記景深影像之編碼資料的編碼串流中，取得前記參數集和前記編碼資料，從前記參數集中剖析出前記景深影像資訊，前記編碼資料會被解碼。
此外，第1側面的編碼裝置及第2側面的解碼裝置，係可藉由令電腦執行程式而實現。
又，為了實現第1側面的編碼裝置及第2側面的解碼裝置，而令電腦執行的程式，係可透過傳輸媒體來傳輸，或可記錄在記錄媒體中來提供之。
若依據本技術的第1側面，則在使景深影像之相關資訊被包含在編碼串流內之際，可以削減編碼串流之編碼量。
又，若依據本技術的第2側面，則可將在使景深影像之相關資訊被包含在編碼串流內之際削減了編碼 串流之編碼量的編碼串流，予以解碼。
50‧‧‧編碼裝置
51‧‧‧多視點彩色影像攝像部
52‧‧‧多視點彩色影像補正部
53‧‧‧多視點景深影像生成部
54‧‧‧景深影像資訊生成部
55‧‧‧多視點影像編碼部
61‧‧‧SPS編碼部
62‧‧‧PPS編碼部
63‧‧‧DPS編碼部
64‧‧‧切片標頭編碼部
65‧‧‧切片編碼部
80‧‧‧解碼裝置
81‧‧‧多視點影像解碼部
82‧‧‧視點合成部
101‧‧‧SPS解碼部
102‧‧‧PPS解碼部
103‧‧‧DPS解碼部
104‧‧‧切片標頭解碼部
105‧‧‧切片解碼部
801‧‧‧CPU
802‧‧‧ROM
803‧‧‧RAM
804‧‧‧匯流排
805‧‧‧輸出入介面
806‧‧‧輸入部
807‧‧‧輸出部
808‧‧‧記憶部
809‧‧‧通訊部
810‧‧‧驅動機
811‧‧‧可移除式媒體
900‧‧‧電視裝置
901‧‧‧天線
902‧‧‧選台器
903‧‧‧解多工器
904‧‧‧解碼器
905‧‧‧映像訊號處理部
906‧‧‧顯示部
907‧‧‧聲音訊號處理部
908‧‧‧揚聲器
909‧‧‧外部介面部
910‧‧‧控制部
911‧‧‧使用者介面部
920‧‧‧行動電話機
921‧‧‧天線
922‧‧‧通訊部
923‧‧‧聲音編解碼器
924‧‧‧揚聲器
925‧‧‧麥克風
926‧‧‧攝影機部
927‧‧‧影像處理部
928‧‧‧多工分離部
929‧‧‧記錄再生部
930‧‧‧顯示部
931‧‧‧控制部
932‧‧‧操作部
940‧‧‧記錄再生裝置
941‧‧‧選台器
942‧‧‧外部介面部
943‧‧‧編碼器
944‧‧‧HDD(Hard Disk Drive)部
945‧‧‧碟片驅動機
946‧‧‧選擇器
947‧‧‧解碼器
948‧‧‧OSD(On-Screen Display)部
949‧‧‧控制部
950‧‧‧使用者介面部
960‧‧‧攝像裝置
961‧‧‧光學區塊
962‧‧‧攝像部
963‧‧‧攝影機訊號處理部
964‧‧‧影像資料處理部
965‧‧‧顯示部
966‧‧‧外部介面部
967‧‧‧記憶體部
968‧‧‧媒體驅動機
969‧‧‧OSD部
970‧‧‧控制部
971‧‧‧使用者介面部
972‧‧‧匯流排
[圖1]關於視差與縱深的說明圖。
[圖2]適用了本技術之編碼裝置的一實施形態之構成例的區塊圖。
[圖3]圖2的多視點影像編碼部之構成例的區塊圖。
[圖4]編碼串流之構成例的圖示。
[圖5]DPS之語法的例子的圖示。
[圖6]切片標頭之語法的例子的圖示。
[圖7]圖2的編碼裝置的編碼處理的說明用流程圖。
[圖8]圖7的多視點編碼處理之細節的說明用流程圖。
[圖9]圖8的DPS生成處理之細節的說明用流程圖。
[圖10]適用了本技術之解碼裝置的一實施形態之構成例的區塊圖。
[圖11]圖10的多視點影像解碼部之構成例的區塊圖。
[圖12]圖10的解碼裝置的解碼處理的說明用流程圖。
[圖13]圖12的多視點解碼處理之細節的說明用流程圖。
[圖14]圖13的生成處理之細節的說明用流程圖。
[圖15]擴充SPS之語法的例子的圖示。
[圖16]擴充SPS之語法的另一例子的圖示。
[圖17]擴充slice_layer之定義的說明圖。
[圖18]擴充slice_layer之語法的例子的圖示。
[圖19]擴充切片標頭之語法的例子的圖示。
[圖20]擴充切片標頭之語法的另一例子的圖示。
[圖21]NAL單元之語法的例子的圖示。
[圖22]slice_layer之語法的例子的圖示。
[圖23]編碼串流之另一構成例的圖示。
[圖24]電腦之一實施形態之構成例的圖示。
[圖25]適用了本技術之電視裝置的概略構成例的圖示。
[圖26]適用了本技術之行動電話機的概略構成例的圖示。
[圖27]適用了本技術之記錄再生裝置的概略構成例的圖示。
[圖28]適用了本技術之攝像裝置的概略構成例的圖示。
<本說明書中的景深影像(視差關連影像)之說明>圖1係關於視差與縱深的說明圖。
如圖1所示，被攝體M的彩色影像被配置在 位置C1的攝影機c1與被配置在位置C2的攝影機c2所拍攝時，被攝體M的從攝影機c1(攝影機c2)起算之縱深方向的距離亦即縱深Z，係被下式(a)所定義。
[數1]Z=(L/d)×f．．．(a)
此外，L係為位置C1與位置C2的水平方向之距離(以下稱作攝影機間距離)。又，d係為，攝影機c1所拍攝到之彩色影像上的被攝體M之位置的從彩色影像中心起算的水平方向之距離u1，減去攝影機c2所拍攝到之彩色影像上的被攝體M之位置的從彩色影像中心起算的水平方向之距離u2之後的值，亦即視差。然後，f係為攝影機c1的焦距，在式(a)中，假設攝影機c1與攝影機c2的焦距係為相同。
如式(a)所示，視差d與縱深Z，係可一對一地轉換。因此，在本說明書中，將呈現被攝影機c1與攝影機c2所拍攝到之2視點彩色影像之視差d的影像與呈現縱深Z之影像，總稱為景深影像。
此外，景深影像係只要是呈現視差d或縱深Z的影像即可，作為景深影像的像素值，係並非視差d或縱深Z其本身，可以採用將視差d予以正規化後的值、將縱深Z之倒數1/Z予以正規化後的值等。
將視差d以8bit(0~255)進行正規化後的值 I，係可藉由下式(b)而求出。此外，視差d的正規化位元數係不限定於8bit，亦可為10bit、12bit等之其他位元數。
此外，於式(b)中，Dmax係為視差d的最大值，Dmin係為視差d的最小值。最大值Dmax與最小值Dmin，係可用1畫面單位來設定，也可用複數畫面單位來設定。
又，將縱深Z之倒數1/Z以8bit(0~255)進行正規化後的值y，係可藉由下式(c)而求出。此外，縱深Z之倒數1/Z的正規化位元數係不限定於8bit，亦可為10bit、12bit等之其他位元數。
此外，於式(c)中，Zfar係為縱深Z的最大值，Znear係為縱深Z的最小值。最大值Zfar與最小值 Znear，係可用1畫面單位來設定，也可用複數畫面單位來設定。
如此，在本說明書中，考慮到視差d與縱深Z是可一對一地轉換，而把將視差d正規化後之值I當作像素值的影像、和將縱深Z之倒數1/Z正規化後之值y當作像素值的影像，總稱為景深影像。此處，景深影像的色彩格式係設為YUV420或YUV400，但亦可為其他色彩格式。
此外，若不是當作景深影像之像素值，而是著眼於值I或值y之資訊本身，則可將值I或值y視為景深資訊(視差關連值)。甚至，可將值I或值y所映射而成者，視為景深地圖。
<一實施形態> <編碼裝置的一實施形態之構成例>
圖2係適用了本技術之編碼裝置的一實施形態之構成例的區塊圖。
圖2的編碼裝置50係由多視點彩色影像攝像部51、多視點彩色影像補正部52、多視點景深影像生成部53、景深影像資訊生成部54、及多視點影像編碼部55所構成。編碼裝置50，係將景深影像之相關資訊亦即景深影像資訊(編碼參數)，予以傳輸。
具體而言，編碼裝置50的多視點彩色影像攝像部51，係拍攝多視點的彩色影像，成為多視點彩色影 像而供給至多視點彩色影像補正部52。又，多視點彩色影像攝像部51，係生成各視點的外部參數、景深最大值(視差關連最大值)、及景深最小值(視差關連最小值)(細節將於後述)。多視點彩色影像攝像部51，係將外部參數、景深最大值、及景深最小值供給至景深影像資訊生成部54，並且將景深最大值與景深最小值供給至多視點景深影像生成部53。
此外，外部參數係為，將多視點彩色影像攝 像部11的水平方向位置加以定義的參數。又，所謂景深最大值，係當多視點景深影像生成部53所生成之景深影像是呈現縱深Z的影像時，則為縱深Z的最大值Zfar；若為呈現視差d的影像時，則為視差d的最大值Dmax。又，所謂景深最小值，係當多視點景深影像生成部53所生成之景深影像是呈現縱深Z的影像時，則為縱深Z的最小值Znear；若為呈現視差d的影像時，則為視差d的最小值Dmin。
多視點彩色影像補正部52，係對從多視點彩 色影像攝像部51所供給之多視點彩色影像，進行色彩補正、亮度補正、失真補正等。藉此，補正後的多視點彩色影像中的多視點彩色影像攝像部51的水平方向(X方向)之焦距，係在全視點中為共通。多視點彩色影像補正部52，係將補正後的多視點彩色影像當作多視點補正彩色影像而供給至多視點景深影像生成部53與多視點影像編碼部55。
多視點景深影像生成部53，係基於從多視點 彩色影像攝像部51所供給之景深最大值與景深最小值，而從多視點彩色影像補正部52所供給的多視點補正彩色影像，生成多視點之景深影像。具體而言，多視點景深影像生成部53，係針對多視點之各視點，根據多視點補正彩色影像而求出各像素的視差關連值，將該視差關連值基於景深最大值與景深最小值而進行正規化。然後，多視點景深影像生成部53，係針對多視點之各視點，生成將已被正規化的各像素之視差關連值當作景深影像之各像素之像素值的景深影像。
又，多視點景深影像生成部53，係將已被生 成之多視點之景深影像當作多視點景深影像而供給至多視點影像編碼部55。
景深影像資訊生成部54，係生成各視點的景 深影像資訊。具體而言，景深影像資訊生成部54係基於從多視點彩色影像攝像部51所供給之各視點的外部參數，來求出各視點的攝影機間距離。所謂攝影機間距離，係拍攝多視點景深影像所對應之各視點之彩色影像時的多視點彩色影像攝像部51的水平方向之位置、和拍攝該彩色影像和具有對應於景深影像之視差之彩色影像時的多視點彩色影像攝像部51的水平方向之位置之間的距離。
景深影像資訊生成部54，係將來自多視點彩 色影像攝像部51的各視點的景深最大值及景深最小值，以及各視點的攝影機間距離，當作各視點的景深影像資 訊。景深影像資訊生成部54，係將各視點的景深影像資訊，供給至多視點影像編碼部55。
多視點影像編碼部55，係將來自多視點彩色 影像補正部52的多視點補正彩色影像和來自多視點景深影像生成部53的多視點景深影像，以遵從HEVC(High Efficiency Video Coding)方式的方式，進行編碼。此外，關於HEVC方式，到2011年8月目前為止，是以Draft方式，在2011年5月20日發行了Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,GaryJ.Sullivian,"WD3：Working Draft3 of High-Efficiency Video Coding",JCTVC-E603_d5(version5)。
又，多視點影像編碼部55，係將從景深影像 資訊生成部54所供給之各視點的景深影像資訊，按照每一視點而進行差分編碼，生成含有差分編碼結果的NAL(Network Abstraction Layer)單元亦即DPS(Depth Parameter Set)(DRPS)等。然後，多視點影像編碼部55係已被編碼的由多視點補正彩色影像及多視點景深影像、DPS等所成之位元串流，當作編碼串流(編碼位元串流)而予以傳輸。
如以上所述，多視點影像編碼部55，係將景 深影像資訊進行差分編碼而傳輸，因此可削減景深影像資訊的編碼量。為了提供舒適的3D影像，景深影像資訊係在圖像間大幅變化的可能性很高，因此進行差分編碼這件事在編碼量的削減上是有效的。
又，多視點影像編碼部55，係使景深影像資 訊被包含在DPS內而傳輸，因此可以防止像是包含在切片標頭內而傳輸時那樣會重複傳輸同一景深影像資訊的事態發生。其結果為，可更為削減景深影像資訊的編碼量。
<多視點影像編碼部之構成例>
圖3係圖2的多視點影像編碼部55之構成例的區塊圖。
圖3的多視點影像編碼部55，係由SPS編碼部61、PPS編碼部62、DPS編碼部63、切片標頭編碼部64、及切片編碼部65所構成。
多視點影像編碼部55的SPS編碼部61，係以序列單位而生成SPS，供給至PPS編碼部62。PPS編碼部62，係以圖像單位而生成PPS，附加至從SPS編碼部61所供給之SPS中，然後供給至切片標頭編碼部64。
DPS編碼部63，係基於從圖2的景深影像資訊生成部54所供給之各視點的景深影像資訊，而針對各視點之景深影像的每一切片，將景深影像資訊進行差分編碼。具體而言，DPS編碼部63係當處理對象之切片的類型是畫面內類型時，則將該切片的景深影像資訊，直接當成差分編碼結果。另一方面，當處理對象之切片的類型是畫面間類型時，則DPS編碼部63係將該切片之景深影像資訊、與該切片前面1個切片之景深影像資訊的差分，當成差分編碼結果。
又，DPS編碼部63係成為設定部之機能，當 含有景深影像資訊之差分編碼結果的DPS尚未被生成時，則將該差分編碼結果，設定至DPS內。又，DPS編碼部63係對該DPS賦予用來唯一識別DPS之ID(識別編號)亦即DPS_id(索引識別元)，設定至DPS內。然後，DPS編碼部63係將景深影像資訊之差分編碼結果與被設定了DPS_id的DPS，供給至切片標頭編碼部64。
另一方面，DPS編碼部63係當含有景深影像 資訊之差分編碼結果的DPS已經被生成時，則將該DPS的DPS_id，供給至切片標頭編碼部64。
切片標頭編碼部64係成為設定部之機能，將 從DPS編碼部63所供給之DPS的DPS_id或DPS_id，設定至對應視點的景深影像的切片的切片標頭內。又，切片標頭編碼部64，係生成多視點彩色影像的切片標頭。切片標頭編碼部64，係將從DPS編碼部63所供給之DPS與多視點景深影像及多視點彩色影像的切片標頭，再附加至從PPS編碼部62所供給之附加有SPS的PPS，供給至切片編碼部65。
切片編碼部65係成為編碼部之機能，將來自 多視點彩色影像補正部52的多視點補正彩色影像和來自多視點景深影像生成部53的多視點景深影像，以切片單位而用遵從HEVC方式的方式進行編碼。此時，切片編碼部65係使用，從切片標頭編碼部64所供給之切片標頭中所含之DPS_id的DPS中所含之景深影像資訊。
切片編碼部65係對從切片標頭編碼部64所 供給之已被附加有SPS、PPS、及DPS的切片標頭，附加上編碼結果所得之切片單位的編碼資料，而生成編碼串流。切片編碼部65係成為傳輸部之機能，將編碼串流予以傳輸。
<編碼串流之構成例>
圖4係編碼串流之構成例的圖示。
在圖4中係為了說明上的方便，而僅記載了 多視點景深影像之切片的編碼資料，但實際上在編碼串流中係還配置有多視點彩色影像之切片的編碼資料。
如圖4所示，在編碼串流中，序列單位的 SPS、圖像單位的PPS、切片單位的DPS、切片標頭所被附加而成的切片單位之編碼資料，係被依序配置。
在圖4的例子中，第0個PPS亦即PPS#0所 對應之圖像的切片當中的畫面內類型之切片的景深最小值係為10，景深最大值係為50，攝影機間距離係為100。 因此，作為該切片的景深影像資訊的差分編碼結果，會生成景深最小值「10」、景深最大值「50」、及攝影機間距離「100」其本身。然後，由於含有該差分編碼結果的DPS尚未被生成，因此含有該差分編碼結果的DPS係被設定至編碼串流中，作為DPS_id係賦予了例如0。然後，作為DPS_id的0係被含在切片標頭中。
又，在圖4的例子中，PPS#0所對應之圖像 的切片當中的第1個畫面間類型之切片的景深最小值係為9，景深最大值係為48，攝影機間距離係為105。因此，作為該切片的景深影像資訊的差分編碼結果，會生成從該切片之景深最小值「9」，減去編碼順序上前1個畫面內類型之切片的景深最小值「10」後的差分「-1」。同樣地，景深最大值之差分「-2」與攝影機間距離之差分「5」，係被當成景深影像資訊之差分編碼結果而生成。
然後，由於含有該差分編碼結果的DPS尚未 被生成，因此含有該差分編碼結果的DPS係被設定至編碼串流中，作為DPS_id係賦予了例如1。然後，作為DPS_id的1係被含在切片標頭中。
然後，在圖4的例子中，PPS#0所對應之圖 像的切片當中的第2個畫面間類型之切片的景深最小值係為7，景深最大值係為47，攝影機間距離係為110。因此，作為該切片的景深影像資訊的差分編碼結果，會生成從該切片之景深最小值「7」，減去編碼順序上前1個的第1個畫面間類型之切片的景深最小值「9」後的差分「-2」。同樣地，景深最大值之差分「-1」與攝影機間距離之差分「5」係被當成景深影像資訊之差分編碼結果而生成。
然後，由於含有該差分編碼結果的DPS尚未 被生成，因此含有該差分編碼結果的DPS係被設定至編碼串流中，作為DPS_id係賦予了例如2。然後，作為DPS_id的2係被含在切片標頭中。
4]又，在圖4的例子中，第1個PPS亦即PPS #1所對應之圖像的3個畫面間類型之切片的景深影像資訊的差分編碼結果，係與PPS#0所對應之圖像的切片當中的第2個畫面間類型之切片的景深影像資訊的差分編碼結果相同。因此，對這3個畫面間類型之切片係不設定DPS，在該切片的切片標頭中係含有作為DPS_id的2。
<DPS之語法的例子>
圖5係DPS之語法的例子的圖示。
如圖5的第2行所示，在DPS中係含有，被 賦予有DPS的DPS_id(depth_parameter_set_id)。又，如第14行所示，在DPS中係含有景深最大值及景深最小值(depth_ranges)。然後，如第17行所示，在DPS中係含有攝影機間距離(vsp_param)。
<切片標頭之語法的例子>
圖6係切片標頭之語法的例子的圖示。
如圖6的第3行至第7行所示，當被附加有 切片標頭的切片單位之編碼資料的NAL單元的類型nal_unit_type，是表示以3DVC(3維映像編碼)方式而被編碼的21時，亦即，切片標頭是景深影像的切片標頭時，切片類型slice_type是畫面間類型時，則切片標頭中係含有，表示是否對景深影像進行加權預測的旗標。
具體而言，切片類型slice_type是P時 (slice_type==P)，切片標頭中係含有，表示是否進行前或後方向之加權預測的旗標depth_weighted_pred_flag。另一方面，切片類型slice_type是B(slice_type==B)時，切片標頭中係含有，表示是否進行前及後方向之加權預測的旗標depth_weighted_bipred_flag。
又，如第8行至第10行所示，在進行加權預測 時，在切片標頭中係含有DPS_id(depth_parameter_set_id)。具體而言，切片類型slice_type為P，旗標depth_weighted_pred_flag為1時，或切片類型slice_type為B，旗標depth_weighted_bipred_flag為1時，會含有DPS_id(depth_parameter_set_id)。
此外，雖然省略圖示，但切片的編碼資料的 NAL單元的類型nal_unit_type為值21的情況下，切片類型slice_type為I時也是，會含有DPS_id。
圖6的語法係除了第3行至第10行的 NAL單元之類型nal_unit_type為21的情形的描述外，其於是和既存的切片標頭的語法相同。亦即，景深影像的切片標頭內的旗標depth_weighted_pred_flag或旗標depth_weighted_bipred_flag、DPS_id以外的資訊，係和彩色影像的切片標頭內的資訊相同。因此，和既存的編碼串流之間，可完全保有相容性。
又，由於在切片標頭中含有旗標 depth_weighted_pred_flag與旗標depth_weighted_bipred_flag，因此可以切片單位來設定旗標depth_weighted_pred_flag和旗標depth_weighted_bipred_flag。
<編碼裝置之處理的說明>
圖7係圖2的編碼裝置50之編碼處理的說明用流程圖。
於圖7的步驟S10中，編碼裝置50的多視點 彩色影像攝像部51，係拍攝多視點的彩色影像，成為多視點彩色影像而供給至多視點彩色影像補正部52。
於步驟S11中，多視點彩色影像攝像部51係 生成各視點的外部參數、景深最大值、及景深最小值。多視點彩色影像攝像部51，係將外部參數、景深最大值、及景深最小值供給至景深影像資訊生成部54，並且將景深最大值與景深最小值供給至多視點景深影像生成部53。
於步驟S12中，多視點彩色影像補正部52， 係對從多視點彩色影像攝像部51所供給之多視點彩色影像，進行色彩補正、亮度補正、失真補正等。多視點彩色影像補正部52，係將補正後的多視點彩色影像當作多視點補正彩色影像而供給至多視點景深影像生成部53與多視點影像編碼部55。
於步驟S13中，多視點景深影像生成部53， 係基於從多視點彩色影像攝像部51所供給之景深最大值與景深最小值，而從多視點彩色影像補正部52所供給的多視點補正彩色影像，生成多視點之景深影像。然後，多視點景深影像生成部53，係將已被生成之多視點之景深 影像當作多視點景深影像而供給至多視點影像編碼部55。
於步驟S14中，景深影像資訊生成部54，係 生成各視點的景深影像資訊，供給至多視點影像編碼部55。
於步驟S15中，多視點影像編碼部55，係進 行將多視點補正彩色影像及多視點景深影像以依照HEVC方式的方式加以編碼的多視點編碼處理。該多視點編碼處理的細節，將參照後述的圖8來說明。
於步驟S16中，多視點影像編碼部55係將步 驟S15之結果所生成的編碼串流予以傳輸，結束處理。
圖8係圖7的步驟S15的多視點編碼處理之 細節的說明用流程圖。
於圖8的步驟S31中，多視點影像編碼部55 的SPS編碼部61(圖3)，係生成序列單位的SPS，供給至PPS編碼部62。
於步驟S32中，PPS編碼部62，係生成圖像 單位的PPS，附加至從SPS編碼部61所供給之SPS中，然後供給至切片標頭編碼部64。以後的步驟S33至S37之處理，係以各視點之切片單位而被進行。
於步驟S33中，DPS編碼部63係進行，將處 理對象之視點的切片(以下稱作對象視點切片)的DPS予以生成的DPS生成處理。該DPS生成處理的細節，將參照後述的圖9來說明。
於步驟S34中，切片標頭編碼部64，係將從 DPS編碼部63所供給之DPS的DPS_id或含DPS_id之對象視點切片的景深影像的切片標頭，予以生成。
於步驟S35中，切片標頭編碼部64，係將對 象視點切片的補正彩色影像的切片標頭，予以生成。然後，切片標頭編碼部64，係將DPS與多視點景深影像及多視點彩色影像的切片標頭，再附加至從PPS編碼部62所供給之附加有SPS的PPS，供給至切片編碼部65。
於步驟S36中，切片編碼部65係使用從切片 標頭編碼部64所供給之對象視點切片的景深影像的切片標頭中所含之DPS_id的DPS中所含之景深影像資訊，將從多視點景深影像生成部53所供給之對象視點切片的景深影像，以依照HEVC方式之3DVC方式進行編碼。
於步驟S37中，切片編碼部65係將從多視點 景深影像生成部53所供給之對象視點切片的補正彩色影像，以依照HEVC方式之方式進行編碼。切片編碼部65係對從切片標頭編碼部64所供給之已被附加有SPS、PPS、及DPS的切片標頭，附加上步驟S36及S37的編碼結果所得之切片單位的編碼資料，而生成編碼串流。然後，處理係返回至圖7的步驟S15，前進至步驟S16。
圖9係圖8的步驟S33的DPS生成處理之細 節的說明用流程圖。
於圖9的步驟S51中，DPS編碼部63係判定 對象視點切片之類型是否為畫面內類型。當步驟S51中被 判定為對象視點切片之類型是畫面內類型時，則處理係前進至步驟S52。
於步驟S52中，DPS編碼部63係判定，含有 從圖2之景深影像資訊生成部54所供給之對象視點切片之景深影像資訊的DPS是否已經被生成。
當步驟S52中判定為DPS尚未被生成時，則 於步驟S53中，DPS編碼部63係生成將對象視點切片之景深影像資訊當作差分編碼結果而含有的DPS，使處理前進至步驟S57。
另一方面，若步驟S51中判定對象視點切片 之類型不是畫面內類型，亦即對象視點切片之類型是畫面間類型時，則處理係前進至步驟S54。
於步驟S54中，DPS編碼部63係將對象視點 切片之景深影像資訊、與對象視點切片之編碼順序上前1個之同一視點之切片之景深影像資訊的差分，當作差分編碼結果而予以求出，藉此以進行差分編碼。
於步驟S55中，DPS編碼部63係判定，含有 步驟S54所求出之差分編碼結果的DPS，是否已經被生成。當步驟S55中判定為DPS尚未被生成時，則於步驟S56中，DPS編碼部63係生成含有步驟S54所求出之差分編碼結果的DPS，使處理前進至步驟S57。
於步驟S57中，DPS編碼部63係對步驟S53或步驟S56所生成之DPS賦予DPS_id，包含在DPS中。DPS編碼部63，係將含有DPS_id的DPS予以保持。所被 保持的DPS，係在步驟S52及步驟S55之判定時會被使用。
於步驟S58中，DPS編碼部63係將含有 DPS_id之DPS，輸出至切片標頭編碼部64。然後，處理係返回至圖8的步驟S33，前進至步驟S34。
另一方面，當步驟S52中判定為DPS已經被 生成時，則於步驟S59中，DPS編碼部63係將該DPS的DPS_id從步驟S57所保持的DPS中予以測出，輸出至切片標頭編碼部64。然後，處理係返回至圖8的步驟S33，前進至步驟S34。
又，當步驟S55中判定為DPS已經被生成 時，則於步驟S60中，DPS編碼部63係將該DPS的DPS_id從步驟S57所保持的DPS中予以測出，輸出至切片標頭編碼部64。然後，處理係返回至圖8的步驟S33，前進至步驟S34。
如以上，編碼裝置50係將景深影像資訊設定 至DPS內，包含在編碼串流中而傳輸，因此可在切片間共用景深影像資訊。其結果為，相較於將景深影像資訊包含在切片標頭等中傳輸的情形，可降低景深影像資訊的冗長性，削減編碼量。
又，編碼裝置50係在SPS或PPS這類與既存 參數集不同的DPS中設定景深影像資訊而生成編碼串流，因此可生成與既存之編碼串流具有相容性的編碼串流。
甚至，編碼裝置50將DPS_id按照DPS之設 定順序而賦予的情況下，在解碼側上，可基於DPS中所含之DPS_id而偵測出傳輸中發生了DPS遺失之事實。因此，此情況下，編碼裝置50係可進行容錯性高的傳輸。
此外，在編碼裝置50中，多視點景深影像是 由多視點補正彩色影像所生成，但亦可在多視點彩色影像的攝像時，藉由偵測視差d或縱深Z的感測器而加以生成。
<解碼裝置的一實施形態之構成例>
圖10係將從圖2之編碼裝置50所傳輸之編碼串流予以解碼，適用了本技術的解碼裝置的一實施形態之構成例的區塊圖。
圖10的解碼裝置80，係由：多視點影像解碼 部81、視點合成部82、及多視點影像顯示部83所構成。
解碼裝置80的多視點影像解碼部81，係收取 從圖2之編碼裝置50所傳輸過來的編碼串流。多視點影像解碼部81，係從所收取的編碼串流中，抽出SPS、PPS、DPS、切片標頭、切片單位的編碼資料等。然後，多視點影像解碼部81，係針對每一視點，使用被切片標頭中所含之DPS_id所特定之DPS，將該切片標頭所對應之切片的景深影像的編碼資料，以對應於圖2之多視點影像編碼部55之編碼方式的方式進行解碼，生成景深影像。又，多視點影像解碼部81，係將多視點彩色影像的 切片單位的編碼資料，以多視點影像編碼部55的編碼方式所對應的方式進行解碼，生成多視點補正彩色影像。多視點影像解碼部81，係將已被生成之多視點補正彩色影像及多視點景深影像，供給至視點合成部82。
視點合成部82，係對來自多視點影像解碼部 81的多視點景深影像，進行往多視點影像顯示部83所對應之視點數的視點(以下稱作顯示視點)的撓曲處理(細節將於後述)。此時，亦可使用景深影像資訊。
此外，所謂撓曲處理，係只從某個視點之影 像往別的視點之影像的幾何轉換之處理。又，顯示視點中係含有，對應於多視點彩色影像之視點以外的視點。
又，視點合成部82，係使用撓曲處理之結果 所得的顯示視點之景深影像，而對從多視點影像解碼部81所供給之多視點補正彩色影像，進行往顯示視點的撓曲處理。此時，亦可使用景深影像資訊。視點合成部82，係將撓曲處理之結果所得之顯示視點的彩色影像，當作多視點合成彩色影像而供給至多視點影像顯示部83。
多視點影像顯示部83，係將從視點合成部82 所供給之多視點合成彩色影像，以每一視點的可視角度不同的方式，加以顯示。視聽者係藉由以左右各眼來觀看任意2視點之各影像，可不必佩戴眼鏡就能從複數視點來觀看3D影像。
<多視點影像解碼部之構成例>
圖11係圖10的多視點影像解碼部81之構成例的區塊圖。
圖11的多視點影像解碼部81係由SPS解碼 部101、PPS解碼部102、DPS解碼部103、切片標頭解碼部104、及切片解碼部105所構成。
多視點影像解碼部81的SPS解碼部101，係 收取從圖2之編碼裝置50所傳輸過來的編碼串流。SPS解碼部101，係從該編碼串流中抽出SPS。SPS解碼部101，係將所抽出的SPS和編碼串流，供給至PPS解碼部102和DPS解碼部103。
PPS解碼部102，係從SPS解碼部101所供給 之編碼串流中，抽出PPS。PPS解碼部102，係將所抽出的PPS、和從SPS解碼部101所供給之編碼串流，供給至切片標頭解碼部104。DPS解碼部103係成為取得部之機能，從SPS解碼部101所供給之編碼串流中，取得DPS。 又，DPS解碼部103係成為剖析處理部之機能，從DPS剖析(抽出)景深影像資訊，並保持之。該景深影像資訊，係因應需要而被供給至視點合成部82。
切片標頭解碼部104，係從PPS解碼部102 所供給之編碼串流中，抽出切片標頭。切片標頭解碼部104，係將被切片標頭中所含之DPS_id所特定之DPS的景深影像資訊，從DPS解碼部103讀出。切片標頭解碼部104，係將SPS、PPS、切片標頭、DPS、及編碼串流，供給至切片解碼部105。
切片解碼部105，係成為取得部之機能，從切 片標頭解碼部104所供給之編碼串流中，取得切片單位的編碼資料。又，切片解碼部105係成為生成部之機能，將從切片標頭解碼部104所供給之DPS中所含之差分編碼結果，基於該DPS所對應之切片的切片類型而予以解碼。
具體而言，切片解碼部105，係當DPS所對 應之切片的切片類型是畫面內類型時，則將該DPS中所含之差分編碼結果，直接當作解碼結果而進行解碼。另一方面，當DPS所對應之切片的切片類型是畫面間類型時，則切片解碼部105，係將該DPS中所含之差分編碼結果、和所保持的編碼順序上前1個切片的景深影像資訊，進行加算，將該結果所得之加算值，當作解碼結果。切片解碼部105，係將解碼結果當作景深影像資訊而加以保持。
又，切片解碼部105，係基於從切片標頭解碼 部104所供給SPS、PPS、及切片標頭、以及景深影像資訊，而以對應於切片編碼部65(圖3)之編碼方式的方式，將切片單位之編碼資料予以解碼。切片標頭解碼部104，係將解碼結果所得之多視點補正彩色影像與多視點景深影像，供給至圖10的視點合成部82。
<解碼裝置之處理的說明>
圖12係圖10的解碼裝置80的解碼處理的說明用流 程圖。此解碼處理，係例如當編碼串流被從圖2之編碼裝置50傳輸過來時，就會開始。
於圖12的步驟S61中，解碼裝置80的多視 點影像解碼部81，係將從圖2之編碼裝置50所傳輸過來的編碼串流，加以收取。
於步驟S62中，多視點影像解碼部81，係進 行將所收取到的編碼串流予以解碼的多視點解碼處理。該多視點解碼處理的細節，將參照後述的圖13來說明。
於步驟S63中，視點合成部82，係使用從多 視點影像解碼部81所供給之多視點補正彩色影像與多視點景深影像，生成多視點合成彩色影像。
於步驟S64中，多視點影像顯示部83，係將 從視點合成部82所供給之多視點合成彩色影像，以每一視點的可視角度不同的方式，加以顯示，結束處理。
圖13係圖12的步驟S62的多視點解碼處理 之細節的說明用流程圖。
於圖13的步驟S71中，多視點影像解碼部81 的SPS解碼部101，係從所收取到的編碼串流中，抽出SPS。SPS解碼部101，係將所抽出的SPS和編碼串流，供給至PPS解碼部102和DPS解碼部103。
於步驟S72中，PPS解碼部102，係從SPS解 碼部101所供給之編碼串流中，抽出PPS。PPS解碼部102，係將所抽出的PPS、和從SPS解碼部101所供給之SPS及編碼串流，供給至切片標頭解碼部104。
於步驟S73中，DPS解碼部103，係從SPS 解碼部101所供給之編碼串流中，抽出DPS，從DPS剖析出景深影像資訊並保持之。以後的步驟S74至S77之處理，係以各視點之切片單位而被進行。於步驟S74中，切片標頭解碼部104，係從PPS解碼部102所供給之編碼串流中，抽出對象視點切片的切片標頭。
於步驟S75中，切片標頭解碼部104，係將步 驟S74中所抽出的被切片標頭中所含之DPS_id所特定之DPS的景深影像資訊，從DPS解碼部103讀出。切片標頭解碼部104，係將SPS及PPS、對象視點切片的切片標頭及DPS、以及編碼串流，供給至切片解碼部105。
於步驟S76中，切片解碼部105，係將從切片 標頭解碼部104所供給之DPS中所含之差分編碼結果予以解碼，進行生成景深影像資訊的生成處理。該生成處理的細節，將參照後述的圖14來說明。
於步驟S77中，切片解碼部105，係從切片標 頭解碼部104所供給之編碼串流，抽出對象視點切片的編碼資料。
於步驟S78中，切片解碼部105，係基於從切 片標頭解碼部104所供給SPS、PPS、及切片標頭、以及景深影像資訊，而以對應於切片編碼部65(圖3)之編碼方式的方式，將對象視點切片的編碼資料予以解碼。切片解碼部105，係將解碼結果所得之補正彩色影像與景深影像，供給至圖10的視點合成部82。然後，處理係返回至 圖12的步驟S62，前進至步驟S63。
圖14係圖13的步驟S76的生成處理之細節 的說明用流程圖。
於步驟S91中，切片解碼部105係判定對象 視點切片類型是否為畫面內類型。當步驟S91中被判定為對象視點切片之類型是畫面內類型時，則處理係前進至步驟S92。
於步驟S92中，切片解碼部105，係將從切片 標頭解碼部104所供給之DPS中所含之景深最小值的差分編碼結果，當作解碼結果的景深影像資訊的景深最小值，並保持之。
於步驟S93中，切片解碼部105，係將從切片 標頭解碼部104所供給之DPS中所含之景深最大值的差分編碼結果，當作解碼結果的景深影像資訊的景深最大值，並保持之。
於步驟S94中，切片解碼部105，係將從切片 標頭解碼部104所供給之DPS中所含之攝影機間距離的差分編碼結果，當作解碼結果的景深影像資訊的攝影機間距離，並保持之。然後，處理係返回至圖13的步驟S76，前進至步驟S77。
另一方面，若步驟S91中判定對象視點切片 之類型不是畫面內類型，亦即對象視點切片之類型是畫面間類型時，則處理係前進至步驟S95。
於步驟S95中，切片解碼部105，係將從切片 標頭解碼部104所供給之DPS中所含之景深最小值的差分編碼結果，加算至所保持的編碼順序上前1個切片的景深最小值，以進行解碼。切片解碼部105，係將解碼結果所得之景深影像資訊的景深最小值加以保持。
於步驟S96中，切片解碼部105，係將從切片 標頭解碼部104所供給之DPS中所含之景深最大值的差分編碼結果，加算至所保持的編碼順序上前1個切片的景深最大值，以進行解碼。切片解碼部105，係將解碼結果所得之景深影像資訊的景深最大值加以保持。
於步驟S97中，切片解碼部105，係將從切片 標頭解碼部104所供給之DPS中所含之攝影機間距離的差分編碼結果，加算至所保持的編碼順序上前1個切片的攝影機間距離，以進行解碼。切片解碼部105，係將解碼結果所得之景深影像資訊的攝影機間距離加以保持。然後，處理係返回至圖13的步驟S76，前進至步驟S77。
如以上，解碼裝置80係可將藉由在DPS內設定景深影像資訊而削減了編碼量的編碼串流，予以解碼。又，由於景深影像資訊是被包含在編碼串流中，因此解碼裝置80係可將編碼時使用了景深影像資訊的編碼串流，予以解碼。
又，由於在SPS或PPS這類與既存參數集不同的DPS中含有景深影像資訊，因此在撓曲處理等的後處理時可容易使用景深影像資訊。然後，由於DPS係在切片單位的編碼資料前面被集中配置，因此視點合成部 82係可在解碼前整批取得景深影像資訊。
此外，景深影像資訊係即使不被使用於多視 點景深影像的編碼或解碼也無妨。
又，在上述的實施形態中，雖然設計成在切 片標頭裡含有DPS_id，但例如景深影像資訊是以序列單位(GOP(group of pictures)單位)而被設定時，亦可將既存的SPS予以擴充，在擴充後的SPS(以下稱作擴充SPS)中含有DPS_id。
此時，擴充SPS的語法，係例如圖15所示。 亦即，擴充SPS係如第2行所示，含有用來識別DPS之存在的旗標depth_range_present_flag(識別資訊)，如第3行所示，若旗標depth_range_present_flag為1則含有DPS_id(depth_parameter_set_id)。
又，此情況下，亦可如圖16的第5行 及第6行所示，將旗標depth_weighted_pred_flag與旗標depth_weighted_bipred_flag以序列單位進行設定，使其包含在擴充SPS中。
又，亦可不是既存的SPS，而是將既存的切 片標頭予以擴充，在擴充後的切片標頭(以下稱作擴充切片標頭)中含有DPS_id。
此情況下，例如，slice_layer會被擴充，如圖 17所示，NAL單元之類型nal_unit_type為21的NAL單元，亦即以3DVC方式而被編碼成的編碼資料的NAL單元的slice_layer，是定義了已被擴充的slice_layer (slice_layer_3dvc_extension_rbsp)(以下稱作擴充slice_layer)。此外，如圖17所示，DPS的NAL單元之類型nal_unit_type，係為與SPS或PPS等之既存NAL單元不同的16。
又，如圖18所示，是定義了擴充slice_layer(slice_layer_3dvc_extension_rbsp)的編碼資料係由擴充切片標頭(slice_header_3dvc_extension)與切片單位的編碼資料(slice_data)所構成。
擴充切片標頭(slice_header_3dvc_extension)的語法，係例如圖19所示。亦即，如圖19的第2至第4行所示，擴充切片標頭(slice_header_3dvc_extension)，係不僅是既存的切片標頭(slice_header)，若旗標depth_weighted_pred_flag或depth_weighted_bipred_flag為1時則還含有DPS_id(depth_parameter_set_id)。
此外，在擴充切片標頭(slice_header_3dvc_extension)中，係如圖20所示，亦可含有旗標depth_weighted_pred_flag或depth_weighted_bipred_flag。
如圖19或圖20所示，由於擴充切片標頭中係還含有既存的切片標頭，因此與既存的編碼串流之間，可完全保持相容性。
又，亦可不是如圖17及圖18所示般地將slice_layer予以擴充，而是以既存的slice_layer來定義擴充切片標頭(slice_header_3dvc_extension)。
此情況下，如圖21的第15行及第16行所示，在NAL單元中，若NAL單元之類型nal_unit_type為 21，則會含有用來表示是否為3DVC方式用之NAL單元的旗標3dvc_extension_flag。
又，如圖22的第6行至第8行所示，當旗標 3dvc_extension_flag係為表示是3DVC方式用之NAL單元的1時，則定義了slice_layer的編碼資料是由擴充切片標頭(slice_header_3dvc_extension)與切片單位的編碼資料(slice_data)所構成。
甚至，在上述的實施形態中，雖然設計成如 圖4所示，在切片間共用DPS，在切片標頭中含有對應之切片的DPS的DPS_id，但亦可如圖23所示，對每一切片設定DPS，對各切片的編碼資料，附加DPS。此情況下，對DPS係不賦予DPS_id，在切片標頭中係不含有DPS_id。
<適用了本技術之電腦的說明>
其次，上述一連串處理，係可藉由的硬體來進行，也可藉由軟體來進行。在以軟體來進行一連串之處理時，構成該軟體的程式，係可安裝至通用的電腦等。
此處，圖24係圖示了執行上述一連串處理的程式所被安裝之電腦的一實施形態之構成例。
程式是可預先被記錄在內建於電腦中的做為記錄媒體之記憶部808或ROM(Read Only Memory)802。
又或者，程式係亦可先儲存(記錄)在可移除式媒體811中。此種可移除式媒體811，係可以所謂套裝軟 體的方式來提供。此處，作為可移除式媒體811係例如有軟碟片、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)碟、DVD(Digital Versatile Disc)、磁碟、半導體記憶體等。
此外，程式除了可從如上述的可移除式媒體 811透過驅動機810而安裝至電腦以外，還可透過通訊網或播送網而下載至電腦中，安裝至內建記憶部808。亦即，程式係可例如從下載網站，透過數位衛星播送用的人造衛星，以無線而傳輸至電腦，或透過LAN(Local Area Network)、網際網路這類網路，以有線方式而傳輸至電腦。
電腦係內載有CPU(Central Processing Unit) 801，對CPU801係透過匯流排804而連接有輸出入介面805。
CPU801係一旦透過輸出入介面805藉由使用 者操作輸入部806等而進行了指令輸入，則會聽從之而執行ROM802中所儲存的程式。或者，CPU801係將記憶部808中所儲存的程式，載入至RAM(Random Access Memory)803中而加以執行。
藉此，CPU801係會進行依照上述流程圖之處 理，或是由上述區塊圖之構成所進行之處理。然後，CPU801係將其處理結果，因應需要，例如，透過輸出入介面805而從輸出部807加以輸出，或者從通訊部809進行送訊，或甚至記錄在記憶部808中等。
此外，輸入部806係由鍵盤、滑鼠、麥克風 等所構成。又，輸出部807係由LCD(Liquid Crystal Display)或揚聲器等所構成。
此處，於本說明書中，電腦依照程式而進行 之處理，係並不一定依照流程圖方式所記載之順序而時間序列性地進行。亦即，電腦依照程式所進行的處理，係包含可平行地或個別地執行之處理(例如平行處理或是物件所致之處理)。
又，程式係可被1個電腦(處理器)所處理，也 可被複數電腦分散處理。甚至，程式係亦可被傳輸至遠方的電腦而執行之。
本技術係可適用於，透過衛星播送、有線電 視(TV)、網際網路、及行動電話機等之網路媒體而進行通訊之際，或是在光碟、磁碟、及快閃記憶體這類記憶媒體上進行處理之際所使用的編碼裝置或解碼裝置。
又，上述的編碼裝置或解碼裝置，係可適用於任意的電子機器。以下說明該例子。
<電視裝置之構成例>
圖25係例示了適用了本技術的電視裝置的概略構成。電視裝置900係具有：天線901、選台器902、解多工器903、解碼器904、映像訊號處理部905、顯示部906、聲音訊號處理部907、揚聲器908、外部介面部909。再者，電視裝置900係還具有控制部910、使用者 介面部911等。
選台器902，係從天線901所接收到的播送波 訊號中將所望之頻道加以選台然後進行解調，將所得到之編碼串流，輸出至解多工器903。
解多工器903係從編碼串流中抽出視聽對 象之節目的映像或聲音的封包，將所抽出之封包的資料，輸出至解碼器904。又，解多工器903，係將EPG(Electronic Program Guide)等之資料的封包，供給至控制部910。此外，當有被進行擾頻時，則在解多工器等中進行擾頻之解除。
解碼器904，係進行封包的解碼處理，將解碼 處理所生成之映像資料輸出至映像訊號處理部905，將聲音資料輸出至聲音訊號處理部907。
映像訊號處理部905，係對映像資料，進行雜 訊去除或相應於使用者設定之映像處理等。映像訊號處理部905，係基於顯示部906中所被顯示之節目的映像資料、或透過網路所供給之應用程式，進行處理，而生成影像資料等。又，映像訊號處理部905，係生成項目選擇等的用來顯示選單畫面等所需的映像資料，將其重疊於節目的映像資料上。映像訊號處理部905，係基於如此所生成之映像資料，而生成驅動訊號，驅動顯示部906。
顯示部906，係根據來自映像訊號處理部905 的驅動訊號，來驅動顯示裝置(例如液晶顯示元件等)，而使節目的映像等被顯示出來。
聲音訊號處理部907，係對聲音資料實施雜訊 去除等之所定處理，進行處理後的聲音資料的D/A轉換處理或增幅處理，供給至揚聲器908而進行聲音輸出。
外部介面部909，係為用來與外部機器或網路 做連接所需的介面，進行映像資料或聲音資料等之資料收送訊。
控制部910上係連接有使用者介面部911。使 用者介面部911，係由操作開關或遙控訊號收訊部等所構成，會將相應於使用者操作之操作訊號，供給至控制部910。
控制部910係使用CPU(Central Processing Unit)或記憶體等所構成。記憶體係記憶著，被CPU所執行之程式或CPU進行處理上所必需的各種資料、EPG資料、透過網路所取得之資料等。記憶體中所記憶的程式，係在電視裝置900之啟動時等的所定時序上被CPU所讀出而執行。CPU係藉由執行程式，而控制著電視裝置900相應於使用者操作而動作的各部。
此外，在電視裝置900中係設有，用來將選 台器902、解多工器903、映像訊號處理部905、聲音訊號處理部907、外部介面部909等與控制部910做連接所需的匯流排912。
在如此構成的電視裝置中，係在解碼器904 裡設有本案之解碼裝置(解碼方法)的機能。因此，可將在使景深影像之相關資訊被包含在編碼串流內之際削減了編 碼串流之編碼量的編碼串流，予以解碼。
<行動電話機的構成例>
圖26係例示了適用了本技術的行動電話機的概略構成。行動電話機920係具有：通訊部922、聲音編解碼器923、攝影機部926、影像處理部927、多工分離部928、記錄再生部929、顯示部930、控制部931。這些係透過匯流排933而被彼此連接。
又，通訊部922上係連接有天線921，聲音編 解碼器923上係連接有揚聲器924和麥克風925。然後，控制部931上係還連接有操作部932。
行動電話機920，係在語音通話模式或資料通 訊模式等之各種模式下，進行聲音訊號之收送訊、電子郵件或影像資料之收送訊、影像攝影或資料記錄等之各種動作。
於語音通話模式中，由麥克風925所生成的聲音訊號，係以聲音編解碼器923進行往聲音資料之轉換或資料壓縮然後供給至通訊部922。通訊部922，係進行聲音資料之調變處理或頻率轉換處理等，生成送訊訊號。又，通訊部922係將送訊訊號供給至天線921然後發送至未圖示的基地台。又，通訊部922係進行天線921所接收之收訊訊號的增幅或頻率轉換處理及解調處理等，將所獲得之聲音資料，供給至聲音編解碼器923。聲音編解碼器923，係進行聲音資料的資料解壓縮或往類比聲音訊號之 轉換，對揚聲器924進行輸出。
又，於資料通訊模式中，當進行郵件送訊 時，控制部931係受理藉由操作部932之操作而被輸入的文字資料，將所被輸入的文字，顯示在顯示部930。又，控制部931係基於操作部932的使用者指示等而生成郵件資料，然後供給至通訊部922。通訊部922，係進行郵件資料的調變處理或頻率轉換處理等，將所得到之送訊訊號，從天線921進行送訊。又，通訊部922係進行天線921所接收之收訊訊號的增幅或頻率轉換處理及解調處理等，將郵件資料予以復原。將該郵件資料供給至顯示部930，進行郵件內容之顯示。
此外，行動電話機920係亦可將所收到之郵 件資料，以記錄再生部929而記憶至記憶媒體。記憶媒體係為可任意改寫的記憶媒體。例如，記憶媒體係為RAM或內建式快閃記憶體等之半導體記憶體、硬碟、磁碟、光磁碟、光碟、USB記憶體、或記憶卡等之可移除式媒體。
於資料通訊模式中，當要發送影像資料時， 是將攝影機部926所生成的影像資料，供給至影像處理部927。影像處理部927係進行影像資料的編碼處理，生成編碼資料。
多工分離部928係將影像處理部927所生成 之編碼資料、和從聲音編解碼器923所供給之聲音資料，以所定方式進行多工化然後供給至通訊部922。通訊部922，係進行多工化資料的調變處理或頻率轉換處理等， 將所得到之送訊訊號，從天線921進行送訊。又，通訊部922係進行天線921所接收之收訊訊號的增幅或頻率轉換處理及解調處理等，將多工化資料予以復原。將該多工化資料供給至多工分離部928。多工分離部928，係進行多工化資料的分離，將編碼資料供給至影像處理部927，將聲音資料供給至聲音編解碼器923。影像處理部927係進行編碼資料的解碼處理，生成影像資料。將該影像資料供給至顯示部930，進行所收到之影像的顯示。聲音編解碼器923，係將聲音資料轉換成類比聲音訊號而供給至揚聲器924，將所收到的聲音予以輸出。
在如此構成的行動電話裝置中，係在影像處 理部927裡設有本案之編碼裝置(編碼方法)及解碼裝置(解碼方法)的機能。因此，在使景深影像之相關資訊被包含在編碼串流內之際，可以削減編碼串流之編碼量。又，可將在使景深影像之相關資訊被包含在編碼串流內之際削減了編碼串流之編碼量的編碼串流，予以解碼。
<記錄再生裝置的構成例>
圖27係例示了適用了本技術的記錄再生裝置的概略構成。記錄再生裝置940，係將例如所收到之播送節目的音訊資料與視訊資料，記錄在記錄媒體中，將該已被記錄之資料，以相應於使用者之指示的時序，提供給使用者。又，記錄再生裝置940係亦可從例如其他裝置取得音訊資料或視訊資料，將它們記錄至記錄媒體。然後，記錄再生 裝置940係將記錄媒體中所記錄之音訊資料或視訊資料加以解碼並輸出，就可在監視器裝置等上，進行影像顯示或聲音輸出。
記錄再生裝置940係具有：選台器941、外部 介面部942、編碼器943、HDD(Hard Disk Drive)部944、碟片驅動機945、選擇器946、解碼器947、OSD(On-Screen Display)部948、控制部949、使用者介面部950。
選台器941，係從未圖示之天線所接收到的播 送訊號中，將所望之頻道予以選台。選台器941，係將所望之頻道的收訊訊號加以解調所得之編碼位元串流，輸出至選擇器946。
外部介面部942，係由IEEE1394介面、網路 介面部、USB介面、快閃記憶體介面等之至少一者所構成。外部介面部942，係為用來與外部機器或網路、記憶卡等做連接所需的介面，進行所記錄之映像資料或聲音資料等之資料收訊。
編碼器943係從外部介面部942所供給之映 像資料或聲音資料未被編碼時係以所定方式進行編碼，將編碼位元串流輸出至選擇器946。
HDD部944係將映像或聲音等之內容資料、 各種程式或其他資料等，記錄在內建的硬碟裡，或是再生時等從該當硬碟中加以讀出。
碟片驅動機945，係對所裝著之光碟，進行訊 號的記錄及再生。光碟係為例如DVD碟片(DVD-Video、 DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或Blu-ray碟片等。
選擇器946，係在映像或聲音之記錄時，選擇 來自選台器941或編碼器943之任一者的編碼位元串流，供給至HDD部944或碟片驅動機945之任一者。又，選擇器946，係在映像或聲音之再生時，將從HDD部944或碟片驅動機945所輸出之編碼位元串流，供給至解碼器947。
解碼器947，係進行編碼位元串流之解碼處 理。解碼器947，係將藉由進行解碼處理所生成之映像資料，供給至OSD部948。又，解碼器947，係將藉由進行解碼處理所生成之聲音資料，予以輸出。
OSD部948，係生成項目選擇等的用來顯示選 單畫面等所需的映像資料，將其重疊至從解碼器947所輸出的映像資料而輸出。
控制部949上係連接有使用者介面部950。使 用者介面部950，係由操作開關或遙控訊號收訊部等所構成，會將相應於使用者操作之操作訊號，供給至控制部949。
控制部949係使用CPU或記憶體等所構成。 記憶體係記憶著，被CPU所執行之程式或CPU進行處理上所必需的各種資料。記憶體中所記憶的程式，係在記錄再生裝置940之啟動時等的所定時序上被CPU所讀出而執行。CPU係藉由執行程式，而控制著記錄再生裝置940 相應於使用者操作而動作的各部。
在如此構成的記錄再生裝置中，係在解碼器 947裡設有本案之解碼裝置(解碼方法)的機能。因此，可將在使景深影像之相關資訊被包含在編碼串流內之際削減了編碼串流之編碼量的編碼串流，予以解碼。
<攝像裝置的構成例>
圖28係例示了適用了本技術的攝像裝置的概略構成。攝像裝置960，係拍攝被攝體，將被攝體的影像顯示在顯示部上，或是將其當作影像資料而記錄在記錄媒體中。
攝像裝置960係具有：光學區塊961、攝像部 962、攝影機訊號處理部963、影像資料處理部964、顯示部965、外部介面部966、記憶體部967、媒體驅動機968、OSD部969、控制部970。又，控制部970上係連接有使用者介面部971。再者，影像資料處理部964、外部介面部966、記憶體部967、媒體驅動機968、OSD部969、控制部970等，係透過匯流排972而被連接。
光學區塊961，係使用對焦透鏡或光圈機構等 所構成。光學區塊961，係使被攝體的光學像，成像在攝像部962的攝像面。攝像部962，係使用CCD或CMOS影像感測器所構成，藉由光電轉換而生成相應於光學像的電氣訊號然後供給至攝影機訊號處理部963。
攝影機訊號處理部963，係對從攝像部962所 供給之電氣訊號，進行KNEE補正或γ補正、色彩補正等各種相機訊號處理。攝影機訊號處理部963，係將攝影機訊號處理後的影像資料，供給至影像資料處理部964。
影像資料處理部964，係進行從攝影機訊號處 理部963所供給之影像資料的編碼處理。影像資料處理部964，係將藉由進行編碼處理所生成之編碼資料，供給至外部介面部966或媒體驅動機968。又，影像資料處理部964，係進行從外部介面部966或媒體驅動機968所供給之編碼資料的解碼處理。影像資料處理部964，係將藉由進行解碼處理所生成之影像資料，供給至顯示部965。 又，影像資料處理部964，係將從攝影機訊號處理部963所供給之影像資料供給至顯示部965，或將從OSD部969所取得之顯示用資料，重疊至影像資料而供給至顯示部965。
OSD部969，係生成由記號、文字或圖形所成 之選單畫面或小圖示等之顯示用資料而輸出至影像資料處理部964。
外部介面部966，係例如由USB輸出入端子 等所構成，在進行影像之印刷時，與印表機連接。又，外部介面部966上係因應需要而連接有驅動機，磁碟、光碟等之可移除式媒體會被適宜裝著，從其中所讀出之電腦程式，係因應需要而被安裝。再者，外部介面部966係還具有被連接至LAN或網際網路等之所定網路的網路介面。 控制部970係例如，依照來自使用者介面部971之指示， 從記憶體部967中讀出編碼資料，將其從外部介面部966透過網路而提供至所連接的其他裝置。又，控制部970係可將透過網路而從其他裝置所供給之編碼資料或影像資料，透過外部介面部966而加以取得，將其供給至影像資料處理部964等等。
作為被媒體驅動機968所驅動的記錄媒體， 係可使用例如磁碟、光磁碟、光碟、或半導體記憶體等之可讀寫之任意可移除式媒體。又，記錄媒體係為，身為可移除式媒體之種類亦可為任意，可以是磁帶裝置、也可以是碟片、也可以是記憶卡。當然，亦可以是非接觸IC卡等。
又，亦可將媒體驅動機968與記錄媒體一體 化，例如，由內建式硬碟機或SSD(Solid State Drive)等這類非可移除性之記憶媒體所構成。
控制部970係使用CPU或記憶體等所構成。 記憶體係記憶著，被CPU所執行之程式或CPU進行處理上所必需的各種資料等。記憶體中所記憶的程式，係在攝像裝置960之啟動時等的所定時序上被CPU所讀出而執行。CPU係藉由執行程式，而控制著攝像裝置960相應於使用者操作而動作的各部。
在如此構成的攝像裝置中，係在影像資料處 理部964裡設有本案之編碼裝置(編碼方法)及解碼裝置(解碼方法)的機能。因此，在使景深影像之相關資訊被包含在編碼串流內之際，可以削減編碼串流之編碼量。又，可 將在使景深影像之相關資訊被包含在編碼串流內之際削減了編碼串流之編碼量的編碼串流，予以解碼。
本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。
此外，本技術係亦可視為如下之構成。
(1)一種編碼裝置，其特徵為，具備：設定部，係將景深影像之相關資訊亦即景深影像資訊，設定成為與序列參數集及圖像參數集不同的參數集；和編碼部，係將前記景深影像予以編碼，生成編碼資料；和傳輸部，係將含有前記設定部所設定之前記參數集和前記編碼部所生成之前記編碼資料的編碼串流，予以傳輸。
(2)如前記(1)所記載之編碼裝置，其中，前記設定部係對前記參數集設定用來唯一識別前記參數集的ID；前記傳輸部係將含有對應於前記景深影像之前記ID的前記編碼串流，予以傳輸。
(3)如前記(2)所記載之編碼裝置，其中， 前記設定部係將切片單位之前記景深影像所對應的前記ID，設定在該景深影像的切片標頭中；前記傳輸部係將含有已被前記設定部所設定之前記切片標頭的前記編碼串流，予以傳輸。
(4)如前記(1)至(3)之任一項所記載之編碼裝置，其中，前記設定部係將前記景深影像資訊進行差分編碼，將前記景深影像資訊之差分編碼結果，設定成為前記參數集。
(5)如前記(1)至(4)之任一項所記載之編碼裝置，其中，前記編碼部係使用前記景深影像資訊來將前記景深影像予以編碼。
(6)如前記(1)至(5)之任一項所記載之編碼裝置，其中，前記景深影像資訊係含有：前記景深影像之像素值的最大值及最小值、和拍攝前記景深影像之攝影機間的距離。
(7)如前記(1)至(6)之任一項所記載之編碼裝置，其中，前記參數集中係被設定了，與序列參數集及圖像參數集不同的NAL(Network Abstraction Layer)單元類型。
(8)如前記(1)至(7)之任一項所記載之編碼裝置，其中， 前記設定部係設定，用來識別前記景深影像資訊之存在的識別資訊；前記傳輸部係將含有已被前記設定部所設定之前記識別資訊的前記編碼串流，予以傳輸。
(9)一種編碼方法，其特徵為，編碼裝置含有：設定步驟，係將景深影像之相關資訊亦即景深影像資訊，設定成為與序列參數集及圖像參數集不同的參數集；和編碼步驟，係將前記景深影像予以編碼，生成編碼資料；和傳輸步驟，係將含有前記設定步驟之處理所設定之前記參數集和前記編碼步驟之處理所生成之前記編碼資料的編碼串流，予以傳輸。
(10)一種解碼裝置，其特徵為，具備：取得部，係從含有被設定了景深影像之相關資訊亦即景深影像資訊的與序列參數集及圖像參數集不同之參數集、和前記景深影像之編碼資料的編碼串流中，取得前記參數集和前記編碼資料；和剖析處理部，係從前記取得部所取得之前記參數集，剖析出前記景深影像資訊；和解碼部，係將已被前記取得部所取得之前記編碼資料，予以解碼。
(11)如前記(10)所記載之解碼裝置，其中，對前記參數集係被設定了，用來唯一識別前記參數集的ID；前記編碼串流係含有對應於前記景深影像的前記ID。
(12)如前記(11)所記載之解碼裝置，其中，前記編碼串流係含有，被設定了切片單位之前記景深影像所對應之前記ID的切片標頭。
(13)如前記(10)至(12)之任一項所記載之解碼裝置，其中，還具備：生成部，係將前記景深影像資訊之差分編碼結果予以解碼而生成前記景深影像資訊；前記編碼串流係含有，被設定了前記景深影像資訊之差分編碼結果的前記參數集；前記生成部，係將被當成前記參數集而設定的前記景深影像資訊之差分編碼結果予以解碼，而生成前記景深影像資訊。
(14)如前記(10)至(13)之任一項所記載之解碼裝置，其中，前記解碼部，係使用已被前記剖析處理部所剖析出來 的前記景深影像資訊，而將前記編碼資料予以解碼。
(15)如前記(10)至(14)之任一項所記載之解碼裝置，其中，前記景深影像資訊係含有：前記景深影像之像素值的最大值及最小值、和拍攝前記景深影像之攝影機間的距離。
(16)如前記(10)至(15)之任一項所記載之解碼裝置，其中，前記參數集中係被設定了，與序列參數集及圖像參數集不同的NAL(Network Abstraction Layer)單元類型。
(17)如前記(10)至(16)之任一項所記載之解碼裝置，其中，前記編碼串流係含有，用來識別前記景深影像資訊之存在的識別資訊。
(18)一種解碼方法，其特徵為，解碼裝置含有：取得步驟，係從含有被設定了景深影像之相關資訊亦即景深影像資訊的與序列參數集及圖像參數集不同之參數集、和前記景深影像之編碼資料的編碼串流中，取得前記參數集和前記編碼資料；和剖析處理步驟，係從前記取得步驟之處理所取得之前 記參數集，剖析出前記景深影像資訊；和解碼步驟，係將已被前記取得步驟之處理所取得之前記編碼資料，予以解碼。

Claims (18)

  1. 一種編碼裝置，其特徵為，具備：設定部，係將景深影像之相關資訊亦即景深影像資訊，設定成為與序列參數集及圖像參數集不同的參數集；和編碼部，係將前記景深影像予以編碼，生成編碼資料；和傳輸部，係將含有前記設定部所設定之前記參數集和前記編碼部所生成之前記編碼資料的編碼串流，予以傳輸。
  2. 如請求項1所記載之編碼裝置，其中，前記設定部係對前記參數集設定用來唯一識別前記參數集的ID；前記傳輸部係將含有對應於前記景深影像之前記ID的前記編碼串流，予以傳輸。
  3. 如請求項2所記載之編碼裝置，其中，前記設定部係將切片單位之前記景深影像所對應的前記ID，設定在該景深影像的切片標頭中；前記傳輸部係將含有已被前記設定部所設定之前記切片標頭的前記編碼串流，予以傳輸。
  4. 如請求項1所記載之編碼裝置，其中，前記設定部係將前記景深影像資訊進行差分編碼，將前記景深影像資訊之差分編碼結果，設定成為前記參數集。
  5. 如請求項1所記載之編碼裝置，其中，前記編碼部係使用前記景深影像資訊來將前記景深影像予以編碼。
  6. 如請求項1所記載之編碼裝置，其中，前記景深影像資訊係含有：前記景深影像之像素值的最大值及最小值、和拍攝前記景深影像之攝影機間的距離。
  7. 如請求項1所記載之編碼裝置，其中，前記參數集中係被設定了，與序列參數集及圖像參數集不同的NAL(Network Abstraction Layer)單元類型。
  8. 如請求項1所記載之編碼裝置，其中，前記設定部係設定，用來識別前記景深影像資訊之存在的識別資訊；前記傳輸部係將含有已被前記設定部所設定之前記識別資訊的前記編碼串流，予以傳輸。
  9. 一種編碼方法，其特徵為，編碼裝置含有：設定步驟，係將景深影像之相關資訊亦即景深影像資訊，設定成為與序列參數集及圖像參數集不同的參數集；和編碼步驟，係將前記景深影像予以編碼，生成編碼資料；和傳輸步驟，係將含有前記設定步驟之處理所設定之前記參數集和前記編碼步驟之處理所生成之前記編碼資料的編碼串流，予以傳輸。
  10. 一種解碼裝置，其特徵為，具備：取得部，係從含有被設定了景深影像之相關資訊亦即景深影像資訊的與序列參數集及圖像參數集不同之參數集、和前記景深影像之編碼資料的編碼串流中，取得前記參數集和前記編碼資料；和剖析處理部，係從前記取得部所取得之前記參數集，剖析出前記景深影像資訊；和解碼部，係將已被前記取得部所取得之前記編碼資料，予以解碼。
  11. 如請求項10所記載之解碼裝置，其中，對前記參數集係被設定了，用來唯一識別前記參數集的ID；前記編碼串流係含有對應於前記景深影像的前記ID。
  12. 如請求項11所記載之解碼裝置，其中，前記編碼串流係含有，被設定了切片單位之前記景深影像所對應之前記ID的切片標頭。
  13. 如請求項10所記載之解碼裝置，其中，還具備：生成部，係將前記景深影像資訊之差分編碼結果予以解碼而生成前記景深影像資訊；前記編碼串流係含有，被設定了前記景深影像資訊之差分編碼結果的前記參數集；前記生成部，係將被當成前記參數集而設定的前記景深影像資訊之差分編碼結果予以解碼，而生成前記景深影 像資訊。
  14. 如請求項10所記載之解碼裝置，其中，前記解碼部，係使用已被前記剖析處理部所剖析出來的前記景深影像資訊，而將前記編碼資料予以解碼。
  15. 如請求項10所記載之解碼裝置，其中，前記景深影像資訊係含有：前記景深影像之像素值的最大值及最小值、和拍攝前記景深影像之攝影機間的距離。
  16. 如請求項10所記載之解碼裝置，其中，前記參數集中係被設定了，與序列參數集及圖像參數集不同的NAL(Network Abstraction Layer)單元類型。
  17. 如請求項10所記載之解碼裝置，其中，前記編碼串流係含有，用來識別前記景深影像資訊之存在的識別資訊。
  18. 一種解碼方法，其特徵為，解碼裝置含有：取得步驟，係從含有被設定了景深影像之相關資訊亦即景深影像資訊的與序列參數集及圖像參數集不同之參數集、和前記景深影像之編碼資料的編碼串流中，取得前記參數集和前記編碼資料；和剖析處理步驟，係從前記取得步驟之處理所取得之前記參數集，剖析出前記景深影像資訊；和解碼步驟，係將已被前記取得步驟之處理所取得之前記編碼資料，予以解碼。
TW102101632A 2012-01-31 2013-01-16 編碼裝置及編碼方法、以及解碼裝置及解碼方法 TW201342884A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012019025 2012-01-31

Publications (1)

Publication Number Publication Date
TW201342884A true TW201342884A (zh) 2013-10-16

Family

ID=48905067

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102101632A TW201342884A (zh) 2012-01-31 2013-01-16 編碼裝置及編碼方法、以及解碼裝置及解碼方法

Country Status (13)

Country Link
US (2) US10085007B2 (zh)
EP (1) EP2811741A4 (zh)
JP (2) JP5975301B2 (zh)
KR (1) KR20140123051A (zh)
CN (2) CN104683813B (zh)
AU (1) AU2013216395A1 (zh)
BR (1) BR112014018291A8 (zh)
CA (1) CA2860750A1 (zh)
MX (1) MX2014008979A (zh)
PH (1) PH12014501683A1 (zh)
RU (1) RU2014130727A (zh)
TW (1) TW201342884A (zh)
WO (1) WO2013115025A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101669524B1 (ko) 2012-02-01 2016-11-09 노키아 테크놀로지스 오와이 비디오 코딩을 위한 방법 및 장치
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
KR20150043218A (ko) * 2013-10-12 2015-04-22 삼성전자주식회사 부가 영상을 부호화하기 위한 스케일러블 비디오 부호화 방법 및 장치, 부가 영상을 복호화하기 위한 스케일러블 비디오 복호화 방법 및 장치
WO2015057038A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티-뷰 비디오의 디코딩 방법 및 장치
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇（北京）科技有限公司 一种码流及其封装方法、解码方法及装置
US11348265B1 (en) 2017-09-15 2022-05-31 Snap Inc. Computing a point cloud from stitched images
AU2019268844B2 (en) * 2018-05-15 2022-09-29 FG Innovation Company Limited Image encoding device, encoded stream extraction device, and image decoding device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2003092304A1 (ja) * 2002-04-25 2005-09-08 シャープ株式会社 画像データ生成装置、画像データ再生装置、および画像データ記録媒体
RU2007118660A (ru) 2004-10-21 2008-11-27 Сони Электроникс, Инк. (Us) Поддержка расширений качества изображения в формате файла усовершенствованного видеокодека
US20070098083A1 (en) 2005-10-20 2007-05-03 Visharam Mohammed Z Supporting fidelity range extensions in advanced video codec file format
CN101416149A (zh) * 2004-10-21 2009-04-22 索尼电子有限公司 以高级视频编解码器文件格式支持保真度范围扩展
KR101244911B1 (ko) * 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
AU2007243935A1 (en) * 2006-03-29 2007-11-08 Thomson Licensing Multi view video coding method and device
CN101669367A (zh) 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
KR20100014552A (ko) * 2007-03-23 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
EP2149262A4 (en) * 2007-04-25 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
JP2010157824A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
KR101260613B1 (ko) * 2008-12-26 2013-05-03 닛뽕빅터 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램
JP2010157826A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像復号装置、画像符復号方法およびそのプログラム
EP2387243A4 (en) * 2009-01-12 2012-12-26 Lg Electronics Inc DEPTH INFORMATION USING VIDEO SIGNAL PROCESSING METHOD AND DEVICE
US8457155B2 (en) * 2009-09-11 2013-06-04 Nokia Corporation Encoding and decoding a multi-view video signal
WO2013031575A1 (ja) * 2011-08-31 2013-03-07 ソニー株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
AU2013216395A1 (en) 2014-07-10
US10085007B2 (en) 2018-09-25
CN104067615B (zh) 2017-10-24
US20150042753A1 (en) 2015-02-12
JP6206559B2 (ja) 2017-10-04
MX2014008979A (es) 2014-08-27
CN104683813B (zh) 2017-10-10
CN104683813A (zh) 2015-06-03
PH12014501683A1 (en) 2014-11-10
BR112014018291A8 (pt) 2017-07-11
EP2811741A4 (en) 2015-06-24
WO2013115025A1 (ja) 2013-08-08
BR112014018291A2 (zh) 2017-06-20
RU2014130727A (ru) 2016-02-10
JP5975301B2 (ja) 2016-08-23
KR20140123051A (ko) 2014-10-21
CN104067615A (zh) 2014-09-24
US10205927B2 (en) 2019-02-12
EP2811741A1 (en) 2014-12-10
JP2016195456A (ja) 2016-11-17
CA2860750A1 (en) 2013-08-08
JPWO2013115025A1 (ja) 2015-05-11
US20180343437A1 (en) 2018-11-29

Similar Documents

Publication Publication Date Title
US10218958B2 (en) Image processing apparatus and image processing method
JP6206559B2 (ja) 復号装置、復号方法、プログラム、および記録媒体
WO2012128069A1 (ja) 画像処理装置および画像処理方法
US9667941B2 (en) Encoding device, encoding method, decoding device, and decoding method
US9338430B2 (en) Encoding device, encoding method, decoding device, and decoding method
US9762884B2 (en) Encoding device, encoding method, decoding device, and decoding method for encoding multiple viewpoints for compatibility with existing mode allowing fewer viewpoints
US9900595B2 (en) Encoding device, encoding method, decoding device, and decoding method
US20140072271A1 (en) Recording apparatus, recording method, reproduction apparatus, reproduction method, program, and recording reproduction apparatus
TWI545935B (zh) Encoding apparatus and an encoding method, a decoding apparatus and decoding method