JPWO2013115025A1 - 符号化装置および符号化方法、並びに、復号装置および復号方法 - Google Patents

符号化装置および符号化方法、並びに、復号装置および復号方法 Download PDF

Info

Publication number
JPWO2013115025A1
JPWO2013115025A1 JP2013556335A JP2013556335A JPWO2013115025A1 JP WO2013115025 A1 JPWO2013115025 A1 JP WO2013115025A1 JP 2013556335 A JP2013556335 A JP 2013556335A JP 2013556335 A JP2013556335 A JP 2013556335A JP WO2013115025 A1 JPWO2013115025 A1 JP WO2013115025A1
Authority
JP
Japan
Prior art keywords
unit
depth image
encoding
parameter set
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013556335A
Other languages
English (en)
Other versions
JP5975301B2 (ja
Inventor
しのぶ 服部
しのぶ 服部
裕音 櫻井
裕音 櫻井
良知 高橋
良知 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2013115025A1 publication Critical patent/JPWO2013115025A1/ja
Application granted granted Critical
Publication of JP5975301B2 publication Critical patent/JP5975301B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本技術は、デプス画像に関する情報を符号化ストリームに含める際に符号化ストリームの符号量を削減することができるようにする符号化装置および符号化方法、並びに、復号装置および復号方法に関する。DPS符号化部は、デプス画像に関する情報であるデプス画像情報をシーケンスパラメータセットおよびピクチャパラメータセットとは異なるDPSとして設定する。スライス符号化部は、デプス画像を符号化し、符号化データを生成する。また、スライス符号化部は、DPSと符号化データとを含む符号化ストリームを伝送する。本技術は、例えば、多視点の画像の符号化装置に適用することができる。

Description

本技術は、符号化装置および符号化方法、並びに、復号装置および復号方法に関し、特に、デプス画像に関する情報を符号化ストリームに含める際に符号化ストリームの符号量を削減することができるようにした符号化装置および符号化方法、並びに、復号装置および復号方法に関する。
近年、３Ｄ画像が注目されている。この３Ｄ画像の視聴方式としては、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下、メガネ有り方式という）が一般的である。
しかしながら、このようなメガネ有り方式では、視聴者は、３Ｄ画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに３Ｄ画像を視聴可能な視聴方式（以下、メガネ無し方式という）の需要が高まっている。
メガネ無し方式では、３視点以上の視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
メガネ無し方式の３Ｄ画像の表示方法としては、所定の視点のカラー画像とデプス画像を取得し、そのカラー画像とデプス画像を用いて所定の視点以外の視点を含む多視点のカラー画像を生成し、表示する方法が考案されている。なお、多視点とは、３視点以上の視点である。
また、多視点のカラー画像とデプス画像を符号化する方法として、カラー画像とデプス画像を別々に符号化する方法が提案されている（例えば、特許文献１参照）。
"Draft Call for Proposals on 3D Video Coding Technology",INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO,MPEG2010/N11679 Guangzhou,China,October 2010
しかしながら、デプス画像に関する情報を符号化ストリームに含める際に符号化ストリームの符号量を削減することは考えられていなかった。
本技術は、このような状況に鑑みてなされたものであり、デプス画像に関する情報を符号化ストリームに含める際に符号化ストリームの符号量を削減することができるようにするものである。
本技術の第１の側面の符号化装置は、デプス画像に関する情報であるデプス画像情報をシーケンスパラメータセットおよびピクチャパラメータセットとは異なるパラメータセットとして設定する設定部と、前記デプス画像を符号化し、符号化データを生成する符号化部と、前記設定部により設定された前記パラメータセットと前記符号化部により生成された前記符号化データとを含む符号化ストリームを伝送する伝送部とを備える符号化装置である。
本技術の第１の側面の符号化方法は、本技術の第１の側面の符号化装置に対応する。
本技術の第１の側面においては、デプス画像に関する情報であるデプス画像情報がシーケンスパラメータセットおよびピクチャパラメータセットとは異なるパラメータセットとして設定され、前記デプス画像が符号化されて、符号化データが生成され、前記パラメータセットと前記符号化データとを含む符号化ストリームが伝送される。
本技術の第２の側面の復号装置は、デプス画像に関する情報であるデプス画像情報が設定されたシーケンスパラメータセットおよびピクチャパラメータセットとは異なるパラメータセットと、前記デプス画像の符号化データとを含む符号化ストリームから、前記パラメータセットと前記符号化データを取得する取得部と、前記取得部により取得された前記パラメータセットから前記デプス画像情報をパースするパース処理部と、前記取得部により取得された前記符号化データを復号する復号部とを備える復号装置である。
本技術の第２の側面の復号方法は、本技術の第２の側面の復号装置に対応する。
本技術の第２の側面においては、デプス画像に関する情報であるデプス画像情報が設定されたシーケンスパラメータセットおよびピクチャパラメータセットとは異なるパラメータセットと、前記デプス画像の符号化データとを含む符号化ストリームから、前記パラメータセットと前記符号化データが取得され、前記パラメータセットから前記デプス画像情報がパースされ、前記符号化データが復号される。
なお、第１の側面の符号化装置および第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術の第１の側面によれば、デプス画像に関する情報を符号化ストリームに含める際に符号化ストリームの符号量を削減することができる。
また、本技術の第２の側面によれば、デプス画像に関する情報を符号化ストリームに含める際に符号化ストリームの符号量が削減された符号化ストリームを復号することができる。
視差と奥行きについて説明する図である。 本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。 図２の多視点画像符号化部の構成例を示すブロック図である。 符号化ストリームの構成例を示す図である。 DPSのシンタックスの例を示す図である。 スライスヘッダのシンタックスの例を示す図である。 図２の符号化装置の符号化処理を説明するフローチャートである。 図７の多視点符号化処理の詳細を説明するフローチャートである。 図８のDPS生成処理の詳細を説明するフローチャートである。 本技術を適用した復号装置の一実施の形態の構成例を示すブロック図である。 図１０の多視点画像復号部の構成例を示すブロック図である。 図１０の復号装置の復号処理を説明するフローチャートである。 図１２の多視点復号処理の詳細を説明するフローチャートである。 図１３の生成処理の詳細を説明するフローチャートである。 拡張SPSのシンタックスの例を示す図である。 拡張SPSのシンタックスの他の例を示す図である。 拡張slice_layerの定義を説明する図である。 拡張slice_layerのシンタックスの例を示す図である。 拡張スライスヘッダのシンタックスの例を示す図である。 拡張スライスヘッダのシンタックスの他の例を示す図である。 NALユニットのシンタックスの例を示す図である。 slice_layerのシンタックスの例を示す図である。 符号化ストリームの他の構成例を示す図である。 コンピュータの一実施の形態の構成例を示す図である。 本技術を適用したテレビジョン装置の概略構成例を示す図である。 本技術を適用した携帯電話機の概略構成例を示す図である。 本技術を適用した記録再生装置の概略構成例を示す図である。 本技術を適用した撮像装置の概略構成例を示す図である。
＜本明細書におけるデプス画像（視差関連画像）の説明＞
図１は、視差と奥行きについて説明する図である。
図１に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。
Figure 2013115025
なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像とする。
なお、デプス画像は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
Figure 2013115025
なお、式（ｂ）において、Ｄｍａｘは、視差ｄの最大値であり、Ｄｍｉｎは、視差ｄの最小値である。最大値Ｄｍａｘと最小値Ｄｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
Figure 2013115025
なお、式（ｃ）において、Ｚｆａｒは、奥行きＺの最大値であり、Ｚｎｅａｒは、奥行きＺの最小値である。最大値Ｚｆａｒと最小値Ｚｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像とする。ここでは、デプス画像のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
なお、デプス画像の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報(視差関連値)とする。更に、値I又は値yをマッピングしたものをデプスマップとする。
＜一実施の形態＞
＜符号化装置の一実施の形態の構成例＞
図２は、本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
図２の符号化装置５０は、多視点カラー画像撮像部５１、多視点カラー画像補正部５２、多視点デプス画像生成部５３、デプス画像情報生成部５４、および多視点画像符号化部５５により構成される。符号化装置５０は、デプス画像に関する情報であるデプス画像情報（符号化パラメータ）を伝送する。
具体的には、符号化装置５０の多視点カラー画像撮像部５１は、多視点のカラー画像を撮像し、多視点カラー画像として多視点カラー画像補正部５２に供給する。また、多視点カラー画像撮像部５１は、各視点の外部パラメータ、デプス最大値（視差関連最大値）、およびデプス最小値（視差関連最小値）（詳細は後述する）を生成する。多視点カラー画像撮像部５１は、外部パラメータ、デプス最大値、およびデプス最小値をデプス画像情報生成部５４に供給するとともに、デプス最大値とデプス最小値を多視点デプス画像生成部５３に供給する。
なお、外部パラメータは、多視点カラー画像撮像部１１の水平方向の位置を定義するパラメータである。また、デプス最大値とは、多視点デプス画像生成部５３により生成されるデプス画像が奥行きＺを表す画像である場合、奥行きＺの最大値Ｚｆａｒであり、視差ｄを表す画像である場合、視差ｄの最大値Ｄｍａｘである。また、デプス最小値とは、多視点デプス画像生成部５３により生成されるデプス画像が奥行きＺを表す画像である場合、奥行きＺの最小値Ｚｎｅａｒであり、視差ｄを表す画像である場合、視差ｄの最小値Ｄｍｉｎである。
多視点カラー画像補正部５２は、多視点カラー画像撮像部５１から供給される多視点カラー画像に対して、色補正、輝度補正、歪み補正等を行う。これにより、補正後の多視点カラー画像における多視点カラー画像撮像部５１の水平方向（X方向）の焦点距離は、全視点で共通となる。多視点カラー画像補正部５２は、補正後の多視点カラー画像を多視点補正カラー画像として多視点デプス画像生成部５３と多視点画像符号化部５５に供給する。
多視点デプス画像生成部５３は、多視点カラー画像撮像部５１から供給されるデプス最大値とデプス最小値に基づいて、多視点カラー画像補正部５２から供給される多視点補正カラー画像から、多視点のデプス画像を生成する。具体的には、多視点デプス画像生成部５３は、多視点の各視点について、多視点補正カラー画像から各画素の視差関連値を求め、その視差関連値をデプス最大値とデプス最小値に基づいて正規化する。そして、多視点デプス画像生成部５３は、多視点の各視点について、正規化された各画素の視差関連値をデプス画像の各画素の画素値とするデプス画像を生成する。
また、多視点デプス画像生成部５３は、生成された多視点のデプス画像を多視点デプス画像として多視点画像符号化部５５に供給する。
デプス画像情報生成部５４は、各視点のデプス画像情報を生成する。具体的には、デプス画像情報生成部５４は、多視点カラー画像撮像部５１から供給される各視点の外部パラメータに基づいて、各視点のカメラ間距離を求める。カメラ間距離とは、多視点デプス画像に対応する各視点のカラー画像を撮像するときの多視点カラー画像撮像部５１の水平方向の位置と、そのカラー画像とデプス画像に対応する視差を有するカラー画像を撮像するときの多視点カラー画像撮像部５１の水平方向の位置の距離である。
デプス画像情報生成部５４は、多視点カラー画像撮像部５１からの各視点のデプス最大値およびデプス最小値、並びに各視点のカメラ間距離を各視点のデプス画像情報とする。デプス画像情報生成部５４は、各視点のデプス画像情報を多視点画像符号化部５５に供給する。
多視点画像符号化部５５は、多視点カラー画像補正部５２からの多視点補正カラー画像と多視点デプス画像生成部５３からの多視点デプス画像をHEVC（High Efficiency Video Coding）方式に準じた方式で符号化する。なお、HEVC方式については、2011年8月現在、Draftとして、Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,GaryJ.Sullivian,"WD3:Working Draft3 of High-Efficiency Video Coding",JCTVC-E603_d5(version5),2011年5月20日が発行されている。
また、多視点画像符号化部５５は、デプス画像情報生成部５４から供給される各視点のデプス画像情報を視点ごとに差分符号化し、差分符号化結果を含むNAL(Network Abstraction Layer)ユニットであるDPS(Depth Parameter Set)（DRPS）等を生成する。そして、多視点画像符号化部５５は、符号化された多視点補正カラー画像および多視点デプス画像、DPS等からなるビットストリームを、符号化ストリーム（符号化ビットストリーム）として伝送する。
以上のように、多視点画像符号化部５５は、デプス画像情報を差分符号化して伝送するので、デプス画像情報の符号量を削減することができる。快適な３Ｄ画像を提供するために、デプス画像情報はピクチャ間で大きく変化させない可能性が高いため、差分符号化を行うことは符号量の削減において有効である。
また、多視点画像符号化部５５は、デプス画像情報をDPSに含めて伝送するので、スライスヘッダに含めて伝送する場合のように同一のデプス画像情報が重複して伝送される事態を防止することができる。その結果、デプス画像情報の符号量をより削減することができる。
＜多視点画像符号化部の構成例＞
図３は、図２の多視点画像符号化部５５の構成例を示すブロック図である。
図３の多視点画像符号化部５５は、SPS符号化部６１、PPS符号化部６２、DPS符号化部６３、スライスヘッダ符号化部６４、およびスライス符号化部６５により構成される。
多視点画像符号化部５５のSPS符号化部６１は、シーケンス単位でSPSを生成し、PPS符号化部６２に供給する。PPS符号化部６２は、ピクチャ単位でPPSを生成し、SPS符号化部６１から供給されるSPSに付加してスライスヘッダ符号化部６４に供給する。
DPS符号化部６３は、図２のデプス画像情報生成部５４から供給される各視点のデプス画像情報に基づいて、各視点のデプス画像のスライスごとにデプス画像情報を差分符号化する。具体的には、DPS符号化部６３は、処理対象のスライスのタイプがイントラタイプである場合、そのスライスのデプス画像情報をそのまま差分符号化結果とする。一方、処理対象のスライスのタイプがインタータイプである場合、DPS符号化部６３は、そのスライスのデプス画像情報と、そのスライスより１つ前のスライスのデプス画像情報との差分を、差分符号化結果とする。
また、DPS符号化部６３は、設定部として機能し、デプス画像情報の差分符号化結果を含むDPSがまだ生成されていない場合、その差分符号化結果をDPS内に設定する。また、DPS符号化部６３は、そのDPSにDPSを一意に識別するID(識別番号)であるDPS_id(インデックス識別子)を付与し、DPS内に設定する。そして、DPS符号化部６３は、デプス画像情報の差分符号化結果とDPS_idが設定されたDPSをスライスヘッダ符号化部６４に供給する。
一方、DPS符号化部６３は、デプス画像情報の差分符号化結果を含むDPSが既に生成されている場合、そのDPSのDPS_idをスライスヘッダ符号化部６４に供給する。
スライスヘッダ符号化部６４は、設定部として機能し、DPS符号化部６３から供給されるDPSのDPS_idまたはDPS_idを、対応する視点のデプス画像のスライスのスライスヘッダ内に設定する。また、スライスヘッダ符号化部６４は、多視点カラー画像のスライスヘッダを生成する。スライスヘッダ符号化部６４は、DPS符号化部６３から供給されるDPSと多視点デプス画像および多視点カラー画像のスライスヘッダとを、PPS符号化部６２から供給されるSPSが付加されたPPSにさらに付加し、スライス符号化部６５に供給する。
スライス符号化部６５は、符号化部として機能し、多視点カラー画像補正部５２からの多視点補正カラー画像と多視点デプス画像生成部５３からの多視点デプス画像を、スライス単位でHEVC方式に準じた方式で符号化する。このとき、スライス符号化部６５は、スライスヘッダ符号化部６４から供給されるスライスヘッダに含まれるDPS_idのDPSに含まれるデプス画像情報を用いる。
スライス符号化部６５は、スライスヘッダ符号化部６４から供給されるSPS,PPS、およびDPSが付加されたスライスヘッダに、符号化の結果得られるスライス単位の符号化データを付加して符号化ストリームを生成する。スライス符号化部６５は、伝送部として機能し、符号化ストリームを伝送する。
＜符号化ストリームの構成例＞
図４は、符号化ストリームの構成例を示す図である。
図４では、説明の便宜上、多視点デプス画像のスライスの符号化データのみを記載しているが、実際には、符号化ストリームには、多視点カラー画像のスライスの符号化データも配置される。
図４に示すように、符号化ストリームには、シーケンス単位のSPS、ピクチャ単位のPPS、スライス単位のDPS、スライスヘッダが付加されたスライス単位の符号化データが順に配置される。
図４の例では、0番目のPPSであるPPS#0に対応するピクチャのスライスのうちのイントラタイプのスライスのデプス最小値が10であり、デプス最大値が50であり、カメラ間距離が100である。従って、そのスライスのデプス画像情報の差分符号化結果として、デプス最小値「10」、デプス最大値「50」、およびカメラ間距離「100」そのものが生成される。そして、この差分符号化結果を含むDPSはまだ生成されていないため、この差分符号化結果を含むDPSが符号化ストリームに設定され、DPS_idとして、例えば0が付与される。そして、DPS_idとしての0がスライスヘッダに含まれる。
また、図４の例では、PPS#0に対応するピクチャのスライスのうちの1番目のインタータイプのスライスのデプス最小値が9であり、デプス最大値が48であり、カメラ間距離が105である。従って、そのスライスのデプス画像情報の差分符号化結果として、そのスライスのデプス最小値「9」から、符号化順で1つ前のイントラタイプのスライスのデプス最小値「10」を減算した差分「-1」が生成される。同様に、デプス最大値の差分「-2」とカメラ間距離の差分「5」が、デプス画像情報の差分符号化結果として生成される。
そして、この差分符号化結果を含むDPSはまだ生成されていないため、この差分符号化結果を含むDPSが符号化ストリームに設定され、DPS_idとして、例えば1が付与される。そして、DPS_idとしての1がスライスヘッダに含まれる。
さらに、図４の例では、PPS#0に対応するピクチャのスライスのうちの2番目のインタータイプのスライスのデプス最小値が7であり、デプス最大値が47であり、カメラ間距離が110である。従って、そのスライスのデプス画像情報の差分符号化結果として、そのスライスのデプス最小値「7」から、符号化順で1つ前の1番目のインタータイプのスライスのデプス最小値「9」を減算した差分「-2」が生成される。同様に、デプス最大値の差分「-1」とカメラ間距離の差分「5」がデプス画像情報の差分符号化結果として生成される。
そして、この差分符号化結果を含むDPSはまだ生成されていないため、この差分符号化結果を含むDPSが符号化ストリームに設定され、DPS_idとして、例えば2が付与される。そして、DPS_idとしての2がスライスヘッダに含まれる。
また、図４の例では、1番目のPPSであるPPS#1に対応するピクチャの3つのインタータイプのスライスのデプス画像情報の差分符号化結果は、PPS#0に対応するピクチャのスライスのうちの2番目のインタータイプのスライスのデプス画像情報の差分符号化結果と同一である。従って、この3つのインタータイプのスライスに対してDPSは設定されず、そのスライスのスライスヘッダにDPS_idとしての2が含まれる。
＜DPSのシンタックスの例＞
図５は、DPSのシンタックスの例を示す図である。
図５の第２行目に示すように、DPSには、そのDPSに付与されたDPS_id（depth_parameter_set_id）が含まれる。また、第１４行目に示すように、DPSには、デプス最大値およびデプス最小値（depth_ranges）が含まれる。さらに、第１７行目に示すように、DPSには、カメラ間距離（vsp_param）が含まれる。
＜スライスヘッダのシンタックスの例＞
図６は、スライスヘッダのシンタックスの例を示す図である。
図６の第３行目乃至第７行目に示すように、スライスヘッダが付加されるスライス単位の符号化データのNALユニットのタイプnal_unit_typeが、3DVC(３次元映像符号化)方式で符号化されたことを表す21である場合、即ちスライスヘッダがデプス画像のスライスヘッダである場合、スライスのタイプslice_typeがインタータイプであるときには、スライスヘッダには、デプス画像に対して重み付け予測を行うかどうかを表すフラグが含まれる。
具体的には、スライスのタイプslice_typeがPであるとき（slice_type==P）、スライスヘッダには、前または後ろ方向の重み付け予測を行うかどうかを表すフラグdepth_weighted_pred_flagが含まれる。一方、スライスのタイプslice_typeがBである（slice_type==B）とき、スライスヘッダには、前および後ろ方向の重み付け予測を行うかどうかを表すフラグdepth_weighted_bipred_flagが含まれる。
また、第８行目乃至第１０行目に示すように、重み付け予測を行う場合、スライスヘッダには、DPS_id(depth_parameter_set_id)が含まれる。具体的には、スライスのタイプslice_typeがPであり、フラグdepth_weighted_pred_flagが1である場合、または、スライスのタイプslice_typeがBであり、フラグdepth_weighted_bipred_flagが1である場合、DPS_id(depth_parameter_set_id)が含まれる。
なお、図示は省略しているが、スライスの符号化データのNALユニットのタイプnal_unit_typeが値２１である場合、スライスのタイプslice_typeがIであるときについても、DPS_idが含まれることとなる。
図６のシンタックスは、第３行目乃至第１０行目のNALユニットのタイプnal_unit_typeが21である場合の記述を除いて、既存のスライスヘッダのシンタックスと同様である。即ち、デプス画像のスライスヘッダ内のフラグdepth_weighted_pred_flagまたはフラグdepth_weighted_bipred_flag、DPS_id以外の情報は、カラー画像のスライスヘッダ内の情報と同一である。従って、既存の符号化ストリームとの間で、完全に互換性を保つことができる。
また、スライスヘッダにフラグdepth_weighted_pred_flagとフラグdepth_weighted_bipred_flagが含められるので、スライス単位で、フラグdepth_weighted_pred_flagとフラグdepth_weighted_bipred_flagを設定することができる。
＜符号化装置の処理の説明＞
図７は、図２の符号化装置５０の符号化処理を説明するフローチャートである。
図７のステップＳ１０において、符号化装置５０の多視点カラー画像撮像部５１は、多視点のカラー画像を撮像し、多視点カラー画像として多視点カラー画像補正部５２に供給する。
ステップＳ１１において、多視点カラー画像撮像部５１は、各視点の外部パラメータ、デプス最大値、およびデプス最小値を生成する。多視点カラー画像撮像部５１は、外部パラメータ、デプス最大値、およびデプス最小値をデプス画像情報生成部５４に供給するとともに、デプス最大値とデプス最小値を多視点デプス画像生成部５３に供給する。
ステップＳ１２において、多視点カラー画像補正部５２は、多視点カラー画像撮像部５１から供給される多視点カラー画像に対して、色補正、輝度補正、歪み補正等を行う。多視点カラー画像補正部５２は、補正後の多視点カラー画像を多視点補正カラー画像として多視点デプス画像生成部５３と多視点画像符号化部５５に供給する。
ステップＳ１３において、多視点デプス画像生成部５３は、多視点カラー画像撮像部５１から供給されるデプス最大値とデプス最小値に基づいて、多視点カラー画像補正部５２から供給される多視点補正カラー画像から、多視点のデプス画像を生成する。そして、多視点デプス画像生成部５３は、生成された多視点のデプス画像を多視点デプス画像として多視点画像符号化部５５に供給する。
ステップＳ１４において、デプス画像情報生成部５４は、各視点のデプス画像情報を生成し、多視点画像符号化部５５に供給する。
ステップＳ１５において、多視点画像符号化部５５は、多視点補正カラー画像および多視点デプス画像をHEVC方式に準じた方式で符号化する多視点符号化処理を行う。この多視点符号化処理の詳細は、後述する図８を参照して説明する。
ステップＳ１６において、多視点画像符号化部５５は、ステップＳ１５の結果生成される符号化ストリームを伝送し、処理を終了する。
図８は、図７のステップＳ１５の多視点符号化処理の詳細を説明するフローチャートである。
図８のステップＳ３１において、多視点画像符号化部５５のSPS符号化部６１（図３）は、シーケンス単位のSPSを生成し、PPS符号化部６２に供給する。
ステップＳ３２において、PPS符号化部６２は、ピクチャ単位のPPSを生成し、SPS符号化部６１から供給されるSPSに付加してスライスヘッダ符号化部６４に供給する。以降のステップＳ３３乃至Ｓ３７の処理は、各視点のスライス単位で行われる。
ステップＳ３３において、DPS符号化部６３は、処理対象の視点のスライス（以下、対象視点スライスという）のDPSを生成するDPS生成処理を行う。このDPS生成処理の詳細は、後述する図９を参照して説明する。
ステップＳ３４において、スライスヘッダ符号化部６４は、DPS符号化部６３から供給されるDPSのDPS_idまたはDPS_idを含む対象視点スライスのデプス画像のスライスヘッダを生成する。
ステップＳ３５において、スライスヘッダ符号化部６４は、対象視点スライスの補正カラー画像のスライスヘッダを生成する。そして、スライスヘッダ符号化部６４は、DPSと多視点デプス画像および多視点カラー画像のスライスヘッダとを、PPS符号化部６２から供給されるSPSが付加されたPPSにさらに付加し、スライス符号化部６５に供給する。
ステップＳ３６において、スライス符号化部６５は、スライスヘッダ符号化部６４から供給される対象視点スライスのデプス画像のスライスヘッダに含まれるDPS_idのDPSに含まれるデプス画像情報を用いて、多視点デプス画像生成部５３から供給される対象視点スライスのデプス画像を、HEVC方式に準じた3DVC方式で符号化する。
ステップＳ３７において、スライス符号化部６５は、多視点デプス画像生成部５３から供給される対象視点スライスの補正カラー画像を、HEVC方式に準じた方式で符号化する。スライス符号化部６５は、スライスヘッダ符号化部６４から供給されるSPS,PPS、およびDPSが付加されたスライスヘッダに、ステップＳ３６およびＳ３７の符号化の結果得られるスライス単位の符号化データを付加して符号化ストリームを生成する。そして、処理は、図７のステップＳ１５に戻り、ステップＳ１６に進む。
図９は、図８のステップＳ３３のDPS生成処理の詳細を説明するフローチャートである。
図９のステップＳ５１において、DPS符号化部６３は、対象視点スライスのタイプがイントラタイプであるかどうかを判定する。ステップＳ５１で対象視点スライスのタイプがイントラタイプであると判定された場合、処理はステップＳ５２に進む。
ステップＳ５２において、DPS符号化部６３は、図２のデプス画像情報生成部５４から供給される対象視点スライスのデプス画像情報を含むDPSが既に生成されているかどうかを判定する。
ステップＳ５２でDPSが既に生成されていないと判定された場合、ステップＳ５３において、DPS符号化部６３は、対象視点スライスのデプス画像情報を差分符号化結果として含むDPSを生成し、処理をステップＳ５７に進める。
一方、ステップＳ５１で対象視点スライスのタイプがイントラタイプではないと判定された場合、即ち対象視点スライスのタイプがインタータイプである場合、処理はステップＳ５４に進む。
ステップＳ５４において、DPS符号化部６３は、対象視点スライスのデプス画像情報と、対象視点スライスの符号化順で１つ前の同一視点のスライスのデプス画像情報との差分を差分符号化結果として求めることにより、差分符号化を行う。
ステップＳ５５において、DPS符号化部６３は、ステップＳ５４で求められた差分符号化結果を含むDPSが既に生成されているかどうかを判定する。ステップＳ５５でDPSが既に生成されていないと判定された場合、ステップＳ５６において、DPS符号化部６３は、ステップＳ５４で求められた差分符号化結果を含むDPSを生成し、処理をステップＳ５７に進める。
ステップＳ５７において、DPS符号化部６３は、ステップＳ５３またはステップＳ５６で生成されたDPSにDPS_idを付与し、DPSに含める。DPS符号化部６３は、DPS_idを含むDPSを保持する。保持されたDPSは、ステップＳ５２およびステップＳ５５の判定時に用いられる。
ステップＳ５８において、DPS符号化部６３は、DPS_idを含むDPSをスライスヘッダ符号化部６４に出力する。そして、処理は図８のステップＳ３３に戻り、ステップＳ３４に進む。
一方、ステップＳ５２でDPSが既に生成されていると判定された場合、ステップＳ５９において、DPS符号化部６３は、そのDPSのDPS_idをステップＳ５７で保持されたDPSから検出し、スライスヘッダ符号化部６４に出力する。そして、処理は図８のステップＳ３３に戻り、ステップＳ３４に進む。
また、ステップＳ５５でDPSが既に生成されていると判定された場合、ステップＳ６０において、DPS符号化部６３は、そのDPSのDPS_idをステップＳ５７で保持されたDPSから検出し、スライスヘッダ符号化部６４に出力する。そして、処理は図８のステップＳ３３に戻り、ステップＳ３４に進む。
以上のように、符号化装置５０は、デプス画像情報をDPS内に設定し、符号化ストリームに含めて伝送するので、スライス間でデプス画像情報を共有することができる。その結果、デプス画像情報をスライスヘッダ等に含めて伝送する場合に比べて、デプス画像情報の冗長性が低下し、符号量を削減することができる。
また、符号化装置５０は、SPSやPPSといった既存のパラメータセットとは異なるDPSにデプス画像情報を設定して符号化ストリームを生成するので、既存の符号化ストリームと互換性を有する符号化ストリームを生成することができる。
さらに、符号化装置５０が、DPS_idをDPSの設定順に付与する場合、復号側で、DPSに含まれるDPS_idに基づいて伝送中にDPSがロスしたことを検出することができる。従って、この場合、符号化装置５０は、エラー耐性の高い伝送を行うことができる
なお、符号化装置５０では、多視点デプス画像が多視点補正カラー画像から生成されたが、多視点カラー画像の撮像時に、視差dや奥行きZを検出するセンサにより生成されてもよい。
＜復号装置の一実施の形態の構成例＞
図１０は、図２の符号化装置５０から伝送される符号化ストリームを復号する、本技術を適用した復号装置の一実施の形態の構成例を示すブロック図である。
図１０の復号装置８０は、多視点画像復号部８１、視点合成部８２、および多視点画像表示部８３により構成される。
復号装置８０の多視点画像復号部８１は、図２の符号化装置５０から伝送されてくる符号化ストリームを受け取る。多視点画像復号部８１は、受け取られた符号化ストリームから、SPS,PPS，DPS、スライスヘッダ、スライス単位の符号化データ等を抽出する。そして、多視点画像復号部８１は、視点ごとに、スライスヘッダに含まれるDPS_idで特定されるDPSを用いて、そのスライスヘッダに対応するスライスのデプス画像の符号化データを、図２の多視点画像符号化部５５の符号化方式に対応する方式で復号し、デプス画像を生成する。また、多視点画像復号部８１は、多視点カラー画像のスライス単位の符号化データを、多視点画像符号化部５５の符号化方式に対応する方式で復号し、多視点補正カラー画像を生成する。多視点画像復号部８１は、生成された多視点補正カラー画像および多視点デプス画像を視点合成部８２に供給する。
視点合成部８２は、多視点画像復号部８１からの多視点デプス画像に対して、多視点画像表示部８３に対応する視点数の視点（以下、表示視点という）へのワーピング処理（詳細は後述する）を行う。このとき、デプス画像情報が用いられるようにしてもよい。
なお、ワーピング処理とは、ある視点の画像から別の視点の画像へ幾何変換する処理である。また、表示視点には、多視点カラー画像に対応する視点以外の視点が含まれる。
また、視点合成部８２は、ワーピング処理の結果得られる表示視点のデプス画像を用いて、多視点画像復号部８１から供給される多視点補正カラー画像に対して、表示視点へのワーピング処理を行う。このとき、デプス画像情報が用いられるようにしてもよい。視点合成部８２は、ワーピング処理の結果得られる表示視点のカラー画像を、多視点合成カラー画像として多視点画像表示部８３に供給する。
多視点画像表示部８３は、視点合成部８２から供給される多視点合成カラー画像を、視点ごとに視認可能な角度が異なるように表示する。視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに複数の視点から３Ｄ画像を見ることができる。
＜多視点画像復号部の構成例＞
図１１は、図１０の多視点画像復号部８１の構成例を示すブロック図である。
図１１の多視点画像復号部８１は、SPS復号部１０１、PPS復号部１０２、DPS復号部１０３、スライスヘッダ復号部１０４、およびスライス復号部１０５により構成される。
多視点画像復号部８１のSPS復号部１０１は、図２の符号化装置５０から伝送されてくる符号化ストリームを受け取る。SPS復号部１０１は、その符号化ストリームからSPSを抽出する。SPS復号部１０１は、抽出されたSPSと符号化ストリームをPPS復号部１０２とDPS復号部１０３に供給する。
PPS復号部１０２は、SPS復号部１０１から供給される符号化ストリームからPPSを抽出する。PPS復号部１０２は、抽出されたPPSと、SPS復号部１０１から供給される符号化ストリームをスライスヘッダ復号部１０４に供給する。DPS復号部１０３は、取得部として機能し、SPS復号部１０１から供給される符号化ストリームからDPSを取得する。また、DPS復号部１０３は、パース処理部として機能し、DPSからデプス画像情報をパース（抽出）し、保持する。このデプス画像情報は、必要に応じて視点合成部８２に供給される。
スライスヘッダ復号部１０４は、PPS復号部１０２から供給される符号化ストリームからスライスヘッダを抽出する。スライスヘッダ復号部１０４は、スライスヘッダに含まれるDPS_idで特定されるDPSのデプス画像情報を、DPS復号部１０３から読み出す。スライスヘッダ復号部１０４は、SPS,PPS、スライスヘッダ、DPS、および符号化ストリームをスライス復号部１０５に供給する。
スライス復号部１０５は、取得部として機能し、スライスヘッダ復号部１０４から供給される符号化ストリームからスライス単位の符号化データを取得する。また、スライス復号部１０５は、生成部として機能し、スライスヘッダ復号部１０４から供給されるDPSに含まれる差分符号化結果を、そのDPSに対応するスライスのスライスタイプに基づいて復号する。
具体的には、スライス復号部１０５は、DPSに対応するスライスのスライスタイプがイントラタイプである場合、そのDPSに含まれる差分符号化結果をそのまま復号結果とすることにより復号を行う。一方、DPSに対応するスライスのスライスタイプがインタータイプである場合、スライス復号部１０５は、そのDPSに含まれる差分符号化結果と、保持している符号化順で１つ前のスライスのデプス画像情報とを加算し、その結果得られる加算値を復号結果とする。スライス復号部１０５は、復号結果をデプス画像情報として保持する。
また、スライス復号部１０５は、スライスヘッダ復号部１０４から供給されるSPS,PPS、およびスライスヘッダ、並びにデプス画像情報に基づいて、スライス符号化部６５（図３）における符号化方式に対応する方式で、スライス単位の符号化データを復号する。スライスヘッダ復号部１０４は、復号の結果得られる多視点補正カラー画像と多視点デプス画像を、図１０の視点合成部８２に供給する。
＜復号装置の処理の説明＞
図１２は、図１０の復号装置８０の復号処理を説明するフローチャートである。この復号処理は、例えば、図２の符号化装置５０から符号化ストリームが伝送されてきたとき、開始される。
図１２のステップＳ６１において、復号装置８０の多視点画像復号部８１は、図２の符号化装置５０から伝送されてくる符号化ストリームを受け取る。
ステップＳ６２において、多視点画像復号部８１は、受け取られた符号化ストリームを復号する多視点復号処理を行う。この多視点復号処理の詳細は、後述する図１３を参照して説明する。
ステップＳ６３において、視点合成部８２は、多視点画像復号部８１から供給される多視点補正カラー画像と多視点デプス画像を用いて、多視点合成カラー画像を生成する。
ステップＳ６４において、多視点画像表示部８３は、視点合成部８２から供給される多視点合成カラー画像を、視点ごとに視認可能な角度が異なるように表示し、処理を終了する。
図１３は、図１２のステップＳ６２の多視点復号処理の詳細を説明するフローチャートである。
図１３のステップＳ７１において、多視点画像復号部８１のSPS復号部１０１は、受け取られた符号化ストリームからSPSを抽出する。SPS復号部１０１は、抽出されたSPSと符号化ストリームをPPS復号部１０２とDPS復号部１０３に供給する。
ステップＳ７２において、PPS復号部１０２は、SPS復号部１０１から供給される符号化ストリームからPPSを抽出する。PPS復号部１０２は、抽出されたPPSと、SPS復号部１０１から供給されるSPSおよび符号化ストリームとをスライスヘッダ復号部１０４に供給する。
ステップＳ７３において、DPS復号部１０３は、SPS復号部１０１から供給される符号化ストリームからDPSを抽出し、DPSからデプス画像情報をパースし、保持する。以降のステップＳ７４乃至Ｓ７７の処理は、各視点のスライス単位で行われる。ステップＳ７４において、スライスヘッダ復号部１０４は、PPS復号部１０２から供給される符号化ストリームから対象視点スライスのスライスヘッダを抽出する。
ステップＳ７５において、スライスヘッダ復号部１０４は、ステップＳ７４で抽出されたスライスヘッダに含まれるDPS_idで特定されるDPSのデプス画像情報を、DPS復号部１０３から読み出す。スライスヘッダ復号部１０４は、SPSおよびPPS、対象視点スライスのスライスヘッダおよびDPS、並びに符号化ストリームをスライス復号部１０５に供給する。
ステップＳ７６において、スライス復号部１０５は、スライスヘッダ復号部１０４から供給されるDPSに含まれる差分符号化結果を復号し、デプス画像情報を生成する生成処理を行う。この生成処理の詳細は、後述する図１４を参照して説明する。
ステップＳ７７において、スライス復号部１０５は、スライスヘッダ復号部１０４から供給される符号化ストリームから、対象視点スライスの符号化データを抽出する。
ステップＳ７８において、スライス復号部１０５は、スライスヘッダ復号部１０４から供給されるSPS,PPS、およびスライスヘッダ、並びに、デプス画像情報に基づいて、スライス符号化部６５（図３）における符号化方式に対応する方式で、対象視点スライスの符号化データを復号する。スライス復号部１０５は、復号の結果得られる補正カラー画像とデプス画像を、図１０の視点合成部８２に供給する。そして、処理は、図１２のステップＳ６２に戻り、ステップＳ６３に進む。
図１４は、図１３のステップＳ７６の生成処理の詳細を説明するフローチャートである。
ステップＳ９１において、スライス復号部１０５は、対象視点スライスのタイプがイントラタイプであるかどうかを判定する。ステップＳ９１で対象視点スライスのタイプがイントラタイプであると判定された場合、処理はステップＳ９２に進む。
ステップＳ９２において、スライス復号部１０５は、スライスヘッダ復号部１０４から供給されるDPSに含まれるデプス最小値の差分符号化結果を、復号結果のデプス画像情報のデプス最小値とするとともに、保持する。
ステップＳ９３において、スライス復号部１０５は、スライスヘッダ復号部１０４から供給されるDPSに含まれるデプス最大値の差分符号化結果を、復号結果のデプス画像情報のデプス最大値とするとともに、保持する。
ステップＳ９４において、スライス復号部１０５は、スライスヘッダ復号部１０４から供給されるDPSに含まれるカメラ間距離の差分符号化結果を、復号結果のデプス画像情報のカメラ間距離とするとともに、保持する。そして、処理は図１３のステップＳ７６に戻り、ステップＳ７７に進む。
一方、ステップＳ９１で対象視点スライスのタイプがイントラタイプではないと判定された場合、即ち対象視点スライスのタイプがインタータイプである場合、処理はステップＳ９５に進む。
ステップＳ９５において、スライス復号部１０５は、スライスヘッダ復号部１０４から供給されるDPSに含まれるデプス最小値の差分符号化結果を、保持されている符号化順で1つ前のスライスのデプス最小値に加算することにより、復号する。スライス復号部１０５は、復号の結果得られるデプス画像情報のデプス最小値を保持する。
ステップＳ９６において、スライス復号部１０５は、スライスヘッダ復号部１０４から供給されるDPSに含まれるデプス最大値の差分符号化結果を、保持されている符号化順で1つ前のスライスのデプス最大値に加算することにより、復号する。スライス復号部１０５は、復号の結果得られるデプス画像情報のデプス最大値を保持する。
ステップＳ９７において、スライス復号部１０５は、スライスヘッダ復号部１０４から供給されるDPSに含まれるカメラ間距離の差分符号化結果を、保持されている符号化順で1つ前のスライスのカメラ間距離に加算することにより、復号する。スライス復号部１０５は、復号の結果得られるデプス画像情報のカメラ間距離を保持する。そして、処理は図１３のステップＳ７６に戻り、ステップＳ７７に進む。
以上のように、復号装置８０は、デプス画像情報がDPS内に設定されることにより符号量が削減された符号化ストリームを復号することができる。また、デプス画像情報が符号化ストリームに含まれるので、復号装置８０は、デプス画像情報を符号化時に用いた符号化ストリームを復号することが可能になる。
また、SPSやPPSといった既存のパラメータセットとは異なるDPSにデプス画像情報が含められるので、ワーピング処理等のポスト処理時にデプス画像情報を容易に用いることができる。さらに、DPSはスライス単位の符号化データより前にまとめて配置されるので、視点合成部８２は復号前にデプス画像情報をまとめて取得することができる。
なお、デプス画像情報は、多視点デプス画像の符号化や復号に用いられなくてもよい。
また、上述した実施の形態では、スライスヘッダにDPS_idが含まれるようにしたが、例えばデプス画像情報がシーケンス単位（GOP(group of pictures)単位）で設定される場合、既存のSPSを拡張し、拡張されたSPS（以下、拡張SPSという）にDPS_idを含めるようにしてもよい。
この場合、拡張SPSのシンタックスは、例えば、図１５に示すようになる。即ち、拡張SPSは、第２行目に示すように、DPSが存在していることを識別するフラグdepth_range_present_flag（識別情報）を含み、第３行目に示すように、フラグdepth_range_present_flagが1である場合にDPS_id（depth_parameter_set_id）を含む。
また、この場合、図１６の第５行目および第６行目に示すように、フラグdepth_weighted_pred_flagとフラグdepth_weighted_bipred_flagをシーケンス単位で設定し、拡張SPSに含めるようにすることもできる。
また、既存のSPSではなく、既存のスライスヘッダを拡張し、拡張されたスライスヘッダ（以下、拡張スライスヘッダという）にDPS_idを含めるようにすることもできる。
この場合、例えば、slice_layerが拡張され、図１７に示すように、NALユニットのタイプnal_unit_typeが21であるNALユニット、即ち3DVC方式で符号化された符号化データのNALユニットのslice_layerとして、拡張されたslice_layer（slice_layer_3dvc_extension_rbsp）（以下、拡張slice_layerという）が定義される。なお、図１７に示すように、DPSのNALユニットのタイプnal_unit_typeは、SPSやPPS等の既存のNALユニットとは異なる16である。
また、図１８に示すように、拡張slice_layer（slice_layer_3dvc_extension_rbsp）の符号化データが、拡張スライスヘッダ(slice_header_3dvc_extension)とスライス単位の符号化データ（slice_data）により構成されることが定義される。
拡張スライスヘッダ(slice_header_3dvc_extension)のシンタックスは、例えば、図１９に示すようになる。即ち、図１９の第２乃至第４行目に示すように、拡張スライスヘッダ(slice_header_3dvc_extension)は、既存のスライスヘッダ（slice_header）だけでなく、フラグdepth_weighted_pred_flagまたはdepth_weighted_bipred_flagが１である場合にDPS_id（depth_parameter_set_id）も含む。
なお、拡張スライスヘッダ(slice_header_3dvc_extension)には、図２０に示すように、フラグdepth_weighted_pred_flagまたはdepth_weighted_bipred_flagが含まれるようにしてもよい。
図１９や図２０に示すように、拡張スライスヘッダには、既存のスライスヘッダも含まれるため、既存の符号化ストリームとの間で、完全に互換性を保つことができる。
また、図１７および図１８に示したようにslice_layerを拡張するのではなく、既存のslice_layerで拡張スライスヘッダ(slice_header_3dvc_extension)を定義することも可能である。
この場合、図２１の第１５行目および第１６行目に示すように、NALユニットには、NALユニットのタイプnal_unit_typeが21である場合、3DVC方式用のNALユニットであるかどうかを表すフラグ3dvc_extension_flagが含まれる。
また、図２２の第６行目乃至第８行目に示すように、フラグ3dvc_extension_flagが3DVC方式用のNALユニットであることを表す1である場合、slice_layerの符号化データは、拡張スライスヘッダ(slice_header_3dvc_extension)とスライス単位の符号化データ（slice_data）により構成されることが定義される。
さらに、上述した実施の形態では、図４に示したように、DPSをスライス間で共有し、スライスヘッダに、対応するスライスのDPSのDPS_idを含めるようにしたが、図２３に示すように、スライス毎にDPSを設定し、各スライスの符号化データにDPSを付加するようにしてもよい。この場合、DPSにはDPS_idが付与されず、スライスヘッダには、DPS_idが含まれない。
＜本技術を適用したコンピュータの説明＞
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部８０８やROM（Read Only Memory）８０２に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブルメディア８１１に格納（記録）しておくことができる。このようなリムーバブルメディア８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブルメディア８１１からドライブ８１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部８０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)８０１を内蔵しており、CPU８０１には、バス８０４を介して、入出力インタフェース８０５が接続されている。
CPU８０１は、入出力インタフェース８０５を介して、ユーザによって、入力部８０６が操作等されることにより指令が入力されると、それに従って、ROM８０２に格納されているプログラムを実行する。あるいは、CPU８０１は、記憶部８０８に格納されたプログラムを、RAM(Random Access Memory)８０３にロードして実行する。
これにより、CPU８０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース８０５を介して、出力部８０７から出力、あるいは、通信部８０９から送信、さらには、記憶部８０８に記録等させる。
なお、入力部８０６は、キーボードや、マウス、マイク等で構成される。また、出力部８０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して通信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置や復号装置に適用することができる。
また、上述した符号化装置や復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。
＜テレビジョン装置の構成例＞
図２５は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ストリームをデマルチプレクサ９０３に出力する。
デマルチプレクサ９０３は、符号化ストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、デプス画像に関する情報を符号化ストリームに含める際に符号化ストリームの符号量が削減された符号化ストリームを復号することができる。
＜携帯電話機の構成例＞
図２６は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
このように構成された携帯電話装置では、画像処理部９２７に本願の符号化装置(符号化方法)および復号装置（復号方法）の機能が設けられる。このため、デプス画像に関する情報を符号化ストリームに含める際に符号化ストリームの符号量を削減することができる。また、デプス画像に関する情報を符号化ストリームに含める際に符号化ストリームの符号量が削減された符号化ストリームを復号することができる。
＜記録再生装置の構成例＞
図２７は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された記録再生装置では、デコーダ９４７に本願の復号装置（復号方法）の機能が設けられる。このため、デプス画像に関する情報を符号化ストリームに含める際に符号化ストリームの符号量が削減された符号化ストリームを復号することができる。
＜撮像装置の構成例＞
図２８は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、画像データ処理部９６４に本願の符号化装置（符号化方法）および復号装置（復号方法）の機能が設けられる。このため、デプス画像に関する情報を符号化ストリームに含める際に符号化ストリームの符号量を削減することができる。また、デプス画像に関する情報を符号化ストリームに含める際に符号化ストリームの符号量が削減された符号化ストリームを復号することができる。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は、以下のような構成もとることができる。
（１）
デプス画像に関する情報であるデプス画像情報をシーケンスパラメータセットおよびピクチャパラメータセットとは異なるパラメータセットとして設定する設定部と、
前記デプス画像を符号化し、符号化データを生成する符号化部と、
前記設定部により設定された前記パラメータセットと前記符号化部により生成された前記符号化データとを含む符号化ストリームを伝送する伝送部と
を備える符号化装置。
（２）
前記設定部は、前記パラメータセットに前記パラメータセットを一意に識別するＩＤを設定し、
前記伝送部は、前記デプス画像に対応する前記ＩＤを含む前記符号化ストリームを伝送する
前記（１）に記載の符号化装置。
（３）
前記設定部は、スライス単位の前記デプス画像に対応する前記ＩＤを、そのデプス画像のスライスヘッダに設定し、
前記伝送部は、前記設定部により設定された前記スライスヘッダを含む前記符号化ストリームを伝送する
前記（２）に記載の符号化装置。
（４）
前記設定部は、前記デプス画像情報を差分符号化し、前記デプス画像情報の差分符号化結果を前記パラメータセットとして設定する
前記（１）乃至（３）のいずれかに記載の符号化装置。
（５）
前記符号化部は、前記デプス画像情報を用いて前記デプス画像を符号化する
前記（１）乃至（４）のいずれかに記載の符号化装置。
（６）
前記デプス画像情報は、前記デプス画像の画素値の最大値および最小値と、前記デプス画像を撮影するカメラ間の距離とを含む
前記（１）乃至（５）のいずれかに記載の符号化装置。
（７）
前記パラメータセットには、シーケンスパラメータセットおよびピクチャパラメータセットとは異なるNAL(Network Abstraction Layer)ユニットタイプが設定される
前記（１）乃至（６）のいずれかに記載の符号化装置。
（８）
前記設定部は、前記デプス画像情報が存在することを識別する識別情報を設定し、
前記伝送部は、前記設定部により設定された前記識別情報を含む前記符号化ストリームを伝送する
前記（１）乃至（７）のいずれかに記載の符号化装置。
（９）
符号化装置が、
デプス画像に関する情報であるデプス画像情報をシーケンスパラメータセットおよびピクチャパラメータセットとは異なるパラメータセットとして設定する設定ステップと、
前記デプス画像を符号化し、符号化データを生成する符号化ステップと、
前記設定ステップの処理により設定された前記パラメータセットと前記符号化ステップの処理により生成された前記符号化データとを含む符号化ストリームを伝送する伝送ステップと
を含む符号化方法。
（１０）
デプス画像に関する情報であるデプス画像情報が設定されたシーケンスパラメータセットおよびピクチャパラメータセットとは異なるパラメータセットと、前記デプス画像の符号化データとを含む符号化ストリームから、前記パラメータセットと前記符号化データを取得する取得部と、
前記取得部により取得された前記パラメータセットから前記デプス画像情報をパースするパース処理部と、
前記取得部により取得された前記符号化データを復号する復号部と
を備える復号装置。
（１１）
前記パラメータセットには、前記パラメータセットを一意に識別するＩＤが設定されており、
前記符号化ストリームは、前記デプス画像に対応する前記ＩＤを含む
前記（１０）に記載の復号装置。
（１２）
前記符号化ストリームは、スライス単位の前記デプス画像に対応する前記ＩＤが設定されたスライスヘッダを含む
前記（１１）に記載の復号装置。
（１３）
前記デプス画像情報の差分符号化結果を復号して前記デプス画像情報を生成する生成部
をさらに備え、
前記符号化ストリームは、前記デプス画像情報の差分符号化結果が設定された前記パラメータセットを含み、
前記生成部は、前記パラメータセットとして設定された前記デプス画像情報の差分符号化結果を復号して前記デプス画像情報を生成する
前記（１０）乃至（１２）のいずれかに記載の復号装置。
（１４）
前記復号部は、前記パース処理部によりパースされた前記デプス画像情報を用いて前記符号化データを復号する
前記（１０）乃至（１３）のいずれかに記載の復号装置。
（１５）
前記デプス画像情報は、前記デプス画像の画素値の最大値および最小値と、前記デプス画像を撮影するカメラ間の距離とを含む
前記（１０）乃至（１４）のいずれかに記載の復号装置。
（１６）
前記パラメータセットには、シーケンスパラメータセットおよびピクチャパラメータセットとは異なるNAL(Network Abstraction Layer)ユニットタイプが設定される
前記（１０）乃至（１５）のいずれかに記載の復号装置。
（１７）
前記符号化ストリームは、前記デプス画像情報が存在することを識別する識別情報を含む
前記（１０）乃至（１６）のいずれかに記載の復号装置。
（１８）
復号装置が、
デプス画像に関する情報であるデプス画像情報が設定されたシーケンスパラメータセットおよびピクチャパラメータセットとは異なるパラメータセットと、前記デプス画像の符号化データとを含む符号化ストリームから、前記パラメータセットと前記符号化データを取得する取得ステップと、
前記取得ステップの処理により取得された前記パラメータセットから前記デプス画像情報をパースするパース処理ステップと、
前記取得ステップの処理により取得された前記符号化データを復号する復号ステップと
を含む復号方法。
５０ 符号化装置， ５１ 多視点カラー画像撮像部， ５２ 多視点カラー画像補正部， ５３ 多視点デプス画像生成部, ５４ デプス画像情報生成部， ５５ 多視点画像符号化部， ６１ SPS符号化部， ６２ PPS符号化部， ６３ DPS符号化部， ６４ スライスヘッダ符号化部， ６５ スライス符号化部， ８０ 復号装置， ８１ 多視点画像復号部， ８２ 視点合成部, １０１ SPS復号部， １０２ PPS復号部， １０３ DPS復号部， １０４ スライスヘッダ復号部， １０５ スライス復号部

Claims (18)

  1. デプス画像に関する情報であるデプス画像情報をシーケンスパラメータセットおよびピクチャパラメータセットとは異なるパラメータセットとして設定する設定部と、
    前記デプス画像を符号化し、符号化データを生成する符号化部と、
    前記設定部により設定された前記パラメータセットと前記符号化部により生成された前記符号化データとを含む符号化ストリームを伝送する伝送部と
    を備える符号化装置。
  2. 前記設定部は、前記パラメータセットに前記パラメータセットを一意に識別するＩＤを設定し、
    前記伝送部は、前記デプス画像に対応する前記ＩＤを含む前記符号化ストリームを伝送する
    請求項１に記載の符号化装置。
  3. 前記設定部は、スライス単位の前記デプス画像に対応する前記ＩＤを、そのデプス画像のスライスヘッダに設定し、
    前記伝送部は、前記設定部により設定された前記スライスヘッダを含む前記符号化ストリームを伝送する
    請求項２に記載の符号化装置。
  4. 前記設定部は、前記デプス画像情報を差分符号化し、前記デプス画像情報の差分符号化結果を前記パラメータセットとして設定する
    請求項１に記載の符号化装置。
  5. 前記符号化部は、前記デプス画像情報を用いて前記デプス画像を符号化する
    請求項１に記載の符号化装置。
  6. 前記デプス画像情報は、前記デプス画像の画素値の最大値および最小値と、前記デプス画像を撮影するカメラ間の距離とを含む
    請求項１に記載の符号化装置。
  7. 前記パラメータセットには、シーケンスパラメータセットおよびピクチャパラメータセットとは異なるNAL(Network Abstraction Layer)ユニットタイプが設定される
    請求項１に記載の符号化装置。
  8. 前記設定部は、前記デプス画像情報が存在することを識別する識別情報を設定し、
    前記伝送部は、前記設定部により設定された前記識別情報を含む前記符号化ストリームを伝送する
    請求項１に記載の符号化装置。
  9. 符号化装置が、
    デプス画像に関する情報であるデプス画像情報をシーケンスパラメータセットおよびピクチャパラメータセットとは異なるパラメータセットとして設定する設定ステップと、
    前記デプス画像を符号化し、符号化データを生成する符号化ステップと、
    前記設定ステップの処理により設定された前記パラメータセットと前記符号化ステップの処理により生成された前記符号化データとを含む符号化ストリームを伝送する伝送ステップと
    を含む符号化方法。
  10. デプス画像に関する情報であるデプス画像情報が設定されたシーケンスパラメータセットおよびピクチャパラメータセットとは異なるパラメータセットと、前記デプス画像の符号化データとを含む符号化ストリームから、前記パラメータセットと前記符号化データを取得する取得部と、
    前記取得部により取得された前記パラメータセットから前記デプス画像情報をパースするパース処理部と、
    前記取得部により取得された前記符号化データを復号する復号部と
    を備える復号装置。
  11. 前記パラメータセットには、前記パラメータセットを一意に識別するＩＤが設定されており、
    前記符号化ストリームは、前記デプス画像に対応する前記ＩＤを含む
    請求項１０に記載の復号装置。
  12. 前記符号化ストリームは、スライス単位の前記デプス画像に対応する前記ＩＤが設定されたスライスヘッダを含む
    請求項１１に記載の復号装置。
  13. 前記デプス画像情報の差分符号化結果を復号して前記デプス画像情報を生成する生成部
    をさらに備え、
    前記符号化ストリームは、前記デプス画像情報の差分符号化結果が設定された前記パラメータセットを含み、
    前記生成部は、前記パラメータセットとして設定された前記デプス画像情報の差分符号化結果を復号して前記デプス画像情報を生成する
    請求項１０に記載の復号装置。
  14. 前記復号部は、前記パース処理部によりパースされた前記デプス画像情報を用いて前記符号化データを復号する
    請求項１０に記載の復号装置。
  15. 前記デプス画像情報は、前記デプス画像の画素値の最大値および最小値と、前記デプス画像を撮影するカメラ間の距離とを含む
    請求項１０に記載の復号装置。
  16. 前記パラメータセットには、シーケンスパラメータセットおよびピクチャパラメータセットとは異なるNAL(Network Abstraction Layer)ユニットタイプが設定される
    請求項１０に記載の復号装置。
  17. 前記符号化ストリームは、前記デプス画像情報が存在することを識別する識別情報を含む
    請求項１０に記載の復号装置。
  18. 復号装置が、
    デプス画像に関する情報であるデプス画像情報が設定されたシーケンスパラメータセットおよびピクチャパラメータセットとは異なるパラメータセットと、前記デプス画像の符号化データとを含む符号化ストリームから、前記パラメータセットと前記符号化データを取得する取得ステップと、
    前記取得ステップの処理により取得された前記パラメータセットから前記デプス画像情報をパースするパース処理ステップと、
    前記取得ステップの処理により取得された前記符号化データを復号する復号ステップと
    を含む復号方法。
JP2013556335A 2012-01-31 2013-01-23 符号化装置、符号化方法、プログラム、および記録媒体 Expired - Fee Related JP5975301B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012019025 2012-01-31
JP2012019025 2012-01-31
PCT/JP2013/051265 WO2013115025A1 (ja) 2012-01-31 2013-01-23 符号化装置および符号化方法、並びに、復号装置および復号方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016141552A Division JP6206559B2 (ja) 2012-01-31 2016-07-19 復号装置、復号方法、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2013115025A1 true JPWO2013115025A1 (ja) 2015-05-11
JP5975301B2 JP5975301B2 (ja) 2016-08-23

Family

ID=48905067

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013556335A Expired - Fee Related JP5975301B2 (ja) 2012-01-31 2013-01-23 符号化装置、符号化方法、プログラム、および記録媒体
JP2016141552A Expired - Fee Related JP6206559B2 (ja) 2012-01-31 2016-07-19 復号装置、復号方法、プログラム、および記録媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016141552A Expired - Fee Related JP6206559B2 (ja) 2012-01-31 2016-07-19 復号装置、復号方法、プログラム、および記録媒体

Country Status (13)

Country Link
US (2) US10085007B2 (ja)
EP (1) EP2811741A4 (ja)
JP (2) JP5975301B2 (ja)
KR (1) KR20140123051A (ja)
CN (2) CN104683813B (ja)
AU (1) AU2013216395A1 (ja)
BR (1) BR112014018291A8 (ja)
CA (1) CA2860750A1 (ja)
MX (1) MX2014008979A (ja)
PH (1) PH12014501683A1 (ja)
RU (1) RU2014130727A (ja)
TW (1) TW201342884A (ja)
WO (1) WO2013115025A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9479775B2 (en) 2012-02-01 2016-10-25 Nokia Technologies Oy Method and apparatus for video coding

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
WO2015053593A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 부가 영상을 부호화하기 위한 스케일러블 비디오 부호화 방법 및 장치, 부가 영상을 복호화하기 위한 스케일러블 비디오 복호화 방법 및 장치
WO2015057038A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티-뷰 비디오의 디코딩 방법 및 장치
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇（北京）科技有限公司 一种码流及其封装方法、解码方法及装置
US11348265B1 (en) 2017-09-15 2022-05-31 Snap Inc. Computing a point cloud from stitched images
CN112544084B (zh) * 2018-05-15 2024-03-01 夏普株式会社 图像编码装置、编码流提取装置以及图像解码装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008518516A (ja) * 2004-10-21 2008-05-29 ソニー エレクトロニクス インコーポレーテッド 先進のビデオコーデックファイルフォーマットにおけるＦＲＥｘｔ（ＦＩＤＥＬＩＴＹＲＡＮＧＥＥＸＴＥＮＳＩＯＮＳ）のサポート
JP2009531966A (ja) * 2006-03-29 2009-09-03 トムソン ライセンシング マルチビュービデオ符号化方法および装置
JP2010522494A (ja) * 2007-03-23 2010-07-01 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
JP2010157824A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
JP2010525724A (ja) * 2007-04-25 2010-07-22 エルジー エレクトロニクス インコーポレイティド ビデオ信号をデコーディング／エンコーディングする方法および装置
JP2011244481A (ja) * 2002-04-25 2011-12-01 Sharp Corp 画像データ復号装置および画像データ復号方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101416149A (zh) 2004-10-21 2009-04-22 索尼电子有限公司 以高级视频编解码器文件格式支持保真度范围扩展
US20070098083A1 (en) 2005-10-20 2007-05-03 Visharam Mohammed Z Supporting fidelity range extensions in advanced video codec file format
KR101244911B1 (ko) * 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
CN101669367A (zh) 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
CN102265617A (zh) * 2008-12-26 2011-11-30 日本胜利株式会社 图像编码装置、图像编码方法及其程序、以及图像解码装置、图像解码方法及其程序
JP2010157826A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像復号装置、画像符復号方法およびそのプログラム
KR101619450B1 (ko) * 2009-01-12 2016-05-10 엘지전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
US8457155B2 (en) * 2009-09-11 2013-06-04 Nokia Corporation Encoding and decoding a multi-view video signal
US20140321546A1 (en) * 2011-08-31 2014-10-30 Sony Corporation Image processing apparatus and image processing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011244481A (ja) * 2002-04-25 2011-12-01 Sharp Corp 画像データ復号装置および画像データ復号方法
JP2008518516A (ja) * 2004-10-21 2008-05-29 ソニー エレクトロニクス インコーポレーテッド 先進のビデオコーデックファイルフォーマットにおけるＦＲＥｘｔ（ＦＩＤＥＬＩＴＹＲＡＮＧＥＥＸＴＥＮＳＩＯＮＳ）のサポート
JP2009531966A (ja) * 2006-03-29 2009-09-03 トムソン ライセンシング マルチビュービデオ符号化方法および装置
JP2010522494A (ja) * 2007-03-23 2010-07-01 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
JP2010525724A (ja) * 2007-04-25 2010-07-22 エルジー エレクトロニクス インコーポレイティド ビデオ信号をデコーディング／エンコーディングする方法および装置
JP2010157824A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9479775B2 (en) 2012-02-01 2016-10-25 Nokia Technologies Oy Method and apparatus for video coding
US10397610B2 (en) 2012-02-01 2019-08-27 Nokia Technologies Oy Method and apparatus for video coding

Also Published As

Publication number Publication date
BR112014018291A8 (pt) 2017-07-11
CA2860750A1 (en) 2013-08-08
WO2013115025A1 (ja) 2013-08-08
BR112014018291A2 (ja) 2017-06-20
CN104067615A (zh) 2014-09-24
JP2016195456A (ja) 2016-11-17
US10205927B2 (en) 2019-02-12
TW201342884A (zh) 2013-10-16
US10085007B2 (en) 2018-09-25
CN104067615B (zh) 2017-10-24
AU2013216395A1 (en) 2014-07-10
US20180343437A1 (en) 2018-11-29
CN104683813B (zh) 2017-10-10
JP5975301B2 (ja) 2016-08-23
KR20140123051A (ko) 2014-10-21
US20150042753A1 (en) 2015-02-12
RU2014130727A (ru) 2016-02-10
PH12014501683A1 (en) 2014-11-10
EP2811741A4 (en) 2015-06-24
MX2014008979A (es) 2014-08-27
EP2811741A1 (en) 2014-12-10
CN104683813A (zh) 2015-06-03
JP6206559B2 (ja) 2017-10-04

Similar Documents

Publication Publication Date Title
JP6365635B2 (ja) 画像処理装置および画像処理方法
JP6206559B2 (ja) 復号装置、復号方法、プログラム、および記録媒体
WO2012128069A1 (ja) 画像処理装置および画像処理方法
US9235749B2 (en) Image processing device and image processing method
WO2012111756A1 (ja) 画像処理装置および画像処理方法
WO2012111757A1 (ja) 画像処理装置および画像処理方法
US9338430B2 (en) Encoding device, encoding method, decoding device, and decoding method
WO2012111755A1 (ja) 画像処理装置および画像処理方法
US9762884B2 (en) Encoding device, encoding method, decoding device, and decoding method for encoding multiple viewpoints for compatibility with existing mode allowing fewer viewpoints
US9900595B2 (en) Encoding device, encoding method, decoding device, and decoding method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160706

R151 Written notification of patent or utility model registration

Ref document number: 5975301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees