JP6057136B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6057136B2
JP6057136B2 JP2013505886A JP2013505886A JP6057136B2 JP 6057136 B2 JP6057136 B2 JP 6057136B2 JP 2013505886 A JP2013505886 A JP 2013505886A JP 2013505886 A JP2013505886 A JP 2013505886A JP 6057136 B2 JP6057136 B2 JP 6057136B2
Authority
JP
Japan
Prior art keywords
image
parallax
viewpoint
depth
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013505886A
Other languages
English (en)
Other versions
JPWO2012128070A1 (ja
Inventor
良知 高橋
良知 高橋
しのぶ 服部
しのぶ 服部
裕音 櫻井
裕音 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2012128070A1 publication Critical patent/JPWO2012128070A1/ja
Application granted granted Critical
Publication of JP6057136B2 publication Critical patent/JP6057136B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Description

本技術は、画像処理装置および画像処理方法に関し、特に、所定の視点のカラー画像およびデプス画像を用いて、表示視点のカラー画像を生成することができるようにした画像処理装置および画像処理方法に関する。
近年、３Ｄ画像が注目されている。この３Ｄ画像の視聴方式としては、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下、メガネ有り方式という）が一般的である。
しかしながら、このようなメガネ有り方式では、視聴者は、３Ｄ画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに３Ｄ画像を視聴可能な視聴方式（以下、メガネ無し方式という）の需要が高まっている。
メガネ無し方式では、３視点以上の視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
メガネ無し方式の３Ｄ画像の表示方法としては、所定の視点のカラー画像と奥行き画像を取得し、そのカラー画像と奥行き画像を用いて所定の視点以外の視点を含む表示視点としての多視点のカラー画像を生成し、表示する方法が考案されている。なお、多視点とは、３視点以上の視点である。
また、多視点のカラー画像と奥行き画像を符号化する方法として、カラー画像と奥行き画像を別々に符号化する方法が提案されている（例えば、特許文献１参照）。
INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO,Guangzhou,China,October 2010
従来の符号化規格等では、メガネ無し方式の３Ｄ画像の表示に適した情報を伝送することは考えられていない。従って、従来の符号化規格では、所定の視点のカラー画像と、奥行き画像等の視差に関する画像である視差関連画像（デプス画像）とを用いた、所定の視点以外の視点を含む表示視点としての多視点のカラー画像の生成に不要な情報が多く伝送されるうえ、必要な情報が伝送されない。
その結果、受信側で、所定の視点のカラー画像と視差関連画像を用いて、その視点以外の視点のカラー画像を生成することはできなかった。
本技術は、このような状況に鑑みてなされたものであり、所定の視点のカラー画像および視差関連画像を用いて、表示視点のカラー画像を生成することができるようにするものである。
本技術の第１の側面の画像処理装置は、視点のカラー画像と前記視点のデプス画像とを符号化してビットストリームを生成する符号化部と、前記カラー画像と前記デプス画像とを用いてワーピング処理を行うことにより得られる表示視点のカラー画像の生成方法にしたがって、前記表示視点のカラー画像を生成する際に用いる視点生成用情報を生成する生成部と、前記符号化部により生成された前記ビットストリームと、前記生成部により生成された前記視点生成用情報とを伝送する伝送部とを備え、前記デプス画像は、前記カラー画像の各画素の被写体の奥行方向の位置を表す奥行き値からなる奥行き画像、または、前記カラー画像の各画素と、その画素に対応する基点のカラー画像の画素の距離を表す視差値からなる視差画像であり、前記生成部は、前記デプス画像が奥行き画像であるか、または、視差画像であるかを識別するデプス画像識別情報を、前記視点生成用情報として生成する画像処理装置である。
本技術の第１の側面の画像処理方法は、本技術の第１の側面の画像処理装置に対応する。
本技術の第１の側面においては、視点のカラー画像と前記視点のデプス画像とを符号化してビットストリームが生成され、前記カラー画像と前記デプス画像とを用いてワーピング処理を行うことにより得られる表示視点のカラー画像の生成方法にしたがって、前記表示視点のカラー画像を生成する際に用いる視点生成用情報が生成され、前記ビットストリームと前記視点生成用情報とが伝送される。なお、前記デプス画像は、前記カラー画像の各画素の被写体の奥行方向の位置を表す奥行き値からなる奥行き画像、または、前記カラー画像の各画素と、その画素に対応する基点のカラー画像の画素の距離を表す視差値からなる視差画像であり、視点生成用情報は、前記デプス画像が奥行き画像であるか、または、視差画像であるかを識別するデプス画像識別情報である。
本技術の第２の側面の画像処理装置は、視点のカラー画像と前記視点のデプス画像の符号化の結果得られるビットストリームと、前記カラー画像と前記デプス画像とを用いてワーピング処理を行うことにより得られる表示視点のカラー画像の生成方法にしたがって生成された、前記表示視点のカラー画像を生成する際に用いる視点生成用情報とを受け取る受け取り部と、前記受け取り部により受け取られた前記ビットストリームを復号して前記カラー画像と前記デプス画像を生成する復号部と、前記復号部により生成された前記カラー画像および前記デプス画像と、前記受け取り部により受け取られた前記視点生成用情報とを用いてワーピング処理を行うことにより、前記表示視点のカラー画像を生成する生成部とを備え、前記デプス画像は、前記カラー画像の各画素の被写体の奥行方向の位置を表す奥行き値からなる奥行き画像、または、前記カラー画像の各画素と、その画素に対応する基点のカラー画像の画素の距離を表す視差値からなる視差画像であり、前記受け取り部は、前記視点生成用情報として、前記デプス画像が奥行き画像であるか、または、視差画像であるかを識別するデプス画像識別情報を受け取る画像処理装置である。
本技術の第２の側面の画像処理方法は、本技術の第２の側面の画像処理装置に対応する。
本技術の第２の側面においては、視点のカラー画像と前記視点のデプス画像の符号化の結果得られるビットストリームと、前記カラー画像と前記デプス画像とを用いてワーピング処理を行うことにより得られる表示視点のカラー画像の生成方法にしたがって生成された、前記表示視点のカラー画像を生成する際に用いる視点生成用情報とが受け取られ、受け取られた前記ビットストリームが復号されて前記カラー画像と前記デプス画像が生成され、前記カラー画像および前記デプス画像と、前記視点生成用情報とを用いてワーピング処理が行われることにより、前記表示視点のカラー画像が生成される。なお、前記デプス画像は、前記カラー画像の各画素の被写体の奥行方向の位置を表す奥行き値からなる奥行き画像、または、前記カラー画像の各画素と、その画素に対応する基点のカラー画像の画素の距離を表す視差値からなる視差画像であり、前記視点生成用情報は、前記デプス画像が奥行き画像であるか、または、視差画像であるかを識別するデプス画像識別情報である。
なお、第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術の第１の側面によれば、所定の視点のカラー画像およびデプス画像を用いて、表示視点のカラー画像を生成するために必要な情報を送信することができる。
また、本技術の第２の側面によれば、所定の視点のカラー画像およびデプス画像を用いて、表示視点のカラー画像を生成することができる。
Multiview acquisition information SEIのシンタックスを示す図である。 本技術を適用した画像処理装置としての符号化装置の第１実施の形態の構成例を示すブロック図である。 符号化ビットストリームのアクセスユニットの構成例を示すク図である。 SEIの一部の記述例を示す図である。 図２の符号化装置の符号化処理を説明するフローチャートである。 図５の多視点符号化処理の詳細を説明するフローチャートである。 本技術を適用した画像処理装置としての復号装置の第１実施の形態の構成例を示すブロック図である。 奥行き画像のワーピング処理を説明する図である。 図７の復号装置の復号処理を説明するフローチャートである。 図９の多視点復号処理の詳細を説明するフローチャートである。 本技術を適用した画像処理装置としての符号化装置の第２実施の形態の構成例を示すブロック図である。 視点生成用情報の視差関連最大値と視差関連最小値を説明する図である。 視点生成用情報の視差精度パラメータを説明する図である。 視点生成用情報のカメラ間距離を説明する図である。 図１１の多視点画像符号化部の構成例を示すブロック図である。 符号化ビットストリームの構成例を示す図である。 図１６のPPSのシンタックスの例を示す図である。 スライスヘッダのシンタックスの例を示す図である。 スライスヘッダのシンタックスの例を示す図である。 図１１の符号化装置の符号化処理を説明するフローチャートである。 図２０の多視点符号化処理を説明するフローチャートである。 本技術を適用した画像処理装置としての復号装置の第２実施の形態の構成例を示すブロック図である。 図２２の多視点画像復号部の構成例を示すブロック図である。 図２２の多視点画像復号部の多視点復号処理を説明するフローチャートである。 視差と奥行きについて説明する図である。 コンピュータの一実施の形態の構成例を示す図である。 本技術を適用したテレビジョン装置の概略構成例を示す図である。 本技術を適用した携帯電話機の概略構成例を示す図である。 本技術を適用した記録再生装置の概略構成例を示す図である。 本技術を適用した撮像装置の概略構成例を示す図である。
＜本明細書におけるデプス画像（視差関連画像）の説明＞
図２５は、視差と奥行きについて説明する図である。
図２５に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。
Figure 0006057136
・・・（ａ）
なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影されたカラー画像上の被写体Ｍの位置の、カラー画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す視差画像と奥行きＺを表す奥行き画像とを総称して、デプス画像（視差関連画像）とする。
なお、デプス画像（視差関連画像）は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像（視差関連画像）の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
Figure 0006057136
なお、式（ｂ）において、Ｄｍａｘは、視差ｄの最大値であり、Ｄｍｉｎは、視差ｄの最小値である。最大値Ｄｍａｘと最小値Ｄｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
Figure 0006057136
なお、式（ｃ）において、Ｚｆａｒは、奥行きＺの最大値であり、Ｚｎｅａｒは、奥行きＺの最小値である。最大値Ｚｆａｒと最小値Ｚｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする視差画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする奥行き画像とを総称して、デプス画像（視差関連画像）とする。ここでは、デプス画像（視差関連画像）のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
なお、デプス画像（視差関連画像）の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報とする。更に、値I又は値yをマッピングしたものをデプスマップとする。
＜第１実施の形態＞
［符号化装置の第１実施の形態の構成例］
図２は、本技術を適用した画像処理装置としての符号化装置の第１実施の形態の構成例を示すブロック図である。
図２の符号化装置１０は、多視点カラー画像撮像部１１、多視点カラー画像補正部１２、多視点視差関連画像生成部１３、視点生成用情報生成部１４、および多視点画像符号化部１５により構成される。
符号化装置１０は、所定の視点のカラー画像および視差関連画像を符号化し、所定の視点のカラー画像と視差関連画像を用いて、その視点以外の視点のカラー画像を生成するために必要な情報である視点生成用情報を付加して伝送する。
符号化装置１０の多視点カラー画像撮像部１１は、多視点のカラー画像を撮像し、多視点カラー画像として多視点カラー画像補正部１２に供給する。また、多視点カラー画像撮像部１１は、カラー画像の視点数、外部パラメータ、レンジ情報などの撮像に関する情報を、撮像情報として生成し、視点生成用情報生成部１４に供給する。
なお、外部パラメータは、多視点カラー画像撮像部１１の水平方向の位置を定義するパラメータである。
また、レンジ情報は、多視点視差関連画像生成部１３により生成される視差関連画像が奥行き画像である場合、多視点視差関連画像（多視点デプス画像）においてとり得る奥行方向の位置の世界座標値の最小値（最小値Ｚｎｅａｒ）と最大値（最大値Ｚｆａｒ）からなる。この最小値と最大値を、以下では、それぞれ、奥行き最小値、奥行き最大値という。一方、多視点視差関連画像生成部１３により生成される視差関連画像が視差画像である場合、レンジ情報は、多視点視差関連画像においてとり得る世界座標上の視差の最小値（最小値Ｄｍｉｎ）および最大値（最大値Ｄｍａｘ）、並びに、視差値を求める際に基点とされた視点のカラー画像を特定する情報からなる。この最小値と最大値を、以下では、それぞれ、視差最小値、視差最大値という。
多視点カラー画像補正部１２は、多視点カラー画像撮像部１１から供給される多視点カラー画像に対して、色補正、輝度補正、歪み補正等を行う。これにより、補正後の多視点カラー画像における多視点カラー画像撮像部１１の水平方向（X方向）の焦点距離は、全視点で共通となる。多視点カラー画像補正部１２は、補正後の多視点カラー画像を多視点補正カラー画像として多視点視差関連画像生成部１３と多視点画像符号化部１５に供給する。また、多視点カラー画像補正部１２は、内部パラメータなどの多視点補正カラー画像に関する情報を、カラー画像情報として生成し、視点生成用情報生成部１４に供給する。
なお、内部パラメータは、多視点補正カラー画像における、全視点に共通の多視点カラー画像撮像部１１の水平方向の焦点距離と、画像中心である主点、即ちレンズの光学的な中心の水平方向の位置とからなる。なお、主点の水平方向の位置は、視点ごとに異なり得る。
多視点視差関連画像生成部１３は、多視点カラー画像補正部１２から供給される多視点補正カラー画像から、多視点の視差関連画像を生成する。そして、多視点視差関連画像生成部１３は、生成された多視点の視差関連画像を多視点視差関連画像として多視点画像符号化部１５に供給する。
また、多視点視差関連画像生成部１３は、多視点視差関連画像の視点数、多視点視差関連画像が奥行き画像であるか、または、視差画像であるかを表す情報である画像種類情報（デプス画像識別情報）などの多視点視差関連画像に関する情報を、視差関連画像情報（デプス画像情報）として生成する。そして、多視点視差関連画像生成部１３は、視差関連画像情報を視点生成用情報生成部１４に供給する。
視点生成用情報生成部１４は、生成部として機能し、多視点補正カラー画像と多視点視差関連画像を用いて、他の視点のカラー画像を生成する所定の方法にしたがって、視点生成用情報を生成する。具体的には、視点生成用情報生成部１４は、多視点カラー画像撮像部１１から供給されるカラー画像の視点数と、多視点視差関連画像生成部１３から供給される視差関連画像の視点数とに基づいて、カラー画像特定情報と視差関連画像特定情報（デプス画像特定情報）を生成する。なお、カラー画像特定情報とは、カラー画像を特定する情報であり、視差関連画像特定情報とは、視差関連画像を特定する情報である。
また、視点生成用情報生成部１４は、多視点カラー画像撮像部１１からの撮像情報に含まれる外部パラメータに基づいて、多視点視差関連画像に対応する各視点ごとに、その視点の外部パラメータの有無を表す外部パラメータフラグを生成する。さらに、視点生成用情報生成部１４は、多視点カラー画像補正部１２からのカラー画像情報に含まれる内部パラメータに基づいて、多視点視差関連画像に対応する各視点ごとに、その視点の内部パラメータの有無を表す内部パラメータフラグを生成する。そして、視点生成用情報生成部１４は、カラー画像特定情報、視差関連画像特定情報、外部パラメータフラグ、内部パラメータフラグ、撮像情報、カラー画像情報、および視差関連画像情報から視点生成用情報を生成する。この視点生成用情報は、カラー画像特定情報、視差関連画像特定情報、外部パラメータ情報、内部パラメータ情報、カラー画像の視点数、レンジ情報、視差関連画像の視点数、および画像種類情報により構成される。なお、外部パラメータ情報は、外部パラメータフラグと、多視点視差関連画像に対応する視点の外部パラメータにより構成され、内部パラメータ情報は、内部パラメータフラグと、多視点視差関連画像に対応する視点の内部パラメータにより構成される。視点生成用情報生成部１４は、生成された視点生成用情報を多視点画像符号化部１５に供給する。
多視点画像符号化部１５は、符号化部として機能し、多視点カラー画像補正部１２からの多視点補正カラー画像と多視点視差関連画像生成部１３からの多視点視差関連画像をMVC（Multiview Video Coding）方式と同様の方式で符号化し、視点生成用情報生成部１４からの視点生成用情報を付加する。多視点画像符号化部１５は、伝送部として機能し、その結果得られるビットストリームを符号化ビットストリームとして伝送する。
［符号化ビットストリームの構成例］
図３は、図２の符号化装置１０により生成される符号化ビットストリームのアクセスユニットの構成例を示す図である。
図３に示すように、符号化ビットストリームのアクセスユニットは、SPS（Sequence Parameter Set），Subset SPS，PPS（Picture Parameter Set），SEI，およびスライス（Slice）により構成される。
なお、図３の例では、多視点補正カラー画像および多視点視差関連画像の視点数が２である。そして、２視点の多視点補正カラー画像のうちの一方の視点の補正後のカラー画像Ａがベースビューとして符号化される。また、他方の視点の補正後のカラー画像Ｂ、カラー画像Ａに対応する視差関連画像Ａ、および、カラー画像Ｂに対応する視差関連画像Ｂがノンベースビューとして符号化される。
その結果、スライスの配置順は、例えば、先頭から、ベースビューとして符号化されたカラー画像Ａのスライス、ノンベースビューとして符号化された視差関連画像Ａのスライス、カラー画像Ｂのスライス、視差関連画像Ｂのスライスの順になる。なお、各スライスのヘッダ部には、PPSを特定するための情報が記述されている。
SPSは、ベースビューの符号化に関する情報を含むヘッダである。Subset SPSは、ベースビューおよびノンベースビューの符号化に関する情報を含む拡張ヘッダである。PPSは、ピクチャ全体の符号化モードを示す情報、SPSおよびSubset SPSを特定するための情報を含むヘッダである。SEIは、復号に必須ではない付加情報であり、視点生成用情報等を含む。
ベースビューとして符号化されたカラー画像Ａの復号時には、そのカラー画像Ａのヘッダ部に記述されるPPSを特定するための情報に基づいてPPSが参照され、そのPPSに記述されているSPSを特定するための情報に基づいてSPSが参照される。
一方、ノンベースビューとして符号化された視差関連画像Ａの復号時には、その視差関連画像Ａのヘッダに記述されるPPSを特定するための情報に基づいてPPSが参照される。また、そのPPSに記述されているSub SPSを特定するための情報に基づいてSub SPSが参照される。ノンベースビューとして符号化されたカラー画像Ｂおよび視差関連画像Ｂの復号時にも、視差関連画像Ａの復号時と同様に、PPSが参照され、Sub SPSが参照される。
[SEIの一部の記述例]
図４は、SEIの一部の記述例を示す図である。
図４のSEIの左側の上から2行目には、カラー画像の視点数（num_color_view_minus_1）が記述され、3行目には、視差関連画像の視点数（num_depth_view_minus_1）が記述される。
また、図４の左側の上から5行目には、各視点のカラー画像のカラー画像特定情報としてカラー画像のビューID（color_view_id）が記述され、7行目には、各視点の視差関連画像の視差関連画像特定情報として視差関連画像のビューID（depth_view_id）が記述される。図４の左側の上から8行目には、内部パラメータ情報のうちの内部パラメータフラグが、多視点視差関連画像に対応する各視点ごとに記述される。9行目には、外部パラメータ情報のうちの外部パラメータフラグが、多視点視差関連画像に対応する各視点ごとに記述される。
図４の左側の上から11および13乃至15行目には、内部パラメータのうちの水平方向の焦点距離が記述される。
なお、図４のSEIでは、実数xは、以下の式（１）で定義されるprec値,sign値,exponent値、およびmantissa値を用いて、浮動小数点数で記述される。
e＝0のとき
v＝Max(0,prec-30)
x＝(-1)S・2-(30+v)・n
0<e≦62のとき
v＝Max(0,e+prec-31)
x＝(-1)S・2e-31・(1+n/2v)
・・・（１）
式（１）において、precは、prec値であり、sはsign値であり、eはexponent値であり、nはmantissa値である。従って、sign値,exponent値,mantissa値は、それぞれ、実数ｘの符号、指数、仮数を表す。
以上のように、実数xは浮動小数点数で記述されるので、図４の左側の上から11行目および13乃至15行目には、それぞれ、水平方向の焦点距離のprec値（prec_focal_length）,sign値（sign_focal_length_x）,exponent値（exponent_focal_length_x）,mantissa値（mantissa_focal_length_x）が記述される。
また、図４の左側の上から12行目には、主点の水平方向の位置のprec値（prec_principal_point）として、多視点視差関連画像に対応する各視点に共通の値が記述される。また、図４の左側の上から17乃至19行目には、それぞれ、主点の水平方向の位置のsign値（sign_principal_point_x）,exponent値（exponent_principal_point_x）,mantissa値（mantissa_principal_point_x）が、多視点視差関連画像に対応する各視点ごとに記述される。
図４の右側の上から2行目は、外部パラメータのprec値（prec_translation_param）として、多視点視差関連画像に対応する各視点に共通の値が記述される。また、図４の右側の上から4乃至6行目には、それぞれ、外部パラメータのsign値（sign_translation_x）,exponent値（exponent_translation_x）,mantissa値（mantissa_translation_x）が、多視点視差関連画像に対応する視点ごとに記述される。
また、図４の右側の上から9行目には、画像種類情報（depth_map_flag）が記述される。図４の右側の上から11および12行目には、画像種類情報が奥行き画像であることを表す場合に、レンジ情報のうちの多視点視差関連画像に対応する各視点に共通の奥行き最小値(depth_nearest)、奥行き最大値(depth_farthest)が、それぞれ記述される。
さらに、図４の右側の上から16乃至18行目には、画像種類情報が視差画像であることを表す場合のレンジ情報が記述される。具体的には、16行目および17行目には、それぞれ、視差最小値(disparity_minimum)、視差最大値(disparity_maximum)が記述される。なお、視差最小値および視差最大値は、視点によって異なるため、視点ごとに生成され、記述される。
また、18行目には、視差値を求める際に基点とされた視点のカラー画像を特定する情報として、そのカラー画像のビューID(reference_depth_view)が、多視点視差関連画像に対応する各視点ごとに記述される。
［符号化装置の処理の説明］
図５は、図２の符号化装置１０の符号化処理を説明するフローチャートである。
図５のステップＳ１０において、符号化装置１０の多視点カラー画像撮像部１１は、多視点のカラー画像を撮像し、多視点カラー画像として多視点カラー画像補正部１２に供給する。
ステップＳ１１において、多視点カラー画像撮像部１１は、撮像情報を生成し、視点生成用情報生成部１４に供給する。
ステップＳ１２において、多視点カラー画像補正部１２は、多視点カラー画像撮像部１１から供給される多視点カラー画像に対して、色補正、輝度補正、歪み補正等を行う。多視点カラー画像補正部１２は、補正後の多視点カラー画像を多視点補正カラー画像として多視点視差関連画像生成部１３と多視点画像符号化部１５に供給する。
ステップＳ１３において、多視点カラー画像補正部１２は、カラー画像情報を生成し、視点生成用情報生成部１４に供給する。
ステップＳ１４において、多視点視差関連画像生成部１３は、多視点カラー画像補正部１２から供給される多視点補正カラー画像から、多視点の視差関連画像を生成する。そして、多視点視差関連画像生成部１３は、生成された多視点の視差関連画像を多視点視差関連画像として多視点画像符号化部１５に供給する。
ステップＳ１５において、多視点視差関連画像生成部１３は、視差関連画像情報を生成し、視点生成用情報生成部１４に供給する。
ステップＳ１６において、視点生成用情報生成部１４は、撮像情報、カラー画像情報、および視差関連画像情報に基づいて、カラー画像特定情報、視差関連画像特定情報、内部パラメータフラグ、および外部パラメータフラグを生成する。
ステップＳ１７において、視点生成用情報生成部１４は、視点生成用情報を生成する。具体的には、視点生成用情報生成部１４は、カラー画像特定情報、視差関連画像特定情報、カラー画像の視点数、外部パラメータ情報、内部パラメータ情報、レンジ情報、視差関連画像の視点数、および画像種類情報を視点生成用情報として生成する。視点生成用情報生成部１４は、生成された視点生成用情報を多視点画像符号化部１５に供給する。
ステップＳ１８において、多視点画像符号化部１５は、多視点補正カラー画像および多視点視差関連画像を符号化し、視点生成用情報等を付加する多視点符号化処理を行う。この多視点符号化処理の詳細は、後述する図６を参照して説明する。
ステップＳ１９において、多視点画像符号化部１５は、ステップＳ１８の結果生成される符号化ビットストリームを伝送し、処理を終了する。
図６は、図５のステップＳ１８の多視点符号化処理の詳細を説明するフローチャートである。この多視点符号化処理は、例えば、スライス単位で行われる。また、図６の多視点符号化処理では、符号化対象の画像が、カラー画像Ａ、カラー画像Ｂ、視差関連画像Ａ、および視差関連画像Ｂであるものとする。
図６のステップＳ３１において、多視点画像符号化部１５は、処理対象のスライスである対象スライスのSPSを生成し、そのSPSに固有のIDを付与する。ステップＳ３２において、多視点画像符号化部１５は、対象スライスのSubset SPSを生成し、そのSubset SPSに固有のIDを付与する。
ステップＳ３３において、多視点画像符号化部１５は、ステップＳ３１およびＳ３２で付与されたIDを含む対象スライスのPPSを生成し、そのPPSに固有のIDを付与する。ステップＳ３４において、多視点画像符号化部１５は、対象スライスの視点生成用情報を含むSEIを生成する。
ステップＳ３５において、多視点画像符号化部１５は、カラー画像Ａの対象スライスをベースビューとして符号化し、ステップＳ３３で付与されたIDを含むヘッダ部を付加する。ステップＳ３６において、多視点画像符号化部１５は、視差関連画像Ａの対象スライスをノンベースビューとして符号化し、ステップＳ３３で付与されたIDを含むヘッダ部を付加する。
ステップＳ３７において、多視点画像符号化部１５は、カラー画像Ｂの対象スライスをノンベースビューとして符号化し、ステップＳ３３で付与されたIDを含むヘッダ部を付加する。ステップＳ３８において、多視点画像符号化部１５は、視差関連画像Ｂの対象スライスをノンベースビューとして符号化し、ステップＳ３３で付与されたIDを含むヘッダ部を付加する。
そして、多視点画像符号化部１５は、生成されたSPS,Subset SPS,PPS,SEI、カラー画像Ａの対象スライス、視差関連画像Ａの対象スライス、カラー画像Ｂの対象スライス、視差関連画像Ｂの対象スライスを順に配置して符号化ビットストリームを生成する。そして、処理は図５のステップＳ１８に戻り、ステップＳ１９に進む。
なお、図６の多視点符号化処理では、説明の便宜上、SPSがスライス単位で生成されるようにしたが、現在の対象スライスのSPSが、以前の対象スライスのSPSと同一である場合、そのSPSは生成されない。このことは、Subset SPS,PPS,SEIについても同様である。
以上のように、符号化装置１０は、多視点補正カラー画像と多視点視差関連画像を用いて、他の視点のカラー画像を生成する所定の方法にしたがって、視点生成用情報を生成し、所定の視点のカラー画像および視差関連画像とともに送信する。従って、後述する復号装置において、所定の視点のカラー画像、視差関連画像、および視点生成用情報を用いて、その視点とは異なる視点のカラー画像を生成することができる。
[復号装置の第１実施の形態の構成例]
図７は、図２の符号化装置１０から伝送される符号化ビットストリームを復号する、本技術を適用した画像処理装置としての復号装置の第１実施の形態の構成例を示すブロック図である。
図７の復号装置３０は、多視点画像復号部３１、視点合成部３２、および多視点画像表示部３３により構成される。
復号装置３０の多視点画像復号部３１は、受け取り部として機能し、図２の符号化装置１０から伝送されてくる符号化ビットストリームを受け取る。多視点画像復号部３１は、受け取られた符号化ビットストリームのSEIから視点生成用情報を抽出し、視点合成部３２に供給する。また、多視点画像復号部３１は、復号部として機能し、符号化ビットストリームを、図２の多視点画像符号化部１５の符号化方式に対応する方式で復号し、多視点補正カラー画像および多視点視差関連画像を生成する。多視点画像復号部３１は、生成された多視点補正カラー画像および多視点視差関連画像を視点合成部３２に供給する。
視点合成部３２は、多視点画像復号部３１からの視点生成用情報を用いて、多視点画像復号部３１からの多視点視差関連画像に対して、多視点画像表示部３３に対応する視点数の表示視点へのワーピング処理（詳細は後述する）を行う。
具体的には、視点合成部３２は、視点生成用情報に含まれる視差関連画像特定情報に基づいて、多視点画像復号部３１から供給される多視点補正カラー画像および多視点視差関連画像のうちの、視差関連画像の視点数分の視点の多視点視差関連画像を特定する。そして、視点合成部３２は、視点生成用情報に含まれる内部パラメータフラグが内部パラメータの有りを表す場合、視点生成用情報から内部パラメータを取得する。また、視点合成部３２は、視点生成用情報に含まれる外部パラメータフラグが外部パラメータの有りを表す場合、視点生成用情報から外部パラメータを取得する。そして、視点合成部３２は、取得された内部パラメータおよび外部パラメータ、並びに、視点生成用情報に含まれる画像種類情報およびレンジ情報に基づいて、多視点視差関連画像に対して表示視点へのワーピング処理を行う。
なお、ワーピング処理とは、ある視点の画像から別の視点の画像へ幾何変換する処理である。また、表示視点には、多視点カラー画像に対応する視点以外の視点が含まれる。
また、視点合成部３２は、視点生成用情報と、ワーピング処理の結果得られる表示視点の視差関連画像とを用いて、多視点画像復号部３１から供給される多視点補正カラー画像に対して、表示視点へのワーピング処理を行う。具体的には、視点合成部３２は、視点生成用情報に含まれるカラー画像特定情報に基づいて、多視点画像復号部３１から供給される多視点補正カラー画像および多視点視差関連画像のうちの、カラー画像の視点数分の視点の多視点カラー画像を特定する。そして、視点合成部３２は、ワーピング処理の結果得られる表示視点の視差関連画像を用いて、多視点補正カラー画像に対して表示視点へのワーピング処理を行う。
視点合成部３２は、その結果得られる表示視点のカラー画像を、多視点合成カラー画像として多視点画像表示部３３に供給する。
多視点画像表示部３３は、視点合成部３２から供給される多視点合成カラー画像を、視点ごとに視認可能な角度が異なるように表示する。視聴者は、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに複数の視点から３Ｄ画像を見ることができる。
［奥行き画像のワーピング処理の説明］
図８は、奥行き画像のワーピング処理を説明する図である。
奥行き画像のワーピング処理では、まず、図８に示すように、処理対象の位置t（tx,ty,tz）の視点の奥行き画像の各画素の位置m（x,y,z）と、ワーピング処理後の位置t'（t'x,t'y,t'z）の表示視点の奥行き画像の位置m'（x',y',z'）が、３次元空間を介して対応付けられる。
具体的には、以下の式（２）により、位置t（tx,ty,tz）の視点の奥行き画像の、奥行き値（値ｙ）が世界座標上の奥行方向の位置Z（奥行きＺ）に対応する値である画素の、画面上の位置m（x,y,z）に対応する世界座標上の位置M(X,Y,Z)が求められ、その位置M(X,Y,Z)に対応する、位置t'（t'x,t'y,t'z）の表示視点の奥行き画像の画面上の位置m'（x',y',z'）が求められる。
(X,Y,Z)T＝RA-1（x,y,1）TZ+（tx,ty,tz）T
s（x',y',1）T＝A’R'-1[（X,Y,Z）T-（t'x,t'y,t'z）T]
・・・（２）
なお、式（２）において、Rは、多視点カラー画像撮像部１１上の座標を、世界座標に変換するための回転行列であり、予め決められた固定の行列である。また、R'は、ワーピング処理後の奥行き画像に対応するカラー画像を撮像する仮想の撮像部上の座標を、世界座標に変換するための回転行列である。
また、式（２）において、Aは、多視点カラー画像撮像部１１上の座標を、画面上の座標に変換するための行列であり、以下の式（３）で表される。
Figure 0006057136
なお、式（３）において、focal_length_x,focal_length_yは、それぞれ、多視点カラー画像撮像部１１の水平方向、垂直方向(y方向)の焦点距離を表す。principal_point_x,principal_point_yは、それぞれ、多視点カラー画像撮像部１１の主点の水平方向、垂直方向の位置を表す。radial_distortionは、半径方向の歪み係数を表す。
但し、視点合成部３２では、式（３）において、垂直方向の焦点距離および主点の垂直方向の位置は用いられない。また、半径方向の歪み係数が0となるように、多視点カラー画像補正部１２において補正が行われている。
また、A’は、Aと同様に表される、ワーピング処理後の奥行き画像に対応するカラー画像を撮像する仮想の撮像部上の座標を、画面上の座標に変換するための行列であり、予め決められている。また、式（２）において、sは、スケーリングファクタ（scaling factor）であり、予め決められた固定値である。また、ここでは、tyとtzは予め決められた固定値である。
従って、位置m（x,y,z）と位置m'（x',y',z'）の対応付けに必要な、奥行き画像以外の情報は、水平方向の焦点距離、主点の水平方向の位置、多視点カラー画像撮像部１１の水平方向の位置、および、奥行き値を位置Zに変換するために必要な奥行き最小値と奥行き最大値である。そして、これらの情報は、視点生成用情報に含まれている。
以上のようにして対応付けが行われた後、各画素の位置m（x,y,z）に対応する位置m'（x',y',z'）に基づいて、処理対象の奥行き画像の各画素に対応するワーピング処理後の奥行き画像の画素が決定される。そして、処理対象の奥行き画像の各画素の奥行き値が、その画素に対応するワーピング処理後の奥行き画像の画素の奥行き値とされる。
なお、視差画像に対するワーピング処理は、奥行き値(値ｙ)が視差値(値Ｉ)に代わること以外、奥行き画像に対するワーピング処理と同様に行われる。
[復号装置の処理の説明]
図９は、図７の復号装置３０の復号処理を説明するフローチャートである。この復号処理は、例えば、図２の符号化装置１０から符号化ビットストリームが伝送されてきたとき、開始される。
図９のステップＳ５１において、復号装置３０の多視点画像復号部３１は、図２の符号化装置１０から伝送されてくる符号化ビットストリームを受け取る。
ステップＳ５２において、多視点画像復号部３１は、受け取られた符号化ビットストリームを復号し、視点生成用情報を抽出する多視点復号処理を行う。この多視点復号処理の詳細は、後述する図１０を参照して説明する。
ステップＳ５３において、視点合成部３２は、生成部として機能し、多視点画像復号部３１から供給される視点生成用情報、多視点補正カラー画像、および多視点視差関連画像を用いて、多視点合成カラー画像を生成する。
ステップＳ５４において、多視点画像表示部３３は、視点合成部３２から供給される多視点合成カラー画像を、視点ごとに視認可能な角度が異なるように表示し、処理を終了する。
図１０は、図９のステップＳ５２の多視点復号処理の詳細を説明するフローチャートである。この多視点復号処理は、例えば、スライス単位で行われる。また、図１０の多視点復号処理では、復号対象の画像が、カラー画像Ａ、カラー画像Ｂ、視差関連画像Ａ、および視差関連画像Ｂであるものとする。
図１０のステップＳ７１において、多視点画像復号部３１は、受け取られた符号化ビットストリームからSPSを抽出する。ステップＳ７２において、多視点画像復号部３１は、符号化ビットストリームからSubset SPSを抽出する。ステップＳ７３において、多視点画像復号部３１は、符号化ビットストリームからPPSを抽出する。
ステップＳ７４において、多視点画像復号部３１は、符号化ビットストリームからSEIを抽出し、そのSEIに含まれる視点生成用情報を視点合成部３２に供給する。
ステップＳ７５において、多視点画像復号部３１は、カラー画像Ａの対象スライスのヘッダに含まれるPPSのIDに基づいて、そのIDが付与されたPPSをアクティブにする。ステップＳ７６において、多視点画像復号部３１は、ステップＳ７５でアクティブにされたPPSに含まれるSPSのIDに基づいて、そのIDが付与されたSPSをアクティブにする。
ステップＳ７７において、多視点画像復号部３１は、アクティブにされているPPSとSPSを参照して、カラー画像Ａの対象スライスをベースビューとして復号し、視点合成部３２に供給する。
ステップＳ７８において、多視点画像復号部３１は、アクティブにされているPPSに含まれるSubset SPSのIDに基づいて、そのIDが付与されたSubset SPSをアクティブにする。ステップＳ７９において、多視点画像復号部３１は、アクティブにされているPPSとSubset SPSを参照して、視差関連画像Ａの対象スライスをノンベースビューとして復号し、視点合成部３２に供給する。
ステップＳ８０において、多視点画像復号部３１は、アクティブにされているPPSとSubset SPSを参照して、カラー画像Ｂの対象スライスをノンベースビューとして復号し、視点合成部３２に供給する。ステップＳ８１において、多視点画像復号部３１は、アクティブにされているPPSとSubset SPSを参照して、視差関連画像Ｂの対象スライスをノンベースビューとして復号し、視点合成部３２に供給する。そして、処理は図９のステップＳ５２に戻り、ステップＳ５３に進む。
なお、図１０の多視点復号処理では、説明の便宜上、SPS, Subset SPS,PPS、およびSEIが、全スライスに対して生成されているものとし、スライスごとに常に抽出されるようにしたが、SPS,Subset SPS,PPS,SEIが生成されないスライスが存在する場合には、そのSPS,Subset SPS,PPS,SEIを抽出する処理はスキップされる。
以上のように、復号装置３０は、符号化装置１０から所定の視点のカラー画像および視差関連画像とともに、視点生成用情報を受け取る。従って、復号装置３０は、所定の視点のカラー画像、視差関連画像、および視点生成用情報を用いて、その視点とは異なる視点のカラー画像を生成することができる。
これに対して、従来の符号化方式であるMVC方式で符号化されたビットストリームには、所定の視点のカラー画像と視差関連画像を用いて、その視点とは異なる視点のカラー画像を生成するために必要な情報が含まれない。具体的には、カラー画像と視差関連画像を識別するための情報、視差画像と奥行き画像を識別するための情報、およびレンジ情報が含まれない。
また、図１に示したMultiview acquisition information SEIには、カメラ内部やカメラ外部のパラメータが含まれているが、視点生成用情報以外の不要な情報が多い。さらに、Multiview acquisition information SEIでは、カメラ内部のパラメータが、パラメータの種類によらず、全視点分記述されるか、または、特定の視点分のみ記述される。従って、カメラ内部のパラメータが全視点分記述される場合、冗長な情報が多く、特定の視点分のみ記述される場合、情報が不十分である。また、Multiview acquisition information SEIでは、カメラ外部のパラメータが全視点分記述されるため、冗長な情報が多い。
なお、符号化装置１０では、多視点視差関連画像が、多視点補正カラー画像から生成されたが、多視点カラー画像の撮像時に、視差値や奥行き値を検出するセンサにより生成されてもよい。このことは、後述する符号化装置５０においても同様である。
また、視点生成用情報には、カラー画像特定情報と視差関連画像特定情報のうちのいずれか一方のみが含まれるようにしてもよい。この場合、復号装置３０は、多視点カラー画像および多視点視差関連画像のうちの特定されない方の画像を、特定されない方の画像として特定する。例えば、視点生成用情報にカラー画像特定情報のみが含まれる場合、復号装置３０は、カラー画像特定情報に基づいて、多視点カラー画像を特定し、それ以外の画像を多視点視差関連画像と特定する。
また、第１実施の形態では、視点生成用情報がSEIに含まれて伝送されるものとしたが、視点生成用情報は、VCL（Video Coding Layer），NAL(Network Abstraction Layer)のSPS（Sequence Parameter Set）やPPS（Picture Parameter Set）等に含まれて伝送されるようにすることもできる。
＜第２実施の形態＞
［符号化装置の第２実施の形態の構成例］
図１１は、本技術を適用した画像処理装置としての符号化装置の第２実施の形態の構成例を示すブロック図である。
図１１の符号化装置５０は、多視点カラー画像撮像部５１、多視点カラー画像補正部５２、多視点視差関連画像生成部５３、視点生成用情報生成部５４、および多視点画像符号化部５５により構成される。符号化装置５０は、視点生成用情報のうちの一部を、符号化に関する情報（符号化パラメータ）として伝送する。
具体的には、符号化装置１０の多視点カラー画像撮像部５１は、多視点のカラー画像を撮像し、多視点カラー画像として多視点カラー画像補正部５２に供給する。また、多視点カラー画像撮像部５１は、外部パラメータ、視差関連最大値（デプス最大値）、および視差関連最小値（デプス最小値）（詳細は後述する）を生成する。多視点カラー画像撮像部５１は、外部パラメータ、視差関連最大値、および視差関連最小値を視点生成用情報生成部５４に供給するとともに、視差関連最大値と視差関連最小値を多視点視差関連画像生成部５３に供給する。
なお、視差関連最大値とは、多視点視差関連画像生成部５３により生成される視差関連画像が奥行き画像である場合、奥行き最大値であり、視差画像である場合視差最大値である。また、視差関連最小値とは、多視点視差関連画像生成部５３により生成される視差関連画像が奥行き画像である場合、奥行き最小値であり、視差画像である場合視差最小値である。
多視点カラー画像補正部５２は、多視点カラー画像撮像部５１から供給される多視点カラー画像に対して、色補正、輝度補正、歪み補正等を行う。これにより、補正後の多視点カラー画像における多視点カラー画像撮像部５１の水平方向（X方向）の焦点距離は、全視点で共通となる。多視点カラー画像補正部５２は、補正後の多視点カラー画像を多視点補正カラー画像として多視点視差関連画像生成部５３と多視点画像符号化部５５に供給する。
多視点視差関連画像生成部５３は、多視点カラー画像撮像部５１から供給される視差関連最大値と視差関連最小値に基づいて、多視点カラー画像補正部５２から供給される多視点補正カラー画像から、多視点の視差関連画像を生成する。具体的には、多視点視差関連画像生成部５３は、多視点の各視点について、多視点補正カラー画像から各画素の正規化前の視差関連値（奥行きＺの逆数１／Ｚまたは視差ｄ）を求め、その正規化前の視差関連値を視差関連最大値と視差関連最小値に基づいて正規化する。そして、多視点視差関連画像生成部５３は、多視点の各視点について、正規化された各画素の視差関連値（値ｙ、値Ｉ）を視差関連画像の各画素の画素値とする視差関連画像を生成する。
また、多視点視差関連画像生成部５３は、生成された多視点の視差関連画像を多視点視差関連画像として多視点画像符号化部５５に供給する。さらに、多視点視差関連画像生成部５３は、多視点視差関連画像の画素値の精度を表す視差精度パラメータ（デプス精度パラメータ）を生成し、視点生成用情報生成部５４に供給する。
視点生成用情報生成部５４は、生成部として機能し、多視点補正カラー画像と多視点視差関連画像を用いて、他の視点のカラー画像を生成する所定の方法にしたがって、視点生成用情報を生成する。具体的には、視点生成用情報生成部５４は、多視点カラー画像撮像部５１から供給される外部パラメータに基づいて、カメラ間距離を求める。カメラ間距離とは、多視点視差関連画像の視点ごとに、その視点のカラー画像を撮像するときの多視点カラー画像撮像部５１の水平方向の位置と、そのカラー画像と視差関連画像に対応する視差を有するカラー画像を撮像するときの多視点カラー画像撮像部５１の水平方向の位置の距離である。
視点生成用情報生成部５４は、多視点カラー画像撮像部５１からの視差関連最大値と視差関連最小値、カメラ間距離、および多視点視差関連画像生成部５３からの視差精度パラメータを視点生成用情報とする。視点生成用情報生成部５４は、生成された視点生成用情報を多視点画像符号化部５５に供給する。
多視点画像符号化部５５は、符号化部として機能し、多視点カラー画像補正部５２からの多視点補正カラー画像と多視点視差関連画像生成部５３からの多視点視差関連画像をHEVC（High Efficiency Video Coding）方式に準じた方式で符号化する。なお、HEVC方式については、2011年8月現在、Draftとして、Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,GaryJ.Sullivian,"WD3:Working Draft3 of High-Efficiency Video Coding",JCTVC-E603_d5(version5),2011年5月20日が発行されている。
また、多視点画像符号化部５５は、視点生成用情報生成部５４から供給される視点生成用情報のうちの視差関連最大値、視差関連最小値、およびカメラ間距離を差分符号化し、多視点視差関連画像の符号化に関する情報に含める。そして、多視点画像符号化部５５は、符号化された多視点補正カラー画像および多視点視差関連画像、差分符号化された視差関連最大値、視差関連最小値、およびカメラ間距離を含む符号化に関する情報、視点生成用情報生成部５４からの視差精度パラメータ等からなるビットストリームを、符号化ビットストリームとして伝送する。
以上のように、多視点画像符号化部５５は、視差関連最大値、視差関連最小値、およびカメラ間距離を差分符号化して伝送するので、視点生成用情報の符号量を削減することができる。快適な３Ｄ画像を提供するために、視差関連最大値、視差関連最小値、およびカメラ間距離はピクチャ間で大きく変化させない可能性が高いため、差分符号化を行うことは符号量の削減において有効である。
［視点生成用情報の説明］
図１２は、視点生成用情報の視差関連最大値と視差関連最小値を説明する図である。
なお、図１２において、横軸は、正規化前の視差関連値であり、縦軸は、視差関連画像の画素値（デプス情報）である。
図１２に示すように、多視点視差関連画像生成部５３は、各画素の正規化前の視差関連値（奥行きＺの逆数１／Ｚまたは視差ｄ）を、視差関連最小値Dminと視差関連最大値Dmaxを用いて、例えば0乃至255の値に正規化する。そして、多視点視差関連画像生成部５３は、0乃至255のいずれかの値である正規化後の各画素の視差関連値（デプス情報）を画素値として、視差関連画像を生成する。
即ち、視差関連画像の各画素の画素値Ｉは、その画素の正規化前の視差関連値d（視差ｄ）、視差関連最小値Dmin、および視差関連最大値Dmaxを用いて、上述したように、以下の式（４）で表される。
Figure 0006057136
従って、後述する復号装置では、以下の式（５）により、視差関連画像の各画素の画素値Ｉから、視差関連最小値Dminと視差関連最大値Dmaxを用いて、正規化前の視差関連値dを復元する必要がある。
Figure 0006057136
同様に、視差関連画像の各画素の画素値ｙは、その画素の正規化前の視差関連値Ｚ（視差Ｚ）、視差関連最小値Ｚｎｅａｒ、および視差関連最大値Ｚｆａｒを用いて、上述したように、式（ｃ）で表される。従って、後述する復号装置では、視差関連画像の各画素の画素値ｙから、視差関連最小値Ｚｎｅａｒと視差関連最大値Ｚｆａｒを用いて、視差関連値Ｚを復元する必要がある。よって、視差関連最小値と視差関連最大値が、復号装置に伝送される。
図１３は、視点生成用情報の視差精度パラメータを説明する図である。
図１３の上段に示すように、正規化後の視差関連値（デプス情報）1当たりの正規化前の視差関連値（奥行きＺの逆数１／Ｚまたは視差ｄ）が0.5である場合、視差精度パラメータは、正規化後の視差関連値（デプス情報）の精度0.5を表すものとなる。また、図１３の下段に示すように、正規化後の視差関連値1当たりの正規化前の視差関連値が1である場合、視差精度パラメータは、視差関連値の精度1.0を表すものとなる。
図１３の例では、1番目の視点である視点＃１の正規化前の視差関連値が1.0であり、2番目の視点である視点＃２の正規化前の視差関連値が0.5である。従って、視点＃１の正規化後の視差関連値は、視差関連値の精度が0.5であっても1.0であっても、1.0である。一方、視点＃２の視差関連値は、視差関連値の精度が0.5である場合0.5であり、視差関連値の精度が1.0である場合0である。
図１４は、視点生成用情報のカメラ間距離を説明する図である。
図１４に示すように、視点＃１の、視点＃２を基点とする視差関連画像のカメラ間距離は、視点＃１の外部パラメータが表す位置と、視点＃２の外部パラメータが表す位置の距離である。
［多視点画像符号化部の構成例］
図１５は、図１１の多視点画像符号化部５５の構成例を示すブロック図である。
図１５の多視点画像符号化部５５は、スライス符号化部６１、スライスヘッダ符号化部６２、PPS符号化部６３、およびSPS符号化部６４により構成される。
多視点画像符号化部５５のスライス符号化部６１は、多視点カラー画像補正部５２から供給される多視点補正カラー画像と、多視点視差関連画像生成部５３から供給される多視点視差関連画像を、スライス単位でHEVC方式に準じた方式で符号化する。スライス符号化部６１は、符号化の結果得られるスライス単位の符号化データをスライスヘッダ符号化部６２に供給する。
スライスヘッダ符号化部６２は、視点生成用情報生成部５４から供給される視点生成用情報のうちの視差関連最大値、視差関連最小値、およびカメラ間距離を、現在の処理対象のスライスの視差関連最大値、視差関連最小値、およびカメラ間距離とし、保持する。
また、スライスヘッダ符号化部６２は、現在の処理対象のスライスの視差関連最大値、視差関連最小値、およびカメラ間距離が、それぞれ、そのスライスより符号化順で１つ前のスライスの視差関連最大値、視差関連最小値、およびカメラ間距離と一致するかどうかを、同一のPPSが付加される単位（以下では、同一PPS単位という）で判定する。
そして、同一PPS単位を構成する全てのスライスの視差関連最大値、視差関連最小値、およびカメラ間距離が、符号化順で１つ前のスライスの視差関連最大値、視差関連最小値、およびカメラ間距離と一致すると判定された場合、スライスヘッダ符号化部６２は、その同一PPS単位を構成する各スライスの符号化データのスライスヘッダとして、そのスライスの視差関連最大値、視差関連最小値、およびカメラ間距離以外の符号化に関する情報を付加し、PPS符号化部６３に供給する。また、スライスヘッダ符号化部６２は、視差関連最大値、視差関連最小値、およびカメラ間距離の差分符号化結果の伝送の無しを表す伝送フラグをPPS符号化部６３に供給する。
一方、同一PPS単位を構成する少なくとも1つのスライスの視差関連最大値、視差関連最小値、およびカメラ間距離が、符号化順で１つ前のスライスの視差関連最大値、視差関連最小値、およびカメラ間距離と一致しないと判定された場合、スライスヘッダ符号化部６２は、イントラタイプのスライスの符号化データには、スライスヘッダとして、そのスライスの視差関連最大値、視差関連最小値、およびカメラ間距離を含む符号化に関する情報を付加し、PPS符号化部６３に供給する。
また、スライスヘッダ符号化部６２は、インタータイプのスライスについては、そのスライスの視差関連最大値、視差関連最小値、およびカメラ間距離を差分符号化する。具体的には、スライスヘッダ符号化部６２は、インタータイプのスライスの視差関連最大値、視差関連最小値、およびカメラ間距離から、そのスライスより符号化順で1つ前のスライスの視差関連最大値、視差関連最小値、およびカメラ間距離を、それぞれ減算し、差分符号化結果とする。そして、スライスヘッダ符号化部６２は、インタータイプのスライスの符号化データに、スライスヘッダとして視差関連最大値、視差関連最小値、およびカメラ間距離の差分符号化結果を含む符号化に関する情報を付加し、PPS符号化部６３に供給する。
また、この場合、スライスヘッダ符号化部６２は、視差関連最大値、視差関連最小値、およびカメラ間距離の差分符号化結果の伝送の有りを表す伝送フラグをPPS符号化部６３に供給する。
PPS符号化部６３は、スライスヘッダ符号化部６２から供給される伝送フラグと、図１１の視点生成用情報生成部５４から供給される視点生成用情報のうちの視差精度パラメータとを含むPPSを生成する。PPS符号化部６３は、同一PPS単位で、スライスヘッダ符号化部６２から供給されるスライスヘッダが付加されたスライス単位の符号化データにPPSを付加し、SPS符号化部６４に供給する。
SPS符号化部６４は、SPSを生成する。そして、SPS符号化部６４は、シーケンス単位で、PPS符号化部６３から供給されるPPSが付加された符号化データにSPSを付加する。SPS符号化部６４は、その結果得られるビットストリームを符号化ビットストリームとして伝送する。
［符号化ビットストリームの構成例］
図１６は、符号化ビットストリームの構成例を示す図である。
なお、図１６では、説明の便宜上、多視点視差関連画像のスライスの符号化データのみを記載しているが、実際には、符号化ビットストリームには、多視点カラー画像のスライスの符号化データも配置される。
図１６の例では、0番目のPPSであるPPS#0の同一PPS単位を構成する1つのイントラタイプのスライスと2つのインタータイプのスライスの視差関連最大値、視差関連最小値、およびカメラ間距離が、それぞれ、符号化順で1つ前のスライスの視差関連最大値、視差関連最小値、およびカメラ間距離と一致しない。従って、PPS#0には、伝送の有りを表す伝送フラグ「1」が含まれる。また、図１６の例では、PPS#0の同一PPS単位を構成するスライスの視差精度が0.5であり、PPS#0には、視差精度パラメータとして視差精度0.5を表す「1」が含まれる。
さらに、図１６の例では、PPS#0の同一PPS単位を構成するイントラタイプのスライスの視差関連最小値が10であり、視差関連最大値が50であり、カメラ間距離が100である。従って、そのスライスのスライスヘッダには、視差関連最小値「10」、視差関連最大値「50」、およびカメラ間距離「100」が含まれる。
また、図１６の例では、PPS#0の同一PPS単位を構成する1番目のインタータイプのスライスの視差関連最小値が9であり、視差関連最大値が48であり、カメラ間距離が105である。従って、そのスライスのスライスヘッダには、そのスライスの視差関連最小値「9」から、符号化順で1つ前のイントラタイプのスライスの視差関連最小値「10」を減算した差分「-1」が、視差関連最小値の差分符号化結果として含まれる。同様に、視差関連最大値の差分「-2」が視差関連最大値の差分符号化結果として含まれ、カメラ間距離の差分「5」がカメラ間距離の差分符号化結果として含まれる。
さらに、図１６の例では、PPS#0の同一PPS単位を構成する2番目のインタータイプのスライスの視差関連最小値が7であり、視差関連最大値が47であり、カメラ間距離が110である。従って、そのスライスのスライスヘッダには、そのスライスの視差関連最小値「7」から、符号化順で1つ前の1番目のインタータイプのスライスの視差関連最小値「9」を減算した差分「-2」が、視差関連最小値の差分符号化結果として含まれる。同様に、視差関連最大値の差分「-1」が視差関連最大値の差分符号化結果として含まれ、カメラ間距離の差分「5」がカメラ間距離の差分符号化結果として含まれる。
また、図１６の例では、1番目のPPSであるPPS#の同一PPS単位を構成する1つのイントラタイプのスライスと2つのインタータイプのスライスの視差関連最大値、視差関連最小値、およびカメラ間距離が、それぞれ、符号化順で1つ前のスライスの視差関連最大値、視差関連最小値、およびカメラ間距離と一致する。即ち、PPS#1の同一PPS単位を構成する1つのイントラタイプのスライスと2つのインタータイプのスライスの視差関連最小値、視差関連最大値、カメラ間距離は、それぞれ、PPS#0の同一PPS単位を構成する2番目のインタータイプのスライスと同一の「7」、「47」、「110」である。従って、PPS#1には、伝送の無しを表す伝送フラグ「0」が含まれる。また、図１６の例では、PPS#1の同一PPS単位を構成するスライスの視差精度が0.5であり、PPS#1には、視差精度パラメータとして視差精度0.5を表す「1」が含まれる。
[PPSのシンタックスの例]
図１７は、図１６のPPSのシンタックスの例を示す図である。
図１７に示すように、PPSには、視差精度パラメータ（disparity_precision）と伝送フラグ（dsiparity_pic_same_flag）が含まれる。視差精度パラメータは、例えば、視差精度（デプス情報の精度）1を表す場合「0」であり、視差精度0.25を表す場合「2」である。また、上述したように、視差精度パラメータは、視差精度0.5を表す場合「1」である。また、伝送フラグは、上述したように、伝送の有りを表す場合「1」であり、伝送の無しを表す場合「0」である。
[スライスヘッダのシンタックスの例]
図１８および図１９は、スライスヘッダのシンタックスの例を示す図である。
図１９に示すように、伝送フラグが1であり、スライスのタイプがイントラタイプである場合、スライスヘッダには、視差関連最小値（minimum_disparity）、視差関連最大値（maximum_disparity）、およびカメラ間距離（translation_x）が含まれる。
一方、伝送フラグが1であり、スライスのタイプがインタータイプである場合、スライスヘッダには、視差関連最小値の差分符号化結果（delta_minimum_disparity）、視差関連最大値の差分符号化結果（delta_maximum_disparity）、およびカメラ間距離の差分符号化結果（delta_translation_x）が含まれる。
[符号化装置の処理の説明]
図２０は、図１１の符号化装置５０の符号化処理を説明するフローチャートである。
図２０のステップＳ１１１において、符号化装置５０の多視点カラー画像撮像部５１は、多視点のカラー画像を撮像し、多視点カラー画像として多視点カラー画像補正部５２に供給する。
ステップＳ１１２において、多視点カラー画像撮像部５１は、視差関連最大値、視差関連最小値、および外部パラメータを生成する。多視点カラー画像撮像部５１は、視差関連最大値、視差関連最小値、および外部パラメータを視点生成用情報生成部５４に供給するとともに、視差関連最大値と視差関連最小値を多視点視差関連画像生成部５３に供給する。
ステップＳ１１３において、多視点カラー画像補正部５２は、多視点カラー画像撮像部５１から供給される多視点カラー画像に対して、色補正、輝度補正、歪み補正等を行う。これにより、補正後の多視点カラー画像における多視点カラー画像撮像部５１の水平方向（X方向）の焦点距離は、全視点で共通となる。多視点カラー画像補正部５２は、補正後の多視点カラー画像を多視点補正カラー画像として多視点視差関連画像生成部５３と多視点画像符号化部５５に供給する。
ステップＳ１１４において、多視点視差関連画像生成部５３は、多視点カラー画像撮像部５１から供給される視差関連最大値と視差関連最小値に基づいて、多視点カラー画像補正部５２から供給される多視点補正カラー画像から、多視点の視差関連画像を生成する。そして、多視点視差関連画像生成部５３は、生成された多視点の視差関連画像を多視点視差関連画像として多視点画像符号化部５５に供給する。
ステップＳ１１５において、多視点視差関連画像生成部５３は、視差精度パラメータを生成し、視点生成用情報生成部５４に供給する。
ステップＳ１１６において、視点生成用情報生成部５４は、多視点カラー画像撮像部５１から供給される外部パラメータに基づいて、カメラ間距離を求める。
ステップＳ１１７において、視点生成用情報生成部５４は、多視点カラー画像撮像部５１からの視差関連最大値および視差関連最小値、カメラ間距離、並びに多視点視差関連画像生成部５３からの視差精度パラメータを視点生成用情報として生成する。視点生成用情報生成部５４は、生成された視点生成用情報を多視点画像符号化部５５に供給する。
ステップＳ１１８において、多視点画像符号化部５５は、多視点カラー画像補正部５２からの多視点補正カラー画像と多視点視差関連画像生成部５３からの多視点視差関連画像をHEVC方式に準じた方式で符号化する多視点符号化処理を行う。この多視点符号化処理の詳細については、後述する図２１を参照して説明する。
ステップＳ１１９において、多視点画像符号化部５５は、多視点符号化処理の結果得られる符号化ビットストリームを伝送し、処理を終了する。
図２１は、図２０のステップＳ１１８の多視点符号化処理を説明するフローチャートである。
図２１のステップＳ１３１において、多視点画像符号化部５５のスライス符号化部６１（図１５）は、多視点カラー画像補正部５２からの多視点補正カラー画像と、多視点視差関連画像生成部５３からの多視点視差関連画像を、スライス単位でHEVC方式に準じた方式で符号化する。スライス符号化部６１は、符号化の結果得られるスライス単位の符号化データをスライスヘッダ符号化部６２に供給する。
ステップＳ１３２において、スライスヘッダ符号化部６２は、視点生成用情報生成部５４から供給される視点生成用情報のうちのカメラ間距離、視差関連最大値、および視差関連最小値を、現在の処理対象のスライスのカメラ間距離、視差関連最大値、および視差関連最小値とし、保持する。
ステップＳ１３３において、スライスヘッダ符号化部６２は、同一PPS単位を構成する全てのスライスのカメラ間距離、視差関連最大値、および視差関連最小値が、それぞれ、そのスライスより符号化順で１つ前のスライスのカメラ間距離、視差関連最大値、および視差関連最小値と一致するかどうかを判定する。
ステップＳ１３３でカメラ間距離、視差関連最大値、および視差関連最小値が一致すると判定された場合、ステップＳ１３４において、スライスヘッダ符号化部６２は、カメラ間距離、視差関連最大値、および視差関連最小値の差分符号化結果の伝送の無しを表す伝送フラグを生成し、PPS符号化部６３に供給する。
ステップＳ１３５において、スライスヘッダ符号化部６２は、ステップＳ１３３の処理対象である同一PPS単位を構成する各スライスの符号化データに、スライスヘッダとして、そのスライスのカメラ間距離、視差関連最大値、および視差関連最小値以外の符号化に関する情報を付加する。そして、スライスヘッダ符号化部６２は、その結果得られる同一PPS単位を構成する各スライスの符号化データをPPS符号化部６３に供給し、処理をステップＳ１４０に進める。
一方、ステップＳ１３３でカメラ間距離、視差関連最大値、および視差関連最小値が一致しないと判定された場合、ステップＳ１３６において、スライスヘッダ符号化部６２は、カメラ間距離、視差関連最大値、および視差関連最小値の差分符号化結果の伝送の有りを表す伝送フラグをPPS符号化部６３に供給する。なお、後述するステップＳ１３７乃至Ｓ１３９の処理は、ステップＳ１３３の処理対象である同一PPS単位を構成するスライスごとに行われる。
ステップＳ１３７において、スライスヘッダ符号化部６２は、ステップＳ１３３の処理対象である同一PPS単位を構成するスライスのタイプがイントラタイプであるかどうかを判定する。ステップＳ１３７でスライスのタイプがイントラタイプであると判定された場合、ステップＳ１３８において、スライスヘッダ符号化部６２は、そのスライスの符号化データに、スライスヘッダとして、そのスライスのカメラ間距離、視差関連最大値、および視差関連最小値を含む符号化に関する情報を付加する。そして、スライスヘッダ符号化部６２は、その結果得られるスライス単位の符号化データをPPS符号化部６３に供給し、処理をステップＳ１４０に進める。
一方、ステップＳ１３７でスライスのタイプがイントラタイプではないと判定された場合、即ちスライスのタイプがインタータイプである場合、処理はステップＳ１３９に進む。ステップＳ１３９において、スライスヘッダ符号化部６２は、そのスライスのカメラ間距離、視差関連最大値、および視差関連最小値を差分符号化し、そのスライスの符号化データに、差分符号化結果を含む符号化に関する情報をスライスヘッダとして付加する。そして、スライスヘッダ符号化部６２は、その結果得られるスライス単位の符号化データをPPS符号化部６３に供給し、処理をステップＳ１４０に進める。
ステップＳ１４０において、PPS符号化部６３は、スライスヘッダ符号化部６２から供給される伝送フラグと、図１１の視点生成用情報生成部５４から供給される視点生成用情報のうちの視差精度パラメータを含むPPSを生成する。
ステップＳ１４１において、PPS符号化部６３は、同一PPS単位で、スライスヘッダ符号化部６２から供給されるスライスヘッダが付加されたスライス単位の符号化データにPPSを付加し、SPS符号化部６４に供給する。
ステップＳ１４２において、SPS符号化部６４は、SPSを生成する。
ステップＳ１４３において、SPS符号化部６４は、シーケンス単位で、PPS符号化部６３から供給されるPPSが付加された符号化データにSPSを付加し、符号化ビットストリームを生成する。
以上のように、符号化装置５０は、カメラ間距離、視差関連最大値、および視差関連最小値を符号化に関する情報としてスライスヘッダに配置する。これにより、例えば、カメラ間距離、視差関連最大値、および視差関連最小値を符号化に用いることが可能になる。
[復号装置の第２実施の形態の構成例]
図２２は、図１１の符号化装置５０から伝送される符号化ビットストリームを復号する、本技術を適用した画像処理装置としての復号装置の第２実施の形態の構成例を示すブロック図である。
図２２に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２２の復号装置８０の構成は、多視点画像復号部３１、視点合成部３２の代わりに多視点画像復号部８１、視点合成部８２が設けられている点が図７の構成と異なる。復号装置８０は、符号化装置５０から伝送されてくる視点生成用情報に基づいて多視点合成カラー画像を表示する。
具体的には、復号装置８０の多視点画像復号部８１は、受け取り部として機能し、図１１の符号化装置５０から伝送されてくる符号化ビットストリームを受け取る。多視点画像復号部８１は、受け取られた符号化ビットストリームに含まれるPPSから視差精度パラメータと伝送フラグを抽出する。また、多視点画像復号部８１は、伝送フラグに応じて、符号化ビットストリームのスライスヘッダからカメラ間距離、視差関連最大値、および視差関連最小値を抽出する。多視点画像復号部８１は、視差精度パラメータ、カメラ間距離、視差関連最大値、および視差関連最小値からなる視点生成用情報を生成し、視点合成部８２に供給する。
また、多視点画像復号部８１は、復号部として機能し、符号化ビットストリームに含まれるスライス単位の符号化データを、図１１の多視点画像符号化部１５の符号化方式に対応する方式で復号し、多視点補正カラー画像および多視点視差関連画像を生成する。多視点画像復号部８１は、生成された多視点補正カラー画像および多視点視差関連画像を視点合成部８２に供給する。
視点合成部８２は、多視点画像復号部８１からの視点生成用情報を用いて、多視点画像復号部８１からの多視点視差関連画像に対して、表示視点へのワーピング処理を行う。具体的には、視点合成部８２は、視点生成用情報に含まれるカメラ間距離、視差関連最大値、および視差関連最小値等に基づいて、視差精度パラメータに対応する精度で、多視点視差関連画像に対して表示視点へのワーピング処理を行う。また、視点合成部８２は、ワーピング処理の結果得られる表示視点の視差関連画像を用いて、多視点画像復号部８１から供給される多視点補正カラー画像に対して、表示視点へのワーピング処理を行う。視点合成部８２は、その結果得られる表示視点のカラー画像を、多視点合成カラー画像として多視点画像表示部３３に供給する。
以上のように、視点合成部８２は、視差精度パラメータに基づいて、視点精度パラメータに対応する精度で、多視点視差関連画像に対する表示視点へのワーピング処理を行うので、視点合成部８２は、無駄に高精度のワーピング処理を行う必要がない。
また、視点合成部８２は、カメラ間距離に基づいて、多視点視差関連画像に対する表示視点へのワーピング処理を行うので、ワーピング処理後の多視点視差関連画像の視差関連値に対応する視差が適正な範囲ではない場合、カメラ間距離に基づいて、視差関連値を適正な範囲の視差に対応する値に修正することができる。
[多視点画像復号部の構成例]
図２３は、図２２の多視点画像復号部８１の構成例を示すブロック図である。
図２３の多視点画像復号部８１は、SPS復号部１０１、PPS復号部１０２、スライスヘッダ復号部１０３、およびスライス復号部１０４により構成される。
多視点画像復号部８１のSPS復号部１０１は、図１１の符号化装置５０から伝送されてくる符号化ビットストリームを受け取り、その符号化ビットストリームのうちのSPSを抽出する。SPS復号部１０１は、抽出されたSPSとSPS以外の符号化ビットストリームをPPS復号部１０２に供給する。
PPS復号部１０２は、SPS復号部１０１から供給されるSPS以外の符号化ビットストリームからPPSを抽出する。PPS復号部１０２は、抽出されたPPS、SPS、およびSPSとPPS以外の符号化ビットストリームをスライスヘッダ復号部１０３に供給する。
スライスヘッダ復号部１０３は、PPS復号部１０２から供給されるSPSとPPS以外の符号化ビットストリームからスライスヘッダを抽出する。スライスヘッダ復号部１０３は、PPS復号部１０２からのPPSに含まれる伝送フラグが伝送の有りを表す「1」である場合、スライスヘッダに含まれるカメラ間距離、視差関連最大値、および視差関連最小値を保持するか、または、カメラ間距離、視差関連最大値、および視差関連最小値の差分符号化結果に基づいて保持されているカメラ間距離、視差関連最大値、および視差関連最小値を更新する。スライスヘッダ復号部１０３は、保持されているカメラ間距離、視差関連最大値、および視差関連最小値、並びに、PPSに含まれる視差精度パラメータから視点生成用情報を生成し、視点合成部８２に供給する。さらに、スライスヘッダ復号部１０３は、SPS,PPS、およびスライスヘッダ、並びに、SPS,PPS、およびスライスヘッダ以外の符号化ビットストリームであるスライス単位の符号化データをスライス復号部１０４に供給する。
スライス復号部１０４は、スライスヘッダ復号部１０３から供給されるSPS,PPS、およびスライスヘッダに基づいて、スライス符号化部６１（図１５）における符号化方式に対応する方式で、スライス単位の符号化データを復号する。スライスヘッダ復号部１０３は、復号の結果得られる多視点補正カラー画像と多視点視差関連画像を、図２２の視点合成部８２に供給する。
[復号装置の処理の説明]
図２２の復号装置８０の復号処理は、図９のステップＳ５２の多視点復号処理を除いて同様に行われるので、以下では、多視点復号処理についてのみ説明する。
図２４は、図２２の復号装置８０の多視点画像復号部８１の多視点復号処理を説明するフローチャートである。
図２４のステップＳ１６１において、多視点画像復号部８１のSPS復号部１０１（図２３）は、受け取られた符号化ビットストリームのうちのSPSを抽出する。SPS復号部１０１は、抽出されたSPSとSPS以外の符号化ビットストリームをPPS復号部１０２に供給する。
ステップＳ１６２において、PPS復号部１０２は、SPS復号部１０１から供給されるSPS以外の符号化ビットストリームからPPSを抽出する。PPS復号部１０２は、抽出されたPPS、SPS、およびSPSとPPS以外の符号化ビットストリームをスライスヘッダ復号部１０３に供給する。
ステップＳ１６３において、スライスヘッダ復号部１０３は、PPS復号部１０２から供給されるPPSに含まれる視差精度パラメータを視点生成用情報の一部として視点合成部８２に供給する。
ステップＳ１６４において、スライスヘッダ復号部１０３は、PPS復号部１０２からのPPSに含まれる伝送フラグが伝送の有りを表す「1」であるかどうかを判定する。なお、以降のステップＳ１６５乃至Ｓ１７４の処理は、スライス単位で行われる。
ステップＳ１６４で伝送フラグが伝送の有りを表す「1」であると判定された場合、処理はステップＳ１６５に進む。ステップＳ１６５において、スライスヘッダ復号部１０３は、PPS復号部１０２から供給されるSPSとPPS以外の符号化ビットストリームから、視差関連最大値、視差関連最小値、およびカメラ間距離、または、視差関連最大値、視差関連最小値、およびカメラ間距離の差分符号化結果を含むスライスヘッダを抽出する。
ステップＳ１６６において、スライスヘッダ復号部１０３は、スライスのタイプがイントラタイプであるかどうかを判定する。ステップＳ１６６でスライスのタイプがイントラタイプであると判定された場合、処理はステップＳ１６７に進む。
ステップＳ１６７において、スライスヘッダ復号部１０３は、ステップＳ１６５で抽出されたスライスヘッダに含まれる視差関連最小値を保持し、視点生成用情報の一部として視点合成部８２に供給する。
ステップＳ１６８において、スライスヘッダ復号部１０３は、ステップＳ１６５で抽出されたスライスヘッダに含まれる視差関連最大値を保持し、視点生成用情報の一部として視点合成部８２に供給する。
ステップＳ１６９において、スライスヘッダ復号部１０３は、ステップＳ１６５で抽出されたスライスヘッダに含まれるカメラ間距離を保持し、視点生成用情報の一部として視点合成部８２に供給する。そして、処理はステップＳ１７５に進む。
一方、ステップＳ１６６でスライスのタイプがイントラタイプではないと判定された場合、即ちスライスのタイプがインタータイプである場合、処理はステップＳ１７０に進む。
ステップＳ１７０において、スライスヘッダ復号部１０３は、ステップＳ１６５で抽出されたスライスヘッダに含まれる視差関連最小値の差分符号化結果を、保持されている視差関連最小値に加算する。スライスヘッダ復号部１０３は、加算により復元された視差関連最小値を視点生成用情報の一部として視点合成部８２に供給する。
ステップＳ１７１において、スライスヘッダ復号部１０３は、ステップＳ１６５で抽出されたスライスヘッダに含まれる視差関連最大値の差分符号化結果を、保持されている視差関連最大値に加算する。スライスヘッダ復号部１０３は、加算により復元された視差関連最大値を視点生成用情報の一部として視点合成部８２に供給する。
ステップＳ１７２において、スライスヘッダ復号部１０３は、ステップＳ１６５で抽出されたスライスヘッダに含まれるカメラ間距離の差分符号化結果を、保持されているカメラ間距離に加算する。スライスヘッダ復号部１０３は、加算により復元されたカメラ間距離を視点生成用情報の一部として視点合成部８２に供給する。そして、処理はステップＳ１７５に進む。
一方、ステップＳ１６４で伝送フラグが伝送の有りを表す「1」ではないと判定された場合、即ち伝送フラグが伝送の無しを表す「0」である場合、処理はステップＳ１７３に進む。
ステップＳ１７３において、スライスヘッダ復号部１０３は、PPS復号部１０２から供給されるSPSとPPS以外の符号化ビットストリームから、視差関連最大値、視差関連最小値、およびカメラ間距離、および、視差関連最大値、視差関連最小値、およびカメラ間距離の差分符号化結果を含まないスライスヘッダを抽出する。
ステップＳ１７４において、スライスヘッダ復号部１０３は、保持されている視差関連最大値、視差関連最小値、およびカメラ間距離、即ち符号化順で1つ前のスライスの視差関連最大値、視差関連最小値、およびカメラ間距離を、処理対象のスライスの視差関連最大値、視差関連最小値、およびカメラ間距離とすることにより、処理対象のスライスの視差関連最大値、視差関連最小値、およびカメラ間距離を復元する。そして、スライスヘッダ復号部１０３は、復元された視差関連最大値、視差関連最小値、およびカメラ間距離を、視点生成用情報の一部として視点合成部８２に供給し、処理をステップＳ１７５に進める。
ステップＳ１７５において、スライス復号部１０４は、スライスヘッダ復号部１０３から供給されるSPS,PPS、およびスライスヘッダに基づいて、スライス符号化部６１（図１５）における符号化方式に対応する方式で、スライス単位の符号化データを復号する。スライスヘッダ復号部１０３は、復号の結果得られる多視点補正カラー画像と多視点視差関連画像を、図２２の視点合成部８２に供給する。
以上のように、復号装置８０は、視差関連最大値、視差関連最小値、およびカメラ間距離が符号化に関する情報としてスライスヘッダに配置された符号化ビットストリームを復号することができる。これにより、例えば、視差関連最大値、視差関連最小値、およびカメラ間距離を符号化に用いた符号化ビットストリームを復号することが可能になる。
なお、第２実施の形態では、視点生成用情報の視差関連最大値、視差関連最小値、およびカメラ間距離がスライスヘッダに含まれたが、SPS,PPS,SEI等に記述されるようにしてもよい。また、第２実施の形態においても、視点生成用情報に、カラー画像特定情報、視差関連画像特定情報、外部パラメータ情報、内部パラメータ情報、カラー画像の視点数、視差値を求める際に基点とされた視点のカラー画像を特定する情報、視差関連画像の視点数、画像種類情報等が含まれるようにしてもよい。
＜第３実施の形態＞
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部８０８やROM（Read Only Memory）８０２に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブルメディア８１１に格納（記録）しておくことができる。このようなリムーバブルメディア８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブルメディア８１１からドライブ８１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部８０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)８０１を内蔵しており、CPU８０１には、バス８０４を介して、入出力インタフェース８０５が接続されている。
CPU８０１は、入出力インタフェース８０５を介して、ユーザによって、入力部８０６が操作等されることにより指令が入力されると、それに従って、ROM８０２に格納されているプログラムを実行する。あるいは、CPU８０１は、記憶部８０８に格納されたプログラムを、RAM(Random Access Memory)８０３にロードして実行する。
これにより、CPU８０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース８０５を介して、出力部８０７から出力、あるいは、通信部８０９から送信、さらには、記憶部８０８に記録等させる。
なお、入力部８０６は、キーボードや、マウス、マイク等で構成される。また、出力部８０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して通信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像処理装置に適用することができる。
また、上述した画像処理装置は、任意の電子機器に適用することができる。以下にその例について説明する。
＜第４実施の形態＞
［テレビジョン装置の構成例］
図２７は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、所定の視点のカラー画像および視差関連画像を用いて、その視点以外の視点のカラー画像を生成することができる。
＜第５実施の形態＞
［携帯電話機の構成例］
図２８は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、所定の視点のカラー画像および視差関連画像を用いて、その視点以外の視点のカラー画像を生成するために必要な情報を送信することができる。また、所定の視点のカラー画像および視差関連画像を用いて、その視点以外の視点のカラー画像を生成することができる。
＜第６実施の形態＞
［記録再生装置の構成例］
図２９は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された記録再生装置では、デコーダ９４７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、所定の視点のカラー画像および視差関連画像を用いて、その視点以外の視点のカラー画像を生成することができる。
＜第７実施の形態＞
［撮像装置の構成例］
図３０は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、所定の視点のカラー画像および視差関連画像を用いて、その視点以外の視点のカラー画像を生成するために必要な情報を送信することができる。また、所定の視点のカラー画像および視差関連画像を用いて、その視点以外の視点のカラー画像を生成することができる。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は、以下のような構成もとることができる。
（１）
視点のカラー画像と前記視点のデプス画像とを符号化してビットストリームを生成する符号化部と、
前記カラー画像と前記デプス画像とを用いてワーピング処理を行うことにより得られる表示視点のカラー画像の生成方法にしたがって、前記表示視点のカラー画像を生成する際に用いる視点生成用情報を生成する生成部と、
前記符号化部により生成された前記ビットストリームと、前記生成部により生成された前記視点生成用情報とを伝送する伝送部と
を備える画像処理装置。
（２）
前記伝送部は、前記視点生成用情報を、符号化または復号の際に用いる符号化パラメータとして伝送する
前記（１）に記載の画像処理装置。
（３）
前記伝送部は、前記デプス画像の前記視点生成用情報と前記デプス画像より符号化順で前に位置するデプス画像の前記視点生成用情報との差分を伝送する
前記（１）または（２）に記載の画像処理装置。
（４）
前記伝送部は、前記ビットストリームのスライスがイントラスライスである場合、前記スライスの前記視点生成用情報を伝送し、前記スライスがインタースライスである場合、前記スライスの前記差分を伝送する
前記（３）に記載の画像処理装置。
（５）
前記差分の有無を識別する差分識別情報を設定する設定部
をさらに備え、
前記伝送部は、前記設定部により設定された前記差分識別情報を伝送する
前記（３）または(４)に記載の画像処理装置。
（６）
前記伝送部は、前記設定部により設定された前記差分識別情報を、前記ビットストリームのPPS（Picture Parameter Set）に含めて伝送する
前記（５）に記載の画像処理装置。
（７）
前記生成部は、前記カラー画像を特定する情報、または、前記デプス画像を特定する情報を、前記視点生成用情報として生成する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記デプス画像は、前記カラー画像の各画素の被写体の奥行方向の位置を表す奥行き値からなる奥行き画像、または、前記カラー画像の各画素と、その画素に対応する基点のカラー画像の画素の距離を表す視差値からなる視差画像であり、
前記生成部は、前記デプス画像が奥行き画像であるか、または、視差画像であるかを識別するデプス画像識別情報を、前記視点生成用情報として生成する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記生成部は、前記デプス画像が前記奥行き画像である場合、前記奥行き画像においてとり得る奥行方向の位置の世界座標値の最小値と最大値を表す情報を、前記視点生成用情報として生成し、
前記生成部は、前記デプス画像が前記視差画像である場合、前記視差画像においてとり得る世界座標上の視差の最小値および最大値を表す情報と、前記基点のカラー画像を特定する情報とを、前記視点生成用情報として生成する
前記（８）に記載の画像処理装置。
（１０）
前記生成部は、前記デプス画像の画素値としてとり得る最小値を表すデプス最小値と、前記デプス画像の画素値としてとり得る最大値を表すデプス最大値と、前記デプス画像に対応する複数の前記カラー画像の撮像位置間の距離である撮像位置間距離とを、前記視点生成用情報として生成し、
前記伝送部は、前記視点生成用情報を、前記ビットストリームのスライスヘッダとして伝送する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１１）
画像処理装置が、
視点のカラー画像と前記視点のデプス画像とを符号化してビットストリームを生成する符号化ステップと、
前記カラー画像と前記デプス画像とを用いてワーピング処理を行うことにより得られる表示視点のカラー画像の生成方法にしたがって、前記表示視点のカラー画像を生成する際に用いる視点生成用情報を生成する生成ステップと、
前記符号化ステップの処理により生成された前記ビットストリームと、前記生成ステップの処理により生成された前記視点生成用情報とを伝送する伝送ステップと
を含む画像処理方法。
（１２）
視点のカラー画像と前記視点のデプス画像の符号化の結果得られるビットストリームと、前記カラー画像と前記デプス画像とを用いてワーピング処理を行うことにより得られる表示視点のカラー画像の生成方法にしたがって生成された、前記表示視点のカラー画像を生成する際に用いる視点生成用情報とを受け取る受け取り部と、
前記受け取り部により受け取られた前記ビットストリームを復号して前記カラー画像と前記デプス画像を生成する復号部と、
前記復号部により生成された前記カラー画像および前記デプス画像と、前記受け取り部により受け取られた前記視点生成用情報とを用いてワーピング処理を行うことにより、前記表示視点のカラー画像を生成する生成部と
を備える画像処理装置。
（１３）
前記受け取り部は、前記視点生成用情報を、符号化または復号の際に用いる符号化パラメータとして受け取る
前記（１２）に記載の画像処理装置。
（１４）
前記受け取り部は、前記デプス画像の前記視点生成用情報と前記デプス画像より符号化順で前に位置するデプス画像の前記視点生成用情報との差分を受け取り、
前記生成部は、前記受け取り部により受け取られた前記差分と、前記差分に対応するデプス画像より前記符号化順で前に位置するデプス画像の前記視点生成用情報とを用いて、前記差分に対応するデプス画像の前記視点生成用情報を復元し、復元後の前記視点生成用情報と、前記カラー画像と、前記デプス画像とを用いてワーピング処理を行うことにより、前記表示視点のカラー画像を生成する
前記（１２）または(１３)に記載の画像処理装置。
（１５）
前記受け取り部は、前記ビットストリームのスライスがイントラスライスである場合、前記スライスの前記視点生成用情報を受け取り、前記スライスがインタースライスである場合、前記スライスの前記差分を受け取る
前記（１４）に記載の画像処理装置。
（１６）
前記受け取り部は、前記差分の有無を識別する差分識別情報を受け取り、
前記生成部は、前記受け取り部により受け取られた前記差分識別情報に基づいて、前記視点生成用情報を復元する
前記（１４）または(１５)に記載の画像処理装置。
（１７）
前記受け取り部は、前記ビットストリームのPPS（Picture Parameter Set）に含まれる前記差分識別情報を受け取る
前記（１６）に記載の画像処理装置。
（１８）
前記受け取り部は、前記視点生成用情報として、前記カラー画像を特定する情報、または、前記デプス画像を特定する情報を受け取り、
前記生成部は、前記視点生成用情報に基づいて、前記受け取り部により受け取られた前記カラー画像とデプス画像を特定し、前記デプス画像に対してワーピング処理を行い、ワーピング処理後の前記表示視点のデプス画像を用いて前記カラー画像に対してワーピング処理を行うことにより、前記表示視点のカラー画像を生成する
前記（１２）乃至（１７）のいずれかに記載の画像処理装置。
（１９）
前記デプス画像は、前記カラー画像の各画素の被写体の奥行方向の位置を表す奥行き値からなる奥行き画像、または、前記カラー画像の各画素と、その画素に対応する基点のカラー画像の画素の距離を表す視差値からなる視差画像であり、
前記受け取り部は、前記視点生成用情報として、前記デプス画像が奥行き画像であるか、または、視差画像であるかを表す情報を受け取る
前記（１２）乃至（１８）のいずれかに記載の画像処理装置。
（２０）
前記受け取り部は、前記デプス画像が前記奥行き画像である場合、前記視点生成用情報として、前記奥行き画像においてとり得る奥行方向の位置の世界座標値の最小値と最大値を表す情報を受け取り、前記デプス画像が前記視差画像である場合、前記視差画像においてとり得る世界座標上の視差の最小値および最大値を表す情報と、前記基点のカラー画像を特定する情報とを受け取る
前記（１９）に記載の画像処理装置。
（２１）
前記受け取り部は、前記デプス画像の画素値としてとり得る最小値を表すデプス最小値と、前記デプス画像の画素値としてとり得る最大値を表すデプス最大値と、前記デプス画像に対応する複数の前記カラー画像の撮像位置間の距離である撮像位置間距離とを含む前記視点生成用情報を、前記ビットストリームのスライスヘッダとして受け取る
前記（１２）乃至（１９）のいずれかに記載の画像処理装置。
（２２）
画像処理装置が、
視点のカラー画像と前記視点のデプス画像の符号化の結果得られるビットストリームと、前記カラー画像と前記デプス画像とを用いてワーピング処理を行うことにより得られる表示視点のカラー画像の生成方法にしたがって生成された、前記表示視点のカラー画像を生成する際に用いる視点生成用情報とを受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記ビットストリームを復号し、前記カラー画像と前記デプス画像を生成する復号ステップと、
前記復号ステップの処理により生成された前記カラー画像および前記デプス画像と、前記受け取りステップの処理により受け取られた前記視点生成用情報とを用いてワーピング処理を行うことにより、前記表示視点のカラー画像を生成する生成ステップと
を含む画像処理方法。
１０ 符号化装置， １４ 視点生成用情報生成部， １５ 多視点画像符号化部， ３０ 復号装置， ３１ 多視点画像復号部， ３２ 視点合成部

Claims (18)

  1. 視点のカラー画像と前記視点のデプス画像とを符号化してビットストリームを生成する符号化部と、
    前記カラー画像と前記デプス画像とを用いてワーピング処理を行うことにより得られる表示視点のカラー画像の生成方法にしたがって、前記表示視点のカラー画像を生成する際に用いる視点生成用情報を生成する生成部と、
    前記符号化部により生成された前記ビットストリームと、前記生成部により生成された前記視点生成用情報とを伝送する伝送部と
    を備え、
    前記デプス画像は、前記カラー画像の各画素の被写体の奥行方向の位置を表す奥行き値からなる奥行き画像、または、前記カラー画像の各画素と、その画素に対応する基点のカラー画像の画素の距離を表す視差値からなる視差画像であり、
    前記生成部は、前記デプス画像が奥行き画像であるか、または、視差画像であるかを識別するデプス画像識別情報を、前記視点生成用情報として生成する
    画像処理装置。
  2. 前記伝送部は、前記視点生成用情報を、前記ビットストリームの補助情報として伝送する
    請求項１に記載の画像処理装置。
  3. 前記伝送部は、前記視点生成用情報をSEI（Supplemental Enhancement Information）として伝送する
    請求項１に記載の画像処理装置。
  4. 前記生成部は、前記カラー画像を特定する情報、または、前記デプス画像を特定する情報を、前記視点生成用情報として生成する
    請求項１に記載の画像処理装置。
  5. 前記デプス画像は、前記視差画像であり、
    前記生成部は、前記視差画像における視差値の最小値を表す視差最小値情報と前記視差画像における視差値の最大値を表す視差最大値情報とを、前記視点生成用情報として生成し、
    前記伝送部は、前記視点生成用情報をSEI（Supplemental Enhancement Information）として伝送する
    請求項１に記載の画像処理装置。
  6. 前記デプス画像は、前記奥行き画像であり、
    前記生成部は、前記デプス画像の画素値の最小値を表す奥行き最小値情報と、前記デプス画像の画素値の最大値を表す奥行き最大値情報とを、前記視点生成用情報として生成し、
    前記伝送部は、前記視点生成用情報をSEI（Supplemental Enhancement Information）として伝送する
    請求項１に記載の画像処理装置。
  7. 前記生成部は、前記デプス画像が前記奥行き画像である場合、前記奥行き画像における奥行方向の位置の世界座標値の最小値を表す奥行き最小値情報と前記奥行き画像における奥行方向の位置の世界座標値の最大値を表す奥行き最大値情報とを、前記視点生成用情報として生成し、
    前記生成部は、前記デプス画像が前記視差画像である場合、前記視差画像における世界座標上の前記距離の最小値を表す視差最小値情報と前記視差画像における世界座標上の前記距離の最大値を表す視差最大値情報とを、前記視点生成用情報として生成する
    請求項１に記載の画像処理装置。
  8. 前記生成部は、前記デプス画像の画素値の最小値を表すデプス最小値情報と、前記デプス画像の画素値の最大値を表すデプス最大値情報と、前記デプス画像に対応する複数の前記カラー画像の撮像位置間の距離を表す撮像位置間距離情報とを、前記視点生成用情報として生成し、
    前記伝送部は、前記視点生成用情報をSEI（Supplemental Enhancement Information）として伝送する
    請求項１に記載の画像処理装置。
  9. 画像処理装置が、
    視点のカラー画像と前記視点のデプス画像とを符号化してビットストリームを生成する符号化ステップと、
    前記カラー画像と前記デプス画像とを用いてワーピング処理を行うことにより得られる表示視点のカラー画像の生成方法にしたがって、前記表示視点のカラー画像を生成する際に用いる視点生成用情報を生成する生成ステップと、
    前記符号化ステップの処理により生成された前記ビットストリームと、前記生成ステップの処理により生成された前記視点生成用情報とを伝送する伝送ステップと
    を含み、
    前記デプス画像は、前記カラー画像の各画素の被写体の奥行方向の位置を表す奥行き値からなる奥行き画像、または、前記カラー画像の各画素と、その画素に対応する基点のカラー画像の画素の距離を表す視差値からなる視差画像であり、
    前記生成ステップの処理では、前記デプス画像が奥行き画像であるか、または、視差画像であるかを識別するデプス画像識別情報を、前記視点生成用情報として生成する
    画像処理方法。
  10. 視点のカラー画像と前記視点のデプス画像の符号化の結果得られるビットストリームと、前記カラー画像と前記デプス画像とを用いてワーピング処理を行うことにより得られる表示視点のカラー画像の生成方法にしたがって生成された、前記表示視点のカラー画像を生成する際に用いる視点生成用情報とを受け取る受け取り部と、
    前記受け取り部により受け取られた前記ビットストリームを復号して前記カラー画像と前記デプス画像を生成する復号部と、
    前記復号部により生成された前記カラー画像および前記デプス画像と、前記受け取り部により受け取られた前記視点生成用情報とを用いてワーピング処理を行うことにより、前記表示視点のカラー画像を生成する生成部と
    を備え、
    前記デプス画像は、前記カラー画像の各画素の被写体の奥行方向の位置を表す奥行き値からなる奥行き画像、または、前記カラー画像の各画素と、その画素に対応する基点のカラー画像の画素の距離を表す視差値からなる視差画像であり、
    前記受け取り部は、前記視点生成用情報として、前記デプス画像が奥行き画像であるか、または、視差画像であるかを識別するデプス画像識別情報を受け取る
    画像処理装置。
  11. 前記受け取り部は、前記視点生成用情報を、前記ビットストリームの補助情報として受け取る
    請求項１０に記載の画像処理装置。
  12. 前記受け取り部は、前記視点生成用情報をSEI（Supplemental Enhancement Information）として受け取る
    請求項１０に記載の画像処理装置。
  13. 前記受け取り部は、前記視点生成用情報として、前記カラー画像を特定する情報、または、前記デプス画像を特定する情報を受け取り、
    前記生成部は、前記視点生成用情報に基づいて、前記受け取り部により受け取られた前記カラー画像と前記デプス画像を特定し、前記デプス画像に対してワーピング処理を行い、ワーピング処理後の前記表示視点のデプス画像を用いて前記カラー画像に対してワーピング処理を行うことにより、前記表示視点のカラー画像を生成する
    請求項１０に記載の画像処理装置。
  14. 前記デプス画像は、前記視差画像であり、
    前記視点生成用情報は、前記視差画像における視差値の最小値を表す視差最小値情報と前記視差画像における視差値の最大値を表す視差最大値情報とを含み、
    前記受け取り部は、前記視点生成用情報をSEI（Supplemental Enhancement Information）として受け取る
    請求項１０に記載の画像処理装置。
  15. 前記デプス画像は、前記奥行き画像であり、
    前記視点生成用情報は、前記デプス画像の画素値の最小値を表す奥行き最小値情報と、前記デプス画像の画素値の最大値を表す奥行き最大値情報とを含み、
    前記受け取り部は、前記視点生成用情報をSEI（Supplemental Enhancement Information）として受け取る
    請求項１０に記載の画像処理装置。
  16. 前記受け取り部は、前記デプス画像が前記奥行き画像である場合、前記視点生成用情報として、前記奥行き画像における奥行方向の位置の世界座標値の最小値を表す奥行き最小値情報と前記奥行き画像における奥行き方向の位置の世界座標値の最大値を表す奥行き最大値情報とを受け取り、
    前記受け取り部は、前記デプス画像が前記視差画像である場合、前記視点生成用情報として、前記視差画像における世界座標上の前記距離の最小値を表す視差最小値情報と前記視差画像における世界座標上の前記距離の最大値を表す視差最大値情報とを受け取る
    請求項１０に記載の画像処理装置。
  17. 前記受け取り部は、前記デプス画像の画素値の最小値を表すデプス最小値情報と、前記デプス画像の画素値の最大値を表すデプス最大値情報と、前記デプス画像に対応する複数の前記カラー画像の撮像位置間の距離を表す撮像位置間距離情報とを含む前記視点生成用情報を、SEI（Supplemental Enhancement Information）として受け取る
    請求項１０に記載の画像処理装置。
  18. 画像処理装置が、
    視点のカラー画像と前記視点のデプス画像の符号化の結果得られるビットストリームと、前記カラー画像と前記デプス画像とを用いてワーピング処理を行うことにより得られる表示視点のカラー画像の生成方法にしたがって生成された、前記表示視点のカラー画像を生成する際に用いる視点生成用情報とを受け取る受け取りステップと、
    前記受け取りステップの処理により受け取られた前記ビットストリームを復号し、前記カラー画像と前記デプス画像を生成する復号ステップと、
    前記復号ステップの処理により生成された前記カラー画像および前記デプス画像と、前記受け取りステップの処理により受け取られた前記視点生成用情報とを用いてワーピング処理を行うことにより、前記表示視点のカラー画像を生成する生成ステップと
    を含み、
    前記デプス画像は、前記カラー画像の各画素の被写体の奥行方向の位置を表す奥行き値からなる奥行き画像、または、前記カラー画像の各画素と、その画素に対応する基点のカラー画像の画素の距離を表す視差値からなる視差画像であり、
    前記受け取りステップの処理では、前記視点生成用情報として、前記デプス画像が奥行き画像であるか、または、視差画像であるかを識別するデプス画像識別情報を受け取る
    画像処理方法。
JP2013505886A 2011-03-18 2012-03-09 画像処理装置および画像処理方法 Expired - Fee Related JP6057136B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2011061486 2011-03-18
JP2011061486 2011-03-18
JP2011188815 2011-08-31
JP2011188815 2011-08-31
JP2012019024 2012-01-31
JP2012019024 2012-01-31
PCT/JP2012/056084 WO2012128070A1 (ja) 2011-03-18 2012-03-09 画像処理装置および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016223119A Division JP6365635B2 (ja) 2011-03-18 2016-11-16 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2012128070A1 JPWO2012128070A1 (ja) 2014-07-24
JP6057136B2 true JP6057136B2 (ja) 2017-01-11

Family

ID=46879224

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2013505886A Expired - Fee Related JP6057136B2 (ja) 2011-03-18 2012-03-09 画像処理装置および画像処理方法
JP2016223119A Expired - Fee Related JP6365635B2 (ja) 2011-03-18 2016-11-16 画像処理装置および画像処理方法
JP2018121576A Pending JP2018186528A (ja) 2011-03-18 2018-06-27 画像処理装置および画像処理方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2016223119A Expired - Fee Related JP6365635B2 (ja) 2011-03-18 2016-11-16 画像処理装置および画像処理方法
JP2018121576A Pending JP2018186528A (ja) 2011-03-18 2018-06-27 画像処理装置および画像処理方法

Country Status (10)

Country Link
US (4) US9615079B2 (ja)
EP (2) EP3267398A3 (ja)
JP (3) JP6057136B2 (ja)
CN (5) CN107274475A (ja)
AU (2) AU2012232423A1 (ja)
BR (1) BR112013023302A2 (ja)
CA (1) CA2827621C (ja)
MX (2) MX2013010423A (ja)
RU (1) RU2586064C2 (ja)
WO (1) WO2012128070A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012232423A1 (en) * 2011-03-18 2013-09-05 Sony Corporation Image processing device and image processing method
JPWO2012128069A1 (ja) 2011-03-18 2014-07-24 ソニー株式会社 画像処理装置および画像処理方法
CN110572681B (zh) 2011-06-30 2023-12-15 索尼公司 图像处理设备和图像处理方法
BR112014004062A2 (pt) * 2011-08-31 2017-03-07 Sony Corp dispositivos e métodos de codificação e decodificação
WO2013162454A1 (en) * 2012-04-24 2013-10-31 Telefonaktiebolaget L M Ericsson (Publ) Identifying a parameter set for decoding a multi-layer video representation
US9571812B2 (en) 2013-04-12 2017-02-14 Disney Enterprises, Inc. Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
US10085008B2 (en) * 2013-09-11 2018-09-25 Sony Corporation Image processing apparatus and method
US9824290B2 (en) * 2015-02-10 2017-11-21 nearmap australia pty ltd. Corridor capture
EP3363195B1 (en) * 2015-10-19 2023-08-30 HFI Innovation Inc. Method and apparatus for decoded picture buffer management in video coding system using intra block copy
EP3376761B1 (en) * 2015-11-11 2021-10-13 Sony Group Corporation Image processing device and image processing method
KR102527566B1 (ko) * 2015-11-11 2023-05-03 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
CN106385546A (zh) * 2016-09-27 2017-02-08 华南师范大学 通过图像处理改善移动电子设备摄像效果的方法和系统
JP6419128B2 (ja) * 2016-10-28 2018-11-07 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
RU2722495C1 (ru) 2017-04-11 2020-06-01 Долби Лэборетериз Лайсенсинг Корпорейшн Восприятия многослойных дополненных развлечений
US10009640B1 (en) * 2017-05-31 2018-06-26 Verizon Patent And Licensing Inc. Methods and systems for using 2D captured imagery of a scene to provide virtual reality content
US10297087B2 (en) * 2017-05-31 2019-05-21 Verizon Patent And Licensing Inc. Methods and systems for generating a merged reality scene based on a virtual object and on a real-world object represented from different vantage points in different video data streams
US10243088B1 (en) 2017-12-21 2019-03-26 Capital One Services, Llc Transaction card for transferring solar power
EP3736770A4 (en) * 2018-01-05 2022-03-02 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
EP3721428A4 (en) * 2018-03-08 2021-01-27 Samsung Electronics Co., Ltd. INTERACTIVE RESPONSE PROCESS BASED ON INTENTIONS, AND ASSOCIATED ELECTRONIC DEVICE
CN110798674B (zh) * 2018-08-01 2022-04-08 中兴通讯股份有限公司 图像深度值获取方法、装置、设备、编解码器及存储介质
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding
US10757410B1 (en) * 2019-07-26 2020-08-25 Google Llc Spatially adaptive video compression for multiple streams of color and depth
CN113344822B (zh) * 2021-06-29 2022-11-18 展讯通信（上海）有限公司 图像降噪方法、装置、终端、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008263528A (ja) * 2007-04-13 2008-10-30 Univ Nagoya 画像情報処理方法及び画像情報処理システム
WO2010071291A1 (ko) * 2008-12-18 2010-06-24 (주)엘지전자 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치
JP2010157825A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
WO2010079921A2 (ko) * 2009-01-12 2010-07-15 엘지 전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
WO2010084437A2 (en) * 2009-01-20 2010-07-29 Koninklijke Philips Electronics N.V. Transferring of 3d image data
JP2010267231A (ja) * 2009-05-18 2010-11-25 Canon Inc 位置姿勢推定装置及び方法
WO2011013030A1 (en) * 2009-07-27 2011-02-03 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108804A (ja) * 1991-10-21 1993-04-30 Nippon Telegr & Teleph Corp <Ntt> ３次元物体の識別方法及びその実施装置
JP3593466B2 (ja) 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
JP2002058031A (ja) 2000-08-08 2002-02-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法及び装置、並びに、画像復号化方法及び装置
JP2007166381A (ja) 2005-12-15 2007-06-28 Univ Of Tokyo 多視点画像の圧縮符号化方法及び復号化方法
JP2008069409A (ja) * 2006-09-14 2008-03-27 Bridgestone Corp 高強度高炭素鋼線およびその製造方法
CA2663672C (en) * 2006-09-20 2014-08-12 Nippon Telegraph And Telephone Corporation Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
JP4875162B2 (ja) 2006-10-04 2012-02-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像強調
CN101222639B (zh) 2007-01-09 2010-04-21 华为技术有限公司 多视点视频技术中的视间预测方法、编码器和解码器
JP5156088B2 (ja) * 2007-03-23 2013-03-06 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
JP4952657B2 (ja) 2007-07-19 2012-06-13 株式会社Ｊｖｃケンウッド 擬似立体画像生成装置、画像符号化装置、画像符号化方法、画像伝送方法、画像復号化装置及び画像復号化方法
CN101785317B (zh) * 2007-08-15 2013-10-16 汤姆逊许可证公司 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
BRPI0821500A2 (pt) 2008-01-11 2015-06-16 Thomson Licensing Codificação de vídeo e profundidade
JP5302336B2 (ja) 2008-01-21 2013-10-02 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 画素のブロックを圧縮する方法及びシステム
BRPI0907748A2 (pt) 2008-02-05 2015-07-21 Thomson Licensing Métodos e aparelhos para segmentação implícita de blocos em codificação e decodificação de vídeo
KR101506219B1 (ko) * 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
CN102124742B (zh) 2008-08-20 2013-09-11 汤姆逊许可公司 精制深度图
EP2328337A4 (en) * 2008-09-02 2011-08-10 Huawei Device Co Ltd 3D VIDEO COMMUNICATION, TRANSMISSION DEVICE, SYSTEM AND IMAGE RECONSTRUCTION, SYSTEM
JP5253066B2 (ja) * 2008-09-24 2013-07-31 キヤノン株式会社 位置姿勢計測装置及び方法
US8913657B2 (en) * 2008-10-27 2014-12-16 Lg Electronics Inc. Virtual view image synthesis method and apparatus
KR101625058B1 (ko) * 2008-11-10 2016-05-27 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
EP2365694B1 (en) * 2008-11-18 2017-01-04 LG Electronics Inc. Method and apparatus for processing image signal
CN102265617A (zh) * 2008-12-26 2011-11-30 日本胜利株式会社 图像编码装置、图像编码方法及其程序、以及图像解码装置、图像解码方法及其程序
US9196059B2 (en) * 2009-01-29 2015-11-24 Lg Electronics Inc. Method and apparatus for processing video signals using boundary intra coding
US8532411B2 (en) 2009-02-12 2013-09-10 Nippon Telegraph And Telephone Corporation Multi-view image coding method, multi-view image decoding method, multi-view image coding device, multi-view image decoding device, multi-view image coding program, and multi-view image decoding program
CN105657405B (zh) * 2009-02-19 2018-06-26 汤姆逊许可证公司 3d视频格式
EP2775724A3 (en) * 2009-03-19 2014-10-15 LG Electronics, Inc. Method for processing three dimensional (3D) video signal and digital broadcast receiver for performing the processing method
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
JP5293463B2 (ja) * 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8436893B2 (en) 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
EP2499829B1 (en) 2009-10-14 2019-04-17 Dolby International AB Methods and devices for depth map processing
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
JP5505154B2 (ja) 2010-07-16 2014-05-28 ソニー株式会社 画像処理装置と画像処理方法
JP2012023652A (ja) 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
KR102185765B1 (ko) 2010-08-11 2020-12-03 지이 비디오 컴프레션, 엘엘씨 멀티-뷰 신호 코덱
JP6108309B2 (ja) 2011-02-22 2017-04-05 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
JPWO2012128069A1 (ja) 2011-03-18 2014-07-24 ソニー株式会社 画像処理装置および画像処理方法
AU2012232423A1 (en) * 2011-03-18 2013-09-05 Sony Corporation Image processing device and image processing method
US20140085418A1 (en) 2011-05-16 2014-03-27 Sony Corporation Image processing device and image processing method
WO2012176684A1 (ja) 2011-06-22 2012-12-27 ソニー株式会社 画像処理装置および方法
JP2013034171A (ja) 2011-06-30 2013-02-14 Sony Corp 画像処理装置および方法
CN110572681B (zh) 2011-06-30 2023-12-15 索尼公司 图像处理设备和图像处理方法
US9191646B2 (en) 2011-08-29 2015-11-17 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
BR112014004062A2 (pt) 2011-08-31 2017-03-07 Sony Corp dispositivos e métodos de codificação e decodificação
US20140321546A1 (en) 2011-08-31 2014-10-30 Sony Corporation Image processing apparatus and image processing method
CN104081780A (zh) 2012-01-31 2014-10-01 索尼公司 图像处理装置和图像处理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008263528A (ja) * 2007-04-13 2008-10-30 Univ Nagoya 画像情報処理方法及び画像情報処理システム
WO2010071291A1 (ko) * 2008-12-18 2010-06-24 (주)엘지전자 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치
JP2010157825A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
WO2010079921A2 (ko) * 2009-01-12 2010-07-15 엘지 전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
WO2010084437A2 (en) * 2009-01-20 2010-07-29 Koninklijke Philips Electronics N.V. Transferring of 3d image data
JP2010267231A (ja) * 2009-05-18 2010-11-25 Canon Inc 位置姿勢推定装置及び方法
WO2011013030A1 (en) * 2009-07-27 2011-02-03 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data

Also Published As

Publication number Publication date
CN103430529B (zh) 2017-07-11
AU2012232423A1 (en) 2013-09-05
CA2827621C (en) 2019-02-26
CN107197226B (zh) 2019-05-28
EP2688280A1 (en) 2014-01-22
US20130342647A1 (en) 2013-12-26
CA2827621A1 (en) 2012-09-27
US20170064283A1 (en) 2017-03-02
JP2018186528A (ja) 2018-11-22
JPWO2012128070A1 (ja) 2014-07-24
US10389997B2 (en) 2019-08-20
CN107274475A (zh) 2017-10-20
EP2688280A4 (en) 2014-09-10
CN107277484A (zh) 2017-10-20
MX352224B (es) 2017-11-15
CN107197226A (zh) 2017-09-22
US20170280128A1 (en) 2017-09-28
US9615079B2 (en) 2017-04-04
BR112013023302A2 (pt) 2016-12-20
RU2586064C2 (ru) 2016-06-10
RU2013141792A (ru) 2015-03-20
US20170280127A1 (en) 2017-09-28
JP6365635B2 (ja) 2018-08-01
EP3267398A3 (en) 2018-03-28
AU2016262741A1 (en) 2016-12-15
US9712802B2 (en) 2017-07-18
AU2016262741B2 (en) 2018-05-17
WO2012128070A1 (ja) 2012-09-27
MX2013010423A (es) 2013-10-03
JP2017073799A (ja) 2017-04-13
EP3267398A2 (en) 2018-01-10
CN103430529A (zh) 2013-12-04
CN107197227B (zh) 2019-05-10
US10218958B2 (en) 2019-02-26
CN107197227A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
JP6365635B2 (ja) 画像処理装置および画像処理方法
WO2012128069A1 (ja) 画像処理装置および画像処理方法
JP6206559B2 (ja) 復号装置、復号方法、プログラム、および記録媒体
US9235749B2 (en) Image processing device and image processing method
WO2012111756A1 (ja) 画像処理装置および画像処理方法
WO2012111757A1 (ja) 画像処理装置および画像処理方法
WO2012029884A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161123

R151 Written notification of patent or utility model registration

Ref document number: 6057136

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees