JP6984416B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6984416B2
JP6984416B2 JP2017550063A JP2017550063A JP6984416B2 JP 6984416 B2 JP6984416 B2 JP 6984416B2 JP 2017550063 A JP2017550063 A JP 2017550063A JP 2017550063 A JP2017550063 A JP 2017550063A JP 6984416 B2 JP6984416 B2 JP 6984416B2
Authority
JP
Japan
Prior art keywords
dimensional
data
viewpoint
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017550063A
Other languages
English (en)
Other versions
JPWO2017082078A1 (ja
Inventor
潤一 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017082078A1 publication Critical patent/JPWO2017082078A1/ja
Application granted granted Critical
Publication of JP6984416B2 publication Critical patent/JP6984416B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、画像処理装置および画像処理方法に関し、特に、２次元画像データとデプス画像データに基づいて３次元データを高精度で生成することができるようにした画像処理装置および画像処理方法に関する。
マルチビューステレオ技術において、複数のカメラにより撮像された３次元物体の３次元位置情報と２次元画像データとからなる３次元データを記録、符号化、伝送、復号、表示する伝送システムが考案されている（例えば、非特許文献１参照）。３次元データの符号化方式としては、MPEG(Moving Picture Experts Group phase)方式などがある(例えば、非特許文献２参照)。
また、複数のカメラにより得られた、複数の視点の２次元画像データと、各画素の被写体の奥行き方向（撮像面に垂直な方向）の位置を示すデプスからなるデプス画像データとをそのまま記録、符号化、伝送、復号、表示する伝送システムが考案されている。２次元画像データとデプス画像データを符号化する方式としては、MVCD（Multiview and depth video coding）方式、AVC（Advanced Video Coding）方式、HEVC（High Efficiency Video Coding）方式などがある。
Ming Chuang, Pat Sweeney, Don Gillett, Dennis Evseev, David Calabrese, Hugues Hoppe, Adam Kirk, Steve Sullivan, "High-Quality Streamable Free-Viewpoint Video, Alvaro Collet", Microsoft Corporation Marius Preda,"MPEG Graphics Compression Model" MPEG document: N9892,May 2008
しかしながら、被写体の３次元情報を３次元データとして伝送する場合、受信側において、３次元データを処理する高機能の処理部が必要になる。
また、被写体の３次元情報を複数のカメラにより得られた２次元画像データとデプス画像データで伝送する場合、受信側の処理は容易になるが、各視点の２次元画像データとデプス画像データの３次元座標系が異なる場合がある。この場合、各視点の２次元画像データとデプス画像データに基づいて高精度で３次元データを生成することはできない。
本開示は、このような状況に鑑みてなされたものであり、２次元画像データとデプス画像データに基づいて３次元データを高精度で生成することができるようにするものである。
本開示の第１の側面の画像処理装置は、第１の視点の２次元画像データと第２の視点の２次元画像データとに基づいて、前記第１の視点の第１の３次元座標系における３次元位置を、前記第２の視点の第２の３次元座標系における３次元位置に変換する座標変換データを生成する座標変換データ生成部と、前記第１の視点の２次元画像データと前記第１の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第１の符号化データ、前記第２の視点の２次元画像データと前記第２の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第２の符号化データ、および前記座標変換データ生成部により生成された前記座標変換データを含む座標変換情報を、他の画像処理装置に伝送する伝送部とを備え、前記他の画像処理装置は、前記第１の符号化データ、前記第２の符号化データ、および前記座標変換情報に基づいて、被写体の３次元データを生成する画像処理装置である。
本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。
本開示の第１の側面においては、第１の視点の２次元画像データと第２の視点の２次元画像データとに基づいて、前記第１の視点の第１の３次元座標系における３次元位置を、前記第２の視点の第２の３次元座標系における３次元位置に変換する座標変換データが生成され、前記第１の視点の２次元画像データと前記第１の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第１の符号化データ、前記第２の視点の２次元画像データと前記第２の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第２の符号化データ、および前記座標変換データを含む座標変換情報が、他の画像処理装置に伝送され、前記他の画像処理装置は、前記第１の符号化データ、前記第２の符号化データ、および前記座標変換情報に基づいて、被写体の３次元データを生成する。
本開示の第２の側面の画像処理装置は、第１の視点の２次元画像データと前記第１の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第１の符号化データと、第２の視点の２次元画像データと前記第２の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第２の符号化データを復号する復号部と、前記第１の視点の第１の３次元座標系における第１のカメラパラメータ、および、前記復号部による前記第１の符号化データの復号の結果得られる前記第１の視点の２次元画像データとデプス画像データに基づいて、前記第１の視点の２次元画像データの各画素の２次元位置を、前記第１の３次元座標系における３次元位置に変換する第１の３次元位置変換部と、前記第１の３次元座標系における３次元位置を、前記第２の視点の第２の３次元座標系における３次元位置に変換する座標変換データを含む座標変換情報に基づいて、前記第１の３次元位置変換部による変換後の前記第１の３次元座標系における３次元位置を、前記第２の３次元座標系における３次元位置に変換する座標変換部と、前記第２の視点の前記第２の３次元座標系における第２のカメラパラメータ、および、前記復号部による前記第２の符号化データの復号の結果得られる前記第２の視点の２次元画像データと前記デプス画像データに基づいて、前記第２の視点の２次元画像データの各画素の２次元位置を、前記第２の３次元座標系における３次元位置に変換する第２の３次元位置変換部と、前記座標変換部により変換された前記３次元位置と、前記第２の３次元位置変換部による変換後の前記３次元位置とに基づいて、前記第１の視点の２次元画像データと、前記第２の視点の２次元画像データとから、被写体の３次元データを生成するデータ生成部とを備える画像処理装置である。
本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。
本開示の第２の側面においては、第１の視点の２次元画像データと前記第１の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第１の符号化データと、第２の視点の２次元画像データと前記第２の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第２の符号化データが復号され、前記第１の視点の第１の３次元座標系における第１のカメラパラメータ、および、前記第１の符号化データの復号の結果得られる前記第１の視点の２次元画像データとデプス画像データに基づいて、前記第１の視点の２次元画像データの各画素の２次元位置が、前記第１の３次元座標系における３次元位置に変換され、前記第１の３次元座標系における３次元位置を、前記第２の視点の第２の３次元座標系における３次元位置に変換する座標変換データを含む座標変換情報に基づいて、前記第１の３次元座標系における３次元位置が、前記第２の３次元座標系における３次元位置に変換され、前記第２の視点の前記第２の３次元座標系における第２のカメラパラメータ、および、前記第２の符号化データの復号の結果得られる前記第２の視点の２次元画像データとデプス画像データに基づいて、前記第２の視点の２次元画像データの各画素の２次元位置が、前記第２の３次元座標系における３次元位置に変換され、前記第１の視点の２次元画像データの各画素の前記第２の３次元座標系における３次元位置と、前記第２の視点の２次元画像データの各画素の前記第２の３次元座標系における３次元位置とに基づいて、前記第１の視点の２次元画像データと、前記第２の視点の２次元画像データとから、被写体の３次元データが生成される。
なお、第１の側面および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第１の側面および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本開示の第１の側面によれば、画像処理を行うことができる。また、本開示の第１の側面によれば、２次元画像データとデプス画像データに基づいて３次元データを高精度で生成することができるように画像処理を行うことができる。
本開示の第２の側面によれば、画像処理を行うことができる。また、本開示の第２の側面によれば、２次元画像データとデプス画像データに基づいて３次元データを高精度で生成することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した伝送システムの第１実施の形態の構成例を示すブロック図である。 図１の変換部の構成例を示すブロック図である。 所定の表示画像生成方式に対応する複数の視点の例を示す図である。 カメラ関連情報の例を示す図である。 図１の撮像装置と符号化装置の符号化処理を説明するフローチャートである。 図１の変換部の第１の構成例を示すブロック図である。 図１の変換部の第２の構成例を示すブロック図である。 図１の変換部の第３の構成例を示すブロック図である。 図１の復号装置の復号処理を説明するフローチャートである。 本開示を適用した伝送システムの第２実施の形態の構成例を示すブロック図である。 図１０の撮像装置の構成例を示すブロック図である。 同期ずれ情報の例を示す図である。 図１０の符号化装置の構成例を示すブロック図である。 図１０の撮像装置と符号化装置の符号化処理を説明するフローチャートである。 図１０の復号部の構成例を示すブロック図である。 図１０の復号装置の復号処理を説明するフローチャートである。 本開示を適用した伝送システムの第３実施の形態の構成例を示すブロック図である。 図１７の合成装置の構成例を示すブロック図である。 図１８の合成装置の合成処理を説明するフローチャートである。 第４実施の形態における合成装置の構成例を示すブロック図である。 座標変換データを生成する処理を説明する図である。 座標変換情報の例を示す図である。 図２０の合成装置の合成処理を説明するフローチャートである。 第４実施の形態における変換部の構成例を示すブロック図である。 第４実施の形態における復号装置の復号処理を説明するフローチャートである。 第５実施の形態における合成装置の構成例を示すブロック図である。 色ずれ補正情報の例を示す図である。 図２６の合成装置の合成処理を説明するフローチャートである。 第５実施の形態における変換部の構成例を示すブロック図である。 コンピュータのハードウエアの構成例を示すブロック図である。
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：伝送システム（図１乃至図９）
２．第２実施の形態：伝送システム（図１０乃至図１６）
３．第３実施の形態：伝送システム（図１７乃至図１９）
４．第４実施の形態：伝送システム（図２０乃至図２５）
５．第５実施の形態：伝送システム（図２６乃至図２９）
６．第６実施の形態：コンピュータ（図３０）
＜第１実施の形態＞
（伝送システムの第１実施の形態の構成例）
図１は、本開示を適用した伝送システムの第１実施の形態の構成例を示すブロック図である。
図１の伝送システム１０は、撮像装置１１、符号化装置１２、復号装置１３、および表示装置１４により構成される。伝送システム１０は、撮像装置１１により取得された２次元画像データ等を用いて、所定の表示画像生成方式で表示画像データを生成し、表示する。
具体的には、伝送システム１０の撮像装置１１は、例えば、マルチカメラ、測距測定器、および画像処理部により構成される。撮像装置１１のマルチカメラは、複数（例えば、８）のカメラにより構成され、各カメラで少なくとも一部が同一である被写体の動画像の２次元画像データを撮像する。測距測定器は、例えば、各カメラに設けられ、そのカメラと同一の視点のデプス画像データを生成する。
撮像装置１１の画像処理部（３次元データ生成部）は、各カメラの視点の２次元画像データおよびデプス画像データ、並びに、各カメラの内部パラメータおよび外部パラメータを用いて、Visual Hull等によるモデリングを行い、メッシュを作成する。画像処理部は、作成されたメッシュを構成する各点（Vertex）の３次元位置と各点のつながり（Polygon）を示す幾何情報（Geometry）と、そのメッシュの２次元画像データとを被写体の３次元データとして生成し、符号化装置１２に供給する。
複数の視点の２次元画像データとデプス画像データから３次元データを生成する方法の詳細は、例えば、Saied Moezzi, Li-Cheng Tai, Philippe Gerard, “Virtual View Generation for 3D Digital Video”, University of California, San DiegoやTakeo Kanade and Peter Rander,P.J. Narayanan, “Virtualized Reality:Constructing Virtual Worlds from Real Scenes"に記載されている。
符号化装置１２は、変換部２１、符号化部２２、および伝送部２３により構成される。
符号化装置１２の変換部２１は、所定の表示画像生成方式に対応する複数の視点の仮想カメラの内部パラメータと外部パラメータをカメラパラメータとして設定する。変換部２１は、カメラパラメータに基づいて、撮像装置１１から供給される３次元データから、所定の表示画像生成方式に対応する複数の視点の２次元画像データとデプス画像データとを生成する。
３次元データから複数の視点の２次元画像データとデプス画像データを生成する３ＤＣＧ技術の詳細は、例えば、谷本正幸、「究極の映像通信を目指して」電子情報通信学会技術研究報告. CS, 通信方式 110(323), 73-78, 2010-11-25等に記載されている。
本明細書では、２次元画像データとデプス画像データの視点は同一であるものとするが、２次元画像データとデプス画像データの視点および視点の数は、異なっていてもよい。また、２次元画像データとデプス画像データの視点および視点の数は、撮像装置１１のカメラの視点と同一であっても、異なっていてもよい。
変換部２１は、撮像装置１１から供給される３次元データから、所定の表示画像生成方式に対応する複数の視点からは見えないオクルージョン領域の３次元データ（以下、オクルージョン３次元データという）を抽出する。変換部２１は、所定の表示画像生成方式に対応する複数の視点の２次元画像データおよびデプス画像データ、オクルージョン３次元データ、並びに、各視点のカメラパラメータ等の仮想カメラに関する情報であるカメラ関連情報を含むメタデータを符号化部２２に供給する。
符号化部２２は、変換部２１から供給される２次元画像データ、デプス画像データ、およびメタデータを符号化する。符号化方式としては、MVCD（Multiview and depth video coding）方式、AVC方式、HEVC方式等を採用することができる。
符号化方式がMVCD方式である場合、全ての視点の２次元画像データとデプス画像データは、まとめて符号化される。その結果、２次元画像データとデプス画像データの符号化データとメタデータを含む１本の符号化ストリームが生成される。この場合、メタデータのうちのカメラパラメータは、符号化ストリームのreference displays information SEIに配置される。また、メタデータのうちのデプス画像データに関する情報は、Depth representation information SEIに配置される。
一方、符号化方式がAVC方式やHEVC方式である場合、各視点のデプス画像データと２次元画像データは別々に符号化される。その結果、各視点の２次元画像データとメタデータを含む各視点の符号化ストリームと、各視点のデプス画像データの符号化データとメタデータとを含む各視点の符号化ストリームが生成される。この場合、メタデータは、例えば、各符号化ストリームのUser unregistered SEIに配置される。また、メタデータには、符号化ストリームとカメラパラメータ等とを対応付ける情報が含まれる。
なお、メタデータに符号化ストリームとカメラパラメータ等とを対応付ける情報を含めず、符号化ストリームに、その符号化ストリームに対応するメタデータのみを含めるようにしてもよい。
符号化部２２は、符号化ストリームを伝送部２３に供給する。伝送部２３は、符号化部２２から供給される符号化ストリームを復号装置１３に伝送する。なお、本明細書では、メタデータが符号化ストリームに配置されて伝送されるようにするが、符号化ストリームとは別に伝送されるようにしてもよい。
復号装置１３は、受け取り部３１、復号部３２、および変換部３３により構成される。
復号装置１３の受け取り部３１は、伝送部２３から伝送されてくる符号化ストリームを受け取り、復号部３２に供給する。復号部３２は、受け取り部３１から供給される符号化ストリームを、符号化部２２における符号化方式に対応する方式で復号する。復号部３２は、その結果得られる複数の視点の２次元画像データおよびデプス画像データ、並びにメタデータを変換部３３に供給する。
変換部３３は、復号部３２から供給されるメタデータと復号装置１３の表示画像生成方式に基づいて、複数の視点の２次元画像データとデプス画像データから、所定の視点の２次元画像データ、または、所定の視点の２次元画像データとデプス画像データを選択する。変換部３３は、選択された所定の視点の２次元画像データ、または、所定の視点の２次元画像データとデプス画像データに基づいて、表示画像データを生成し、表示装置１４に供給する。
表示装置１４は、２次元ヘッドマウントディスプレイや２次元モニタ、３次元ヘッドマウントディスプレイや３次元モニタなどにより構成される。表示装置１４は、変換部３３から供給される表示画像データに基づいて、表示画像を２次元表示または３次元表示する。
（変換部２１の構成例）
図２は、図１の変換部２１の構成例を示すブロック図である。
図２の変換部２１は、被写体位置決定部５１、カメラ決定部５２、２次元データ生成部５３、およびオクルージョン決定部５４により構成される。
変換部２１の被写体位置決定部５１は、図１の撮像装置１１から供給される３次元データに対応する３次元物体のうちの被写体の中心とする３次元位置を決定し、その３次元位置を表す被写体位置情報をカメラ決定部５２に供給する。
カメラ決定部５２は、被写体位置決定部５１から供給される被写体位置情報に基づいて、所定の表示画像生成方式に対応する複数の視点のカメラパラメータを決定し、２次元データ生成部５３とオクルージョン決定部５４に供給する。また、カメラ決定部５２は、各視点のカメラパラメータ等からカメラ関連情報を生成し、メタデータとして図１の符号化部２２に供給する。
２次元データ生成部５３は、カメラ決定部５２から供給される複数の視点のカメラパラメータに基づいて、視点ごとに、３次元データに対応する３次元物体の透視投影を行う。
具体的には、各画素の２次元位置に対応する行列m´とワールド座標系の３次元座標に対応する行列Mの関係は、カメラの内部パラメータAと外部パラメータR|tを用いて、以下の式（１）により表現される。
Figure 0006984416
式（１）は、より詳細には式（２）で表現される。
Figure 0006984416
式（２）において、（u,v）は画像上の２次元座標であり、fx, fyは、焦点距離である。また、Cx, Cyは、主点であり、r１１乃至r１３,r２１乃至r２３,r３１乃至r３３、およびｔ１乃至ｔ３は、パラメータであり、（X,Y,Z）は、ワールド座標系の３次元座標である。
従って、２次元データ生成部５３は、上述した式（１）や（２）により、カメラパラメータを用いて、各画素の２次元座標に対応する３次元座標を求める。
そして、２次元データ生成部５３は、視点ごとに、３次元データのうちの各画素の２次元座標に対応する３次元座標の２次元画像データを各画素の２次元画像データにすることにより、各画素の２次元座標と画像データを対応付ける２次元画像データを生成する。また、２次元データ生成部５３は、視点ごとに、各画素の２次元座標に対応する３次元座標に基づいて各画素のデプスを求め、各画素の２次元座標とデプスを対応付けるデプス画像データを生成する。デプスは、例えば、被写体の奥行き方向の位置ｚの逆数1/zである。２次元データ生成部５３は、各視点の２次元画像データとデプス画像データを符号化部２２に供給する。
オクルージョン決定部５４は、カメラ決定部５２から供給されるカメラパラメータに基づいて、撮像装置１１から供給される３次元データからオクルージョン３次元データを抽出し、メタデータとして符号化部２２に供給する。
（所定の表示画像生成方式に対応する複数の視点の例）
図３は、所定の表示画像生成方式に対応する複数の視点の例を示す図である。
図３のＡの例では、所定の表示画像生成方式が、所定の１視点の表示画像を２次元表示する所定視点表示画像生成方式と、１つの任意の視点である自由視点の表示画像を２次元表示する自由視点表示画像生成方式である。この場合、図３のＡに示すように、所定の表示画像生成方式に対応する複数の視点は、例えば、同一円上に等間隔に存在する複数（図３のＡの例では８）の視点７１乃至７８であり、視点７１乃至７８の向きは、その円の中心に向かう向きである。
以上により、復号装置１３は、視点７１乃至７８のうちのいずれかの視点の２次元画像データを表示画像データとして選択し、表示装置１４に供給することにより、その視点の表示画像を表示装置１４に２次元表示させることができる。
また、復号装置１３は、視点７１乃至７８の２次元画像データとデプス画像データに基づいて３次元データを生成し、自由視点に対して、その３次元データに対応する３次元物体の透視投影を行うことにより、自由視点の２次元画像データを表示画像データとして生成することができる。従って、復号装置１３は、生成された表示画像データを表示装置１４に供給することにより、自由視点の表示画像を表示装置１４に２次元表示させることができる。
図３のＢの例では、所定の表示画像生成方式が、所定視点表示画像生成方式、自由視点表示画像生成方式、２視点の２次元画像データに基づいて表示画像を３次元表示させる３次元表示画像生成方式、および２視点の間の視点の表示画像を２次元表示させる補間視点表示画像生成方式である。
この場合、図３のＢに示すように、所定の表示画像生成方式に対応する複数の視点は、例えば、同一円上に等間隔に存在する複数（図３のＢの例では１０）の視点８１乃至９０である。視点８８と視点８９は、それぞれ、視点８７、視点８８と略水平方向に並ぶ。視点８７と視点８９、および、視点８８と視点９０の略水平方向の間隔は、例えば、人間の左右の目の間隔に対応する。視点８１乃至９０の向きは、視点８１乃至９０が配置される円の中心に向かう向きである。
以上により、復号装置１３は、図３のＡの場合と同様に、視点８１乃至９０のいずれかの視点の表示画像または自由視点の表示画像を表示装置１４に２次元表示させることができる。また、復号装置１３は、視点８７と視点８９のペアまたは視点８８と視点９０のペアの２次元画像データを表示画像データとして選択し、表示装置１４に供給することにより、視点８７と視点８９のペアまたは視点８８と視点９０のペアの表示画像を表示装置１４に３次元表示させることができる。
さらに、復号装置１３は、視点８７と視点８９のペアまたは視点８８と視点９０のペアの２次元画像データとデプス画像データに基づいて、そのペアの間の視点の２次元画像データを補間することができる。従って、復号装置１３は、補間された２次元画像データを表示画像データとして表示装置１４に供給することにより、視点８７と視点８９のペアまたは視点８８と視点９０のペアの間の視点の表示画像を表示装置１４に２次元表示させることができる。
図３のＡおよび図３のＢの例の場合、所定の表示画像生成方式の数が複数である。従って、復号装置１３は、所定の表示画像生成方式に対応する複数の視点の２次元画像データとデプス画像データに基づいて、所定の表示画像生成方式のいずれかで表示画像データを生成することができる。よって、符号化装置１２は、スケーラビリティを有する符号化ストリームを生成することができるといえる。なお、所定の表示画像生成方式の数は１つであってもよい。
また、カメラ決定部５２は、撮像装置１１のカメラの数が、所定の表示画像生成方式に対応する複数の視点より多い場合、所定の表示画像生成方式に対応する複数の視点のカメラパラメータを決定することにより、視点の冗長性をなくすことができる。
例えば、撮像装置１１のカメラの視点が視点７１乃至７８の８視点であるが、複数の表示画像生成方式に対応する複数の視点が視点７１、視点７３、視点７５、および視点７７の４視点である場合、カメラ決定部５２は、その４視点のカメラパラメータを決定する。従って、視点７１乃至７８の全ての２次元画像データとデプス画像データが符号化される場合に比べて、符号化ストリームにおける視点の冗長性をなくすことができる。
複数の表示画像生成方式に対応する複数の視点の位置は、図３のＡおよび図３のＢの例に限定されず、任意の位置にすることが可能である。また、各視点のカメラパラメータは、例えば、比較的狭い画角に対応するカメラパラメータにすることができる。この場合、表示画像のズーム時の解像度を向上させることができる。
また、本明細書では、所定の表示画像生成方式の数が複数である場合であっても、所定の表示画像生成方式の全てに対応する複数の視点の符号化ストリームが生成されるようにするが、所定の表示画像生成方式ごとに、対応する複数の視点の符号化ストリームが生成されるようにしてもよい。この場合、復号装置１３は、自分の表示画像生成方式に対応する符号化ストリームを用いて表示画像データを生成する。
さらに、カメラ決定部５２は、復号装置１３からの要求に応じて、所定の表示画像生成方式に対応する複数の視点を決定するようにしてもよい。
（カメラ関連情報の例）
図４は、カメラ関連情報の例を示す図である。
図４の例では、所定の表示画像生成方式に対応する複数の視点が、図３のＢの視点８１乃至９０である。
図４に示すように、カメラ関連情報は、各視点のカメラＩＤに、その視点の外部パラメータＲ｜Ｔ、内部パラメータＡ、isStereoFlag、およびステレオカメラＩＤが対応付けられることにより構成される。
カメラＩＤは、視点に固有のＩＤである。図４の例では、カメラＩＤは、視点８１乃至９０に対して０から順に付されている。また、図４では、カメラＩＤがｉである外部パラメータＲ｜ＴをＲｉ｜Ｔｉ、内部パラメータＡをＡｉと記載している。
isStereoFlagは、略水平方向に並ぶ他の視点が存在するかどうかを表すフラグであり、略水平方向に並ぶ他の視点が存在する場合１に設定される。図４の例では、カメラＩＤが６乃至９である視点８７乃至９０に、略水平方向に並ぶ他の視点が存在するため、図４に示すように、６乃至９であるカメラＩＤに対応付けられたisStereoFlagは１となる。
ステレオカメラＩＤは、略水平方向に並ぶ他の視点のカメラＩＤであり、略水平方向に並ぶ２つの視点を特定するペア情報である。図４の例では、カメラＩＤが６である視点８７の略水平方向に並ぶ他の視点８９のカメラＩＤは８であるので、６であるカメラＩＤに対応付けられたステレオカメラＩＤは８となる。
同様に、カメラＩＤが７である視点８８の略水平方向に並ぶ他の視点９０のカメラＩＤは９であるので、７であるカメラＩＤに対応付けられたステレオカメラＩＤは９となる。また、８であるカメラＩＤに対応付けられたステレオカメラＩＤは６となり、９であるカメラＩＤに対応付けられたステレオカメラＩＤは７となる。
（撮像装置と符号化装置の処理の説明）
図５は、図１の撮像装置１１と符号化装置１２の符号化処理を説明するフローチャートである。
図５のステップＳ１１において、撮像装置１１は、マルチカメラで動画像の２次元画像データを撮像し、測距測定器でデプス画像データを生成する。ステップＳ１２において、撮像装置１１は、２次元画像データとデプス画像データを用いて３次元データを生成し、符号化装置１２に供給する。
ステップＳ１３において、符号化装置１２の被写体位置決定部５１（図２）は、撮像装置１１から供給される３次元データに対応する３次元物体のうちの被写体の中心とする３次元位置を決定し、その３次元位置を表す被写体位置情報をカメラ決定部５２に供給する。
ステップＳ１４において、カメラ決定部５２は、被写体位置決定部５１から供給される被写体位置情報に基づいて、所定の表示画像生成方式に対応する複数の視点のカメラパラメータを決定し、２次元データ生成部５３とオクルージョン決定部５４に供給する。また、カメラ決定部５２は、カメラパラメータ等から図４のカメラ関連情報を生成し、メタデータとして図１の符号化部２２に供給する。
ステップＳ１５において、２次元データ生成部５３は、カメラ決定部５２から供給される複数の視点のカメラパラメータに基づいて、視点ごとに、３次元データに対応する３次元物体の透視投影を行い、各画素の２次元座標に対応する３次元座標を求める。
ステップＳ１６において、２次元データ生成部５３は、視点ごとに、３次元データのうちの各画素の３次元座標の２次元画像データを各画素の２次元画像データにすることにより、２次元画像データを生成する。また、２次元データ生成部５３は、視点ごとに、各画素の３次元座標に基づいて各画素のデプスを求め、デプス画像データを生成する。２次元データ生成部５３は、各視点の２次元画像データとデプス画像データを符号化部２２に供給する。
ステップＳ１７において、オクルージョン決定部５４は、カメラ決定部５２から供給されるカメラパラメータに基づいて、撮像装置１１から供給される３次元データからオクルージョン３次元データを抽出し、メタデータとして符号化部２２に供給する。
ステップＳ１８において、符号化部２２は、変換部２１から供給される２次元画像データ、デプス画像データ、およびメタデータを符号化し、その結果得られる符号化ストリームを伝送部２３に供給する。
ステップＳ１９において、伝送部２３は、符号化部２２から供給される符号化ストリームを復号装置１３に伝送する。そして、処理は終了する。
（変換部３３の第１の構成例）
図６は、図１の変換部３３の第１の構成例を示すブロック図である。
図６の変換部３３は、図１の復号装置１３の表示画像生成方式が所定視点表示画像生成方式である場合の変換部３３であり、選択部１１１と表示制御部１１２により構成される。
変換部３３の選択部１１１は、図１の復号部３２から供給されるカメラ関連情報に基づいて、所望の１視点のカメラＩＤを認識する。選択部１１１は、復号部３２から供給される２次元画像データ、デプス画像データ、およびオクルージョン３次元データのうちの、認識されたカメラＩＤに対応する１視点の２次元画像データを選択する。選択部１１１は、選択された１視点の２次元画像データを表示制御部１１２に供給する。
表示制御部１１２は、選択部１１１から供給される１視点の２次元画像データを表示画像データとして表示装置１４に供給することにより、表示画像を表示装置１４に２次元表示させる。
なお、図示は省略するが、復号装置１３の表示画像生成方式が３次元表示画像生成方式である場合の変換部３３の構成は、選択部１１１が、カメラ関連情報に基づいて略水平方向に並ぶ２視点の２次元画像データを選択する点を除いて、図６の構成と同一である。
即ち、この場合、選択部１１１は、カメラ関連情報のうちのisStereoFlagが１であるカメラＩＤの視点と、そのカメラＩＤに対応するステレオカメラＩＤの視点の２次元画像データを選択する。その結果、表示装置１４には、選択された２視点の２次元画像データが表示画像データとして供給される。表示装置１４は、表示画像データのうちの１視点の２次元画像データに基づいて左目用の表示画像を表示し、他の１視点の２次元画像データに基づいて右目用の表示画像を表示することにより、表示画像を３次元表示する。
(変換部３３の第２の構成例)
図７は、図１の変換部３３の第２の構成例を示すブロック図である。
図７の変換部３３は、復号装置１３の表示画像生成方式が補間視点表示画像生成方式である場合の変換部３３であり、選択部１３１、補間部１３２、および表示制御部１３３により構成される。
変換部３３の選択部１３１は、図１の復号部３２から供給されるカメラ関連情報に基づいて、１であるisStereoFlagに対応するカメラＩＤのうちの１つと、その１つに対応するステレオカメラＩＤとを認識する。選択部１３１は、復号部３２から供給される２次元画像データ、デプス画像データ、およびオクルージョン３次元データのうちの、認識された２つのカメラＩＤに対応する２視点の２次元画像データとデプス画像データを選択し、補間部１３２に供給する。
補間部１３２は、選択部１３１から供給される２視点の２次元画像データとデプス画像データに基づいて、その２視点の間の位置を視点とする２次元画像データを補間する。このような補間技術は、Depth Image Based Renderingと呼ばれ、例えば、国際公開WO2014083752号パンフレットに記載されている。補間部１３２は、補間された１視点の２次元画像データを表示制御部１３３に供給する。
表示制御部１３３は、補間部１３２から供給される１視点の２次元画像データを表示画像データとして表示装置１４に供給することにより、表示画像を表示装置１４に２次元表示させる。
（変換部３３の第３の構成例）
図８は、図１の変換部３３の第３の構成例を示すブロック図である。
図８の変換部３３は、復号装置１３の表示画像生成方式が自由視点表示画像生成方式である場合の変換部３３である。図８の変換部３３は、３次元データ生成部１５１、被写体位置決定部１５２、カメラ位置決定部１５３、２次元データ生成部１５４、および表示制御部１５５により構成される。
変換部３３の３次元データ生成部１５１は、復号部３２から供給される２次元画像データ、デプス画像データ、およびカメラ関連情報に含まれるカメラパラメータを用いて、撮像装置１１と同様に、被写体の３次元データを生成する。３次元データ生成部１５１は、生成された３次元データを、復号部３２から供給されるオクルージョン３次元データを用いて修正する。これにより、２次元画像データとデプス画像データのみでは生成することができないオクルージョン領域を含む被写体の全領域の３次元データを生成することができる。３次元データ生成部１５１は、修正された３次元データを被写体位置決定部１５２と２次元データ生成部１５４に供給する。
被写体位置決定部１５２は、３次元データ生成部１５１から供給される３次元データに対応する３次元物体のうちの被写体の中心とする３次元位置を決定し、その３次元位置を表す被写体位置情報をカメラ位置決定部１５３に供給する。
カメラ位置決定部１５３は、被写体位置決定部１５２から供給される被写体位置情報に基づいて、自由視点のカメラパラメータを決定し、カメラパラメータを２次元データ生成部１５４に供給する。
２次元データ生成部１５４は、３次元データ生成部１５１から供給される３次元データと、カメラ位置決定部１５３から供給される自由視点のカメラパラメータとに基づいて、自由視点表示画像生成方式で２次元画像データを表示画像データとして生成する。
具体的には、２次元データ生成部１５４は、自由視点のカメラパラメータに基づいて、図２の２次元データ生成部５３と同様に、３次元データに対応する３次元物体の透視投影を行い、各画素の２次元座標に対応する３次元座標を求める。そして、２次元データ生成部１５４は、３次元データのうちの各画素の２次元座標に対応する３次元座標の２次元画像データを、各画素の表示画像データとして生成する。
また、２次元データ生成部１５４は、各画素の２次元座標に対応する３次元座標に基づいて各画素のデプスを求め、デプス画像データを生成する。２次元データ生成部１５４は、表示画像データとデプス画像データを表示制御部１５５に供給する。
表示制御部１５５は、２次元データ生成部１５４から供給される表示画像データとデプス画像データを表示装置１４に供給する。表示装置１４は、例えば、表示画像データとデプス画像データをPoint Cloudとして、表示画像を２次元表示する。
以上のように、図８の変換部３３は、複数の視点の２次元画像データとデプス画像データから３次元データを生成し、新たに決定された自由視点のカメラパラメータに基づいて、その３次元データから、２次元画像データとデプス画像データを生成する。従って、変換部３３は、符号化装置１２から伝送されてくる複数の視点の２次元画像データとデプス画像データのズーム倍率を変更したり、視点を変更したりすることができる。
（復号装置の処理の説明）
図９は、図１の変換部３３の構成が図８の構成である場合の復号装置１３の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置１２から符号化ストリームが伝送されてきたとき開始される。
図９のステップＳ３１において、復号装置１３の受け取り部３１は、伝送部２３から伝送されてくる符号化ストリームを受け取り、復号部３２に供給する。
ステップＳ３２において、復号部３２は、受け取り部３１から供給される符号化ストリームを復号する。復号部３２は、その結果得られる複数の視点の２次元画像データおよびデプス画像データ、並びにメタデータを変換部３３に供給する。
ステップＳ３３において、変換部３３の３次元データ生成部１５１（図８）は、復号部３２から供給される２次元画像データ、デプス画像データ、およびメタデータに含まれるカメラパラメータを用いて、撮像装置１１と同様に、被写体の３次元データを生成する。
ステップＳ３４において、３次元データ生成部１５１は、復号部３２から供給されるメタデータに含まれるオクルージョン３次元データを用いて、ステップＳ３３で生成された３次元データを修正する。３次元データ生成部１５１は、修正された３次元データを被写体位置決定部１５２に供給する。
ステップＳ３５において、被写体位置決定部１５２は、３次元データ生成部１５１から供給される３次元データに対応する３次元物体のうちの被写体の中心とする３次元位置を決定し、その３次元位置を表す被写体位置情報をカメラ位置決定部１５３に供給する。
ステップＳ３６において、カメラ位置決定部１５３は、被写体位置決定部１５２から供給される被写体位置情報に基づいて、自由視点のカメラパラメータを決定し、カメラパラメータを２次元データ生成部１５４に供給する。
ステップＳ３７において、２次元データ生成部１５４は、３次元データと自由視点のカメラパラメータとに基づいて、自由視点表示画像生成方式で２次元画像データを表示画像データとして生成する。
ステップＳ３８において、２次元データ生成部１５４は、各画素の２次元座標に対応する３次元座標に基づいて各画素のデプスを求め、デプス画像データを生成する。２次元データ生成部１５４は、表示画像データとデプス画像データを表示制御部１５５に供給する。
ステップＳ３９において、表示制御部１５５は、２次元データ生成部１５４から供給される表示画像データとデプス画像データを表示装置１４に供給する。
以上のように、伝送システム１０では、撮像装置１１が、撮像された複数の視点の２次元画像データから３次元データを生成し、符号化装置１２が、その３次元データから所定の表示画像生成方式に対応する複数の視点の２次元画像データとデプス画像データを生成して符号化する。従って、符号化装置１２は、撮像時の視点によらずに所定の表示画像生成方式に対応する視点の２次元画像データとデプス画像データを復号装置１３が取得できるように符号化することができる。
また、復号装置１３は、符号化装置１２から伝送されてくる所定の表示画像生成方式に対応する複数の視点の２次元画像データとデプス画像データの符号化ストリームを受け取り、復号する。従って、復号装置１３は、撮像時の視点によらずに所定の表示画像生成方式に対応する視点の２次元画像データとデプス画像データを取得することができる。
さらに、所定の表示画像生成方式の数が複数である場合、複数の表示画像生成方式の復号装置で、符号化装置１２で生成された符号化ストリームを再生することができる。例えば、表示画像生成方式が所定視点表示画像生成方式である低機能の復号装置と、表示画像生成方式が自由視点画像生成方式である高機能の復号装置の両方で、自分の能力に応じた符号化ストリームの再生を行うことができる。
＜第２実施の形態＞
（伝送システムの第２実施の形態の構成例）
図１０は、本開示を適用した伝送システムの第２実施の形態の構成例を示すブロック図である。
図１０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１０伝送システム１７０の構成は、撮像装置１１、符号化装置１２、および復号装置１３が、撮像装置１７１、符号化装置１７２、および復号装置１７３に代わる点が、図１の伝送システム１０の構成と異なる。伝送システム１７０では、撮像装置１７１により取得された２次元画像データとデプス画像データがそのまま符号化されて伝送される。
具体的には、伝送システム１７０の撮像装置１７１は、マルチカメラ１８１と画像処理部１８２により構成される。撮像装置１７１のマルチカメラ１８１を構成する複数のカメラは、それぞれ、２次元画像データを撮像する。マルチカメラ１８１は、各カメラにより撮像された２次元画像データを画像処理部１８２に供給する。
画像処理部１８２は、マルチカメラ１８１を構成する複数のカメラのうちの１つのカメラを基準カメラとし、他のカメラを参照カメラとする。画像処理部１８２は、マルチカメラ１８１の基準カメラにより撮像された２次元画像データと各参照カメラにより撮像された２次元画像データとに基づいて、基準カメラに対する各参照カメラの２次元画像データの同期ずれを検出する。また、画像処理部１８２は、基準カメラの同期ずれを０として検出する。画像処理部１８２は、検出された各カメラの視点の同期ずれを表す情報を含む同期ずれ情報とカメラ関連情報を符号化装置１７２に供給する。
また、画像処理部１８２は、各カメラにより撮像された２次元画像データに対してステレオマッチングを行うことにより、各カメラのデプス画像データを生成し、符号化装置１７２に供給する。
符号化装置１７２は、撮像装置１７１から供給される同期ずれ情報とカメラ関連情報をメタデータとする。符号化装置１７２は、図１の符号化部２２と同様に、撮像装置１７１から供給される各カメラの２次元画像データおよびデプス画像データ、並びにメタデータを符号化し、符号化ストリームを生成する。符号化装置１７２（伝送部）は、生成された符号化ストリームを復号装置１７３に伝送する。
復号装置１７３の構成は、復号部３２と変換部３３が、復号部１９１と変換部１９２に代わる点が、図１の復号装置１３の構成と異なる。
復号装置１７３の復号部１９１は、受け取り部３１から供給される符号化ストリームを、符号化装置１７２における符号化方式に対応する方式で復号する。復号部１９１は、その結果得られるメタデータのうちの同期ずれ情報に基づいて、基準カメラと各参照カメラの２次元画像データおよびデプス画像データを同期させ、変換部１９２に供給する。また、復号部１９１は、メタデータのうちのカメラ関連情報を変換部１９２に供給する。
変換部１９２の構成は、３次元データがオクルージョン３次元データを用いて補正されない点を除いて、図１の変換部３３の構成と同一であるので、説明は省略する。
（撮像装置の構成例）
図１１は、図１０の撮像装置１７１の構成例を示すブロック図である。
図１１の撮像装置１７１のマルチカメラ１８１は、Ｎ個（Ｎは複数）のカメラ２１１−１乃至２１１−Ｎにより構成される。
カメラ２１１−１乃至２１１−Ｎは、例えば、カメラ２１１−１乃至２１１−Ｎの視点が所定の表示画像生成方式に対応する視点となるように配置される。カメラ２１１−１乃至２１１−Ｎは、それぞれ撮像を行い、その結果得られる動画像の２次元画像データ（撮像画像データ）を画像処理部１８２に供給する。以下では、カメラ２１１−１乃至２１１−Ｎを特に区別する必要がない場合、それらをまとめてカメラ２１１という。
画像処理部１８２は、キャリブレーション部２２１、同期ずれ検出部２２２、およびデプス生成部２２３により構成される。
画像処理部１８２のキャリブレーション部２２１は、カメラ２１１ごとに、マルチカメラ１８１から供給される２次元画像データに対して、カメラパラメータを用いてキャリブレーションを行う。キャリブレーション部２２１は、キャリブレーション後の各カメラ２１１の２次元画像データを同期ずれ検出部２２２に供給する。また、キャリブレーション部２２１は、カメラ関連情報を図１０の符号化装置１７２に供給する。
同期ずれ検出部２２２は、カメラ２１１−１乃至２１１−Ｎのうちの１つを基準カメラとし、残りを参照カメラとする。同期ずれ検出部２２２は、キャリブレーション部２２１から供給される基準カメラの２次元画像データと参照カメラの２次元画像データに基づいて、参照カメラごとに、基準カメラに対する参照カメラの２次元画像データの同期ずれをmsecオーダーで検出する。
具体的には、同期ずれ検出部２２２は、基準カメラの２次元画像データと参照カメラの２次元画像データからフラッシュ光を検出する。同期ずれ検出部２２２は、フラッシュ光が検出された基準カメラの２次元画像データと参照カメラの２次元画像データの撮像時刻の差分を、参照カメラの２次元画像データの同期ずれとして検出する。
参照カメラの２次元画像データの同期ずれは、フラッシュ光を検出する方法以外の方法により、２次元画像データを用いて行われるようにしてもよい。また、カメラ２１１が２次元画像データとともに音声データを取得する場合には、基準カメラに対する参照カメラの音声データの同期ずれを検出することにより、参照カメラの２次元画像データの同期ずれを検出するようにしてもよい。
同期ずれ検出部２２２は、基準カメラの２次元画像データの同期ずれを０として検出する。同期ずれ検出部２２２は、検出された同期ずれの同期ずれ情報を符号化装置１７２に供給する。また、同期ずれ検出部２２２は、キャリブレーション部２２１から供給される各カメラ２１１の２次元画像データをデプス生成部２２３に供給する。
デプス生成部２２３は、同期ずれ検出部２２２から供給される各カメラ２１１の２次元画像データに対してステレオマッチングを行うことにより、各カメラ２１１のデプス画像データを生成する。デプス生成部２２３は、各カメラ２１１の２次元画像データとデプス画像データを符号化装置１７２に供給する。
（同期ずれ情報の例）
図１２は、同期ずれ情報の例を示す図である。
図１２の例では、カメラ２１１の視点が、図３のＢの視点８１乃至９０である。
図１２に示すように、同期ずれ情報は、各カメラ２１１の視点のカメラＩＤに、そのカメラ２１１のnum_units_in_tick,time_scale,Delta_num_units_in_tick、およびDelta_time_scaleが対応付けられることにより構成される。
num_units_in_tickは、フレーム間隔がtime_scaleで定義されるtime_unitの何個分であるかを示す情報である。time_scaleは、１秒間のtime_unitの数である。従って、num_units_in_tickとtime_scaleにより、フレームレートを表すことができる。
図１２の例では、カメラＩＤが０，１，４、および５であるカメラ２１１のフレームレートは60Hz(59.94Hz)である。従って、例えば、カメラＩＤが０，１，４、および５であるカメラ２１１のnum_units_in_tickは1001であり、time_scaleは60000である。また、カメラＩＤが２，３、および６乃至９であるカメラ２１１のフレームレートは30Hz(29.97Hz)である。従って、例えば、カメラＩＤが２，３、および６乃至９であるカメラ２１１のnum_units_in_tickは2002であり、time_scaleは60000である。
Delta_num_units_in_tickは、同期ずれがDelta_time_scaleで定義されるtime_unitの何個分であるかを示す情報である。Delta_time_scaleは、１秒間のtime_unitの数である。従って、Delta_num_units_in_tickとDelta_time_scaleにより、同期ずれを表すことができる。
図１２の例では、カメラＩＤが０であるカメラ２１１が基準カメラである。従って、０であるカメラＩＤに対応するDelta_num_units_in_tickは０である。また、図１２の例では、カメラＩＤが３，４，７、および９であるカメラ２１１の同期ずれは０である。従って、３，４，７、および９であるカメラＩＤに対応するDelta_num_units_in_tickも０である。
さらに、図１２の例では、カメラＩＤが１および５であるカメラ２１１の同期ずれは1/30（1/29.97）秒である。従って、例えば、１および５であるカメラＩＤに対応するDelta_num_units_in_tickは2002であり、Delta_time_scaleは60000である。また、カメラＩＤが２，６、および８であるカメラ２１１の同期ずれは1/15(1/14.985)秒である。従って、例えば、２，６、および８であるカメラＩＤに対応するDelta_num_units_in_tickは4004であり、Delta_time_scaleは60000である。
なお、同期ずれ情報には、同期ずれが発生している全てのカメラ２１１の同期ずれが同一であるかどうかを示す同期ずれ共通フラグが含まれるようにしてもよい。
この場合、同期ずれが発生している全てのカメラ２１１の同期ずれが同一であるとき、同期ずれ情報は、同期ずれが発生している全てのカメラ２１１の同期ずれが同一であることを示す同期ずれ共通フラグ、各カメラ２１１の同期ずれの有無を示す同期ずれフラグ（同期ずれ有無情報）、および、同期ずれが発生している全てのカメラ２１１に共通の同期ずれを表す情報により構成される。
一方、同期ずれが発生している全てのカメラ２１１の同期ずれが同一ではないとき、同期ずれ情報は、図１２の同期ずれ情報と、同期ずれが発生している全てのカメラ２１１の同期ずれが同一ではないことを示す同期ずれ共通フラグとにより構成される。
（符号化装置の構成例）
図１３は、図１０の符号化装置１７２の構成例を示すブロック図である。
図１３の符号化装置１７２は、AVC方式またはHEVC方式で符号化を行う場合の符号化装置１７２であり、２Ｎ個の符号化部２４１−１乃至２４１−２Ｎと伝送部２４２を備える。
符号化装置１７２の符号化部２４１−１乃至２４１−２Ｎは、それぞれ、撮像装置１７１から供給される各カメラ２１１の２次元画像データまたはデプス画像データを、AVC方式またはHEVC方式で符号化し、符号化ストリームを生成する。
符号化部２４１−１乃至２４１−２Ｎは、撮像装置１７１から供給されるカメラ関連情報と同期ずれ情報、並びに、カメラ関連情報および同期ずれ情報と符号化ストリームとを対応付ける情報をメタデータとする。符号化部２４１−１乃至２４１−２Ｎは、生成された符号化ストリームのUser unregistered SEIにメタデータを配置する。
なお、符号化部２４１−１乃至２４１−Ｎは、符号化ストリームのUser unregistered SEIに、その符号化ストリームに対応するメタデータのみを配置することもできる。この場合、カメラ関連情報および同期ずれ情報と符号化ストリームとを対応付ける情報はメタデータに含まれない。符号化部２４１−１乃至２４１−２Ｎは、メタデータが配置された符号化ストリームを伝送部２４２に供給する。
伝送部２４２は、符号化部２４１−１乃至２４１−２Ｎから供給される符号化ストリームを図１０の復号装置１７３に伝送する。
（撮像装置と符号化装置の処理の説明）
図１４は、図１０の撮像装置１７１と符号化装置１７２の符号化処理を説明するフローチャートである。
図１４のステップＳ５１において、撮像装置１７１のカメラ２１１（図１１）は、撮像を行い、その結果得られる動画像の２次元画像データを画像処理部１８２に供給する。
ステップＳ５２において、画像処理部１８２のキャリブレーション部２２１は、カメラ２１１ごとに、マルチカメラ１８１から供給される２次元画像データに対して、カメラパラメータを用いてキャリブレーションを行う。キャリブレーション部２２１は、キャリブレーション後の各カメラ２１１の２次元画像データを同期ずれ検出部２２２に供給する。
ステップＳ５３において、キャリブレーション部２２１は、カメラ関連情報をメタデータとして符号化装置１７２に供給する。
ステップＳ５４において、同期ずれ検出部２２２は、参照カメラごとに、キャリブレーション部２２１から供給される基準カメラと参照カメラの２次元画像データに基づいて、基準カメラに対する参照カメラの２次元画像データの同期ずれを検出する。また、同期ずれ検出部２２２は、基準カメラの２次元画像データの同期ずれとして０を検出する。
ステップＳ５５において、同期ずれ検出部２２２は、検出された同期ずれの同期ずれ情報をメタデータとして符号化装置１７２に供給する。また、同期ずれ検出部２２２は、キャリブレーション部２２１から供給される各カメラ２１１の２次元画像データをデプス生成部２２３に供給する。
ステップＳ５６において、デプス生成部２２３は、同期ずれ検出部２２２から供給される各カメラ２１１の２次元画像データに対してステレオマッチングを行うことにより、各カメラ２１１のデプス画像データを生成する。
ステップＳ５７において、デプス生成部２２３は、各カメラ２１１の２次元画像データとデプス画像データを符号化装置１７２に供給する。
ステップＳ５８において、符号化装置１７２は、撮像装置１７１から供給される各カメラ２１１の２次元画像データおよびデプス画像データ、並びにメタデータを符号化し、符号化ストリームを生成する。
ステップＳ５９において、符号化装置１７２は、生成された符号化ストリームを復号装置１７３に伝送する。そして、処理は終了する。
（復号部の構成例）
図１５は、図１０の復号部１９１の構成例を示すブロック図である。
図１５の例では、符号化装置１７２の構成が図１３の構成であり、符号化装置１７２から伝送されてくる符号化ストリームの符号化方式がAVC方式またはHEVC方式である。図１５の復号部１９１は、２Ｎ個の復号処理部２６１−１乃至２６１−２Ｎと出力部２６２により構成される。
復号部１９１の復号処理部２６１−１乃至２６１−２Ｎは、受け取り部３１から供給される各カメラ２１１の２次元画像データおよびデプス画像データの符号化ストリームを、それぞれ、AVC方式またはHEVC方式に対応する方式で復号する。復号処理部２６１−１乃至２６１−２Ｎは、復号の結果得られる各カメラ２１１の２次元画像データまたはデプス画像データと、メタデータを構成するカメラ関連情報および同期ずれ情報とを出力部２６２に供給する。
出力部２６２（同期処理部）は、復号処理部２６１−１乃至２６１−２Ｎから供給される同期ずれ情報に基づいて、参照カメラごとに、基準カメラと参照カメラの２次元画像データおよびデプス画像データを同期させて図１０の変換部１９２に供給する。
例えば、同期ずれ情報に含まれる参照カメラのnum_units_in_tickが1001であり、Delta_num_units_in_tickが2002であり、time_scaleとDelta_time_scaleが60000である場合、出力部２６２は、参照カメラの２次元画像データとデプス画像データを２フレームだけ遅らせて変換部１９２に供給する。また、出力部２６２は、復号処理部２６１−１乃至２６１−２Ｎから供給されるカメラ関連情報を変換部１９２に供給する。
以上により、変換部１９２に供給される各カメラ２１１の２次元画像データとデプス画像データが同期するため、変換部１９２における３次元データの生成精度が向上する。
（復号装置の処理の説明）
図１６は、図１０の変換部１９２の構成が、３次元データがオクルージョン３次元データを用いて補正されない点を除いて図８の構成と同一である場合の復号装置１７３の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置１７２から符号化ストリームが伝送されてきたとき、開始される。
図１６のステップＳ７１において、復号装置１７３の受け取り部３１は、符号化装置１７２から伝送されてくる符号化ストリームを受け取り、復号部１９１に供給する。
ステップＳ７２において、復号部１９１は、受け取り部３１から供給される符号化ストリームを、符号化装置１７２における符号化方式に対応する方式で復号する。
ステップＳ７３において、復号部１９１は、復号の結果得られるメタデータのうちの同期ずれ情報に基づいて、参照カメラごとに、基準カメラと参照カメラの２次元画像データおよびデプス画像データを同期させて変換部１９２に供給する。また、出力部２６２は、メタデータのうちのカメラ関連情報を変換部１９２に供給する。
ステップＳ７４において、変換部１９２は、復号部１９１から供給される２次元画像データ、デプス画像データ、およびカメラ関連情報に含まれるカメラパラメータを用いて、撮像装置１１と同様に、被写体の３次元データを生成する。
ステップＳ７５乃至Ｓ７９の処理は、図９のステップＳ３５乃至Ｓ３９の処理と同様であるので、説明は省略する。
以上のように、伝送システム１７０では、各カメラ２１１で取得された２次元画像データおよびデプス画像データをそのまま符号化して伝送するため、各カメラ２１１の２次元画像データおよびデプス画像データの同期がとれていない場合がある。
しかしながら、伝送システム１７０では、撮像装置１７１が、各カメラの２次元画像データの同期ずれを検出し、符号化装置１７２が、検出された同期ずれの同期ずれ情報を、２次元画像データおよびデプス画像データとともに伝送する。従って、復号装置１７３は、同期ずれ情報に基づいて、各カメラ２１１の２次元画像データおよびデプス画像データを同期させることができる。その結果、復号装置１７３は、同期がとれたＮ個のカメラ２１１の２次元画像データおよびデプス画像データを用いて、３次元データを高精度で生成することができる。
＜第３実施の形態＞
（伝送システムの第３実施の形態の構成例）
図１７は、本開示を適用した伝送システムの第３実施の形態の構成例を示すブロック図である。
図１７に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１７の伝送システム２８０の構成は、新たに撮像装置２８１、符号化装置２８２、および合成装置２８３が設けられる点、復号装置１３が復号装置２８４に代わる点、および、符号化装置１２で生成される２次元画像データおよびデプス画像データの視点が、所定の表示画像生成方式に対応する複数の視点のうちの一部である点が、図１の伝送システム１０の構成と異なる。
伝送システム２８０では、所定の表示画像生成方式に対応する複数の視点のうちの一部の視点（以下、第１の視点群という）の符号化ストリームが符号化装置１２により生成され、他部の視点（以下、第２の視点群という）の符号化ストリームが符号化装置２８２により生成され、両方の符号化ストリームが合成（マージ）される。
具体的には、伝送システム２８０の撮像装置２８１は、図１の撮像装置１１と同様に構成され、少なくとも一部が撮像装置１１における被写体と同一である被写体を撮像し、その被写体の３次元データを符号化装置２８２に供給する。
符号化装置２８２は、変換部２１と同様に構成される変換部２９１、符号化部２２と同様に構成される符号化部２９２、および伝送部２３と同様に構成される伝送部２９３により構成される。符号化装置２８２は、３次元データから第２の視点群の２次元画像データとデプス画像データを生成し、符号化して合成装置２８３に伝送する。
合成装置２８３は、符号化装置１２から伝送されてくる第１の視点群の符号化ストリーム（以下、第１の部分符号化ストリーム）と符号化装置２８２から伝送されてくる第２の視点群の符号化ストリーム（以下、第２の部分符号化ストリーム）を受け取る。合成装置２８３は、第１の部分符号化ストリームに対する第２の部分符号化ストリームの同期ずれを検出し、第２の符号化ストリームの同期ずれを表す視点群同期ずれ情報を生成する。
視点群同期ずれ情報は、例えば、第２の視点群のフレームレートを表すnum_units_in_tickおよびtime_scaleと、同期ずれを表すDelta_num_units_in_tickおよびDelta_time_scaleにより構成される。
合成装置２８３は、第２の部分符号化ストリームのメタデータに視点群同期ずれ情報を含める。合成装置２８３は、視点群同期ずれ情報が配置された第２の部分符号化ストリームと第１の部分符号化ストリームを合成し、所定の表示画像生成方式に対応する複数の視点の符号化ストリームを生成して復号装置２８４に伝送する。
復号装置２８４の構成は、復号部３２が復号部３０１に代わる点が、図１の復号装置１３の構成と異なる。復号装置２８４の復号部３０１は、同期ずれ情報が視点群同期ずれ情報に代わる点、および、カメラ関連情報とともに、メタデータのうちのオクルージョン３次元データを変換部３３に供給する点を除いて、図１０の復号部１９１と同様であるので、説明は省略する。
（合成装置の構成例）
図１８は、図１７の合成装置２８３の構成例を示すブロック図である。
図１８の合成装置２８３は、復号部３２１、復号部３２２、同期ずれ検出部３２３、およびメタデータ付加部３２４により構成される。
合成装置２８３の復号部３２１は、符号化装置１２から伝送されてくる第１の部分符号化ストリームを受け取る。復号部３２１は、受け取られた第１の部分符号化ストリームを、符号化部２２における符号化方式（図１８の例ではMVCD）に対応する方式で復号し、第１の視点群の２次元画像データ、デプス画像データ、およびメタデータを生成する。復号部３２１は、生成された第１の視点群のうちの１つの視点の２次元画像データを同期ずれ検出部３２３に供給する。
復号部３２２は、符号化装置２８２から伝送されてくる第２の部分符号化ストリームを受け取る。復号部３２２は、受け取られた第２の部分符号化ストリームを、符号化部２９２における符号化方式（図１８の例ではMVCD）に対応する方式で復号し、第２の視点群の２次元画像データ、デプス画像データ、およびメタデータを生成する。復号部３２２は、生成された第２の視点群のうちの１つの視点の２次元画像データを同期ずれ検出部３２３に供給する。
同期ずれ検出部３２３は、復号部３２１と復号部３２２から供給される２次元画像データに基づいて、第１の視点群に対する第２の視点群の２次元画像データの同期ずれを検出する。
同期ずれの検出方法は、第２実施の形態における同期ずれの検出方法と同一であってもよいし、異なっていてもよい。
また、同期ずれの検出には、２次元画像データだけでなく、カメラパラメータとデプス画像データを用いるようにしてもよい。この場合、例えば、同期ずれ検出部３２３は、カメラ関連情報に含まれるカメラパラメータに基づいて、第１の視点群のうちの１つの視点と第２の視点群のうちの１つの視点の各時刻の２次元画像データの特徴点の２次元位置を３次元位置に変換する。同期ずれ検出部３２３は、２つの視点の特徴点の３次元位置の差分が最小となるときの２次元画像データの時刻の差分を、第１の視点群に対する第２の視点群の２次元画像データの同期ずれとして検出する。
同期ずれ検出部３２３は、検出された同期ずれを表す視点群同期ずれ情報を、メタデータ付加部３２４に供給する。
メタデータ付加部３２４は、同期ずれ検出部３２３から供給される視点群同期ずれ情報を、符号化装置２８２から伝送されてくる第２の部分符号化ストリームにメタデータとして配置する。メタデータ付加部３２４は、視点群同期ずれ情報がメタデータとして置換された第２の部分符号化ストリームと、符号化装置１２から伝送されてくる第１の部分符号化ストリームとを合成する。メタデータ付加部３２４（伝送部）は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置２８４に伝送する。
（合成装置の処理の説明）
図１７の撮像装置１１と符号化装置１２、撮像装置２８１と符号化装置２８２の符号化処理は、図５の符号化処理と同様であるので、説明は省略する。
図１９は、図１８の合成装置２８３の合成処理を説明するフローチャートである。
図１９のステップＳ９１において、合成装置２８３の復号部３２１は、符号化装置１２から伝送されてくる第１の部分符号化ストリームを、符号化部２２における符号化方式に対応する方式で復号する。復号部３２１は、復号の結果得られる第１の視点群のうちの１つの視点の２次元画像データを同期ずれ検出部３２３に供給する。
ステップＳ９２において、復号部３２２は、符号化装置２８２から伝送されてくる第２の部分符号化ストリームを、符号化部２９２における符号化方式に対応する方式で復号する。復号部３２２は、復号の結果得られる第２の視点群のうちの１つの視点の２次元画像データを同期ずれ検出部３２３に供給する。
ステップＳ９３において、同期ずれ検出部３２３は、復号部３２１と復号部３２２から供給される２次元画像データに基づいて、第１の視点群に対する第２の視点群の２次元画像データの同期ずれを検出する。同期ずれ検出部３２３は、検出された同期ずれを表す視点群同期ずれ情報をメタデータ付加部３２４に供給する。
ステップＳ９４において、メタデータ付加部３２４は、同期ずれ検出部３２３から供給される視点群同期ずれ情報を、符号化装置２８２から伝送されてくる第２の部分符号化ストリームにメタデータとして配置する。
ステップＳ９５において、メタデータ付加部３２４は、符号化装置１２から伝送されてくる第１の部分符号化ストリームと、視点群同期ずれ情報を含む第２の部分符号化ストリームとを合成する。メタデータ付加部３２４は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置２８４に供給し、処理を終了する。
復号装置２８４の復号処理は、同期ずれ情報が視点群同期ずれ情報に代わる点、および、ステップＳ７２の処理によりオクルージョン３次元データも生成され、ステップＳ７４の処理後、図９のステップＳ３４と同様にオクルージョン３次元データを用いて３次元データが修正される点を除いて、図１６の復号処理と同様である。
以上のように、伝送システム２８０では、符号化装置１２により生成された第１の部分符号化ストリームと、符号化装置２８２により生成された第２の部分符号化ストリームが合成されて復号装置２８４に伝送される。従って、合成の結果得られる所定の表示画像生成方式に対応する第１の視点群と第２の視点群の符号化ストリームの同期がとれていない場合がある。
しかしながら、伝送システム２８０では、合成装置２８３が、第１の部分符号化ストリームと第２の部分符号化ストリームを一旦復号し、その結果得られる第１の視点群と第２の視点群の２次元画像データの同期ずれを検出する。そして、合成装置２８３は、検出された同期ずれを表す視点群同期ずれ情報を、第１の部分符号化ストリームおよび第２の部分符号化ストリームとともに伝送する。従って、復号装置２８４は、視点群同期ずれ情報に基づいて、第１の視点群と第２の視点群の２次元画像データおよびデプス画像データを同期させることができる。その結果、復号装置２８４は、同期がとれた第１の視点群と第２の視点群の２次元画像データとデプス画像データを用いて、３次元データを高精度で生成することができる。
＜第４実施の形態＞
（伝送システムの第４実施の形態における合成装置の構成例）
本開示を適用した伝送システムの第４実施の形態の構成は、合成装置２８３が合成装置３４０に代わり、復号装置２８４の変換部３３が変換部３８０に代わる点、および視点群同期ずれ情報が座標変換情報に代わる点を除いて、図１７の伝送システム２８０の構成と同一である。従って、以下では、合成装置３４０と変換部３８０についてのみ説明する。
図２０は、合成装置３４０の構成例を示すブロック図である。
図２０に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２０の合成装置３４０の構成は、同期ずれ検出部３２３、メタデータ付加部３２４が、座標変換データ生成部３４１、メタデータ付加部３４２に代わる点が、図１８の合成装置２８３の構成と異なる。合成装置３４０は、各視点の２次元画像データの同期ずれを検出するのではなく、第１の視点群の３次元座標系である第１の３次元座標系を第２の視点群の３次元座標系である第２の３次元座標系に変換する座標変換データを生成する。
具体的には、合成装置３４０の座標変換データ生成部３４１は、復号部３２２の復号により生成された第１の視点群の２次元画像データに基づいて、第１の視点群の視点ごとに、特徴点の２次元位置を求める。
また、座標変換データ生成部３４１は、復号部３２１の復号により生成された第２の視点群のカメラ関連情報に含まれるカメラパラメータ、２次元画像データ、およびデプス画像データに基づいて、上述した式（１）により、特徴点の第２の３次元座標系における３次元位置を求める。
座標変換データ生成部３４１は、第１の視点群の視点ごとに、特徴点の２次元位置と第２の３次元座標系における３次元位置に基づいて、座標変換データを生成する。座標変換データ生成部３４１は、第１の視点群の各視点の座標変換データを含む座標変換情報をメタデータ付加部３４２に供給する。
メタデータ付加部３４２は、座標変換データ生成部３４１から供給される座標変換情報を、符号化装置１２から伝送されてくる第１の部分符号化ストリームにメタデータとして配置する。また、メタデータ付加部３４２は、座標変換情報がメタデータとして配置された第１の部分符号化ストリームと、符号化装置２８２から伝送されてくる第２の部分符号化ストリームを合成する。メタデータ付加部３４２（伝送部）は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置２８４に伝送する。
（座標変換データの生成処理の説明）
図２１は、図２０の座標変換データ生成部３４１による座標変換データを生成する処理を説明する図である。
図２１の例では、第１の３次元座標系が、互いが垂直に交わる軸ｘＡ乃至ｚＡを座標軸とする座標系であり、第２の３次元座標系が、互いが垂直に交わる軸ｘＢ乃至ｚＢを座標軸とする、第１の３次元座標系とは異なる座標系である。
第１の視点群のうちの１つの視点の仮想カメラ３６１により撮像される、第１の３次元座標系における３次元位置がＰ１である特徴点の画像上の２次元位置ＰＡは、以下の式（３）で表される。
Figure 0006984416
ＲｃａｍＡ｜ｔｃａｍＡは、第１の部分符号化ストリームのメタデータのうちの、仮想カメラ３６１の第１の３次元座標系におけるカメラパラメータである。
一方、仮想カメラ３６１により撮像される、第１の３次元座標系における３次元位置がＰ１であり、第２の３次元座標系における３次元位置がＰ１´である特徴点の画像上の２次元位置ＰＢは、以下の式（４）で表される。
Figure 0006984416
ＲｃａｍＢ｜ｔｃａｍＢは、仮想カメラ３６１の第２の３次元座標系におけるカメラパラメータである。
式（４）を変形すると、３次元位置Ｐ１´は、以下の式（５）で表される。
Figure 0006984416
２次元位置ＰＡと２次元位置ＰＢは同一であるので、上述した式（５）の２次元位置ＰＢに式（３）の右辺を代入すると、式（６）になる。
Figure 0006984416
式（６）は、第１の３次元座標系における３次元位置Ｐ１を、第２の３次元座標系における３次元位置Ｐ１´に変換する式である。従って、座標変換データ生成部３４１は、式（６）における、カメラの外部パラメータと同一の表現方法で表現されるＲｃｏｎ｜ｔｃｏｎを、座標変換データとして求める。
具体的には、座標変換データ生成部３４１は、第２の視点群のカメラパラメータ、２次元画像データ、およびデプス画像データに基づいて、上述した式（１）により、特徴点の第２の３次元座標系における３次元位置を求める。また、座標変換データ生成部３４１は、第１の視点群の２次元画像データに基づいて、第１の視点群の視点ごとに、特徴点の２次元位置を求める。
そして、座標変換データ生成部３４１は、第１の視点群の視点ごとに、特徴点の第２の３次元座標系における３次元位置をＰ１´に代入し、２次元位置をＰＡに代入した式（４）により、仮想カメラ３６１の第２の３次元座標系における外部パラメータＲｃａｍＢ｜ｔｃａｍＢを求める。
以上の処理は、オンラインキャリブレーションと呼ばれる。オンラインキャリブレーションの詳細は、例えば、Zhengyou Zhang,"A Flexible New Technique for Camera Calibration",Technical Report MSR-TR-98-71,Microsoft Corporation,December 2.1998等に記載されている。
座標変換データ生成部３４１は、第１の視点群の視点ごとに、外部パラメータＲｃａｍＢ｜ｔｃａｍＢと外部パラメータＲｃａｍＢ｜ｔｃａｍＢを用いて、上述した式（６）により、座標変換データを求める。
（座標変換情報の例）
図２２は、座標変換情報の例を示す図である。
図２２の例では、第１の視点群の視点のカメラＩＤが０乃至３である。
図２２に示すように、座標変換情報は、第１の視点群の各視点のカメラＩＤに、その視点のisCorrectionFlagと座標変換データが対応付けられることにより構成される。
isCorrectionFlagは、対応する視点の３次元座標系である第１の３次元座標系が、基準となる第２の３次元座標系と異なるかどうかを示すフラグである。isCorrectionFlagは、対応する視点の３次元座標系である第１の３次元座標系が、基準となる第２の３次元座標系と異なることを示す場合１であり、異ならないことを示す場合０である。
第４実施の形態では、第１の３次元座標系と第２の３次元座標系は異なっているので、全てのisCorrectionFlagは１である。また、図２２では、カメラＩＤがｉである視点の座標変換データをＲ|ｔ（ｉ）と記載している。
なお、座標変換情報には、第１の視点群の全ての視点の座標変換データが同一であるかどうかを示す座標変換共通フラグが含まれるようにしてもよい。この場合、第１の視点群の全ての視点の座標変換データが同一であるとき、座標変換情報は、第１の視点群の全ての視点の座標変換データが同一であることを示す座標変換共通フラグ（座標変換共通情報）と、第１の視点群の全ての視点に共通の座標変換データとにより構成される。座標変換共通フラグは、例えば、第１の視点群の全ての視点の座標変換データが同一である場合１であり、異なる場合０である。
（合成装置の処理の説明）
図２３は、図２０の合成装置３４０の合成処理を説明するフローチャートである。
図２３のステップＳ１１１およびＳ１１２の処理は、図１９のステップＳ９１およびＳ９２の処理と同様であるので、説明は省略する。
ステップＳ１１３において、合成装置３４０の座標変換データ生成部３４１は、第２の視点群のカメラパラメータ、２次元画像データ、およびデプス画像データと、第１の視点群の２次元画像データに基づいて、第１の視点群の各視点の座標変換データを生成する。座標変換データ生成部３４１は、第１の視点群の各視点の座標変換データを含む座標変換情報をメタデータ付加部３４２に供給する。
ステップＳ１１４において、メタデータ付加部３４２は、座標変換データ生成部３４１から供給される座標変換情報を、符号化装置１２から伝送されてくる第１の部分符号化ストリームにメタデータとして配置する。
ステップＳ１１５において、メタデータ付加部３４２は、座標変換情報を含む第１の部分符号化ストリームと、符号化装置２８２から伝送されてくる第２の部分符号化ストリームを合成する。メタデータ付加部３４２は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置２８４に伝送する。そして、処理は終了する。
（変換部の構成例）
図２４は、復号装置２８４の表示画像生成方式が自由視点表示画像生成方式である場合の変換部３８０の構成例を示すブロック図である。
図２４に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２４の変換部３８０の構成は、３次元データ生成部１５１が３次元データ生成部３８１に代わる点が、図８の変換部３３の構成と異なる。
３次元データ生成部３８１は、３次元位置変換部３９１、３次元位置変換部３９２、座標変換部３９３、およびデータ生成部３９４により構成される。
３次元データ生成部３８１の３次元位置変換部３９１（第１の３次元位置変換部）は、復号部３０１から供給される第１の視点群のメタデータのうちのカメラパラメータ、２次元画像データ、およびデプス画像データに基づいて、上述した式（１）により、第１の視点の２次元画像データの各画素の２次元位置を、第１の３次元座標系における３次元位置に変換する。３次元位置変換部３９１は、第１の視点群の２次元画像データの各画素の第１の３次元座標系における３次元位置と、第１の視点群の２次元画像データとを座標変換部３９３に供給する。
３次元位置変換部３９２（第２の３次元位置変換部）は、復号部３０１から供給される第２の視点群のメタデータのうちのカメラパラメータ、２次元画像データ、およびデプス画像データに基づいて、上述した式（１）により、第２の視点群の２次元画像データの各画素の２次元位置を、第２の３次元座標系における３次元位置に変換する。３次元位置変換部３９２は、第２の視点群の２次元画像データの各画素の第２の３次元座標系における３次元位置と、第２の視点群の２次元画像データとをデータ生成部３９４に供給する。
座標変換部３９３は、復号部３０１から供給されるメタデータのうちの座標変換情報に基づいて、３次元位置変換部３９１から供給される第１の視点群の２次元画像データの各画素の第１の３次元座標系における３次元位置を、第２の３次元座標系における３次元位置に変換する。座標変換部３９３は、第１の視点群の２次元画像データの各画素の第２の３次元座標系における３次元位置と、第１の視点群の２次元画像データとをデータ生成部３９４に供給する。
データ生成部３９４は、第１の視点群および第２の視点群の２次元画像データの各画素の第２の３次元座標系における３次元位置に基づいて、第１の視点群および第２の視点群の２次元画像データから、被写体の３次元データを生成する。
データ生成部３９４は、生成された３次元データを、復号部３０１から供給されるメタデータのうちのオクルージョン３次元データを用いて修正し、被写体位置決定部１５２と２次元データ生成部１５４に供給する。
（復号装置の処理の説明）
図２５は、第４実施の形態における復号装置２８４の復号処理を説明するフローチャートである。この復号処理は、例えば、合成装置３４０から符号化ストリームが伝送されてきたとき開始される。
図２５のステップＳ１３１において、復号装置２８４の受け取り部３１は、合成装置２８３から伝送されてくる符号化ストリームを受け取る。
ステップＳ１３２において、復号部３０１は、受け取られた符号化ストリームを、符号化部２２および符号化部２９２における符号化方式に対応する方式で復号する。復号部３０１は、その結果得られる第１の視点群と第２の視点群の２次元画像データ、デプス画像データ、およびメタデータを変換部３８０（図２４）に供給する。
ステップＳ１３３において、変換部３８０の３次元位置変換部３９１は、第１の視点群のメタデータのうちのカメラパラメータ、２次元画像データ、およびデプス画像データに基づいて、第１の視点群の２次元画像データの各画素の第１の３次元座標系における３次元位置を求める。３次元位置変換部３９１は、第１の視点群の２次元画像データの各画素の第１の３次元座標系における３次元位置と２次元画像データを座標変換部３９３に供給する。
ステップＳ１３４において、３次元位置変換部３９２は、第２の視点群のメタデータのうちのカメラパラメータ、２次元画像データ、およびデプス画像データに基づいて、第２の視点の２次元画像データの各画素の第２の３次元座標系における３次元位置を求める。３次元位置変換部３９２は、第２の視点群の２次元画像データの各画素の第２の３次元座標系における３次元位置と２次元画像データをデータ生成部３９４に供給する。
ステップＳ１３５において、座標変換部３９３は、復号部３０１から供給されるメタデータのうちの座標変換情報に基づいて、３次元位置変換部３９１から供給される第１の３次元座標系における３次元位置を、第２の３次元座標系における３次元位置に変換する。座標変換部３９３は、第１の視点群の２次元画像データの各画素の第２の３次元座標系における３次元位置と２次元画像データをデータ生成部３９４に供給する。
ステップＳ１３６において、データ生成部３９４は、第１の視点群および第２の視点群の２次元画像データの各画素の第２の３次元座標系における３次元位置に基づいて、第１の視点群および第２の視点群の２次元画像データから、被写体の３次元データを生成する。
ステップＳ１３７乃至Ｓ１４２の処理は、図９のステップＳ３４乃至Ｓ３９の処理と同様であるので、説明は省略する。
なお、合成装置２８３は、座標変換情報を第１の部分符号化ストリームに配置するのではなく、第１の部分符号化ストリームに配置される第１の３次元座標系における第１の視点群の各視点の外部パラメータＲｃａｍＡ|ｔｃａｍＡを、第２の３次元座標系における各視点の外部パラメータＲｃａｍＢ|ｔｃａｍＢに置換するようにしてもよい。この場合、３次元データ生成部３８１には、座標変換部３９３が設けられず、３次元位置変換部３９１は、外部パラメータＲｃａｍＡ|ｔｃａｍＡの代わりに外部パラメータＲｃａｍＢ|ｔｃａｍＢを用いて、直接、第２の３次元座標系における３次元位置を求める。
第１の視点群の全ての視点の座標変換データが異なる場合には、外部パラメータＲｃａｍＡ｜ｔｃａｍＡを外部パラメータＲｃａｍＢ|ｔｃａｍＢに置換する方が望ましい。座標変換情報を第１の部分符号化ストリームに配置する場合、元の第１の部分符号化ストリームを修正する必要がないため、外部パラメータを置換する場合に比べて処理が容易である。
また、第１の視点群の各視点の座標変換データは、各視点の２次元画像データのスケール（視点と撮像面との奥行き方向の距離）が同一であれば同一である。従って、この場合には、座標変換データ生成部３４１は、第１の視点群のうちの１つの視点の座標変換データのみを、第１の視点群の各視点に共通の座標変換データとして生成するようにしてもよい。
以上のように、第４実施の形態では、符号化装置１２により生成された第１の部分符号化ストリームと、符号化装置２８２により生成された第２の部分符号化ストリームが合成されて復号装置２８４に伝送される。従って、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームの３次元座標系が同一ではない場合がある。
しかしながら、第４実施の形態では、合成装置３４０が、第１の部分符号化ストリームと第２の部分符号化ストリームを一旦復号し、復号結果に基づいて座標変換データを生成する。そして、合成装置３４０は、生成された座標変換データを含む座標変換情報を、第１の部分符号化ストリームおよび第２の部分符号化ストリームとともに伝送する。従って、変換部３８０は、座標変換情報に基づいて、第１の視点群の２次元画像データの各画素の第１の３次元座標系における３次元位置を、第２の３次元座標系における３次元位置に変換することができる。その結果、変換部３８０は、第１の視点群と第２の視点群の２次元画像データの各画素の同一の第１の３次元座標系における３次元位置に基づいて、２次元画像データから３次元データを高精度で生成することができる。
第２乃至第４実施の形態において、２次元画像データとデプス画像データの所定の表示画像生成方式に対応する視点が異なる場合には、２次元画像データとデプス画像データそれぞれに基づいて、それぞれの視点の同期ずれの検出または座標変換データの生成が行われる。
＜第５実施の形態＞
（伝送システムの第５実施の形態における合成装置の構成例）
本開示を適用した伝送システムの第５実施の形態の構成は、合成装置２８３が合成装置４００に代わり、復号装置２８４の変換部３３が変換部４２０に代わる点、および視点群同期ずれ情報が色ずれ補正情報に代わる点を除いて、図１７の伝送システム２８０の構成と同一である。従って、以下では、合成装置４００と変換部４２０についてのみ説明する。
図２６は、合成装置４００の構成例を示すブロック図である。
図２６に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２６の合成装置４００の構成は、同期ずれ検出部３２３、メタデータ付加部３２４が、色ずれ補正データ生成部４０１、メタデータ付加部４０２に代わる点が、図１８の合成装置２８３の構成と異なる。合成装置４００は、各視点の２次元画像データの同期ずれを検出するのではなく、各視点の２次元画像データの色ずれを補正する色ずれ補正データを生成する。
具体的には、合成装置４００の色ずれ補正データ生成部４０１は、第１の視点群と第２の視点群の視点のうちの１つを基準視点とし、他の視点を参照視点とする。色ずれ補正データ生成部４０１は、参照視点ごとに、復号部３２１または復号部３２２の復号により生成された基準視点と参照視点の２次元画像データに基づいて、基準視点に対する参照視点の２次元画像データの色ずれを補正する色ずれ補正データを生成する。
具体的には、参照視点の２次元画像データのうちの特徴点のＲＧＢ値（Ｒ,Ｇ,Ｂ）に対して逆ガンマ補正が行われたＲＧＢ値（Ｒ´,Ｇ´,Ｂ´）は、以下の式（７）により表される。
Figure 0006984416
γＲ, γＧ, γＢは、それぞれ、Ｒ，Ｇ，Ｂのガンマ値である。
また、ＲＧＢ値（Ｒ´,Ｇ´,Ｂ´）を、基準視点の２次元画像データのうちの、参照視点のＲＧＢ値が（Ｒ、Ｇ，Ｂ）である特徴点のＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）に対して逆ガンマ補正を行ったＲＧＢ値（Ｒ´´,Ｇ´´,Ｂ´´）に変換する式は、以下の式（８）により表される。
Figure 0006984416
ａ１１乃至ａ１３，ａ２１乃至ａ２３、およびａ３１乃至ａ３３は、係数である。
さらに、ＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）は、ＲＧＢ値（Ｒ´´,Ｇ´´,Ｂ´´）に対してガンマ補正を行った値であるので、以下の式（９）で表される。
Figure 0006984416
以上により、色ずれ補正データ生成部４０１は、参照視点の２次元画像データから特徴点のＲＧＢ値（Ｒ,Ｇ,Ｂ）を抽出し、基準視点の２次元画像データから特徴点のＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）を抽出する。そして、色ずれ補正データ生成部４０１は、抽出されたＲＧＢ値（Ｒ,Ｇ,Ｂ）とＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）に基づいて、ＲＧＢ値（Ｒ,Ｇ,Ｂ）をＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）に変換する際に必要となるガンマ値γＲ, γＧ, γＢと、係数ａ１１乃至ａ１３、ａ２１乃至ａ２３、およびａ３１乃至ａ３３とを色ずれ補正データとして生成する。
また、色ずれ補正データ生成部４０１は、基準視点の色ずれ補正データとして、ＲＧＢ値（Ｒ,Ｇ,Ｂ）とＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）が同一となる色ずれ補正データを生成する。色ずれ補正データ生成部４０１は、生成された各視点の色ずれ補正データを含む色ずれ補正情報をメタデータ付加部４０２に供給する。
メタデータ付加部４０２は、色ずれ補正データ生成部４０１から供給される色ずれ補正情報のうちの第１の視点群の色ずれ補正情報を、符号化装置１２から伝送されてくる第１の部分符号化ストリームにメタデータとして配置する。また、メタデータ付加部４０２は、色ずれ補正データ生成部４０１から供給される色ずれ補正情報のうちの第２の視点群の色ずれ補正情報を、符号化装置２８２から伝送されてくる第２の部分符号化ストリームにメタデータとして配置する。
メタデータ付加部４０２は、色ずれ補正情報がメタデータとして配置された第１の部分符号化ストリームと第２の部分符号化ストリームを合成する。メタデータ付加部４０２（伝送部）は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置２８４に伝送する。
（色ずれ補正情報の例）
図２７は、色ずれ補正情報の例を示す図である。
図２７の例では、所定の表示画像生成方式に対応する複数の視点の数が９である。
図２７に示すように、色ずれ補正情報は、所定の表示画像生成方式に対応する全ての視点の各カメラＩＤに、その視点のisCorrectionFlagと色ずれ補正データが対応付けられることにより構成される。
isCorrectionFlagは、対応する視点と基準視点との間で色ずれが発生しているかどうかを示すフラグである。isCorrectionFlagは、対応する視点と基準視点との間で色ずれが発生していることを示す場合１であり、発生していないことを示す場合０である。
図２７の例では、カメラＩＤが０である視点が基準視点であり、カメラＩＤが１，２，４、および６乃至９である参照視点と基準視点との間で色ずれが発生していない。従って、０乃至２，４、および６乃至９であるカメラＩＤに対応するisCorrectionFlagは０であり、これらのカメラＩＤに対応して色ずれ補正データは記述されない。
また、図２７の例では、カメラＩＤが３および５である参照視点と基準視点との間で色ずれが発生している。従って、３および５であるカメラＩＤに対応するisCorrectionFlagは１であり、これらのカメラＩＤに対応して色ずれ補正データが記述される。図２７では、カメラＩＤがｉである視点の色ずれ補正データをＰ（ｉ）と記載している。
なお、色ずれ補正情報には、色ずれが発生している全ての視点の色ずれ補正データが同一であるかどうかを示す色ずれ共通フラグが含まれるようにしてもよい。この場合、色ずれが発生している全ての視点の色ずれ補正データが同一であるとき、色ずれ補正情報は、色ずれが発生している全ての視点の色ずれ補正データが同一であることを示す色ずれ共通フラグ（色ずれ共通情報）と、色ずれが発生している全ての視点に共通の色ずれ補正データとにより構成される。色ずれ共通フラグは、例えば、色ずれが発生している全ての視点の色ずれ補正データが同一である場合１であり、異なる場合０である。
（合成装置の処理の説明）
図２８は、図２６の合成装置４００の合成処理を説明するフローチャートである。
図２８のステップＳ１６１およびＳ１６２の処理は、図１９のステップＳ９１およびＳ９２の処理と同様であるので、説明は省略する。
ステップＳ１６３において、合成装置４００の色ずれ補正データ生成部４０１は、参照視点ごとに、復号部３２１または復号部３２２の復号により生成された基準視点と参照視点の２次元画像データに基づいて、各参照視点の色ずれ補正データを生成する。また、色ずれ補正データ生成部４０１は、基準視点の色ずれ補正データとして、ＲＧＢ値（Ｒ,Ｇ,Ｂ）とＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）が同一となる色ずれ補正データを生成する。色ずれ補正データ生成部４０１は、生成された各視点の色ずれ補正データを含む色ずれ補正情報をメタデータ付加部４０２に供給する。
ステップＳ１６４において、メタデータ付加部４０２は、色ずれ補正データ生成部４０１から供給される色ずれ補正情報のうちの第１の視点群の色ずれ補正情報を、符号化装置１２から伝送されてくる第１の部分符号化ストリームにメタデータとして配置する。
ステップＳ１６５において、メタデータ付加部４０２は、色ずれ補正データ生成部４０１から供給される色ずれ補正情報のうちの第２の視点群の色ずれ補正情報を、符号化装置２８２から伝送されてくる第２の部分符号化ストリームにメタデータとして配置する。
ステップＳ１６６において、メタデータ付加部４０２は、色ずれ補正情報がメタデータとして配置された第１の部分符号化ストリームと第２の部分符号化ストリームを合成する。メタデータ付加部４０２は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置２８４に伝送する。
（変換部の構成例）
図２９は、変換部４２０の構成例を示すブロック図である。
図２９に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２９の変換部４２０の構成は、色補正部４２１が新たに設けられる点が、図８の変換部３３の構成と異なる。
変換部４２０の色補正部４２１は、復号部３０１による復号の結果得られる色ずれ補正情報に基づいて、上述した式（７）乃至（９）により、第１の視点群と第２の視点群の２次元画像データの色補正を行う。これにより、全ての視点の２次元画像データにおいて色とＲＧＢ値との関係が同一になる。色補正部４２１は、色補正後の第１の視点群と第２の視点群の２次元画像データと、復号部３０１による復号の結果得られる第１の視点群と第２の視点群のデプス画像データを３次元データ生成部１５１に供給する。
第５実施の形態における復号装置２８４の復号処理は、ステップＳ３２とステップＳ３３の間で、色補正部４２１による色補正が行われる点を除いて、図９の復号処理と同様であるので、説明は省略する。
以上のように、第５実施の形態では、異なるカメラにより撮像された２次元画像データを用いて生成された第１の部分符号化ストリームと第２の部分符号化ストリームを合成して復号装置２８４に伝送する。従って、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームにおいて色ずれが発生する場合がある。
しかしながら、第５実施の形態では、合成装置３４０が、第１の部分符号化ストリームと第２の部分符号化ストリームを一旦復号し、その結果得られる各視点の２次元画像データの色ずれ補正データを生成する。そして、合成装置３４０は、生成された色ずれ補正データの色ずれ補正情報を、第１の部分符号化ストリームおよび第２の部分符号化ストリームとともに伝送する。従って、変換部４２０は、色ずれ補正データに基づいて、第１の視点群と第２の視点群の各視点の２次元画像データの色ずれを補正することができる。その結果、変換部４２０は、色ずれが補正された第１の視点群と第２の視点群の２次元画像データとデプス画像データを用いて３次元データを生成することにより、３次元データのうちの２次元画像データの精度を向上させることができる。
また、第５実施の形態では、合成装置４００が、色ずれ補正情報を伝送するので、第１の部分符号化ストリームと第２の部分符号化ストリームに色ずれ補正情報をメタデータとして配置するだけで済む。従って、第１の部分符号化ストリームと第２の部分符号化ストリームを復号し、色ずれを補正して再符号化する場合に比べて、合成装置４００の処理量を削減することができる。
なお、第５実施の形態において、視点または視点群ごとの２次元画像データの、中心部に対する周辺部の減光を補正するゲインを含む周辺減光補正情報がメタデータとして第１の部分符号化ストリームと第２の部分符号化ストリームに配置されるようにしてもよい。また、視点または視点群ごとのExif（Exchangeable image file format）情報がメタデータとして配置されるようにしてもよい。
＜第６実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図３０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ６００において、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。
入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。
以上のように構成されるコンピュータ６００では、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ６００（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ６００では、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。
なお、コンピュータ６００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
本開示は、以下のような構成もとることができる。
（１）
第１の視点の２次元画像データと第２の視点の２次元画像データとに基づいて、前記第１の視点の第１の３次元座標系における３次元位置を、前記第２の視点の第２の３次元座標系における３次元位置に変換する座標変換データを生成する座標変換データ生成部と、
前記第１の視点の２次元画像データと各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第１の符号化データ、前記第２の視点の２次元画像データとデプス画像データの符号化データである第２の符号化データ、および前記座標変換データ生成部により生成された前記座標変換データを含む座標変換情報を伝送する伝送部と
を備える画像処理装置。
（２）
前記座標変換データは、カメラの外部パラメータと同一の表現方法で表現される
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記第１の視点の数は複数であり、
前記座標変換データ生成部は、前記第１の視点ごとに前記座標変換データを生成する
ように構成された
前記（１）または（２）に記載の画像処理装置。
（４）
前記座標変換情報は、全ての前記第１の視点の前記座標変換データが同一であるか否かを示す座標変換共通情報を含む
ように構成された
前記（３）に記載の画像処理装置。
（５）
前記伝送部は、全ての前記第１の視点の前記座標変換データが同一である場合、全ての前記第１の視点の前記座標変換データが同一であることを示す座標変換共通情報と、全ての前記第１の視点に共通の前記座標変換データとを含む前記座標変換情報を伝送する
ように構成された
前記（３）に記載の画像処理装置。
（６）
画像処理装置が、
第１の視点の２次元画像データと第２の視点の２次元画像データとに基づいて、前記第１の視点の第１の３次元座標系における３次元位置を、前記第２の視点の第２の３次元座標系における３次元位置に変換する座標変換データを生成する座標変換データ生成ステップと、
前記第１の視点の２次元画像データと各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第１の符号化データ、前記第２の視点の２次元画像データとデプス画像データの符号化データである第２の符号化データ、および前記座標変換データ生成ステップの処理により生成された前記座標変換データを含む座標変換情報を伝送する伝送ステップと
を含む画像処理方法。
（７）
第１の視点の２次元画像データと各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第１の符号化データと、第２の視点の２次元画像データとデプス画像データの符号化データである第２の符号化データを復号する復号部と、
前記第１の視点の第１の３次元座標系における第１のカメラパラメータ、および、前記復号部による復号の結果得られる前記第１の視点の２次元画像データとデプス画像データに基づいて、前記第１の視点の２次元画像データの各画素の２次元位置を、前記第１の３次元座標系における３次元位置に変換する第１の３次元位置変換部と、
前記第１の３次元座標系における３次元位置を、前記第２の視点の第２の３次元座標系における３次元位置に変換する座標変換データを含む座標変換情報に基づいて、前記第１の３次元位置変換部による変換後の前記第１の３次元座標系における３次元位置を、前記第２の３次元座標系における３次元位置に変換する座標変換部と
を備える画像処理装置。
（８）
前記第２の視点の前記第２の３次元座標系における第２のカメラパラメータ、および、前記復号部による復号の結果得られる前記第２の視点の２次元画像データとデプス画像データに基づいて、前記第２の視点の２次元画像データの各画素の２次元位置を、前記第２の３次元座標系における３次元位置に変換する第２の３次元位置変換部と、
前記座標変換部により変換された前記３次元位置と、前記第２の３次元位置変換部による変換後の前記３次元位置とに基づいて、前記第１の視点の２次元画像データと、前記第２の視点の２次元画像データとから、被写体の３次元データを生成するデータ生成部と
をさらに備える
前記（７）に記載の画像処理装置。
（９）
前記座標変換データは、カメラの外部パラメータと同一の表現方法で表現される
ように構成された
前記（７）または（８）に記載の画像処理装置。
（１０）
前記第１の視点の数は複数であり、
前記座標変換データは、前記第１の視点ごとに生成される
ように構成された
前記（７）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記座標変換情報は、全ての前記第１の視点の前記座標変換データが同一であるか否かを示す座標変換共通情報を含む
ように構成された
前記（１０）に記載の画像処理装置。
（１２）
前記座標変換情報は、全ての前記第１の視点の前記座標変換データが同一であることを示す座標変換共通情報と、全ての前記第１の視点に共通の前記座標変換データとを含む
ように構成された
前記（１０）に記載の画像処理装置。
（１３）
画像処理装置が、
第１の視点の２次元画像データと各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第１の符号化データと、第２の視点の２次元画像データとデプス画像データの符号化データである第２の符号化データを復号する復号ステップと、
前記第１の視点の第１の３次元座標系における第１のカメラパラメータ、および、前記復号ステップの処理による復号の結果得られる前記第１の視点の２次元画像データとデプス画像データに基づいて、前記第１の視点の２次元画像データの各画素の２次元位置を、前記第１の３次元座標系における３次元位置に変換する第１の３次元位置変換ステップと、
前記第１の３次元座標系における３次元位置を、前記第２の視点の第２の３次元座標系における３次元位置に変換する座標変換データを含む座標変換情報に基づいて、前記第１の３次元位置変換ステップの処理による変換後の前記第１の３次元座標系における３次元位置を、前記第２の３次元座標系における３次元位置に変換する座標変換ステップと
を含む画像処理方法。
１１ 撮像装置, １２ 符号化装置, １３ 復号装置, ２２ 符号化部, ２３ 伝送部, ３１ 受け取り部, ３２ 復号部, ５３ ２次元データ生成部, １５１ ３次元データ生成部, １５４ ２次元データ生成部, １７１ 撮像装置, １７２ 符号化装置, １７３ 復号装置, １９２ 変換部, ２１１−１乃至２１１−Ｎ カメラ, ２２２ 同期ずれ検出部, ２６１−１乃至２６１−２Ｎ 復号処理部, ２６２ 出力部, ２８２ 符号化装置, ２８３ 合成装置, ２８４ 復号装置, ２９２ 符号化部, ３０１ 復号部, ３２１，３２２ 復号部, ３２３ 同期ずれ検出部, ３２４ メタデータ付加部, ３４０ 合成装置, ３４１ 座標変換データ生成部, ３４２ メタデータ付加部， ３９１，３９２ ３次元位置変換部, ３９３ 座標変換部, ３９４ データ生成部， ４００ 合成装置, ４０１ 色ずれ補正データ生成部, ４０２ メタデータ付加部， ４２１ 色補正部

Claims (12)

  1. 第１の視点の２次元画像データと第２の視点の２次元画像データとに基づいて、前記第１の視点の第１の３次元座標系における３次元位置を、前記第２の視点の第２の３次元座標系における３次元位置に変換する座標変換データを生成する座標変換データ生成部と、
    前記第１の視点の２次元画像データと前記第１の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第１の符号化データ、前記第２の視点の２次元画像データと前記第２の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第２の符号化データ、および前記座標変換データ生成部により生成された前記座標変換データを含む座標変換情報を、他の画像処理装置に伝送する伝送部と
    を備え、
    前記他の画像処理装置は、前記第１の符号化データ、前記第２の符号化データ、および前記座標変換情報に基づいて、被写体の３次元データを生成する
    画像処理装置。
  2. 前記座標変換データは、前記第１の３次元座標系の座標を前記第２の３次元座標系の座標に変換するアフィン変換を表すデータである
    ように構成された
    請求項１に記載の画像処理装置。
  3. 前記第１の視点の数は複数であり、
    前記座標変換データ生成部は、前記第１の視点ごとに前記座標変換データを生成する
    ように構成された
    請求項１に記載の画像処理装置。
  4. 前記座標変換情報は、全ての前記第１の視点の前記座標変換データが同一であるか否かを示す座標変換共通情報を含む
    ように構成された
    請求項３に記載の画像処理装置。
  5. 前記伝送部は、全ての前記第１の視点の前記座標変換データが同一である場合、全ての前記第１の視点の前記座標変換データが同一であることを示す座標変換共通情報と、全ての前記第１の視点に共通の前記座標変換データとを含む前記座標変換情報を伝送する
    ように構成された
    請求項３に記載の画像処理装置。
  6. 画像処理装置が、
    第１の視点の２次元画像データと第２の視点の２次元画像データとに基づいて、前記第１の視点の第１の３次元座標系における３次元位置を、前記第２の視点の第２の３次元座標系における３次元位置に変換する座標変換データを生成する座標変換データ生成ステップと、
    前記第１の視点の２次元画像データと前記第１の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第１の符号化データ、前記第２の視点の２次元画像データと前記第２の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第２の符号化データ、および前記座標変換データ生成ステップの処理により生成された前記座標変換データを含む座標変換情報を、他の画像処理装置に伝送する伝送ステップと
    を含み、
    前記他の画像処理装置は、前記第１の符号化データ、前記第２の符号化データ、および前記座標変換情報に基づいて、被写体の３次元データを生成する
    画像処理方法。
  7. 第１の視点の２次元画像データと前記第１の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第１の符号化データと、第２の視点の２次元画像データと前記第２の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第２の符号化データを復号する復号部と、
    前記第１の視点の第１の３次元座標系における第１のカメラパラメータ、および、前記復号部による前記第１の符号化データの復号の結果得られる前記第１の視点の２次元画像データと前記デプス画像データに基づいて、前記第１の視点の２次元画像データの各画素の２次元位置を、前記第１の３次元座標系における３次元位置に変換する第１の３次元位置変換部と、
    前記第１の３次元座標系における３次元位置を、前記第２の視点の第２の３次元座標系における３次元位置に変換する座標変換データを含む座標変換情報に基づいて、前記第１の３次元位置変換部による変換後の前記第１の３次元座標系における３次元位置を、前記第２の３次元座標系における３次元位置に変換する座標変換部と、
    前記第２の視点の前記第２の３次元座標系における第２のカメラパラメータ、および、前記復号部による前記第２の符号化データの復号の結果得られる前記第２の視点の２次元画像データと前記デプス画像データに基づいて、前記第２の視点の２次元画像データの各画素の２次元位置を、前記第２の３次元座標系における３次元位置に変換する第２の３次元位置変換部と、
    前記座標変換部により変換された前記３次元位置と、前記第２の３次元位置変換部による変換後の前記３次元位置とに基づいて、前記第１の視点の２次元画像データと、前記第２の視点の２次元画像データとから、被写体の３次元データを生成するデータ生成部と
    を備える画像処理装置。
  8. 前記座標変換データは、前記第１の３次元座標系の座標を前記第２の３次元座標系の座標に変換するアフィン変換を表すデータである
    ように構成された
    請求項７に記載の画像処理装置。
  9. 前記第１の視点の数は複数であり、
    前記座標変換データは、前記第１の視点ごとに生成される
    ように構成された
    請求項７に記載の画像処理装置。
  10. 前記座標変換情報は、全ての前記第１の視点の前記座標変換データが同一であるか否かを示す座標変換共通情報を含み、
    前記座標変換部は、前記座標変換共通情報により全ての前記第１の視点の前記座標変換データが同一であることが示された場合には、全ての前記第１の視点の２次元画像データの各画素の２次元位置に対して前記第１の３次元位置変換部により変換された前記第１の３次元座標系における３次元位置を共通の前記座標変換データに基づいて前記第２の３次元座標系における３次元位置に変換する
    ように構成された
    請求項９に記載の画像処理装置。
  11. 前記座標変換情報は、全ての前記第１の視点の前記座標変換データが同一であることを示す座標変換共通情報と、全ての前記第１の視点に共通の前記座標変換データとを含む
    ように構成された
    請求項９に記載の画像処理装置。
  12. 画像処理装置が、
    第１の視点の２次元画像データと前記第１の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第１の符号化データと、第２の視点の２次元画像データと前記第２の視点の２次元画像データの各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第２の符号化データを復号する復号ステップと、
    前記第１の視点の第１の３次元座標系における第１のカメラパラメータ、および、前記復号ステップの処理による前記第１の符号化データの復号の結果得られる前記第１の視点の２次元画像データと前記デプス画像データに基づいて、前記第１の視点の２次元画像データの各画素の２次元位置を、前記第１の３次元座標系における３次元位置に変換する第１の３次元位置変換ステップと、
    前記第１の３次元座標系における３次元位置を、前記第２の視点の第２の３次元座標系における３次元位置に変換する座標変換データを含む座標変換情報に基づいて、前記第１の３次元位置変換ステップの処理による変換後の前記第１の３次元座標系における３次元位置を、前記第２の３次元座標系における３次元位置に変換する座標変換ステップと、
    前記第２の視点の前記第２の３次元座標系における第２のカメラパラメータ、および、前記復号ステップの処理による前記第２の符号化データの復号の結果得られる前記第２の視点の２次元画像データと前記デプス画像データに基づいて、前記第２の視点の２次元画像データの各画素の２次元位置を、前記第２の３次元座標系における３次元位置に変換する第２の３次元位置変換ステップと、
    前記座標変換ステップにより変換された前記３次元位置と、前記第２の３次元位置変換ステップによる変換後の前記３次元位置とに基づいて、前記第１の視点の２次元画像データと、前記第２の視点の２次元画像データとから、被写体の３次元データを生成するデータ生成ステップと
    を含む画像処理方法。
JP2017550063A 2015-11-11 2016-10-28 画像処理装置および画像処理方法 Active JP6984416B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015221235 2015-11-11
JP2015221235 2015-11-11
PCT/JP2016/082026 WO2017082078A1 (ja) 2015-11-11 2016-10-28 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2017082078A1 JPWO2017082078A1 (ja) 2018-08-30
JP6984416B2 true JP6984416B2 (ja) 2021-12-22

Family

ID=58696032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017550063A Active JP6984416B2 (ja) 2015-11-11 2016-10-28 画像処理装置および画像処理方法

Country Status (6)

Country Link
US (1) US11290698B2 (ja)
EP (1) EP3376760A4 (ja)
JP (1) JP6984416B2 (ja)
KR (1) KR102527566B1 (ja)
CN (1) CN108243629B (ja)
WO (1) WO2017082078A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112019005855A2 (pt) * 2016-09-29 2019-06-11 Koninklijke Philips Nv aparelho de processamento de imagens, sistema de processamento de imagens, e método para fornecer uma imagem
GB2571306A (en) 2018-02-23 2019-08-28 Sony Interactive Entertainment Europe Ltd Video recording and playback systems and methods
WO2020009341A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
US20200296350A1 (en) * 2018-07-13 2020-09-17 Lg Electronics Inc. Method and device for transmitting and receiving metadata on coordinate system of dynamic viewpoint
JPWO2020166612A1 (ja) * 2019-02-12 2021-12-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置
EP3970361A4 (en) * 2019-05-14 2023-03-22 INTEL Corporation IMMERSIVE VIDEO CODING TECHNIQUES FOR THREE DEGREES OF FREEDOM PLUS/METADATA FOR IMMERSIVE VIDEO (3DOF+/MIV) AND VIDEO POINT CLOUD CODING (V-PCC)
EP3798976B1 (en) * 2019-09-30 2023-11-01 Tata Consultancy Services Limited Method and system for determining dynamism in a scene by processing a depth image
CN111862185A (zh) * 2020-07-24 2020-10-30 唯羲科技有限公司 一种从图像中提取平面的方法
CN113850236B (zh) * 2021-11-29 2022-04-15 深圳市优必选科技股份有限公司 3d姿态估计方法、装置和计算机设备及存储介质
CN116764203A (zh) * 2022-03-11 2023-09-19 腾讯科技(成都)有限公司 一种虚拟场景的渲染方法、装置、设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3776595B2 (ja) 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
US6215496B1 (en) 1998-07-23 2001-04-10 Microsoft Corporation Sprites with depth
JP4605716B2 (ja) * 2006-07-14 2011-01-05 Ｋｄｄｉ株式会社 多視点画像圧縮符号化方法、装置及びプログラム
CN101483770B (zh) * 2008-01-08 2011-03-16 华为技术有限公司 一种编解码方法及装置
US8878836B2 (en) * 2008-02-29 2014-11-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
US8750632B2 (en) * 2008-12-26 2014-06-10 JVC Kenwood Corporation Apparatus and method for encoding images from multiple viewpoints and associated depth information
CN101695140B (zh) * 2009-10-14 2011-07-27 宁波大学 一种基于对象的立体/自由视点电视的虚拟图像绘制方法
ES2392229B1 (es) * 2010-08-27 2013-10-16 Telefónica, S.A. Método de generación de un modelo de un objeto plano a partir de vistas del objeto.
BR112013023302A2 (pt) * 2011-03-18 2016-12-20 Sony Corp aparelho e método de processamento de imagem
KR101926477B1 (ko) * 2011-07-18 2018-12-11 삼성전자 주식회사 콘텐츠 재생 방법 및 장치
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
US9924169B2 (en) * 2012-03-06 2018-03-20 Lg Electronics Inc. Method and apparatus for selecting a filter based on a variance of depth data
KR20130121058A (ko) * 2012-04-26 2013-11-05 한국전자통신연구원 3dtv를 위한 영상 재생 장치 및 상기 장치가 수행하는 방법
KR101410273B1 (ko) * 2012-09-11 2014-06-20 한국과학기술원 증강현실 응용을 위한 환경 모델링 방법 및 장치
JP6021541B2 (ja) * 2012-09-13 2016-11-09 キヤノン株式会社 画像処理装置及び方法
US20150245062A1 (en) * 2012-09-25 2015-08-27 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program and recording medium
JP6073123B2 (ja) * 2012-12-12 2017-02-01 日本放送協会 立体表示システム、立体像生成装置及び立体像生成プログラム
JP2014132722A (ja) * 2013-01-07 2014-07-17 National Institute Of Information & Communication Technology 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
JP6182045B2 (ja) * 2013-10-11 2017-08-16 キヤノン株式会社 画像処理装置およびその方法

Also Published As

Publication number Publication date
JPWO2017082078A1 (ja) 2018-08-30
WO2017082078A1 (ja) 2017-05-18
EP3376760A1 (en) 2018-09-19
US20180302603A1 (en) 2018-10-18
CN108243629A (zh) 2018-07-03
KR102527566B1 (ko) 2023-05-03
KR20180081721A (ko) 2018-07-17
CN108243629B (zh) 2020-09-08
EP3376760A4 (en) 2019-04-03
US11290698B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
JP6872131B2 (ja) 符号化装置および符号化方法、復号装置および復号方法
JP6911765B2 (ja) 画像処理装置および画像処理方法
JP6984416B2 (ja) 画像処理装置および画像処理方法
CN108886611B (zh) 全景立体视频系统的拼接方法和装置
EP2845164B1 (en) Reference card for scene referred metadata capture
JP7009996B2 (ja) 画像処理装置および画像処理方法
KR101233399B1 (ko) 다시점 깊이 영상 생성 방법 및 장치
KR20220096700A (ko) 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211108

R151 Written notification of patent or utility model registration

Ref document number: 6984416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151