以下、本開示を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態:伝送システム(図1乃至図9)
2.第2実施の形態:伝送システム(図10乃至図16)
3.第3実施の形態:伝送システム(図17乃至図19)
4.第4実施の形態:伝送システム(図20乃至図25)
5.第5実施の形態:伝送システム(図26乃至図29)
6.第6実施の形態:コンピュータ(図30)
<第1実施の形態>
(伝送システムの第1実施の形態の構成例)
図1は、本開示を適用した伝送システムの第1実施の形態の構成例を示すブロック図である。
図1の伝送システム10は、撮像装置11、符号化装置12、復号装置13、および表示装置14により構成される。伝送システム10は、撮像装置11により取得された2次元画像データ等を用いて、所定の表示画像生成方式で表示画像データを生成し、表示する。
具体的には、伝送システム10の撮像装置11は、例えば、マルチカメラ、測距測定器、および画像処理部により構成される。撮像装置11のマルチカメラは、複数(例えば、8)のカメラにより構成され、各カメラで少なくとも一部が同一である被写体の動画像の2次元画像データを撮像する。測距測定器は、例えば、各カメラに設けられ、そのカメラと同一の視点のデプス画像データを生成する。
撮像装置11の画像処理部(3次元データ生成部)は、各カメラの視点の2次元画像データおよびデプス画像データ、並びに、各カメラの内部パラメータおよび外部パラメータを用いて、Visual Hull等によるモデリングを行い、メッシュを作成する。画像処理部は、作成されたメッシュを構成する各点(Vertex)の3次元位置と各点のつながり(Polygon)を示す幾何情報(Geometry)と、そのメッシュの2次元画像データとを被写体の3次元データとして生成し、符号化装置12に供給する。
複数の視点の2次元画像データとデプス画像データから3次元データを生成する方法の詳細は、例えば、Saied Moezzi, Li-Cheng Tai, Philippe Gerard, “Virtual View Generation for 3D Digital Video”, University of California, San DiegoやTakeo Kanade and Peter Rander,P.J. Narayanan, “Virtualized Reality:Constructing Virtual Worlds from Real Scenes"に記載されている。
符号化装置12は、変換部21、符号化部22、および伝送部23により構成される。
符号化装置12の変換部21は、所定の表示画像生成方式に対応する複数の視点の仮想カメラの内部パラメータと外部パラメータをカメラパラメータとして設定する。変換部21は、カメラパラメータに基づいて、撮像装置11から供給される3次元データから、所定の表示画像生成方式に対応する複数の視点の2次元画像データとデプス画像データとを生成する。
3次元データから複数の視点の2次元画像データとデプス画像データを生成する3DCG技術の詳細は、例えば、谷本正幸、「究極の映像通信を目指して」電子情報通信学会技術研究報告. CS, 通信方式 110(323), 73-78, 2010-11-25等に記載されている。
本明細書では、2次元画像データとデプス画像データの視点は同一であるものとするが、2次元画像データとデプス画像データの視点および視点の数は、異なっていてもよい。また、2次元画像データとデプス画像データの視点および視点の数は、撮像装置11のカメラの視点と同一であっても、異なっていてもよい。
変換部21は、撮像装置11から供給される3次元データから、所定の表示画像生成方式に対応する複数の視点からは見えないオクルージョン領域の3次元データ(以下、オクルージョン3次元データという)を抽出する。変換部21は、所定の表示画像生成方式に対応する複数の視点の2次元画像データおよびデプス画像データ、オクルージョン3次元データ、並びに、各視点のカメラパラメータ等の仮想カメラに関する情報であるカメラ関連情報を含むメタデータを符号化部22に供給する。
符号化部22は、変換部21から供給される2次元画像データ、デプス画像データ、およびメタデータを符号化する。符号化方式としては、MVCD(Multiview and depth video coding)方式、AVC方式、HEVC方式等を採用することができる。
符号化方式がMVCD方式である場合、全ての視点の2次元画像データとデプス画像データは、まとめて符号化される。その結果、2次元画像データとデプス画像データの符号化データとメタデータを含む1本の符号化ストリームが生成される。この場合、メタデータのうちのカメラパラメータは、符号化ストリームのreference displays information SEIに配置される。また、メタデータのうちのデプス画像データに関する情報は、Depth representation information SEIに配置される。
一方、符号化方式がAVC方式やHEVC方式である場合、各視点のデプス画像データと2次元画像データは別々に符号化される。その結果、各視点の2次元画像データとメタデータを含む各視点の符号化ストリームと、各視点のデプス画像データの符号化データとメタデータとを含む各視点の符号化ストリームが生成される。この場合、メタデータは、例えば、各符号化ストリームのUser unregistered SEIに配置される。また、メタデータには、符号化ストリームとカメラパラメータ等とを対応付ける情報が含まれる。
なお、メタデータに符号化ストリームとカメラパラメータ等とを対応付ける情報を含めず、符号化ストリームに、その符号化ストリームに対応するメタデータのみを含めるようにしてもよい。
符号化部22は、符号化ストリームを伝送部23に供給する。伝送部23は、符号化部22から供給される符号化ストリームを復号装置13に伝送する。なお、本明細書では、メタデータが符号化ストリームに配置されて伝送されるようにするが、符号化ストリームとは別に伝送されるようにしてもよい。
復号装置13は、受け取り部31、復号部32、および変換部33により構成される。
復号装置13の受け取り部31は、伝送部23から伝送されてくる符号化ストリームを受け取り、復号部32に供給する。復号部32は、受け取り部31から供給される符号化ストリームを、符号化部22における符号化方式に対応する方式で復号する。復号部32は、その結果得られる複数の視点の2次元画像データおよびデプス画像データ、並びにメタデータを変換部33に供給する。
変換部33は、復号部32から供給されるメタデータと復号装置13の表示画像生成方式に基づいて、複数の視点の2次元画像データとデプス画像データから、所定の視点の2次元画像データ、または、所定の視点の2次元画像データとデプス画像データを選択する。変換部33は、選択された所定の視点の2次元画像データ、または、所定の視点の2次元画像データとデプス画像データに基づいて、表示画像データを生成し、表示装置14に供給する。
表示装置14は、2次元ヘッドマウントディスプレイや2次元モニタ、3次元ヘッドマウントディスプレイや3次元モニタなどにより構成される。表示装置14は、変換部33から供給される表示画像データに基づいて、表示画像を2次元表示または3次元表示する。
(変換部21の構成例)
図2は、図1の変換部21の構成例を示すブロック図である。
図2の変換部21は、被写体位置決定部51、カメラ決定部52、2次元データ生成部53、およびオクルージョン決定部54により構成される。
変換部21の被写体位置決定部51は、図1の撮像装置11から供給される3次元データに対応する3次元物体のうちの被写体の中心とする3次元位置を決定し、その3次元位置を表す被写体位置情報をカメラ決定部52に供給する。
カメラ決定部52は、被写体位置決定部51から供給される被写体位置情報に基づいて、所定の表示画像生成方式に対応する複数の視点のカメラパラメータを決定し、2次元データ生成部53とオクルージョン決定部54に供給する。また、カメラ決定部52は、各視点のカメラパラメータ等からカメラ関連情報を生成し、メタデータとして図1の符号化部22に供給する。
2次元データ生成部53は、カメラ決定部52から供給される複数の視点のカメラパラメータに基づいて、視点ごとに、3次元データに対応する3次元物体の透視投影を行う。
具体的には、各画素の2次元位置に対応する行列m´とワールド座標系の3次元座標に対応する行列Mの関係は、カメラの内部パラメータAと外部パラメータR|tを用いて、以下の式(1)により表現される。
式(1)は、より詳細には式(2)で表現される。
式(2)において、(u,v)は画像上の2次元座標であり、fx, fyは、焦点距離である。また、Cx, Cyは、主点であり、r11乃至r13,r21乃至r23,r31乃至r33、およびt1乃至t3は、パラメータであり、(X,Y,Z)は、ワールド座標系の3次元座標である。
従って、2次元データ生成部53は、上述した式(1)や(2)により、カメラパラメータを用いて、各画素の2次元座標に対応する3次元座標を求める。
そして、2次元データ生成部53は、視点ごとに、3次元データのうちの各画素の2次元座標に対応する3次元座標の2次元画像データを各画素の2次元画像データにすることにより、各画素の2次元座標と画像データを対応付ける2次元画像データを生成する。また、2次元データ生成部53は、視点ごとに、各画素の2次元座標に対応する3次元座標に基づいて各画素のデプスを求め、各画素の2次元座標とデプスを対応付けるデプス画像データを生成する。デプスは、例えば、被写体の奥行き方向の位置zの逆数1/zである。2次元データ生成部53は、各視点の2次元画像データとデプス画像データを符号化部22に供給する。
オクルージョン決定部54は、カメラ決定部52から供給されるカメラパラメータに基づいて、撮像装置11から供給される3次元データからオクルージョン3次元データを抽出し、メタデータとして符号化部22に供給する。
(所定の表示画像生成方式に対応する複数の視点の例)
図3は、所定の表示画像生成方式に対応する複数の視点の例を示す図である。
図3のAの例では、所定の表示画像生成方式が、所定の1視点の表示画像を2次元表示する所定視点表示画像生成方式と、1つの任意の視点である自由視点の表示画像を2次元表示する自由視点表示画像生成方式である。この場合、図3のAに示すように、所定の表示画像生成方式に対応する複数の視点は、例えば、同一円上に等間隔に存在する複数(図3のAの例では8)の視点71乃至78であり、視点71乃至78の向きは、その円の中心に向かう向きである。
以上により、復号装置13は、視点71乃至78のうちのいずれかの視点の2次元画像データを表示画像データとして選択し、表示装置14に供給することにより、その視点の表示画像を表示装置14に2次元表示させることができる。
また、復号装置13は、視点71乃至78の2次元画像データとデプス画像データに基づいて3次元データを生成し、自由視点に対して、その3次元データに対応する3次元物体の透視投影を行うことにより、自由視点の2次元画像データを表示画像データとして生成することができる。従って、復号装置13は、生成された表示画像データを表示装置14に供給することにより、自由視点の表示画像を表示装置14に2次元表示させることができる。
図3のBの例では、所定の表示画像生成方式が、所定視点表示画像生成方式、自由視点表示画像生成方式、2視点の2次元画像データに基づいて表示画像を3次元表示させる3次元表示画像生成方式、および2視点の間の視点の表示画像を2次元表示させる補間視点表示画像生成方式である。
この場合、図3のBに示すように、所定の表示画像生成方式に対応する複数の視点は、例えば、同一円上に等間隔に存在する複数(図3のBの例では10)の視点81乃至90である。視点88と視点89は、それぞれ、視点87、視点88と略水平方向に並ぶ。視点87と視点89、および、視点88と視点90の略水平方向の間隔は、例えば、人間の左右の目の間隔に対応する。視点81乃至90の向きは、視点81乃至90が配置される円の中心に向かう向きである。
以上により、復号装置13は、図3のAの場合と同様に、視点81乃至90のいずれかの視点の表示画像または自由視点の表示画像を表示装置14に2次元表示させることができる。また、復号装置13は、視点87と視点89のペアまたは視点88と視点90のペアの2次元画像データを表示画像データとして選択し、表示装置14に供給することにより、視点87と視点89のペアまたは視点88と視点90のペアの表示画像を表示装置14に3次元表示させることができる。
さらに、復号装置13は、視点87と視点89のペアまたは視点88と視点90のペアの2次元画像データとデプス画像データに基づいて、そのペアの間の視点の2次元画像データを補間することができる。従って、復号装置13は、補間された2次元画像データを表示画像データとして表示装置14に供給することにより、視点87と視点89のペアまたは視点88と視点90のペアの間の視点の表示画像を表示装置14に2次元表示させることができる。
図3のAおよび図3のBの例の場合、所定の表示画像生成方式の数が複数である。従って、復号装置13は、所定の表示画像生成方式に対応する複数の視点の2次元画像データとデプス画像データに基づいて、所定の表示画像生成方式のいずれかで表示画像データを生成することができる。よって、符号化装置12は、スケーラビリティを有する符号化ストリームを生成することができるといえる。なお、所定の表示画像生成方式の数は1つであってもよい。
また、カメラ決定部52は、撮像装置11のカメラの数が、所定の表示画像生成方式に対応する複数の視点より多い場合、所定の表示画像生成方式に対応する複数の視点のカメラパラメータを決定することにより、視点の冗長性をなくすことができる。
例えば、撮像装置11のカメラの視点が視点71乃至78の8視点であるが、複数の表示画像生成方式に対応する複数の視点が視点71、視点73、視点75、および視点77の4視点である場合、カメラ決定部52は、その4視点のカメラパラメータを決定する。従って、視点71乃至78の全ての2次元画像データとデプス画像データが符号化される場合に比べて、符号化ストリームにおける視点の冗長性をなくすことができる。
複数の表示画像生成方式に対応する複数の視点の位置は、図3のAおよび図3のBの例に限定されず、任意の位置にすることが可能である。また、各視点のカメラパラメータは、例えば、比較的狭い画角に対応するカメラパラメータにすることができる。この場合、表示画像のズーム時の解像度を向上させることができる。
また、本明細書では、所定の表示画像生成方式の数が複数である場合であっても、所定の表示画像生成方式の全てに対応する複数の視点の符号化ストリームが生成されるようにするが、所定の表示画像生成方式ごとに、対応する複数の視点の符号化ストリームが生成されるようにしてもよい。この場合、復号装置13は、自分の表示画像生成方式に対応する符号化ストリームを用いて表示画像データを生成する。
さらに、カメラ決定部52は、復号装置13からの要求に応じて、所定の表示画像生成方式に対応する複数の視点を決定するようにしてもよい。
(カメラ関連情報の例)
図4は、カメラ関連情報の例を示す図である。
図4の例では、所定の表示画像生成方式に対応する複数の視点が、図3のBの視点81乃至90である。
図4に示すように、カメラ関連情報は、各視点のカメラIDに、その視点の外部パラメータR|T、内部パラメータA、isStereoFlag、およびステレオカメラIDが対応付けられることにより構成される。
カメラIDは、視点に固有のIDである。図4の例では、カメラIDは、視点81乃至90に対して0から順に付されている。また、図4では、カメラIDがiである外部パラメータR|TをRi|Ti、内部パラメータAをAiと記載している。
isStereoFlagは、略水平方向に並ぶ他の視点が存在するかどうかを表すフラグであり、略水平方向に並ぶ他の視点が存在する場合1に設定される。図4の例では、カメラIDが6乃至9である視点87乃至90に、略水平方向に並ぶ他の視点が存在するため、図4に示すように、6乃至9であるカメラIDに対応付けられたisStereoFlagは1となる。
ステレオカメラIDは、略水平方向に並ぶ他の視点のカメラIDであり、略水平方向に並ぶ2つの視点を特定するペア情報である。図4の例では、カメラIDが6である視点87の略水平方向に並ぶ他の視点89のカメラIDは8であるので、6であるカメラIDに対応付けられたステレオカメラIDは8となる。
同様に、カメラIDが7である視点88の略水平方向に並ぶ他の視点90のカメラIDは9であるので、7であるカメラIDに対応付けられたステレオカメラIDは9となる。また、8であるカメラIDに対応付けられたステレオカメラIDは6となり、9であるカメラIDに対応付けられたステレオカメラIDは7となる。
(撮像装置と符号化装置の処理の説明)
図5は、図1の撮像装置11と符号化装置12の符号化処理を説明するフローチャートである。
図5のステップS11において、撮像装置11は、マルチカメラで動画像の2次元画像データを撮像し、測距測定器でデプス画像データを生成する。ステップS12において、撮像装置11は、2次元画像データとデプス画像データを用いて3次元データを生成し、符号化装置12に供給する。
ステップS13において、符号化装置12の被写体位置決定部51(図2)は、撮像装置11から供給される3次元データに対応する3次元物体のうちの被写体の中心とする3次元位置を決定し、その3次元位置を表す被写体位置情報をカメラ決定部52に供給する。
ステップS14において、カメラ決定部52は、被写体位置決定部51から供給される被写体位置情報に基づいて、所定の表示画像生成方式に対応する複数の視点のカメラパラメータを決定し、2次元データ生成部53とオクルージョン決定部54に供給する。また、カメラ決定部52は、カメラパラメータ等から図4のカメラ関連情報を生成し、メタデータとして図1の符号化部22に供給する。
ステップS15において、2次元データ生成部53は、カメラ決定部52から供給される複数の視点のカメラパラメータに基づいて、視点ごとに、3次元データに対応する3次元物体の透視投影を行い、各画素の2次元座標に対応する3次元座標を求める。
ステップS16において、2次元データ生成部53は、視点ごとに、3次元データのうちの各画素の3次元座標の2次元画像データを各画素の2次元画像データにすることにより、2次元画像データを生成する。また、2次元データ生成部53は、視点ごとに、各画素の3次元座標に基づいて各画素のデプスを求め、デプス画像データを生成する。2次元データ生成部53は、各視点の2次元画像データとデプス画像データを符号化部22に供給する。
ステップS17において、オクルージョン決定部54は、カメラ決定部52から供給されるカメラパラメータに基づいて、撮像装置11から供給される3次元データからオクルージョン3次元データを抽出し、メタデータとして符号化部22に供給する。
ステップS18において、符号化部22は、変換部21から供給される2次元画像データ、デプス画像データ、およびメタデータを符号化し、その結果得られる符号化ストリームを伝送部23に供給する。
ステップS19において、伝送部23は、符号化部22から供給される符号化ストリームを復号装置13に伝送する。そして、処理は終了する。
(変換部33の第1の構成例)
図6は、図1の変換部33の第1の構成例を示すブロック図である。
図6の変換部33は、図1の復号装置13の表示画像生成方式が所定視点表示画像生成方式である場合の変換部33であり、選択部111と表示制御部112により構成される。
変換部33の選択部111は、図1の復号部32から供給されるカメラ関連情報に基づいて、所望の1視点のカメラIDを認識する。選択部111は、復号部32から供給される2次元画像データ、デプス画像データ、およびオクルージョン3次元データのうちの、認識されたカメラIDに対応する1視点の2次元画像データを選択する。選択部111は、選択された1視点の2次元画像データを表示制御部112に供給する。
表示制御部112は、選択部111から供給される1視点の2次元画像データを表示画像データとして表示装置14に供給することにより、表示画像を表示装置14に2次元表示させる。
なお、図示は省略するが、復号装置13の表示画像生成方式が3次元表示画像生成方式である場合の変換部33の構成は、選択部111が、カメラ関連情報に基づいて略水平方向に並ぶ2視点の2次元画像データを選択する点を除いて、図6の構成と同一である。
即ち、この場合、選択部111は、カメラ関連情報のうちのisStereoFlagが1であるカメラIDの視点と、そのカメラIDに対応するステレオカメラIDの視点の2次元画像データを選択する。その結果、表示装置14には、選択された2視点の2次元画像データが表示画像データとして供給される。表示装置14は、表示画像データのうちの1視点の2次元画像データに基づいて左目用の表示画像を表示し、他の1視点の2次元画像データに基づいて右目用の表示画像を表示することにより、表示画像を3次元表示する。
(変換部33の第2の構成例)
図7は、図1の変換部33の第2の構成例を示すブロック図である。
図7の変換部33は、復号装置13の表示画像生成方式が補間視点表示画像生成方式である場合の変換部33であり、選択部131、補間部132、および表示制御部133により構成される。
変換部33の選択部131は、図1の復号部32から供給されるカメラ関連情報に基づいて、1であるisStereoFlagに対応するカメラIDのうちの1つと、その1つに対応するステレオカメラIDとを認識する。選択部131は、復号部32から供給される2次元画像データ、デプス画像データ、およびオクルージョン3次元データのうちの、認識された2つのカメラIDに対応する2視点の2次元画像データとデプス画像データを選択し、補間部132に供給する。
補間部132は、選択部131から供給される2視点の2次元画像データとデプス画像データに基づいて、その2視点の間の位置を視点とする2次元画像データを補間する。このような補間技術は、Depth Image Based Renderingと呼ばれ、例えば、国際公開WO2014083752号パンフレットに記載されている。補間部132は、補間された1視点の2次元画像データを表示制御部133に供給する。
表示制御部133は、補間部132から供給される1視点の2次元画像データを表示画像データとして表示装置14に供給することにより、表示画像を表示装置14に2次元表示させる。
(変換部33の第3の構成例)
図8は、図1の変換部33の第3の構成例を示すブロック図である。
図8の変換部33は、復号装置13の表示画像生成方式が自由視点表示画像生成方式である場合の変換部33である。図8の変換部33は、3次元データ生成部151、被写体位置決定部152、カメラ位置決定部153、2次元データ生成部154、および表示制御部155により構成される。
変換部33の3次元データ生成部151は、復号部32から供給される2次元画像データ、デプス画像データ、およびカメラ関連情報に含まれるカメラパラメータを用いて、撮像装置11と同様に、被写体の3次元データを生成する。3次元データ生成部151は、生成された3次元データを、復号部32から供給されるオクルージョン3次元データを用いて修正する。これにより、2次元画像データとデプス画像データのみでは生成することができないオクルージョン領域を含む被写体の全領域の3次元データを生成することができる。3次元データ生成部151は、修正された3次元データを被写体位置決定部152と2次元データ生成部154に供給する。
被写体位置決定部152は、3次元データ生成部151から供給される3次元データに対応する3次元物体のうちの被写体の中心とする3次元位置を決定し、その3次元位置を表す被写体位置情報をカメラ位置決定部153に供給する。
カメラ位置決定部153は、被写体位置決定部152から供給される被写体位置情報に基づいて、自由視点のカメラパラメータを決定し、カメラパラメータを2次元データ生成部154に供給する。
2次元データ生成部154は、3次元データ生成部151から供給される3次元データと、カメラ位置決定部153から供給される自由視点のカメラパラメータとに基づいて、自由視点表示画像生成方式で2次元画像データを表示画像データとして生成する。
具体的には、2次元データ生成部154は、自由視点のカメラパラメータに基づいて、図2の2次元データ生成部53と同様に、3次元データに対応する3次元物体の透視投影を行い、各画素の2次元座標に対応する3次元座標を求める。そして、2次元データ生成部154は、3次元データのうちの各画素の2次元座標に対応する3次元座標の2次元画像データを、各画素の表示画像データとして生成する。
また、2次元データ生成部154は、各画素の2次元座標に対応する3次元座標に基づいて各画素のデプスを求め、デプス画像データを生成する。2次元データ生成部154は、表示画像データとデプス画像データを表示制御部155に供給する。
表示制御部155は、2次元データ生成部154から供給される表示画像データとデプス画像データを表示装置14に供給する。表示装置14は、例えば、表示画像データとデプス画像データをPoint Cloudとして、表示画像を2次元表示する。
以上のように、図8の変換部33は、複数の視点の2次元画像データとデプス画像データから3次元データを生成し、新たに決定された自由視点のカメラパラメータに基づいて、その3次元データから、2次元画像データとデプス画像データを生成する。従って、変換部33は、符号化装置12から伝送されてくる複数の視点の2次元画像データとデプス画像データのズーム倍率を変更したり、視点を変更したりすることができる。
(復号装置の処理の説明)
図9は、図1の変換部33の構成が図8の構成である場合の復号装置13の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置12から符号化ストリームが伝送されてきたとき開始される。
図9のステップS31において、復号装置13の受け取り部31は、伝送部23から伝送されてくる符号化ストリームを受け取り、復号部32に供給する。
ステップS32において、復号部32は、受け取り部31から供給される符号化ストリームを復号する。復号部32は、その結果得られる複数の視点の2次元画像データおよびデプス画像データ、並びにメタデータを変換部33に供給する。
ステップS33において、変換部33の3次元データ生成部151(図8)は、復号部32から供給される2次元画像データ、デプス画像データ、およびメタデータに含まれるカメラパラメータを用いて、撮像装置11と同様に、被写体の3次元データを生成する。
ステップS34において、3次元データ生成部151は、復号部32から供給されるメタデータに含まれるオクルージョン3次元データを用いて、ステップS33で生成された3次元データを修正する。3次元データ生成部151は、修正された3次元データを被写体位置決定部152に供給する。
ステップS35において、被写体位置決定部152は、3次元データ生成部151から供給される3次元データに対応する3次元物体のうちの被写体の中心とする3次元位置を決定し、その3次元位置を表す被写体位置情報をカメラ位置決定部153に供給する。
ステップS36において、カメラ位置決定部153は、被写体位置決定部152から供給される被写体位置情報に基づいて、自由視点のカメラパラメータを決定し、カメラパラメータを2次元データ生成部154に供給する。
ステップS37において、2次元データ生成部154は、3次元データと自由視点のカメラパラメータとに基づいて、自由視点表示画像生成方式で2次元画像データを表示画像データとして生成する。
ステップS38において、2次元データ生成部154は、各画素の2次元座標に対応する3次元座標に基づいて各画素のデプスを求め、デプス画像データを生成する。2次元データ生成部154は、表示画像データとデプス画像データを表示制御部155に供給する。
ステップS39において、表示制御部155は、2次元データ生成部154から供給される表示画像データとデプス画像データを表示装置14に供給する。
以上のように、伝送システム10では、撮像装置11が、撮像された複数の視点の2次元画像データから3次元データを生成し、符号化装置12が、その3次元データから所定の表示画像生成方式に対応する複数の視点の2次元画像データとデプス画像データを生成して符号化する。従って、符号化装置12は、撮像時の視点によらずに所定の表示画像生成方式に対応する視点の2次元画像データとデプス画像データを復号装置13が取得できるように符号化することができる。
また、復号装置13は、符号化装置12から伝送されてくる所定の表示画像生成方式に対応する複数の視点の2次元画像データとデプス画像データの符号化ストリームを受け取り、復号する。従って、復号装置13は、撮像時の視点によらずに所定の表示画像生成方式に対応する視点の2次元画像データとデプス画像データを取得することができる。
さらに、所定の表示画像生成方式の数が複数である場合、複数の表示画像生成方式の復号装置で、符号化装置12で生成された符号化ストリームを再生することができる。例えば、表示画像生成方式が所定視点表示画像生成方式である低機能の復号装置と、表示画像生成方式が自由視点画像生成方式である高機能の復号装置の両方で、自分の能力に応じた符号化ストリームの再生を行うことができる。
<第2実施の形態>
(伝送システムの第2実施の形態の構成例)
図10は、本開示を適用した伝送システムの第2実施の形態の構成例を示すブロック図である。
図10に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図10伝送システム170の構成は、撮像装置11、符号化装置12、および復号装置13が、撮像装置171、符号化装置172、および復号装置173に代わる点が、図1の伝送システム10の構成と異なる。伝送システム170では、撮像装置171により取得された2次元画像データとデプス画像データがそのまま符号化されて伝送される。
具体的には、伝送システム170の撮像装置171は、マルチカメラ181と画像処理部182により構成される。撮像装置171のマルチカメラ181を構成する複数のカメラは、それぞれ、2次元画像データを撮像する。マルチカメラ181は、各カメラにより撮像された2次元画像データを画像処理部182に供給する。
画像処理部182は、マルチカメラ181を構成する複数のカメラのうちの1つのカメラを基準カメラとし、他のカメラを参照カメラとする。画像処理部182は、マルチカメラ181の基準カメラにより撮像された2次元画像データと各参照カメラにより撮像された2次元画像データとに基づいて、基準カメラに対する各参照カメラの2次元画像データの同期ずれを検出する。また、画像処理部182は、基準カメラの同期ずれを0として検出する。画像処理部182は、検出された各カメラの視点の同期ずれを表す情報を含む同期ずれ情報とカメラ関連情報を符号化装置172に供給する。
また、画像処理部182は、各カメラにより撮像された2次元画像データに対してステレオマッチングを行うことにより、各カメラのデプス画像データを生成し、符号化装置172に供給する。
符号化装置172は、撮像装置171から供給される同期ずれ情報とカメラ関連情報をメタデータとする。符号化装置172は、図1の符号化部22と同様に、撮像装置171から供給される各カメラの2次元画像データおよびデプス画像データ、並びにメタデータを符号化し、符号化ストリームを生成する。符号化装置172(伝送部)は、生成された符号化ストリームを復号装置173に伝送する。
復号装置173の構成は、復号部32と変換部33が、復号部191と変換部192に代わる点が、図1の復号装置13の構成と異なる。
復号装置173の復号部191は、受け取り部31から供給される符号化ストリームを、符号化装置172における符号化方式に対応する方式で復号する。復号部191は、その結果得られるメタデータのうちの同期ずれ情報に基づいて、基準カメラと各参照カメラの2次元画像データおよびデプス画像データを同期させ、変換部192に供給する。また、復号部191は、メタデータのうちのカメラ関連情報を変換部192に供給する。
変換部192の構成は、3次元データがオクルージョン3次元データを用いて補正されない点を除いて、図1の変換部33の構成と同一であるので、説明は省略する。
(撮像装置の構成例)
図11は、図10の撮像装置171の構成例を示すブロック図である。
図11の撮像装置171のマルチカメラ181は、N個(Nは複数)のカメラ211−1乃至211−Nにより構成される。
カメラ211−1乃至211−Nは、例えば、カメラ211−1乃至211−Nの視点が所定の表示画像生成方式に対応する視点となるように配置される。カメラ211−1乃至211−Nは、それぞれ撮像を行い、その結果得られる動画像の2次元画像データ(撮像画像データ)を画像処理部182に供給する。以下では、カメラ211−1乃至211−Nを特に区別する必要がない場合、それらをまとめてカメラ211という。
画像処理部182は、キャリブレーション部221、同期ずれ検出部222、およびデプス生成部223により構成される。
画像処理部182のキャリブレーション部221は、カメラ211ごとに、マルチカメラ181から供給される2次元画像データに対して、カメラパラメータを用いてキャリブレーションを行う。キャリブレーション部221は、キャリブレーション後の各カメラ211の2次元画像データを同期ずれ検出部222に供給する。また、キャリブレーション部221は、カメラ関連情報を図10の符号化装置172に供給する。
同期ずれ検出部222は、カメラ211−1乃至211−Nのうちの1つを基準カメラとし、残りを参照カメラとする。同期ずれ検出部222は、キャリブレーション部221から供給される基準カメラの2次元画像データと参照カメラの2次元画像データに基づいて、参照カメラごとに、基準カメラに対する参照カメラの2次元画像データの同期ずれをmsecオーダーで検出する。
具体的には、同期ずれ検出部222は、基準カメラの2次元画像データと参照カメラの2次元画像データからフラッシュ光を検出する。同期ずれ検出部222は、フラッシュ光が検出された基準カメラの2次元画像データと参照カメラの2次元画像データの撮像時刻の差分を、参照カメラの2次元画像データの同期ずれとして検出する。
参照カメラの2次元画像データの同期ずれは、フラッシュ光を検出する方法以外の方法により、2次元画像データを用いて行われるようにしてもよい。また、カメラ211が2次元画像データとともに音声データを取得する場合には、基準カメラに対する参照カメラの音声データの同期ずれを検出することにより、参照カメラの2次元画像データの同期ずれを検出するようにしてもよい。
同期ずれ検出部222は、基準カメラの2次元画像データの同期ずれを0として検出する。同期ずれ検出部222は、検出された同期ずれの同期ずれ情報を符号化装置172に供給する。また、同期ずれ検出部222は、キャリブレーション部221から供給される各カメラ211の2次元画像データをデプス生成部223に供給する。
デプス生成部223は、同期ずれ検出部222から供給される各カメラ211の2次元画像データに対してステレオマッチングを行うことにより、各カメラ211のデプス画像データを生成する。デプス生成部223は、各カメラ211の2次元画像データとデプス画像データを符号化装置172に供給する。
(同期ずれ情報の例)
図12は、同期ずれ情報の例を示す図である。
図12の例では、カメラ211の視点が、図3のBの視点81乃至90である。
図12に示すように、同期ずれ情報は、各カメラ211の視点のカメラIDに、そのカメラ211のnum_units_in_tick,time_scale,Delta_num_units_in_tick、およびDelta_time_scaleが対応付けられることにより構成される。
num_units_in_tickは、フレーム間隔がtime_scaleで定義されるtime_unitの何個分であるかを示す情報である。time_scaleは、1秒間のtime_unitの数である。従って、num_units_in_tickとtime_scaleにより、フレームレートを表すことができる。
図12の例では、カメラIDが0,1,4、および5であるカメラ211のフレームレートは60Hz(59.94Hz)である。従って、例えば、カメラIDが0,1,4、および5であるカメラ211のnum_units_in_tickは1001であり、time_scaleは60000である。また、カメラIDが2,3、および6乃至9であるカメラ211のフレームレートは30Hz(29.97Hz)である。従って、例えば、カメラIDが2,3、および6乃至9であるカメラ211のnum_units_in_tickは2002であり、time_scaleは60000である。
Delta_num_units_in_tickは、同期ずれがDelta_time_scaleで定義されるtime_unitの何個分であるかを示す情報である。Delta_time_scaleは、1秒間のtime_unitの数である。従って、Delta_num_units_in_tickとDelta_time_scaleにより、同期ずれを表すことができる。
図12の例では、カメラIDが0であるカメラ211が基準カメラである。従って、0であるカメラIDに対応するDelta_num_units_in_tickは0である。また、図12の例では、カメラIDが3,4,7、および9であるカメラ211の同期ずれは0である。従って、3,4,7、および9であるカメラIDに対応するDelta_num_units_in_tickも0である。
さらに、図12の例では、カメラIDが1および5であるカメラ211の同期ずれは1/30(1/29.97)秒である。従って、例えば、1および5であるカメラIDに対応するDelta_num_units_in_tickは2002であり、Delta_time_scaleは60000である。また、カメラIDが2,6、および8であるカメラ211の同期ずれは1/15(1/14.985)秒である。従って、例えば、2,6、および8であるカメラIDに対応するDelta_num_units_in_tickは4004であり、Delta_time_scaleは60000である。
なお、同期ずれ情報には、同期ずれが発生している全てのカメラ211の同期ずれが同一であるかどうかを示す同期ずれ共通フラグが含まれるようにしてもよい。
この場合、同期ずれが発生している全てのカメラ211の同期ずれが同一であるとき、同期ずれ情報は、同期ずれが発生している全てのカメラ211の同期ずれが同一であることを示す同期ずれ共通フラグ、各カメラ211の同期ずれの有無を示す同期ずれフラグ(同期ずれ有無情報)、および、同期ずれが発生している全てのカメラ211に共通の同期ずれを表す情報により構成される。
一方、同期ずれが発生している全てのカメラ211の同期ずれが同一ではないとき、同期ずれ情報は、図12の同期ずれ情報と、同期ずれが発生している全てのカメラ211の同期ずれが同一ではないことを示す同期ずれ共通フラグとにより構成される。
(符号化装置の構成例)
図13は、図10の符号化装置172の構成例を示すブロック図である。
図13の符号化装置172は、AVC方式またはHEVC方式で符号化を行う場合の符号化装置172であり、2N個の符号化部241−1乃至241−2Nと伝送部242を備える。
符号化装置172の符号化部241−1乃至241−2Nは、それぞれ、撮像装置171から供給される各カメラ211の2次元画像データまたはデプス画像データを、AVC方式またはHEVC方式で符号化し、符号化ストリームを生成する。
符号化部241−1乃至241−2Nは、撮像装置171から供給されるカメラ関連情報と同期ずれ情報、並びに、カメラ関連情報および同期ずれ情報と符号化ストリームとを対応付ける情報をメタデータとする。符号化部241−1乃至241−2Nは、生成された符号化ストリームのUser unregistered SEIにメタデータを配置する。
なお、符号化部241−1乃至241−Nは、符号化ストリームのUser unregistered SEIに、その符号化ストリームに対応するメタデータのみを配置することもできる。この場合、カメラ関連情報および同期ずれ情報と符号化ストリームとを対応付ける情報はメタデータに含まれない。符号化部241−1乃至241−2Nは、メタデータが配置された符号化ストリームを伝送部242に供給する。
伝送部242は、符号化部241−1乃至241−2Nから供給される符号化ストリームを図10の復号装置173に伝送する。
(撮像装置と符号化装置の処理の説明)
図14は、図10の撮像装置171と符号化装置172の符号化処理を説明するフローチャートである。
図14のステップS51において、撮像装置171のカメラ211(図11)は、撮像を行い、その結果得られる動画像の2次元画像データを画像処理部182に供給する。
ステップS52において、画像処理部182のキャリブレーション部221は、カメラ211ごとに、マルチカメラ181から供給される2次元画像データに対して、カメラパラメータを用いてキャリブレーションを行う。キャリブレーション部221は、キャリブレーション後の各カメラ211の2次元画像データを同期ずれ検出部222に供給する。
ステップS53において、キャリブレーション部221は、カメラ関連情報をメタデータとして符号化装置172に供給する。
ステップS54において、同期ずれ検出部222は、参照カメラごとに、キャリブレーション部221から供給される基準カメラと参照カメラの2次元画像データに基づいて、基準カメラに対する参照カメラの2次元画像データの同期ずれを検出する。また、同期ずれ検出部222は、基準カメラの2次元画像データの同期ずれとして0を検出する。
ステップS55において、同期ずれ検出部222は、検出された同期ずれの同期ずれ情報をメタデータとして符号化装置172に供給する。また、同期ずれ検出部222は、キャリブレーション部221から供給される各カメラ211の2次元画像データをデプス生成部223に供給する。
ステップS56において、デプス生成部223は、同期ずれ検出部222から供給される各カメラ211の2次元画像データに対してステレオマッチングを行うことにより、各カメラ211のデプス画像データを生成する。
ステップS57において、デプス生成部223は、各カメラ211の2次元画像データとデプス画像データを符号化装置172に供給する。
ステップS58において、符号化装置172は、撮像装置171から供給される各カメラ211の2次元画像データおよびデプス画像データ、並びにメタデータを符号化し、符号化ストリームを生成する。
ステップS59において、符号化装置172は、生成された符号化ストリームを復号装置173に伝送する。そして、処理は終了する。
(復号部の構成例)
図15は、図10の復号部191の構成例を示すブロック図である。
図15の例では、符号化装置172の構成が図13の構成であり、符号化装置172から伝送されてくる符号化ストリームの符号化方式がAVC方式またはHEVC方式である。図15の復号部191は、2N個の復号処理部261−1乃至261−2Nと出力部262により構成される。
復号部191の復号処理部261−1乃至261−2Nは、受け取り部31から供給される各カメラ211の2次元画像データおよびデプス画像データの符号化ストリームを、それぞれ、AVC方式またはHEVC方式に対応する方式で復号する。復号処理部261−1乃至261−2Nは、復号の結果得られる各カメラ211の2次元画像データまたはデプス画像データと、メタデータを構成するカメラ関連情報および同期ずれ情報とを出力部262に供給する。
出力部262(同期処理部)は、復号処理部261−1乃至261−2Nから供給される同期ずれ情報に基づいて、参照カメラごとに、基準カメラと参照カメラの2次元画像データおよびデプス画像データを同期させて図10の変換部192に供給する。
例えば、同期ずれ情報に含まれる参照カメラのnum_units_in_tickが1001であり、Delta_num_units_in_tickが2002であり、time_scaleとDelta_time_scaleが60000である場合、出力部262は、参照カメラの2次元画像データとデプス画像データを2フレームだけ遅らせて変換部192に供給する。また、出力部262は、復号処理部261−1乃至261−2Nから供給されるカメラ関連情報を変換部192に供給する。
以上により、変換部192に供給される各カメラ211の2次元画像データとデプス画像データが同期するため、変換部192における3次元データの生成精度が向上する。
(復号装置の処理の説明)
図16は、図10の変換部192の構成が、3次元データがオクルージョン3次元データを用いて補正されない点を除いて図8の構成と同一である場合の復号装置173の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置172から符号化ストリームが伝送されてきたとき、開始される。
図16のステップS71において、復号装置173の受け取り部31は、符号化装置172から伝送されてくる符号化ストリームを受け取り、復号部191に供給する。
ステップS72において、復号部191は、受け取り部31から供給される符号化ストリームを、符号化装置172における符号化方式に対応する方式で復号する。
ステップS73において、復号部191は、復号の結果得られるメタデータのうちの同期ずれ情報に基づいて、参照カメラごとに、基準カメラと参照カメラの2次元画像データおよびデプス画像データを同期させて変換部192に供給する。また、出力部262は、メタデータのうちのカメラ関連情報を変換部192に供給する。
ステップS74において、変換部192は、復号部191から供給される2次元画像データ、デプス画像データ、およびカメラ関連情報に含まれるカメラパラメータを用いて、撮像装置11と同様に、被写体の3次元データを生成する。
ステップS75乃至S79の処理は、図9のステップS35乃至S39の処理と同様であるので、説明は省略する。
以上のように、伝送システム170では、各カメラ211で取得された2次元画像データおよびデプス画像データをそのまま符号化して伝送するため、各カメラ211の2次元画像データおよびデプス画像データの同期がとれていない場合がある。
しかしながら、伝送システム170では、撮像装置171が、各カメラの2次元画像データの同期ずれを検出し、符号化装置172が、検出された同期ずれの同期ずれ情報を、2次元画像データおよびデプス画像データとともに伝送する。従って、復号装置173は、同期ずれ情報に基づいて、各カメラ211の2次元画像データおよびデプス画像データを同期させることができる。その結果、復号装置173は、同期がとれたN個のカメラ211の2次元画像データおよびデプス画像データを用いて、3次元データを高精度で生成することができる。
<第3実施の形態>
(伝送システムの第3実施の形態の構成例)
図17は、本開示を適用した伝送システムの第3実施の形態の構成例を示すブロック図である。
図17に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図17の伝送システム280の構成は、新たに撮像装置281、符号化装置282、および合成装置283が設けられる点、復号装置13が復号装置284に代わる点、および、符号化装置12で生成される2次元画像データおよびデプス画像データの視点が、所定の表示画像生成方式に対応する複数の視点のうちの一部である点が、図1の伝送システム10の構成と異なる。
伝送システム280では、所定の表示画像生成方式に対応する複数の視点のうちの一部の視点(以下、第1の視点群という)の符号化ストリームが符号化装置12により生成され、他部の視点(以下、第2の視点群という)の符号化ストリームが符号化装置282により生成され、両方の符号化ストリームが合成(マージ)される。
具体的には、伝送システム280の撮像装置281は、図1の撮像装置11と同様に構成され、少なくとも一部が撮像装置11における被写体と同一である被写体を撮像し、その被写体の3次元データを符号化装置282に供給する。
符号化装置282は、変換部21と同様に構成される変換部291、符号化部22と同様に構成される符号化部292、および伝送部23と同様に構成される伝送部293により構成される。符号化装置282は、3次元データから第2の視点群の2次元画像データとデプス画像データを生成し、符号化して合成装置283に伝送する。
合成装置283は、符号化装置12から伝送されてくる第1の視点群の符号化ストリーム(以下、第1の部分符号化ストリーム)と符号化装置282から伝送されてくる第2の視点群の符号化ストリーム(以下、第2の部分符号化ストリーム)を受け取る。合成装置283は、第1の部分符号化ストリームに対する第2の部分符号化ストリームの同期ずれを検出し、第2の符号化ストリームの同期ずれを表す視点群同期ずれ情報を生成する。
視点群同期ずれ情報は、例えば、第2の視点群のフレームレートを表すnum_units_in_tickおよびtime_scaleと、同期ずれを表すDelta_num_units_in_tickおよびDelta_time_scaleにより構成される。
合成装置283は、第2の部分符号化ストリームのメタデータに視点群同期ずれ情報を含める。合成装置283は、視点群同期ずれ情報が配置された第2の部分符号化ストリームと第1の部分符号化ストリームを合成し、所定の表示画像生成方式に対応する複数の視点の符号化ストリームを生成して復号装置284に伝送する。
復号装置284の構成は、復号部32が復号部301に代わる点が、図1の復号装置13の構成と異なる。復号装置284の復号部301は、同期ずれ情報が視点群同期ずれ情報に代わる点、および、カメラ関連情報とともに、メタデータのうちのオクルージョン3次元データを変換部33に供給する点を除いて、図10の復号部191と同様であるので、説明は省略する。
(合成装置の構成例)
図18は、図17の合成装置283の構成例を示すブロック図である。
図18の合成装置283は、復号部321、復号部322、同期ずれ検出部323、およびメタデータ付加部324により構成される。
合成装置283の復号部321は、符号化装置12から伝送されてくる第1の部分符号化ストリームを受け取る。復号部321は、受け取られた第1の部分符号化ストリームを、符号化部22における符号化方式(図18の例ではMVCD)に対応する方式で復号し、第1の視点群の2次元画像データ、デプス画像データ、およびメタデータを生成する。復号部321は、生成された第1の視点群のうちの1つの視点の2次元画像データを同期ずれ検出部323に供給する。
復号部322は、符号化装置282から伝送されてくる第2の部分符号化ストリームを受け取る。復号部322は、受け取られた第2の部分符号化ストリームを、符号化部292における符号化方式(図18の例ではMVCD)に対応する方式で復号し、第2の視点群の2次元画像データ、デプス画像データ、およびメタデータを生成する。復号部322は、生成された第2の視点群のうちの1つの視点の2次元画像データを同期ずれ検出部323に供給する。
同期ずれ検出部323は、復号部321と復号部322から供給される2次元画像データに基づいて、第1の視点群に対する第2の視点群の2次元画像データの同期ずれを検出する。
同期ずれの検出方法は、第2実施の形態における同期ずれの検出方法と同一であってもよいし、異なっていてもよい。
また、同期ずれの検出には、2次元画像データだけでなく、カメラパラメータとデプス画像データを用いるようにしてもよい。この場合、例えば、同期ずれ検出部323は、カメラ関連情報に含まれるカメラパラメータに基づいて、第1の視点群のうちの1つの視点と第2の視点群のうちの1つの視点の各時刻の2次元画像データの特徴点の2次元位置を3次元位置に変換する。同期ずれ検出部323は、2つの視点の特徴点の3次元位置の差分が最小となるときの2次元画像データの時刻の差分を、第1の視点群に対する第2の視点群の2次元画像データの同期ずれとして検出する。
同期ずれ検出部323は、検出された同期ずれを表す視点群同期ずれ情報を、メタデータ付加部324に供給する。
メタデータ付加部324は、同期ずれ検出部323から供給される視点群同期ずれ情報を、符号化装置282から伝送されてくる第2の部分符号化ストリームにメタデータとして配置する。メタデータ付加部324は、視点群同期ずれ情報がメタデータとして置換された第2の部分符号化ストリームと、符号化装置12から伝送されてくる第1の部分符号化ストリームとを合成する。メタデータ付加部324(伝送部)は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置284に伝送する。
(合成装置の処理の説明)
図17の撮像装置11と符号化装置12、撮像装置281と符号化装置282の符号化処理は、図5の符号化処理と同様であるので、説明は省略する。
図19は、図18の合成装置283の合成処理を説明するフローチャートである。
図19のステップS91において、合成装置283の復号部321は、符号化装置12から伝送されてくる第1の部分符号化ストリームを、符号化部22における符号化方式に対応する方式で復号する。復号部321は、復号の結果得られる第1の視点群のうちの1つの視点の2次元画像データを同期ずれ検出部323に供給する。
ステップS92において、復号部322は、符号化装置282から伝送されてくる第2の部分符号化ストリームを、符号化部292における符号化方式に対応する方式で復号する。復号部322は、復号の結果得られる第2の視点群のうちの1つの視点の2次元画像データを同期ずれ検出部323に供給する。
ステップS93において、同期ずれ検出部323は、復号部321と復号部322から供給される2次元画像データに基づいて、第1の視点群に対する第2の視点群の2次元画像データの同期ずれを検出する。同期ずれ検出部323は、検出された同期ずれを表す視点群同期ずれ情報をメタデータ付加部324に供給する。
ステップS94において、メタデータ付加部324は、同期ずれ検出部323から供給される視点群同期ずれ情報を、符号化装置282から伝送されてくる第2の部分符号化ストリームにメタデータとして配置する。
ステップS95において、メタデータ付加部324は、符号化装置12から伝送されてくる第1の部分符号化ストリームと、視点群同期ずれ情報を含む第2の部分符号化ストリームとを合成する。メタデータ付加部324は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置284に供給し、処理を終了する。
復号装置284の復号処理は、同期ずれ情報が視点群同期ずれ情報に代わる点、および、ステップS72の処理によりオクルージョン3次元データも生成され、ステップS74の処理後、図9のステップS34と同様にオクルージョン3次元データを用いて3次元データが修正される点を除いて、図16の復号処理と同様である。
以上のように、伝送システム280では、符号化装置12により生成された第1の部分符号化ストリームと、符号化装置282により生成された第2の部分符号化ストリームが合成されて復号装置284に伝送される。従って、合成の結果得られる所定の表示画像生成方式に対応する第1の視点群と第2の視点群の符号化ストリームの同期がとれていない場合がある。
しかしながら、伝送システム280では、合成装置283が、第1の部分符号化ストリームと第2の部分符号化ストリームを一旦復号し、その結果得られる第1の視点群と第2の視点群の2次元画像データの同期ずれを検出する。そして、合成装置283は、検出された同期ずれを表す視点群同期ずれ情報を、第1の部分符号化ストリームおよび第2の部分符号化ストリームとともに伝送する。従って、復号装置284は、視点群同期ずれ情報に基づいて、第1の視点群と第2の視点群の2次元画像データおよびデプス画像データを同期させることができる。その結果、復号装置284は、同期がとれた第1の視点群と第2の視点群の2次元画像データとデプス画像データを用いて、3次元データを高精度で生成することができる。
<第4実施の形態>
(伝送システムの第4実施の形態における合成装置の構成例)
本開示を適用した伝送システムの第4実施の形態の構成は、合成装置283が合成装置340に代わり、復号装置284の変換部33が変換部380に代わる点、および視点群同期ずれ情報が座標変換情報に代わる点を除いて、図17の伝送システム280の構成と同一である。従って、以下では、合成装置340と変換部380についてのみ説明する。
図20は、合成装置340の構成例を示すブロック図である。
図20に示す構成のうち、図18の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図20の合成装置340の構成は、同期ずれ検出部323、メタデータ付加部324が、座標変換データ生成部341、メタデータ付加部342に代わる点が、図18の合成装置283の構成と異なる。合成装置340は、各視点の2次元画像データの同期ずれを検出するのではなく、第1の視点群の3次元座標系である第1の3次元座標系を第2の視点群の3次元座標系である第2の3次元座標系に変換する座標変換データを生成する。
具体的には、合成装置340の座標変換データ生成部341は、復号部322の復号により生成された第1の視点群の2次元画像データに基づいて、第1の視点群の視点ごとに、特徴点の2次元位置を求める。
また、座標変換データ生成部341は、復号部321の復号により生成された第2の視点群のカメラ関連情報に含まれるカメラパラメータ、2次元画像データ、およびデプス画像データに基づいて、上述した式(1)により、特徴点の第2の3次元座標系における3次元位置を求める。
座標変換データ生成部341は、第1の視点群の視点ごとに、特徴点の2次元位置と第2の3次元座標系における3次元位置に基づいて、座標変換データを生成する。座標変換データ生成部341は、第1の視点群の各視点の座標変換データを含む座標変換情報をメタデータ付加部342に供給する。
メタデータ付加部342は、座標変換データ生成部341から供給される座標変換情報を、符号化装置12から伝送されてくる第1の部分符号化ストリームにメタデータとして配置する。また、メタデータ付加部342は、座標変換情報がメタデータとして配置された第1の部分符号化ストリームと、符号化装置282から伝送されてくる第2の部分符号化ストリームを合成する。メタデータ付加部342(伝送部)は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置284に伝送する。
(座標変換データの生成処理の説明)
図21は、図20の座標変換データ生成部341による座標変換データを生成する処理を説明する図である。
図21の例では、第1の3次元座標系が、互いが垂直に交わる軸xA乃至zAを座標軸とする座標系であり、第2の3次元座標系が、互いが垂直に交わる軸xB乃至zBを座標軸とする、第1の3次元座標系とは異なる座標系である。
第1の視点群のうちの1つの視点の仮想カメラ361により撮像される、第1の3次元座標系における3次元位置がP1である特徴点の画像上の2次元位置PAは、以下の式(3)で表される。
RcamA|tcamAは、第1の部分符号化ストリームのメタデータのうちの、仮想カメラ361の第1の3次元座標系におけるカメラパラメータである。
一方、仮想カメラ361により撮像される、第1の3次元座標系における3次元位置がP1であり、第2の3次元座標系における3次元位置がP1´である特徴点の画像上の2次元位置PBは、以下の式(4)で表される。
RcamB|tcamBは、仮想カメラ361の第2の3次元座標系におけるカメラパラメータである。
式(4)を変形すると、3次元位置P1´は、以下の式(5)で表される。
2次元位置PAと2次元位置PBは同一であるので、上述した式(5)の2次元位置PBに式(3)の右辺を代入すると、式(6)になる。
式(6)は、第1の3次元座標系における3次元位置P1を、第2の3次元座標系における3次元位置P1´に変換する式である。従って、座標変換データ生成部341は、式(6)における、カメラの外部パラメータと同一の表現方法で表現されるRcon|tconを、座標変換データとして求める。
具体的には、座標変換データ生成部341は、第2の視点群のカメラパラメータ、2次元画像データ、およびデプス画像データに基づいて、上述した式(1)により、特徴点の第2の3次元座標系における3次元位置を求める。また、座標変換データ生成部341は、第1の視点群の2次元画像データに基づいて、第1の視点群の視点ごとに、特徴点の2次元位置を求める。
そして、座標変換データ生成部341は、第1の視点群の視点ごとに、特徴点の第2の3次元座標系における3次元位置をP1´に代入し、2次元位置をPAに代入した式(4)により、仮想カメラ361の第2の3次元座標系における外部パラメータRcamB|tcamBを求める。
以上の処理は、オンラインキャリブレーションと呼ばれる。オンラインキャリブレーションの詳細は、例えば、Zhengyou Zhang,"A Flexible New Technique for Camera Calibration",Technical Report MSR-TR-98-71,Microsoft Corporation,December 2.1998等に記載されている。
座標変換データ生成部341は、第1の視点群の視点ごとに、外部パラメータRcamB|tcamBと外部パラメータRcamB|tcamBを用いて、上述した式(6)により、座標変換データを求める。
(座標変換情報の例)
図22は、座標変換情報の例を示す図である。
図22の例では、第1の視点群の視点のカメラIDが0乃至3である。
図22に示すように、座標変換情報は、第1の視点群の各視点のカメラIDに、その視点のisCorrectionFlagと座標変換データが対応付けられることにより構成される。
isCorrectionFlagは、対応する視点の3次元座標系である第1の3次元座標系が、基準となる第2の3次元座標系と異なるかどうかを示すフラグである。isCorrectionFlagは、対応する視点の3次元座標系である第1の3次元座標系が、基準となる第2の3次元座標系と異なることを示す場合1であり、異ならないことを示す場合0である。
第4実施の形態では、第1の3次元座標系と第2の3次元座標系は異なっているので、全てのisCorrectionFlagは1である。また、図22では、カメラIDがiである視点の座標変換データをR|t(i)と記載している。
なお、座標変換情報には、第1の視点群の全ての視点の座標変換データが同一であるかどうかを示す座標変換共通フラグが含まれるようにしてもよい。この場合、第1の視点群の全ての視点の座標変換データが同一であるとき、座標変換情報は、第1の視点群の全ての視点の座標変換データが同一であることを示す座標変換共通フラグ(座標変換共通情報)と、第1の視点群の全ての視点に共通の座標変換データとにより構成される。座標変換共通フラグは、例えば、第1の視点群の全ての視点の座標変換データが同一である場合1であり、異なる場合0である。
(合成装置の処理の説明)
図23は、図20の合成装置340の合成処理を説明するフローチャートである。
図23のステップS111およびS112の処理は、図19のステップS91およびS92の処理と同様であるので、説明は省略する。
ステップS113において、合成装置340の座標変換データ生成部341は、第2の視点群のカメラパラメータ、2次元画像データ、およびデプス画像データと、第1の視点群の2次元画像データに基づいて、第1の視点群の各視点の座標変換データを生成する。座標変換データ生成部341は、第1の視点群の各視点の座標変換データを含む座標変換情報をメタデータ付加部342に供給する。
ステップS114において、メタデータ付加部342は、座標変換データ生成部341から供給される座標変換情報を、符号化装置12から伝送されてくる第1の部分符号化ストリームにメタデータとして配置する。
ステップS115において、メタデータ付加部342は、座標変換情報を含む第1の部分符号化ストリームと、符号化装置282から伝送されてくる第2の部分符号化ストリームを合成する。メタデータ付加部342は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置284に伝送する。そして、処理は終了する。
(変換部の構成例)
図24は、復号装置284の表示画像生成方式が自由視点表示画像生成方式である場合の変換部380の構成例を示すブロック図である。
図24に示す構成のうち、図8の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図24の変換部380の構成は、3次元データ生成部151が3次元データ生成部381に代わる点が、図8の変換部33の構成と異なる。
3次元データ生成部381は、3次元位置変換部391、3次元位置変換部392、座標変換部393、およびデータ生成部394により構成される。
3次元データ生成部381の3次元位置変換部391(第1の3次元位置変換部)は、復号部301から供給される第1の視点群のメタデータのうちのカメラパラメータ、2次元画像データ、およびデプス画像データに基づいて、上述した式(1)により、第1の視点の2次元画像データの各画素の2次元位置を、第1の3次元座標系における3次元位置に変換する。3次元位置変換部391は、第1の視点群の2次元画像データの各画素の第1の3次元座標系における3次元位置と、第1の視点群の2次元画像データとを座標変換部393に供給する。
3次元位置変換部392(第2の3次元位置変換部)は、復号部301から供給される第2の視点群のメタデータのうちのカメラパラメータ、2次元画像データ、およびデプス画像データに基づいて、上述した式(1)により、第2の視点群の2次元画像データの各画素の2次元位置を、第2の3次元座標系における3次元位置に変換する。3次元位置変換部392は、第2の視点群の2次元画像データの各画素の第2の3次元座標系における3次元位置と、第2の視点群の2次元画像データとをデータ生成部394に供給する。
座標変換部393は、復号部301から供給されるメタデータのうちの座標変換情報に基づいて、3次元位置変換部391から供給される第1の視点群の2次元画像データの各画素の第1の3次元座標系における3次元位置を、第2の3次元座標系における3次元位置に変換する。座標変換部393は、第1の視点群の2次元画像データの各画素の第2の3次元座標系における3次元位置と、第1の視点群の2次元画像データとをデータ生成部394に供給する。
データ生成部394は、第1の視点群および第2の視点群の2次元画像データの各画素の第2の3次元座標系における3次元位置に基づいて、第1の視点群および第2の視点群の2次元画像データから、被写体の3次元データを生成する。
データ生成部394は、生成された3次元データを、復号部301から供給されるメタデータのうちのオクルージョン3次元データを用いて修正し、被写体位置決定部152と2次元データ生成部154に供給する。
(復号装置の処理の説明)
図25は、第4実施の形態における復号装置284の復号処理を説明するフローチャートである。この復号処理は、例えば、合成装置340から符号化ストリームが伝送されてきたとき開始される。
図25のステップS131において、復号装置284の受け取り部31は、合成装置283から伝送されてくる符号化ストリームを受け取る。
ステップS132において、復号部301は、受け取られた符号化ストリームを、符号化部22および符号化部292における符号化方式に対応する方式で復号する。復号部301は、その結果得られる第1の視点群と第2の視点群の2次元画像データ、デプス画像データ、およびメタデータを変換部380(図24)に供給する。
ステップS133において、変換部380の3次元位置変換部391は、第1の視点群のメタデータのうちのカメラパラメータ、2次元画像データ、およびデプス画像データに基づいて、第1の視点群の2次元画像データの各画素の第1の3次元座標系における3次元位置を求める。3次元位置変換部391は、第1の視点群の2次元画像データの各画素の第1の3次元座標系における3次元位置と2次元画像データを座標変換部393に供給する。
ステップS134において、3次元位置変換部392は、第2の視点群のメタデータのうちのカメラパラメータ、2次元画像データ、およびデプス画像データに基づいて、第2の視点の2次元画像データの各画素の第2の3次元座標系における3次元位置を求める。3次元位置変換部392は、第2の視点群の2次元画像データの各画素の第2の3次元座標系における3次元位置と2次元画像データをデータ生成部394に供給する。
ステップS135において、座標変換部393は、復号部301から供給されるメタデータのうちの座標変換情報に基づいて、3次元位置変換部391から供給される第1の3次元座標系における3次元位置を、第2の3次元座標系における3次元位置に変換する。座標変換部393は、第1の視点群の2次元画像データの各画素の第2の3次元座標系における3次元位置と2次元画像データをデータ生成部394に供給する。
ステップS136において、データ生成部394は、第1の視点群および第2の視点群の2次元画像データの各画素の第2の3次元座標系における3次元位置に基づいて、第1の視点群および第2の視点群の2次元画像データから、被写体の3次元データを生成する。
ステップS137乃至S142の処理は、図9のステップS34乃至S39の処理と同様であるので、説明は省略する。
なお、合成装置283は、座標変換情報を第1の部分符号化ストリームに配置するのではなく、第1の部分符号化ストリームに配置される第1の3次元座標系における第1の視点群の各視点の外部パラメータRcamA|tcamAを、第2の3次元座標系における各視点の外部パラメータRcamB|tcamBに置換するようにしてもよい。この場合、3次元データ生成部381には、座標変換部393が設けられず、3次元位置変換部391は、外部パラメータRcamA|tcamAの代わりに外部パラメータRcamB|tcamBを用いて、直接、第2の3次元座標系における3次元位置を求める。
第1の視点群の全ての視点の座標変換データが異なる場合には、外部パラメータRcamA|tcamAを外部パラメータRcamB|tcamBに置換する方が望ましい。座標変換情報を第1の部分符号化ストリームに配置する場合、元の第1の部分符号化ストリームを修正する必要がないため、外部パラメータを置換する場合に比べて処理が容易である。
また、第1の視点群の各視点の座標変換データは、各視点の2次元画像データのスケール(視点と撮像面との奥行き方向の距離)が同一であれば同一である。従って、この場合には、座標変換データ生成部341は、第1の視点群のうちの1つの視点の座標変換データのみを、第1の視点群の各視点に共通の座標変換データとして生成するようにしてもよい。
以上のように、第4実施の形態では、符号化装置12により生成された第1の部分符号化ストリームと、符号化装置282により生成された第2の部分符号化ストリームが合成されて復号装置284に伝送される。従って、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームの3次元座標系が同一ではない場合がある。
しかしながら、第4実施の形態では、合成装置340が、第1の部分符号化ストリームと第2の部分符号化ストリームを一旦復号し、復号結果に基づいて座標変換データを生成する。そして、合成装置340は、生成された座標変換データを含む座標変換情報を、第1の部分符号化ストリームおよび第2の部分符号化ストリームとともに伝送する。従って、変換部380は、座標変換情報に基づいて、第1の視点群の2次元画像データの各画素の第1の3次元座標系における3次元位置を、第2の3次元座標系における3次元位置に変換することができる。その結果、変換部380は、第1の視点群と第2の視点群の2次元画像データの各画素の同一の第1の3次元座標系における3次元位置に基づいて、2次元画像データから3次元データを高精度で生成することができる。
第2乃至第4実施の形態において、2次元画像データとデプス画像データの所定の表示画像生成方式に対応する視点が異なる場合には、2次元画像データとデプス画像データそれぞれに基づいて、それぞれの視点の同期ずれの検出または座標変換データの生成が行われる。
<第5実施の形態>
(伝送システムの第5実施の形態における合成装置の構成例)
本開示を適用した伝送システムの第5実施の形態の構成は、合成装置283が合成装置400に代わり、復号装置284の変換部33が変換部420に代わる点、および視点群同期ずれ情報が色ずれ補正情報に代わる点を除いて、図17の伝送システム280の構成と同一である。従って、以下では、合成装置400と変換部420についてのみ説明する。
図26は、合成装置400の構成例を示すブロック図である。
図26に示す構成のうち、図18の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図26の合成装置400の構成は、同期ずれ検出部323、メタデータ付加部324が、色ずれ補正データ生成部401、メタデータ付加部402に代わる点が、図18の合成装置283の構成と異なる。合成装置400は、各視点の2次元画像データの同期ずれを検出するのではなく、各視点の2次元画像データの色ずれを補正する色ずれ補正データを生成する。
具体的には、合成装置400の色ずれ補正データ生成部401は、第1の視点群と第2の視点群の視点のうちの1つを基準視点とし、他の視点を参照視点とする。色ずれ補正データ生成部401は、参照視点ごとに、復号部321または復号部322の復号により生成された基準視点と参照視点の2次元画像データに基づいて、基準視点に対する参照視点の2次元画像データの色ずれを補正する色ずれ補正データを生成する。
具体的には、参照視点の2次元画像データのうちの特徴点のRGB値(R,G,B)に対して逆ガンマ補正が行われたRGB値(R´,G´,B´)は、以下の式(7)により表される。
γR, γG, γBは、それぞれ、R,G,Bのガンマ値である。
また、RGB値(R´,G´,B´)を、基準視点の2次元画像データのうちの、参照視点のRGB値が(R、G,B)である特徴点のRGB値(Rc,Gc,Bc)に対して逆ガンマ補正を行ったRGB値(R´´,G´´,B´´)に変換する式は、以下の式(8)により表される。
a11乃至a13,a21乃至a23、およびa31乃至a33は、係数である。
さらに、RGB値(Rc,Gc,Bc)は、RGB値(R´´,G´´,B´´)に対してガンマ補正を行った値であるので、以下の式(9)で表される。
以上により、色ずれ補正データ生成部401は、参照視点の2次元画像データから特徴点のRGB値(R,G,B)を抽出し、基準視点の2次元画像データから特徴点のRGB値(Rc,Gc,Bc)を抽出する。そして、色ずれ補正データ生成部401は、抽出されたRGB値(R,G,B)とRGB値(Rc,Gc,Bc)に基づいて、RGB値(R,G,B)をRGB値(Rc,Gc,Bc)に変換する際に必要となるガンマ値γR, γG, γBと、係数a11乃至a13、a21乃至a23、およびa31乃至a33とを色ずれ補正データとして生成する。
また、色ずれ補正データ生成部401は、基準視点の色ずれ補正データとして、RGB値(R,G,B)とRGB値(Rc,Gc,Bc)が同一となる色ずれ補正データを生成する。色ずれ補正データ生成部401は、生成された各視点の色ずれ補正データを含む色ずれ補正情報をメタデータ付加部402に供給する。
メタデータ付加部402は、色ずれ補正データ生成部401から供給される色ずれ補正情報のうちの第1の視点群の色ずれ補正情報を、符号化装置12から伝送されてくる第1の部分符号化ストリームにメタデータとして配置する。また、メタデータ付加部402は、色ずれ補正データ生成部401から供給される色ずれ補正情報のうちの第2の視点群の色ずれ補正情報を、符号化装置282から伝送されてくる第2の部分符号化ストリームにメタデータとして配置する。
メタデータ付加部402は、色ずれ補正情報がメタデータとして配置された第1の部分符号化ストリームと第2の部分符号化ストリームを合成する。メタデータ付加部402(伝送部)は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置284に伝送する。
(色ずれ補正情報の例)
図27は、色ずれ補正情報の例を示す図である。
図27の例では、所定の表示画像生成方式に対応する複数の視点の数が9である。
図27に示すように、色ずれ補正情報は、所定の表示画像生成方式に対応する全ての視点の各カメラIDに、その視点のisCorrectionFlagと色ずれ補正データが対応付けられることにより構成される。
isCorrectionFlagは、対応する視点と基準視点との間で色ずれが発生しているかどうかを示すフラグである。isCorrectionFlagは、対応する視点と基準視点との間で色ずれが発生していることを示す場合1であり、発生していないことを示す場合0である。
図27の例では、カメラIDが0である視点が基準視点であり、カメラIDが1,2,4、および6乃至9である参照視点と基準視点との間で色ずれが発生していない。従って、0乃至2,4、および6乃至9であるカメラIDに対応するisCorrectionFlagは0であり、これらのカメラIDに対応して色ずれ補正データは記述されない。
また、図27の例では、カメラIDが3および5である参照視点と基準視点との間で色ずれが発生している。従って、3および5であるカメラIDに対応するisCorrectionFlagは1であり、これらのカメラIDに対応して色ずれ補正データが記述される。図27では、カメラIDがiである視点の色ずれ補正データをP(i)と記載している。
なお、色ずれ補正情報には、色ずれが発生している全ての視点の色ずれ補正データが同一であるかどうかを示す色ずれ共通フラグが含まれるようにしてもよい。この場合、色ずれが発生している全ての視点の色ずれ補正データが同一であるとき、色ずれ補正情報は、色ずれが発生している全ての視点の色ずれ補正データが同一であることを示す色ずれ共通フラグ(色ずれ共通情報)と、色ずれが発生している全ての視点に共通の色ずれ補正データとにより構成される。色ずれ共通フラグは、例えば、色ずれが発生している全ての視点の色ずれ補正データが同一である場合1であり、異なる場合0である。
(合成装置の処理の説明)
図28は、図26の合成装置400の合成処理を説明するフローチャートである。
図28のステップS161およびS162の処理は、図19のステップS91およびS92の処理と同様であるので、説明は省略する。
ステップS163において、合成装置400の色ずれ補正データ生成部401は、参照視点ごとに、復号部321または復号部322の復号により生成された基準視点と参照視点の2次元画像データに基づいて、各参照視点の色ずれ補正データを生成する。また、色ずれ補正データ生成部401は、基準視点の色ずれ補正データとして、RGB値(R,G,B)とRGB値(Rc,Gc,Bc)が同一となる色ずれ補正データを生成する。色ずれ補正データ生成部401は、生成された各視点の色ずれ補正データを含む色ずれ補正情報をメタデータ付加部402に供給する。
ステップS164において、メタデータ付加部402は、色ずれ補正データ生成部401から供給される色ずれ補正情報のうちの第1の視点群の色ずれ補正情報を、符号化装置12から伝送されてくる第1の部分符号化ストリームにメタデータとして配置する。
ステップS165において、メタデータ付加部402は、色ずれ補正データ生成部401から供給される色ずれ補正情報のうちの第2の視点群の色ずれ補正情報を、符号化装置282から伝送されてくる第2の部分符号化ストリームにメタデータとして配置する。
ステップS166において、メタデータ付加部402は、色ずれ補正情報がメタデータとして配置された第1の部分符号化ストリームと第2の部分符号化ストリームを合成する。メタデータ付加部402は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置284に伝送する。
(変換部の構成例)
図29は、変換部420の構成例を示すブロック図である。
図29に示す構成のうち、図8の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図29の変換部420の構成は、色補正部421が新たに設けられる点が、図8の変換部33の構成と異なる。
変換部420の色補正部421は、復号部301による復号の結果得られる色ずれ補正情報に基づいて、上述した式(7)乃至(9)により、第1の視点群と第2の視点群の2次元画像データの色補正を行う。これにより、全ての視点の2次元画像データにおいて色とRGB値との関係が同一になる。色補正部421は、色補正後の第1の視点群と第2の視点群の2次元画像データと、復号部301による復号の結果得られる第1の視点群と第2の視点群のデプス画像データを3次元データ生成部151に供給する。
第5実施の形態における復号装置284の復号処理は、ステップS32とステップS33の間で、色補正部421による色補正が行われる点を除いて、図9の復号処理と同様であるので、説明は省略する。
以上のように、第5実施の形態では、異なるカメラにより撮像された2次元画像データを用いて生成された第1の部分符号化ストリームと第2の部分符号化ストリームを合成して復号装置284に伝送する。従って、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームにおいて色ずれが発生する場合がある。
しかしながら、第5実施の形態では、合成装置340が、第1の部分符号化ストリームと第2の部分符号化ストリームを一旦復号し、その結果得られる各視点の2次元画像データの色ずれ補正データを生成する。そして、合成装置340は、生成された色ずれ補正データの色ずれ補正情報を、第1の部分符号化ストリームおよび第2の部分符号化ストリームとともに伝送する。従って、変換部420は、色ずれ補正データに基づいて、第1の視点群と第2の視点群の各視点の2次元画像データの色ずれを補正することができる。その結果、変換部420は、色ずれが補正された第1の視点群と第2の視点群の2次元画像データとデプス画像データを用いて3次元データを生成することにより、3次元データのうちの2次元画像データの精度を向上させることができる。
また、第5実施の形態では、合成装置400が、色ずれ補正情報を伝送するので、第1の部分符号化ストリームと第2の部分符号化ストリームに色ずれ補正情報をメタデータとして配置するだけで済む。従って、第1の部分符号化ストリームと第2の部分符号化ストリームを復号し、色ずれを補正して再符号化する場合に比べて、合成装置400の処理量を削減することができる。
なお、第5実施の形態において、視点または視点群ごとの2次元画像データの、中心部に対する周辺部の減光を補正するゲインを含む周辺減光補正情報がメタデータとして第1の部分符号化ストリームと第2の部分符号化ストリームに配置されるようにしてもよい。また、視点または視点群ごとのExif(Exchangeable image file format)情報がメタデータとして配置されるようにしてもよい。
<第6実施の形態>
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図30は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ600において、CPU(Central Processing Unit)601,ROM(Read Only Memory)602,RAM(Random Access Memory)603は、バス604により相互に接続されている。
バス604には、さらに、入出力インタフェース605が接続されている。入出力インタフェース605には、入力部606、出力部607、記憶部608、通信部609、及びドライブ610が接続されている。
入力部606は、キーボード、マウス、マイクロフォンなどよりなる。出力部607は、ディスプレイ、スピーカなどよりなる。記憶部608は、ハードディスクや不揮発性のメモリなどよりなる。通信部609は、ネットワークインタフェースなどよりなる。ドライブ610は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア611を駆動する。
以上のように構成されるコンピュータ600では、CPU601が、例えば、記憶部608に記憶されているプログラムを、入出力インタフェース605及びバス604を介して、RAM603にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ600(CPU601)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア611に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ600では、プログラムは、リムーバブルメディア611をドライブ610に装着することにより、入出力インタフェース605を介して、記憶部608にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部609で受信し、記憶部608にインストールすることができる。その他、プログラムは、ROM602や記憶部608に、あらかじめインストールしておくことができる。
なお、コンピュータ600が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
本開示は、以下のような構成もとることができる。
(1)
第1の視点の2次元画像データと第2の視点の2次元画像データとに基づいて、前記第1の視点の第1の3次元座標系における3次元位置を、前記第2の視点の第2の3次元座標系における3次元位置に変換する座標変換データを生成する座標変換データ生成部と、
前記第1の視点の2次元画像データと各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第1の符号化データ、前記第2の視点の2次元画像データとデプス画像データの符号化データである第2の符号化データ、および前記座標変換データ生成部により生成された前記座標変換データを含む座標変換情報を伝送する伝送部と
を備える画像処理装置。
(2)
前記座標変換データは、カメラの外部パラメータと同一の表現方法で表現される
ように構成された
前記(1)に記載の画像処理装置。
(3)
前記第1の視点の数は複数であり、
前記座標変換データ生成部は、前記第1の視点ごとに前記座標変換データを生成する
ように構成された
前記(1)または(2)に記載の画像処理装置。
(4)
前記座標変換情報は、全ての前記第1の視点の前記座標変換データが同一であるか否かを示す座標変換共通情報を含む
ように構成された
前記(3)に記載の画像処理装置。
(5)
前記伝送部は、全ての前記第1の視点の前記座標変換データが同一である場合、全ての前記第1の視点の前記座標変換データが同一であることを示す座標変換共通情報と、全ての前記第1の視点に共通の前記座標変換データとを含む前記座標変換情報を伝送する
ように構成された
前記(3)に記載の画像処理装置。
(6)
画像処理装置が、
第1の視点の2次元画像データと第2の視点の2次元画像データとに基づいて、前記第1の視点の第1の3次元座標系における3次元位置を、前記第2の視点の第2の3次元座標系における3次元位置に変換する座標変換データを生成する座標変換データ生成ステップと、
前記第1の視点の2次元画像データと各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第1の符号化データ、前記第2の視点の2次元画像データとデプス画像データの符号化データである第2の符号化データ、および前記座標変換データ生成ステップの処理により生成された前記座標変換データを含む座標変換情報を伝送する伝送ステップと
を含む画像処理方法。
(7)
第1の視点の2次元画像データと各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第1の符号化データと、第2の視点の2次元画像データとデプス画像データの符号化データである第2の符号化データを復号する復号部と、
前記第1の視点の第1の3次元座標系における第1のカメラパラメータ、および、前記復号部による復号の結果得られる前記第1の視点の2次元画像データとデプス画像データに基づいて、前記第1の視点の2次元画像データの各画素の2次元位置を、前記第1の3次元座標系における3次元位置に変換する第1の3次元位置変換部と、
前記第1の3次元座標系における3次元位置を、前記第2の視点の第2の3次元座標系における3次元位置に変換する座標変換データを含む座標変換情報に基づいて、前記第1の3次元位置変換部による変換後の前記第1の3次元座標系における3次元位置を、前記第2の3次元座標系における3次元位置に変換する座標変換部と
を備える画像処理装置。
(8)
前記第2の視点の前記第2の3次元座標系における第2のカメラパラメータ、および、前記復号部による復号の結果得られる前記第2の視点の2次元画像データとデプス画像データに基づいて、前記第2の視点の2次元画像データの各画素の2次元位置を、前記第2の3次元座標系における3次元位置に変換する第2の3次元位置変換部と、
前記座標変換部により変換された前記3次元位置と、前記第2の3次元位置変換部による変換後の前記3次元位置とに基づいて、前記第1の視点の2次元画像データと、前記第2の視点の2次元画像データとから、被写体の3次元データを生成するデータ生成部と
をさらに備える
前記(7)に記載の画像処理装置。
(9)
前記座標変換データは、カメラの外部パラメータと同一の表現方法で表現される
ように構成された
前記(7)または(8)に記載の画像処理装置。
(10)
前記第1の視点の数は複数であり、
前記座標変換データは、前記第1の視点ごとに生成される
ように構成された
前記(7)乃至(9)のいずれかに記載の画像処理装置。
(11)
前記座標変換情報は、全ての前記第1の視点の前記座標変換データが同一であるか否かを示す座標変換共通情報を含む
ように構成された
前記(10)に記載の画像処理装置。
(12)
前記座標変換情報は、全ての前記第1の視点の前記座標変換データが同一であることを示す座標変換共通情報と、全ての前記第1の視点に共通の前記座標変換データとを含む
ように構成された
前記(10)に記載の画像処理装置。
(13)
画像処理装置が、
第1の視点の2次元画像データと各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データである第1の符号化データと、第2の視点の2次元画像データとデプス画像データの符号化データである第2の符号化データを復号する復号ステップと、
前記第1の視点の第1の3次元座標系における第1のカメラパラメータ、および、前記復号ステップの処理による復号の結果得られる前記第1の視点の2次元画像データとデプス画像データに基づいて、前記第1の視点の2次元画像データの各画素の2次元位置を、前記第1の3次元座標系における3次元位置に変換する第1の3次元位置変換ステップと、
前記第1の3次元座標系における3次元位置を、前記第2の視点の第2の3次元座標系における3次元位置に変換する座標変換データを含む座標変換情報に基づいて、前記第1の3次元位置変換ステップの処理による変換後の前記第1の3次元座標系における3次元位置を、前記第2の3次元座標系における3次元位置に変換する座標変換ステップと
を含む画像処理方法。