WO2019107181A1

WO2019107181A1 - 送信装置、送信方法、および受信装置

Info

Publication number: WO2019107181A1
Application number: PCT/JP2018/042427
Authority: WO
Inventors: 祐一荒木; 田中　潤一
Original assignee: ソニー株式会社
Priority date: 2017-12-01
Filing date: 2018-11-16
Publication date: 2019-06-06
Also published as: CN111406405A; US20200380775A1

Abstract

本技術は、3Dデータを生成することができるようにする送信装置、送信方法、および受信装置に関する。フラグ生成装置は、３D画像の２つのフレームの相違度に基づく情報を生成する。送信装置は、生成された相違度に基づく情報を送信する。本技術は、例えば、３D画像のデータを伝送する送信装置等に適用できる。

Description

送信装置、送信方法、および受信装置

　本技術は、送信装置、送信方法、および受信装置に関し、特に、３Dデータの生成に関する送信装置、送信方法、および受信装置である。

　3D形状のデータ（3Dデータ）を、視聴するユーザの端末へ伝送して表示する場合、滑らかな動きを再現するためには、フレームレートは高い方が好ましいが、現時点では、高フレームレートによる3Dデータの生成は難しい場合がある。

　そのため、生成された低フレームレートの3Dデータをアップコンバージョンすることにより、より高いフレームレートの3Dデータを生成することが考えられる。

　例えば、非特許文献１には、近接フレーム上に生成した２D画像のメッシュデータから、その間のフレームの頂点位置を双方向の補間により生成し、より高いフレームレートの3Dデータを生成する技術が提案されている（例えば、非特許文献１参照）。

Kyung-Yeon Min, Jong-Hyun Ma, and Dong-Gyu Sim(Kwangwoon University),Ivan V. Bajic(Simon Fraser University),"Bidirectional Mesh-Based Frame Rate Up-Conversion", IEEE Computer Society, 2015

　しかしながら、非特許文献１の技術は、２D画像ベースの補間処理であるので、３D形状のセルフオクルージョンに対応できない。

　本技術は、このような状況に鑑みてなされたものであり、3Dデータを生成することができるようにするものである。

　本技術の第１の側面の送信装置は、３D画像の２つのフレームの相違度に基づく情報を生成する情報生成部と、生成された前記相違度に基づく情報を送信する送信部とを備える。

　本技術の第１の側面の送信方法は、送信装置が、３D画像の２つのフレームの相違度に基づく情報を生成し、生成された前記相違度に基づく情報を送信する。

　本技術の第１の側面においては、３D画像の２つのフレームの相違度に基づく情報が生成され、送信される。

　本技術の第２の側面の受信装置は、３D画像の２つのフレームの相違度に基づく情報に基づいて、前記２つのフレームの間の補間フレームを補間フレーム生成処理により生成する画像生成部を備える。

　本技術の第２の側面においては、３D画像の２つのフレームの相違度に基づく情報に基づいて、前記２つのフレームの間の補間フレームが、補間フレーム生成処理により生成される。

　なお、本技術の第１の側面の送信装置および第２の側面の受信装置は、コンピュータにプログラムを実行させることにより実現することができる。

　また、本技術の第１の側面の送信装置および第２の側面の受信装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

　送信装置および受信装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

　本技術の第１の側面によれば、データを受信する受信側において、3Dデータを生成することができる。

　また、本技術の第２の側面によれば、3Dデータを生成することができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。撮影から3Dデータの生成までの処理を説明する図である。メッシュトラッキング処理を説明する図である。補間処理を説明する図である。画像生成装置による補間フレーム生成処理を説明する図である。画像生成装置による補間フレーム生成処理を説明する図である。キーフレームフラグ生成処理を説明するフローチャートである。キーフレームフラグ格納処理を説明する図である。図８のAのキーフレームフラグ格納処理を説明するフローチャートである。図８のBのキーフレームフラグ格納処理を説明するフローチャートである。図８のAのキーフレームフラグ分離処理を説明するフローチャートである。図８のBのキーフレームフラグ分離処理を説明するフローチャートである。補間フレーム生成処理を説明するフローチャートである。補間処理を説明するフローチャートである。伝送データ送信処理を説明するフローチャートである。伝送データ受信処理を説明するフローチャートである。補間タイプ生成処理を説明するフローチャートである。補間タイプが伝送される場合の補間フレーム生成処理を説明するフローチャートである。本技術を適用した画像処理システムの第２実施の形態の構成例を示すブロック図である。本技術を適用した画像処理システムの第３実施の形態の構成例を示すブロック図である。キーフレームフラグ推定処理を説明するフローチャートである。本技術を適用した画像処理システムの第４実施の形態の構成例を示すブロック図である。補間フレーム生成処理を説明する図である。ハイブリッド補間フレーム生成処理を説明するフローチャートである。補間タイプを用いる場合の補間タイプ生成処理を説明するフローチャートである。補間タイプを用いる場合のハイブリッド補間フレーム生成処理を説明するフローチャートである。本技術を適用した画像処理システムの第５実施の形態の構成例を示すブロック図である。本技術を適用した画像処理システムの第６実施の形態の構成例を示すブロック図である。本技術を適用した画像処理システムの第７実施の形態の構成例を示すブロック図である。本技術を適用した画像処理システムの第８実施の形態の構成例を示すブロック図である。本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．画像処理システムの第１実施の形態（基本構成例）
２．キーフレームフラグ生成処理
３．キーフレームフラグ格納処理
４．キーフレームフラグ分離処理
５．補間フレーム生成処理
６．補間処理
７．伝送データ送信処理
８．伝送データ受信処理
９．補間タイプを用いる例
１０．画像処理システムの第２実施の形態（圧縮符号化を行わない構成例）
１１．画像処理システムの第３実施の形態（キーフレームフラグを送信しない構成例）
１２．画像処理システムの第４実施の形態（ハイブリッド構成例）
１３．ハイブリッド補間フレーム生成処理
１４．補間タイプを用いる例
１５．画像処理システムの第５実施の形態（圧縮符号化を行わないハイブリッド構成例）
１６．画像処理システムの第６実施の形態（キーフレームフラグを送信しないハイブリッド構成例）
１７．画像処理システムの第７実施の形態（ハイブリッド構成の変形例）
１８．画像処理システムの第８実施の形態（基本構成の変形例）
１９．コンピュータの構成例

＜１．画像処理システムの第１実施の形態＞
　図１は、本技術を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。

　図１の画像処理システム１は、被写体を撮影して生成した3D形状のデータ（3Dデータ）を送信する送信側と、送信側から送信されてきた3Dデータから高フレームレートの3Dデータを生成する受信側とを備えるシステムである。送信側は、受信側に対して、送信する3Dデータを高フレームレートにアップコンバージョンするための情報、具体的には２つのフレームの相違度に基づく情報を付加した3Dデータを伝送する。受信側は、その２つのフレームの相違度に基づく情報を用いて、受信した3Dデータを高フレームレートにアップコンバージョンする。

　画像処理システム１は、複数の撮像装置１０A－１乃至１０A－N（N＞１）、３Dモデリング装置１１、フラグ生成装置１２、トラッキング装置１３、符号化装置１４、送信装置１５、受信装置１６、復号装置１７、および、画像生成装置１８を有する。

　送信側は、複数の撮像装置１０A－１乃至１０A－N、３Dモデリング装置１１、フラグ生成装置１２、トラッキング装置１３、符号化装置１４、および、送信装置１５に相当し、受信側は、受信装置１６、復号装置１７、および、画像生成装置１８に相当する。複数の撮像装置１０A－１乃至１０A－Nのそれぞれを特に区別する必要がない場合、単に撮像装置１０Aと称する。

　撮像装置１０Aは、パッシブカメラ、または、アクティブカメラ（アクティブセンサ）のどちらかで構成される。

　撮像装置１０Aがパッシブカメラで構成される場合、撮像装置１０Aは、被写体を撮影し、その結果としてテクスチャ画像(RGB画像)を生成し、３Dモデリング装置１１に供給する。

　撮像装置１０Aがアクティブカメラで構成される場合、撮像装置１０Aは、パッシブカメラと同様のテクスチャ画像を生成するとともに、IR光を照射して、被写体から反射して返ってきたIR光を受光することにより、IR画像を生成し、３Dモデリング装置１１に供給する。また、撮像装置１０Aは、受光したIR光から、被写体までの距離を計測し、被写体までの距離をデプス値として格納したデプス画像も生成して、３Dモデリング装置１１に供給する。

　複数の撮像装置１０Aは、同期して被写体の撮影を行い、その結果得られる撮影画像を３Dモデリング装置１１に供給する。ここで、撮像装置１０Aで撮像して得られる撮影画像は、撮像装置１０Aがパッシブカメラで構成される場合、テクスチャ画像のみであり、撮像装置１０Aがアクティブカメラで構成される場合、テクスチャ画像、IR画像、および、デプス画像である。また、撮影画像は、動画像で構成される。

　３Dモデリング装置１１は、複数の撮像装置１０Aそれぞれで撮像して得られた撮影画像に基づいて、被写体の３D形状のモデリング処理を実行し、その結果として得られる3D形状のデータ（3Dデータ）をトラッキング装置１３およびフラグ生成装置１２に供給する。

　図２は、複数の撮像装置１０Aによる撮影から、３Dモデリング装置１１による3Dデータの生成までの処理を説明する図である。

　複数の撮像装置１０Aは、図２に示されるように、被写体２１を取り囲むように、被写体２１の外側に配置される。図２の例は、撮像装置１０Aの台数が３台の例を示しており、撮像装置１０A－１乃至１０A－３が被写体２１の周りに配置されている。

　３Dモデリング装置１１は、同期して撮影された３台の撮像装置１０A－１乃至１０A－３の撮影画像を用いて、3Dデータを生成する。3Dデータは、例えば、被写体２１のジオメトリ情報を、ポリゴンメッシュと呼ばれる頂点（Vertex）と頂点間のつながりで表したメッシュデータと、各ポリゴンメッシュに対応して色情報を保有する形式で表される。この形式は、MPEG-4 Part 16 AFX (Animation Framework eXtension) で規格化された形式である。なお、3Dデータは、その他の形式、例えば、被写体２１の３次元位置を点の集合（ポイントクラウド）と、各点に対応して色情報を保有する形式などでもよい。

　複数の撮像装置１０Aで得られた撮影画像から、3Dデータを生成する処理は、３D再構成（処理）とも呼ばれる。

　図１に戻り、フラグ生成装置１２は、３Dモデリング装置１１からの3Dデータに対して、前後の２つのフレームで3D形状が大きく変化するか否かをフレーム単位で判定し、判定結果を、キーフレームフラグとして、トラッキング装置１３および送信装置１５に供給する。キーフレームフラグは、２つのフレームの相違度に基づく情報であり、例えば、あるフレームのキーフレームフラグが“１”である場合、そのフレームはキーフレーム、すなわち、前のフレームから3D形状が大きく変化したフレームであることを表し、キーフレームフラグが“０”である場合、そのフレームはキーフレームではないことを表す。

　フラグ生成装置１２には、ポリゴンメッシュのメッシュデータと、各ポリゴンメッシュに対応して色情報を保有する形式で3Dデータが供給される。

　フラグ生成装置１２は、隣接する２つのフレームのメッシュデータの相違度を計算して、計算した相違度が所定の閾値より大きい場合には、キーフレームフラグを“１”に設定し、計算した相違度所定の閾値以下である場合には、キーフレームフラグを“０”に設定する。

　隣接する２つのフレームのメッシュデータの相違度は、例えば、次式（１）のハウスドルフ距離を用いて計算することができる。

　式（１）の集合Aは、隣接する２つのフレームのうちの一方のフレームのメッシュデータの各頂点であり、集合Bは、他方のフレームのメッシュデータの各頂点である。式（１）のハウスドルフ距離では、集合Aに含まれる頂点から集合Bまでの最短距離を求めたもののうちの最大値が計算される。

　トラッキング装置１３は、３Dモデリング装置１１から3Dデータとして供給される各フレームのメッシュデータに対してメッシュトラッキング処理を実行し、メッシュトラッキング処理後のメッシュデータを符号化装置１４に供給する。

　また、トラッキング装置１３には、前後の２つのフレームで3D形状が大きく変化するか否かを示すキーフレームフラグが、フラグ生成装置１２から、フレーム単位で供給される。

　図３は、トラッキング装置１３によるメッシュトラッキング処理を説明する図である。

　なお、以下では、トラッキング装置１３から供給されたメッシュトラッキング処理前の各フレームのメッシュデータを、アンレジスタードメッシュ（Unregistered Mesh）の略でＵメッシュとも称し、トラッキング装置１３から出力されるメッシュトラッキング処理後の各フレームのメッシュデータを、レジスタードメッシュ（Registered Mesh）の略でＲメッシュとも称する。また、単に、メッシュと記述する場合は、アンレジスタードメッシュを表す。

　３Dモデリング装置１１によって生成されたＵメッシュは、フレーム間の頂点の対応は考慮されていないため、フレーム間で頂点の対応は取れていない。このため、例えば、頂点の数が、フレーム単位で異なる場合がある。

　これに対して、メッシュトラッキング処理は、前後のフレームどうしで、対応する頂点を探索して決定するので、Ｒメッシュでは、フレーム間で頂点の位置の対応が取れており、各フレームの頂点の数は同じである。この場合、被写体２１の動きを、頂点の移動のみで表現することができる。

　Ｒメッシュは、フレーム間で頂点の位置の対応が取れているので、図４に示されるように、隣接する既知の２つのフレームのＲメッシュの間のフレームのＲメッシュを補間処理により求めることができる。

　図４は、時刻ｔ０と時刻ｔ１との間の時刻ｔ０．５のフレームのＲメッシュを補間処理により求め、時刻ｔ１と時刻ｔ２との間の時刻ｔ１．５のフレームのＲメッシュを補間処理により求める様子を示している。

　図１に戻り、トラッキング装置１３は、フラグ生成装置１２から供給されるキーフレームフラグが“０”のフレームに対しては、その前の時刻のフレームのメッシュデータに対してメッシュトラッキング処理を実行し、メッシュトラッキング処理後のメッシュデータを符号化装置１４に供給する。

　一方、トラッキング装置１３は、フラグ生成装置１２から供給されるキーフレームフラグが“１”のフレームに対しては、その前の時刻のフレームのメッシュデータと対応が取れないので、Ｕメッシュを、そのままＲメッシュとして、符号化装置１４に供給する。

　符号化装置１４は、トラッキング装置１３から供給される各フレームのＲメッシュを、所定の符号化方式で圧縮符号化する。圧縮符号化して得られた各フレームの圧縮メッシュデータは、送信装置１５へ供給される。例えば、Ｒメッシュの圧縮符号化には、MPEG-4 Part 16 AFX (Animation Framework eXtenstion) として規格化されたツールの一つである、FAMC (Frame-based Animated Mesh Coding) を採用することができる。Ｕメッシュの圧縮符号化には、SC-3DMC (Scalable Complexity 3D Mesh Compression) を採用することができる。

　送信装置１５は、符号化装置１４から供給される各フレームの圧縮メッシュデータと、フラグ生成装置１２から供給される各フレームのキーフレームフラグを、１つのビットストリームに格納し、ネットワークを介して受信装置１６へ送信する。ネットワークは、例えば、インターネット、電話回線網、衛星通信網、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷIDｅＡｒｅａＮｅｔｗｏｒｋ）、ＩＰ－ＶＰＮ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ－ＶｉｒｔｕａｌＰｒｉｖａｔｅＮｅｔｗｏｒｋ）などの専用回線網などで構成される。

　受信装置１６は、送信装置１５からネットワークを介して送信されてくる3Dデータのビットストリームを受信する。そして、受信装置１６は、受信した3Dデータのビットストリームに格納されている各フレームの圧縮メッシュデータと、各フレームのキーフレームフラグとを分離し、各フレームの圧縮メッシュデータを復号装置１７へ供給し、各フレームのキーフレームフラグを画像生成装置１８へ供給する。

　復号装置１７は、受信装置１６から供給される各フレームの圧縮メッシュデータを、符号化装置１４における符号化方式に対応する方式で復号する。復号装置１７は、復号して得られる各フレームのＲメッシュを、画像生成装置１８へ供給する。

　画像生成装置１８は、復号装置１７から供給される各フレームのＲメッシュと、受信装置１６から供給される各フレームのキーフレームフラグとを用いて、受信装置１６から供給される各フレームの間を補間する補間フレームを生成する補間フレーム生成処理を実行する。これにより、画像生成装置１８は、フレームレートをアップコンバージョンした3Dデータを生成する。より具体的には、画像生成装置１８は、各フレームのキーフレームフラグに基づいて、復号装置１７から供給される各フレームの間に、新たに生成する補間フレームのＲメッシュを補間処理により生成し、受信したメッシュデータよりも高いフレームレートのメッシュデータを生成して、後段の装置に出力する。後段の装置は、例えば、供給されるメッシュデータに基づいて３D画像を生成し、ディスプレイに表示させる描画装置等で構成される。

　図５および図６を参照して、画像生成装置１８が行う、補間フレーム生成処理について説明する。

　図５および図６では、複数の撮像装置１０Aで得られた撮影画像と、その撮影画像が生成されたＵメッシュおよびＲメッシュのフレームレートが、３０fps(frame per second)であり、補間フレーム生成処理により、６０fpsのＲメッシュを生成する場合について説明する。

　図５は、キーフレームフラグが“０”、即ち、前後のフレームで3D形状が大きく変化しない場合の補間フレーム生成処理を説明する図である。

　３Dモデリング装置１１において、複数の撮像装置１０Aで得られた撮影画像４１から、Ｕメッシュ４２が、フレーム単位で生成される。そして、トラッキング装置１３において、Ｕメッシュ４２がＲメッシュ４３に変換され、３０fpsのＲメッシュ４３が、送信側から受信側へ伝送される。

　図５において、複数の撮像装置１０Aで得られた３０fpsの撮影画像４１が、撮影画像４１_ｔ、撮影画像４１_ｔ＋２、・・・であり、３Dモデリング装置１１で生成された３０fpsのＵメッシュ４２が、Ｕメッシュ４２_ｔ、Ｕメッシュ４２_ｔ＋２、・・・であり、トラッキング装置１３で変換されたＲメッシュ４３が、Ｒメッシュ４３_ｔ、Ｒメッシュ４３_ｔ＋２、・・・である。撮影画像４１_ｔ、撮影画像４１_ｔ＋２における下付きのｔ、ｔ＋２、・・・は、その撮影画像４１が得られた時刻を表す。Ｕメッシュ４２およびＲメッシュ４３についても同様である。

　画像生成装置１８は、送信側から受信した３０fpsのＲメッシュ４３から、補間フレーム生成処理により、６０ｆｐｓのＲメッシュ４３を生成する。

　図５の例では、画像生成装置１８は、時刻ｔのＲメッシュ４３_ｔと、時刻ｔ＋２のＲメッシュ４３_ｔ＋２とから、時刻ｔ＋１のＲメッシュ４３_ｔ＋１を生成する。

　時刻ｔのＲメッシュ４３_ｔと、時刻ｔ＋２のＲメッシュ４３_ｔ＋２のキーフレームフラグは、いずれも“０”であり、前後のフレームで3D形状が大きく変化していないことを表している。

　この場合、画像生成装置１８は、図４を参照して説明したように、時刻ｔのＲメッシュ４３_ｔと、時刻ｔ＋２のＲメッシュ４３_ｔ＋２の対応する各頂点どうしの座標から、時刻ｔ＋１における各頂点の座標を算出することにより、時刻ｔ＋１のＲメッシュ４３_ｔ＋１を生成する。なお、時刻ｔ＋１のＲメッシュ４３_ｔ＋１に対応する色情報については、本技術では特に限定せず、時刻ｔのＲメッシュ４３_ｔの色情報と、時刻ｔ＋２のＲメッシュ４３_ｔ＋２の色情報を用いて、任意の手法で生成されることとする。

　図６は、キーフレームフラグが“１”、即ち、前後のフレームで3D形状が大きく変化している場合の補間フレーム生成処理を説明する図である。

　図６においては、送信側から供給される時刻ｔのＲメッシュ４３_ｔと、時刻ｔ＋２のＲメッシュ４３_ｔ＋２のうち、時刻ｔ＋２のＲメッシュ４３_ｔ＋２のキーフレームフラグが“１”となっており、時刻ｔのＲメッシュ４３_ｔと、時刻ｔ＋２のＲメッシュ４３_ｔ＋２とでは、3D形状が大きく変化していることを表している。

　時刻ｔと時刻ｔ＋２のフレームで3D形状が大きく変化している場合、時刻ｔ＋２のＲメッシュ４３_ｔ＋２は、その１つ前の時刻ｔのＲメッシュ４３_ｔと対応がとれていないため、図４を参照して説明したような、時刻ｔのＲメッシュ４３_ｔと時刻ｔ＋２のＲメッシュ４３_ｔ＋２を用いた補間処理を行うことはできない。換言すれば、3D形状が大きく変化している場合とは、例えば、時刻ｔと時刻ｔ＋２の前後のフレームでＵメッシュ４２の頂点数の差が所定数以上である場合や、メッシュトラッキング処理において１つ前のフレームとの対応する頂点を決定することができない場合、等が該当する。

　そこで、画像生成装置１８は、図６に示されるように、時刻ｔのＲメッシュ４３_ｔをコピーして、時刻ｔ＋１のＲメッシュ４３_ｔ＋１を生成する。または、画像生成装置１８は、時刻ｔ＋２のＲメッシュ４３_ｔ＋２をコピーして、時刻ｔ＋１のＲメッシュ４３_ｔ＋１を生成する。この場合、時刻ｔ＋２のＲメッシュ４２_ｔ＋２は、時刻ｔ＋２のＵメッシュ４２_ｔ＋２がそのままコピーされたものであるので、実質的には、時刻ｔ＋２のＵメッシュ４２_ｔ＋２をコピーして、時刻ｔ＋１のＲメッシュを生成する。

　以上のように、画像生成装置１８は、キーフレームフラグに基づいて、補間フレームの生成方法を変更する。

　図１の画像処理システム１は、以上のように構成されるが、以下、各装置が行う処理の詳細について説明する。

＜２．キーフレームフラグ生成処理＞
　初めに、図７のフローチャートを参照して、フラグ生成装置１２により実行されるキーフレームフラグ生成処理について説明する。

　初めに、ステップＳ１１において、フラグ生成装置１２は、３Dモデリング装置１１から供給される3Dデータの先頭フレームのキーフレームフラグを“１”に設定する（KeyFrameFlag(0)＝１）。

　ステップＳ１２において、フラグ生成装置１２は、3Dデータのフレーム番号を示す変数ｉに１を設定する。なお、ステップＳ１１でキーフレームフラグ“１”を設定した先頭フレームは、フレーム番号が“０”に相当する。

　ステップＳ１３において、フラグ生成装置１２は、ｉ番目のフレームのＵメッシュと、（ｉ－１）番目のフレームのＵメッシュの相違度Ｓｉを計算する。

　ステップＳ１４において、フラグ生成装置１２は、計算したｉ番目のフレームの相違度Ｓｉが、所定の閾値よりも大きいかを判定する。

　ステップＳ１４で、ｉ番目のフレームの相違度Ｓｉが所定の閾値よりも大きいと判定された場合、処理はステップＳ１５に進み、フラグ生成装置１２は、KeyFrameFlag(i)＝１、すなわち、ｉ番目のフレームのキーフレームフラグを“１”に設定して、処理をステップＳ１７に進める。

　一方、ステップＳ１４で、ｉ番目のフレームの相違度Ｓｉが所定の閾値以下であると判定された場合、処理はステップＳ１６に進み、フラグ生成装置１２は、KeyFrameFlag(i)＝０、すなわち、ｉ番目のフレームのキーフレームフラグを“０”に設定して、処理をステップＳ１７に進める。

　ステップＳ１７において、フラグ生成装置１２は、フレーム番号を示す変数ｉが、３Dモデリング装置１１から供給される3Dデータの（全フレーム数－１）よりも小さいかを判定する。

　ステップＳ１７で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）よりも小さい、即ち、3Dデータの全てについてキーフレームフラグをまだ設定していないと判定された場合、処理はステップＳ１８に進む。

　そして、ステップＳ１８において、フレーム番号を示す変数ｉが１だけインクリメントされた後、処理がステップＳ１３に戻され、上述したステップＳ１３乃至Ｓ１７が再度実行される。これにより、次のフレームのキーフレームフラグが設定される。

　一方、ステップＳ１７で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）以上である、即ち、3Dデータの全てについてキーフレームフラグを設定したと判定された場合、キーフレームフラグ生成処理は終了する。

＜３．キーフレームフラグ格納処理＞
　次に、送信装置１５により実行されるキーフレームフラグ格納処理について説明する。

　上述したように、送信装置１５は、符号化装置１４から供給される圧縮メッシュデータと、フラグ生成装置１２から供給される各フレームのキーフレームフラグを、１つのビットストリームに格納し、ネットワークを介して受信装置１６へ送信する。

　ここで、各フレームのキーフレームフラグのビットストリームへの格納方法には、図８に示される２種類の格納方法のいずれかを取り得る。

　１つの格納方法は、図８のAに示されるように、キーフレームフラグをフレーム毎に格納する方法であり、例えば、各フレームのメッシュデータのメタデータとして、キーフレームフラグが格納される。

　もう１つの格納方法は、図８のBに示されるように、全てのフレームのキーフレームフラグをまとめて格納する方法であり、例えば、ビットストリームのメタデータとして、全てのフレームのキーフレームフラグが格納される。

　図９のフローチャートを参照して、図８のAに示したように、キーフレームフラグをフレームごとにビットストリームに格納する場合のキーフレームフラグ格納処理について説明する。

　初めに、ステップＳ３１において、送信装置１５は、3Dデータのフレーム番号を示す変数ｉに０を設定する。

　ステップＳ３２において、送信装置１５は、ｉ番目のフレームの圧縮メッシュデータに付属するメタデータとして、フラグ生成装置１２から供給されたｉ番目のフレームのキーフレームフラグ（KeyFrameFlag(i)の値）を、ビットストリームに格納する。

　ステップＳ３３において、送信装置１５は、符号化装置１４から供給されたｉ番目のフレームの圧縮メッシュデータを、ビットストリームに格納する。

　ステップＳ３４において、送信装置１５は、フレーム番号を示す変数ｉが、符号化装置１４から供給される3Dデータの（全フレーム数－１）よりも小さいかを判定する。

　ステップＳ３４で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）よりも小さい、即ち、送信する3Dデータの全てのフレームについてキーフレームフラグをまだ格納していないと判定された場合、処理はステップＳ３５に進む。

　そして、ステップＳ３５において、フレーム番号を示す変数ｉが１だけインクリメントされた後、処理がステップＳ３２に戻され、上述したステップＳ３２乃至Ｓ３４が再度実行される。これにより、次のフレームのキーフレームフラグを格納する処理が行われる。

　一方、ステップＳ３４で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）以上である、即ち、送信する3Dデータの全てのフレームについてキーフレームフラグを格納したと判定された場合、キーフレームフラグ格納処理が終了される。

　次に、図１０のフローチャートを参照して、図８のBに示したように、全てのフレームのキーフレームフラグをまとめてビットストリームに格納する場合のキーフレームフラグ格納処理について説明する。

　初めに、ステップＳ５１において、送信装置１５は、3Dデータのフレーム番号を示す変数ｉに０を設定する。

　ステップＳ５２において、送信装置１５は、ビットストリームに付属するメタデータとして、フラグ生成装置１２から供給されたｉ番目のフレームのキーフレームフラグ（KeyFrameFlag(i)の値）を、ビットストリームに格納する。

　ステップＳ５３において、送信装置１５は、フレーム番号を示す変数ｉが、符号化装置１４から供給される3Dデータの（全フレーム数－１）よりも小さいかを判定する。

　ステップＳ５３で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）よりも小さい、即ち、送信する3Dデータの全てのフレームについてキーフレームフラグをまだ格納していないと判定された場合、処理はステップＳ５４に進む。

　そして、ステップＳ５４において、フレーム番号を示す変数ｉが１だけインクリメントされた後、処理がステップＳ５２に戻され、上述したステップＳ５２およびＳ５３が再度実行される。これにより、次のフレームのキーフレームフラグを格納する処理が行われる。

　一方、ステップＳ５３で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）以上である、即ち、送信する3Dデータの全てのフレームについてキーフレームフラグを格納したと判定された場合、処理はステップＳ５５に進む。

　ステップＳ５５において、送信装置１５は、3Dデータのフレーム番号を示す変数ｉに、再び０を設定する。

　ステップＳ５６において、送信装置１５は、符号化装置１４から供給されたｉ番目のフレームの圧縮メッシュデータを、ビットストリームに格納する。

　ステップＳ５７において、送信装置１５は、フレーム番号を示す変数ｉが、符号化装置１４から供給される3Dデータの（全フレーム数－１）よりも小さいかを判定する。

　ステップＳ５７で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）よりも小さい、即ち、送信する3Dデータの全てのフレームの圧縮メッシュデータをまだ格納していないと判定された場合、処理はステップＳ５８に進む。

　そして、ステップＳ５８において、フレーム番号を示す変数ｉが１だけインクリメントされた後、処理がステップＳ５６に戻され、上述したステップＳ５６およびＳ５７が再度実行される。これにより、次のフレームの圧縮メッシュデータを格納する処理が行われる。

　一方、ステップＳ５７で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）以上である、即ち、送信する3Dデータの全てのフレームについて圧縮メッシュデータを格納したと判定された場合、キーフレームフラグ格納処理が終了される。

＜４．キーフレームフラグ分離処理＞
　次に、図１１のフローチャートを参照して、キーフレームフラグがフレームごとに格納されたビットストリームを分離するキーフレームフラグ分離処理について説明する。この処理は、送信装置１５が図９のキーフレームフラグ格納処理を行ってビットストリームを送信した場合に、受信装置１６で実行される処理である。

　初めに、ステップＳ７１において、受信装置１６は、3Dデータのフレーム番号を示す変数ｉに０を設定する。

　ステップＳ７２において、受信装置１６は、ｉ番目のフレームのキーフレームフラグ（KeyFrameFlag(i)の値）と、ｉ番目のフレームの圧縮メッシュデータを分離して、取得する。そして、受信装置１６は、ｉ番目のフレームのキーフレームフラグを画像生成装置１８に供給し、ｉ番目のフレームの圧縮メッシュデータを、復号装置１７に供給する。

　ステップＳ７３において、受信装置１６は、フレーム番号を示す変数ｉが、3Dデータの（全フレーム数－１）よりも小さいかを判定する。3Dデータの全フレーム数は、例えば、ビットストリームのメタデータから取得することができる。

　ステップＳ７３で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）よりも小さい、即ち、受信した3Dデータの全てのフレームについてキーフレームフラグと圧縮メタデータを分離していないと判定された場合、処理はステップＳ７４に進む。

　そして、ステップＳ７４において、フレーム番号を示す変数ｉが１だけインクリメントされた後、処理がステップＳ７２に戻され、上述したステップＳ７２が再度実行される。これにより、次のフレームのキーフレームフラグと圧縮メタデータを分離する処理が行われる。

　一方、ステップＳ７３で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）以上である、即ち、受信した3Dデータの全てのフレームについてキーフレームフラグと圧縮メタデータを分離したと判定された場合、キーフレームフラグ分離処理が終了される。

　次に、図１２のフローチャートを参照して、全てのフレームのキーフレームフラグがまとめて格納されたビットストリームを分離するキーフレームフラグ分離処理について説明する。この処理は、送信装置１５が図１０のキーフレームフラグ格納処理を行ってビットストリームを送信した場合に、受信装置１６で実行される処理である。

　初めに、ステップＳ９１において、受信装置１６は、ビットストリームに付属するメタデータとして格納された、全てのフレームのキーフレームフラグ（KeyFrameFlag(i)の値）を取得し、画像生成装置１８に供給する。

　ステップＳ９２において、受信装置１６は、3Dデータのフレーム番号を示す変数ｉに０を設定する。

　ステップＳ９３において、受信装置１６は、ｉ番目のフレームの圧縮メッシュデータを取得して、復号装置１７に供給する。

　ステップＳ９４において、受信装置１６は、フレーム番号を示す変数ｉが、3Dデータの（全フレーム数－１）よりも小さいかを判定する。3Dデータの全フレーム数は、例えば、ビットストリームのメタデータから取得することができる。

　ステップＳ９４で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）よりも小さい、即ち、受信した3Dデータの全てのフレームの圧縮メタデータをまだ取得していないと判定された場合、処理はステップＳ９５に進む。

　そして、ステップＳ９５において、フレーム番号を示す変数ｉが１だけインクリメントされた後、処理がステップＳ９３に戻され、上述したステップＳ９３が再度実行される。これにより、次のフレームの圧縮メッシュデータを取得する処理が行われる。

　一方、ステップＳ９４で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）以上である、即ち、受信した3Dデータの全てのフレームの圧縮メタデータを取得したと判定された場合、キーフレームフラグ分離処理が終了される。

＜５．補間フレーム生成処理＞
　次に、図１３のフローチャートを参照して、画像生成装置１８が、各フレームのＲメッシュとキーフレームフラグとを用いて、受信した各フレームの間の補間フレームを生成する補間フレーム生成処理について説明する。

　なお、図１３の補間フレーム生成処理が実行される前には、図１１または図１２のキーフレームフラグ分離処理によって復号装置１７に供給された各フレームの圧縮メッシュデータが復号装置１７において復号され、画像生成装置１８に供給されている。

　初めに、ステップＳ１１１において、画像生成装置１８は、3Dデータのフレーム番号を示す変数ｉに１を設定する。

　ステップＳ１１２において、画像生成装置１８は、ｉ番目のフレームのキーフレームフラグ（KeyFrameFlag(i)の値）が“１”であるかを判定する。

　ステップＳ１１２で、ｉ番目のフレームのキーフレームフラグが“１”である、すなわち、ｉ番目のフレームのＲメッシュが、（ｉ－１）番目のフレームのＲメッシュと比較して大きく変化している場合、処理はステップＳ１１３に進む。

　ステップＳ１１３において、画像生成装置１８は、（ｉ－１）番目のフレームのＲメッシュを、（ｉ－１）番目とｉ番目の間の、生成したい時刻の補間フレームのＲメッシュとする。換言すれば、画像生成装置１８は、（ｉ－１）番目のフレームのＲメッシュをコピーして、（ｉ－１）番目とｉ番目の間の補間フレームのＲメッシュを生成する。

　なお、生成したい時刻のフレームのＲメッシュとして、（ｉ－１）番目のフレームのＲメッシュを用いる代わりに、ｉ番目のフレームのＲメッシュ（Ｕメッシュ）を用いてもよい。

　一方、ステップＳ１１２で、ｉ番目のフレームのキーフレームフラグが“１”ではない（“０”である）、すなわち、ｉ番目のフレームのＲメッシュが、（ｉ－１）番目のフレームのＲメッシュと比較して大きく変化していない場合、処理はステップＳ１１４に進む。

　ステップＳ１１４において、画像生成装置１８は、（ｉ－１）番目のフレームのＲメッシュと、ｉ番目のフレームのＲメッシュとを用いて、補間処理を実行し、（ｉ－１）番目とｉ番目の間の補間フレームのＲメッシュを生成する。

　ステップＳ１１５において、画像生成装置１８は、フレーム番号を示す変数ｉが、3Dデータの（全フレーム数－１）よりも小さいかを判定する。

　ステップＳ１１５で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）よりも小さい、即ち、3Dデータの全てのフレームの間の補間フレームをまだ生成していないと判定された場合、処理はステップＳ１１６に進む。

　そして、ステップＳ１１６において、フレーム番号を示す変数ｉが１だけインクリメントされた後、処理がステップＳ１１２に戻され、上述したステップＳ１１２乃至Ｓ１１５が再度実行される。これにより、次のフレーム間の補間フレームのＲメッシュが生成される。

　一方、ステップＳ１１５で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）以上である、即ち、3Dデータの全てのフレームの間の補間フレームを生成したと判定された場合、補間フレーム生成処理が終了される。

＜６．補間処理＞
　図１４のフローチャートを参照して、図１３のステップＳ１１４で実行される補間処理について説明する。

　初めに、ステップＳ１３１において、画像生成装置１８は、生成する補間フレームの頂点番号を示す変数ｖに０を設定する。

　ステップＳ１３２において、画像生成装置１８は、（ｉ－１）番目のフレームのｖ番目の頂点の座標（ｘ_{（ｉ－１）ｖ}，ｙ_{（ｉ－１）ｖ}，ｚ_{（ｉ－１）ｖ}）と、ｉ番目のフレームの対応するｖ番目の頂点の座標（ｘ_ｉｖ，ｙ_ｉｖ，ｚ_ｉｖ）を取得し、補間フレームのｖ番目の頂点の座標（ｘ’_ｖ，ｙ’_ｖ，ｚ’_ｖ）を計算する。

　例えば、補間フレームのｖ番目の頂点の座標（ｘ’_ｖ，ｙ’_ｖ，ｚ’_ｖ）は、以下により計算することができる。
　　ｘ’_ｖ＝（ｘ_{（ｉ－１）ｖ}＋ｘ_ｉｖ）／２
　　ｙ’_ｖ＝（ｙ_{（ｉ－１）ｖ}＋ｙ_ｉｖ）／２
　　ｚ’_ｖ＝（ｚ_{（ｉ－１）ｖ}＋ｚ_ｉｖ）／２

　なお、上記の式は、（ｉ－１）番目のフレームとｉ番目のフレームの中間の時刻のフレームを補間フレームとする例であるが、以下の式を用いれば、（ｉ－１）番目のフレームとｉ番目のフレームの間の任意の時刻のフレームを補間フレームとすることも可能である。
　　ｘ’_ｖ＝ｔ＊ｘ_{（ｉ－１）ｖ}＋（１－ｔ）＊ｘ_ｉｖ
　　ｙ’_ｖ＝ｔ＊ｙ_{（ｉ－１）ｖ}＋（１－ｔ）＊ｙ_ｉｖ
　　ｚ’_ｖ＝ｔ＊ｚ_{（ｉ－１）ｖ}＋（１－ｔ）＊ｚ_ｉｖ
　　　ｔは、０．０≦ｔ≦１．０の値であり、ｔ＝１を（ｉ－１）番目のフレームの時刻、ｔ＝０をｉ番目のフレームの時刻とした場合の、補間フレームの時刻に対応する値を表す。

　ステップＳ１３３において、画像生成装置１８は、頂点番号を示す変数ｖが、補間フレームの（全頂点数－１）よりも小さいかを判定する。補間フレームの全頂点数は、（ｉ－１）番目のフレームおよびｉ番目のフレームの全頂点数と同じに設定される。

　ステップＳ１３３で、頂点番号を示す変数ｖが、補間フレームの（全頂点数－１）よりも小さいと判定された場合、処理はステップＳ１３４に進む。

　そして、ステップＳ１３４において、頂点番号を示す変数ｖが１だけインクリメントされた後、処理がステップＳ１３２に戻され、上述したステップＳ１３２およびＳ１３３が再度実行される。これにより、補間フレームの次の頂点の座標が計算される。

　一方、ステップＳ１３３で、頂点番号を示す変数ｖが補間フレームの（全頂点数－１）以上である、即ち、補間フレームの全ての頂点について座標が計算されたと判定された場合、補間処理が終了される。

＜７．伝送データ送信処理＞
　次に、図１５のフローチャートを参照して、送信側全体の処理である伝送データ送信処理について説明する。なお、この処理が開始される前には、複数の撮像装置１０Aそれぞれで被写体を撮影して得られた撮影画像が、３Dモデリング装置１１に供給されて、内部に記憶されているものとする。

　初めに、ステップＳ１５１において、３Dモデリング装置１１は、複数の撮像装置１０Aで同期して撮影された複数の撮影画像を用いて、3Dデータを生成する。生成された3Dデータは、フラグ生成装置１２とトラッキング装置１３に供給される。撮影画像は、各撮像装置１０Aがパッシブカメラで構成される場合、テクスチャ画像のみであり、各撮像装置１０Aがアクティブカメラで構成される場合、テクスチャ画像、IR画像、および、デプス画像である。3Dデータは、ポリゴンメッシュのメッシュデータと、各ポリゴンメッシュに対応して色情報を保有する形式で表される。

　ステップＳ１５２において、フラグ生成装置１２は、３Dモデリング装置１１から供給された3Dデータの各フレームに対して、キーフレームフラグを生成する。より具体的には、フラグ生成装置１２は、隣接する２つのフレームのメッシュデータの相違度を計算して、計算した相違度が所定の閾値より大きい場合には、キーフレームフラグを“１”に設定し、計算した相違度所定の閾値以下である場合には、キーフレームフラグを“０”に設定する。ステップＳ１５２の処理の詳細が、図７を参照して説明したキーフレームフラグ生成処理となる。

　ステップＳ１５３において、トラッキング装置１３は、メッシュトラッキング処理を実行し、３Dモデリング装置１１から供給された3Dデータの各フレームのＵメッシュから、Ｒメッシュを生成する。生成されたＲメッシュは、符号化装置１４に供給される。

　ステップＳ１５４において、符号化装置１４は、トラッキング装置１３から供給された各フレームのＲメッシュを、所定の符号化方式で圧縮符号化する。圧縮符号化して得られた圧縮メッシュデータは、送信装置１５へ供給される。

　ステップＳ１５５において、送信装置１５は、符号化装置１４から供給された各フレームの圧縮メッシュデータと、フラグ生成装置１２から供給された各フレームのキーフレームフラグを、ビットストリームに格納する。ステップＳ１５５の処理の詳細が、図９および図１０を参照して説明したキーフレームフラグ格納処理となる。

　ステップＳ１５６において、送信装置１５は、生成したビットストリームを、ネットワークを介して受信装置１６へ送信する。

　以上で、伝送データ送信処理が終了する。

＜８．伝送データ受信処理＞
　次に、図１６のフローチャートを参照して、受信側全体の処理である伝送データ受信処理について説明する。この処理は、例えば、受信装置１６が、ビットストリームが送信装置１５から送信されてきたとき開始される。

　初めに、ステップＳ１７１において、受信装置１６は、送信装置１５からネットワークを介して送信されてきた3Dデータのビットストリームを受信する。

　ステップＳ１７２において、受信装置１６は、受信した3Dデータのビットストリームに格納されている各フレームの圧縮メッシュデータと、各フレームのキーフレームフラグとを分離する。受信装置１６は、各フレームの圧縮メッシュデータを復号装置１７へ供給し、各フレームのキーフレームフラグを画像生成装置１８へ供給する。ステップＳ１７２の処理の詳細が、図１１および図１２を参照して説明したキーフレームフラグ分離処理となる。

　ステップＳ１７３において、復号装置１７は、受信装置１６から供給された各フレームの圧縮メッシュデータを、符号化装置１４における符号化方式に対応する方式で復号する。復号装置１７は、復号して得られた各フレームのＲメッシュを、画像生成装置１８へ供給する。

　ステップＳ１７４において、画像生成装置１８は、復号装置１７から供給された各フレームのＲメッシュと、復号装置１７から供給された各フレームのキーフレームフラグとを用いて、補間フレーム生成処理を実行し、フレームレートをアップコンバージョンした3Dデータを生成する。ステップＳ１７４の処理の詳細が、図１３の補間フレーム生成処理となる。

　以上で、伝送データ受信処理が終了する。

　画像処理システム１で実行される伝送データ送信処理および伝送データ受信処理によれば、送信側においてキーフレームフラグを生成して送信し、受信側において、キーフレームフラグに基づいて、受信した各フレームの間を補間する補間フレーム生成処理を実行することにより、高フレームレートの3Dデータを生成することができる。

　送信側ではフレーム補間をする必要がなく、低フレームレートの3Dデータを伝送すれば良いので、伝送する際のデータ量を削減することができる。

　受信側においては、低フレームレートの3Dデータと、各フレームのキーフレームフラグを受信し、高フレームレートの3Dデータを生成することができる。

　画像処理システム１において伝送される3Dデータは、３D形状のメッシュデータであるので、３D形状の変化にロバストである。

　なお、上述した実施の形態では、２つのフレームの相違度として、ハウスドルフ距離を計算し、計算されたハウスドルフ距離に基づいて、２つのフレームの相違度に基づく情報として、キーフレームフラグの値が決定された。

　しかしながら、例えば、２つのフレームの相違度に基づく情報として、計算されたハウスドルフ距離の値を、そのまま送信してもよい。

＜９．補間タイプを用いる例＞
　あるいはまた、２つのフレームの相違度に基づく情報として、その他の情報を、送信側から受信側へ伝送するようにしてもよい。

　例えば、送信側が、２つのフレームの相違度に基づく情報として、キーフレームフラグを送信する代わりに、補間フレームを生成するための補間方法を指定する補間タイプ（Interpolation Type）を送信してもよい。具体的には、フラグ生成装置１２が、画像生成装置１８に補間処理を実行させる場合には補間タイプ“０”、補間フレームの後のフレームを用いる場合には補間タイプ“１”、補間フレームの前のフレームを用いる場合には補間タイプ“２”を送信する。補間タイプは、キーフレームフラグに基づいて決定される。

　図１７のフローチャートを参照して、フラグ生成装置１２によって実行される補間タイプ生成処理について説明する。なお、この処理は、図７のキーフレームフラグ生成処理の後に実行され、各フレームのキーフレームフラグは既知であるとする。

　初めに、ステップＳ２０１において、フラグ生成装置１２は、3Dデータのフレーム番号を示す変数ｉに０を設定する。

　ステップＳ２０２において、フラグ生成装置１２は、（ｉ＋１）番目のフレームのキーフレームフラグが生成されているかを判定する。

　ステップＳ２０２で、（ｉ＋１）番目のフレームのキーフレームフラグが生成されていないと判定された場合、処理はステップＳ２０３に進み、フラグ生成装置１２は、ｉ番目のフレームの補間タイプを“２”に設定し（Interpolation Type(i)＝２）、処理をステップＳ２０７に進める。

　一方、ステップＳ２０２で、（ｉ＋１）番目のフレームのキーフレームフラグが生成されていると判定された場合、処理はステップＳ２０４に進み、フラグ生成装置１２は、（ｉ＋１）番目のフレームのキーフレームフラグが“０”であるかを判定する。

　ステップＳ２０４で、（ｉ＋１）番目のフレームのキーフレームフラグが“０”ではない、すなわち、（ｉ＋１）番目のフレームのキーフレームフラグが“１”であると判定された場合、処理はステップＳ２０５に進む。

　ステップＳ２０５において、フラグ生成装置１２は、ｉ番目のフレームの補間タイプを“１”に設定し（Interpolation Type(i)＝１）、処理をステップＳ２０７に進める。

　一方、ステップＳ２０４で、（ｉ＋１）番目のフレームのキーフレームフラグが“０”であると判定された場合、処理はステップＳ２０６に進み、フラグ生成装置１２は、ｉ番目のフレームの補間タイプを“０”に設定し（Interpolation Type(i)＝０）、処理をステップＳ２０７に進める。

　ステップＳ２０７において、フラグ生成装置１２は、フレーム番号を示す変数ｉが、3Dデータの（全フレーム数－１）よりも小さいかを判定する。

　ステップＳ２０７で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）よりも小さい、即ち、3Dデータの全てのフレームの補間タイプを決定していないと判定された場合、処理はステップＳ２０８に進む。

　そして、ステップＳ２０８において、フレーム番号を示す変数ｉが１だけインクリメントされた後、処理がステップＳ２０２に戻され、上述したステップＳ２０２乃至Ｓ２０７が再度実行される。これにより、次のフレームの補間タイプが決定される。

　一方、ステップＳ２０７で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）以上である、即ち、3Dデータの全てのフレームの補間タイプを決定したと判定された場合、補間タイプ生成処理が終了される。

　次に、図１８のフローチャートを参照して、キーフレームフラグに代えて、補間タイプがビットストリームに格納されて伝送されてきた場合に実行される補間フレーム生成処理について説明する。この処理は、画像生成装置１８によって、図１３の補間フレーム生成処理の代わりに実行される。

　初めに、ステップＳ２２１において、画像生成装置１８は、3Dデータのフレーム番号を示す変数ｉに１を設定する。

　ステップＳ２２２において、画像生成装置１８は、ｉ番目のフレームの補間タイプ（Interpolation Type(i)の値）が“０”であるかを判定する。

　ステップＳ２２２で、ｉ番目のフレームの補間タイプが“０”であると判定された場合、処理はステップＳ２２３に進む。

　ステップＳ２２３において、画像生成装置１８は、（ｉ－１）番目のフレームのＲメッシュと、ｉ番目のフレームのＲメッシュとを用いて、補間処理を実行し、（ｉ－１）番目とｉ番目の間の補間フレームのＲメッシュを生成し、処理をステップＳ２２７に進める。

　一方、ステップＳ２２２で、ｉ番目のフレームの補間タイプが“０”ではないと判定された場合、処理はステップＳ２２４に進む。

　ステップＳ２２４において、画像生成装置１８は、ｉ番目のフレームの補間タイプ（Interpolation Type(i)の値）が“１”であるかを判定する。

　ステップＳ２２４で、ｉ番目のフレームの補間タイプが“１”であると判定された場合、処理はステップＳ２２５に進み、画像生成装置１８は、ｉ番目のフレームのＲメッシュをコピーして、（ｉ－１）番目とｉ番目の間の、生成したい時刻の補間フレームのＲメッシュを生成し、処理をステップＳ２２７に進める。

　一方、ステップＳ２２４で、ｉ番目のフレームの補間タイプが“１”ではない、即ち“２”あると判定された場合、処理はステップＳ２２６に進み、画像生成装置１８は、（ｉ－１）番目のフレームのＲメッシュをコピーして、（ｉ－１）番目とｉ番目の間の、生成したい時刻の補間フレームのＲメッシュを生成し、処理をステップＳ２２７に進める。

　ステップＳ２２７において、画像生成装置１８は、フレーム番号を示す変数ｉが、3Dデータの（全フレーム数－１）よりも小さいかを判定する。

　ステップＳ２２７で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）よりも小さい、即ち、3Dデータの全てのフレームの間の補間フレームをまだ生成していないと判定された場合、処理はステップＳ２２８に進む。

　そして、ステップＳ２２８において、フレーム番号を示す変数ｉが１だけインクリメントされた後、処理がステップＳ２２２に戻され、上述したステップＳ２２２乃至Ｓ２２７が再度実行される。これにより、次のフレーム間の補間フレームのＲメッシュが生成される。

　一方、ステップＳ２２７で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）以上である、即ち、3Dデータの全てのフレームの間の補間フレームを生成したと判定された場合、補間フレーム生成処理が終了される。

　以上のように、送信側が、キーフレームフラグの代わりに、補間タイプを送信した場合でも、受信側では、補間タイプに基づいて、受信したフレームの間の補間フレームを生成することができる。

＜１０．画像処理システムの第２実施の形態＞
　図１９は、本技術を適用した画像処理システムの第２実施の形態の構成例を示すブロック図である。

　図１９において、上述した第１実施の形態と対応する部分については同一の符号を付してあり、その部分についての説明は適宜省略する。

　図１と図１９を比較してわかるように、第２実施の形態では、送信側の符号化装置１４と、受信側の復号装置１７が省略されている。第１実施の形態では、ビットストリームに、各フレームの圧縮メッシュデータが格納されていたが、第２実施の形態では、圧縮符号化されない各フレームのメッシュデータが格納される点が異なる。

　トラッキング装置１３は、メッシュトラッキング処理後のメッシュデータであるＲメッシュを送信装置１５に供給する。送信装置１５は、トラッキング装置１３から供給される各フレームのＲメッシュと、フラグ生成装置１２から供給される各フレームのキーフレームフラグを、１つのビットストリームに格納し、ネットワークを介して受信装置１６へ送信する。

　受信装置１６は、送信装置１５からネットワークを介して送信されてくる3Dデータのビットストリームを受信し、受信した3Dデータのビットストリームに格納されている各フレームのメッシュデータとキーフレームフラグとを分離して、画像生成装置１８へ供給する。

　第２実施の形態における送信側の伝送データ送信処理は、図１５のステップＳ１５１乃至Ｓ１５６のうち、ステップＳ１５４が省略された処理となる。

　第２実施の形態における受信側の伝送データ受信処理は、図１６のステップＳ１７１乃至Ｓ１７４のうち、ステップＳ１７３が省略された処理となる。

　以上のように、伝送されるメッシュデータは、第１実施の形態のように所定の符号化方式で圧縮符号化してもよいし、第２実施の形態のように圧縮符号化しなくてもよい。

＜１１．画像処理システムの第３実施の形態＞
　図２０は、本技術を適用した画像処理システムの第３実施の形態の構成例を示すブロック図である。

　図２０において、上述した第１実施の形態と対応する部分については同一の符号を付してあり、その部分についての説明は適宜省略する。

　図１と図２０を比較してわかるように、第３実施の形態では、送信側のフラグ生成装置１２が省略され、送信装置１５が送信装置６１に置き換えられている。また、受信側では、送信装置１５が受信装置６２に置き換えられるとともに、フラグ推定装置６３が新たに追加されている。

　第１実施の形態では、フラグ生成装置１２において各フレームのキーフレームフラグが生成され、ビットストリームに格納されて送信されたが、第３実施の形態では、各フレームのキーフレームフラグは生成されず、受信側に伝送されない。

　したがって、送信装置６１は、ビットストリームに、各フレームの圧縮メッシュデータのみを格納し、各フレームのキーフレームフラグを格納しない点が、第１実施の形態の図１５と異なる。

　第３実施の形態における送信側の伝送データ送信処理は、図１５の伝送データ送信処理のキーフレームフラグに関する処理を除いた処理となる。

　受信装置６２は、送信装置６１からの、各フレームの圧縮メッシュデータのみが格納されたビットストリームを受信して、復号装置１７に供給する。すなわち、受信装置６２は、キーフレームフラグ分離処理を行わない点が、第１実施の形態の受信装置１６と異なる。

　送信側からキーフレームフラグが伝送されてこないので、フラグ推定装置６３が、各フレームのフレームタイプに基づいて、キーフレームフラグを推定して生成し、画像生成装置１８に供給する。具体的には、フラグ推定装置６３は、Intraフレーム（以下、Iフレームと称する。）、Predictiveフレーム(以下、Pフレームと称する。)、または、Bidirectionally Predictive フレーム（以下、Bフレームと称する。）のフレームタイプのうち、フレームタイプがIフレームであるフレームに対して、キーフレームフラグを“１”に決定し、フレームタイプがPフレームまたはBフレームであるフレームに対して、キーフレームフラグを“０”に決定して、生成する。

　図２１のフローチャートを参照して、フラグ推定装置６３によって実行されるキーフレームフラグ推定処理について説明する。

　初めに、ステップＳ２４１において、フラグ推定装置６３は、3Dデータのフレーム番号を示す変数ｉに０を設定する。

　ステップＳ２４２において、フラグ推定装置６３は、ｉ番目のフレームのフレームタイプがIフレーム（Intraフレーム）であるかを判定する。

　ステップＳ２４２で、ｉ番目のフレームのフレームタイプがIフレームであると判定された場合、処理はステップＳ２４３に進む。

　ステップＳ２４３において、フラグ推定装置６３は、ｉ番目のフレームのキーフレームフラグを“１”に決定し、画像生成装置１８に供給する。

　一方、ステップＳ２４２で、ｉ番目のフレームのフレームタイプがIフレームではない、すなわち、ｉ番目のフレームのフレームタイプがPフレームまたはBフレームである、と判定された場合、処理はステップＳ２４４に進む。

　ステップＳ２４４において、フラグ推定装置６３は、ｉ番目のフレームのキーフレームフラグを“０”に決定し、画像生成装置１８に供給する。

　ステップＳ２４５において、フラグ推定装置６３は、フレーム番号を示す変数ｉが、3Dデータの（全フレーム数－１）よりも小さいかを判定する。

　ステップＳ２４５で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）よりも小さい、即ち、3Dデータの全てのフレームのキーフレームフラグを決定していないと判定された場合、処理はステップＳ２４６に進む。

　そして、ステップＳ２４６において、フレーム番号を示す変数ｉが１だけインクリメントされた後、処理がステップＳ２４２に戻され、上述したステップＳ２４２乃至Ｓ２４５が再度実行される。これにより、次のフレームのキーフレームフラグが生成される。

　一方、ステップＳ２４５で、フレーム番号を示す変数ｉが3Dデータの（全フレーム数－１）以上である、即ち、3Dデータの全てのフレームのキーフレームフラグを決定したと判定された場合、キーフレームフラグ推定処理が終了される。

　第３実施の形態における受信側の伝送データ受信処理は、図１６の伝送データ受信処理のステップＳ１７２における圧縮メッシュデータとキーフレームフラグの分離処理を、上述したキーフレームフラグ推定処理に置き換え、受信したキーフレームフラグの代わりに、推定したキーフレームフラグを用いた処理となる。

＜１２．画像処理システムの第４実施の形態＞
　図２２は、本技術を適用した画像処理システムの第４実施の形態の構成例を示すブロック図である。

　図２２において、上述した第１実施の形態と対応する部分については同一の符号を付してあり、その部分についての説明は適宜省略する。

　図２２の第４実施の形態では、図１の第１実施の形態と比較すると、送信側において、複数の撮像装置１０B－１乃至１０B－M（M＞１）、３Dモデリング装置１１１、トラッキング装置１１３、符号化装置１１４、および、送信装置１１５が新たに設けられている。また、受信側において、受信装置１１６、および、復号装置１１７が新たに設けられている。さらに、画像生成装置１８がハイブリッド画像生成装置１２０に置き換えられている。

　複数の撮像装置１０B－１乃至１０B－Mのそれぞれを特に区別する必要がない場合、単に撮像装置１０Bと称する。

　第４実施の形態では、複数の撮像装置１０Aによって得られた撮影画像に基づく3Dデータが、送信側から受信側に伝送される他に、複数の撮像装置１０Bによって得られた撮影画像に基づく3Dデータも送信側から受信側に伝送される。

　複数の撮像装置１０Aと複数の撮像装置１０Bは、同期して被写体を撮影し、その結果得られる撮影画像を、後段の３Dモデリング装置１１または３Dモデリング装置１１１に供給する点で共通する。複数の撮像装置１０Aは、パッシブカメラまたはアクティブカメラのどちらかで構成され、複数の撮像装置１０Bも、パッシブカメラまたはアクティブカメラのどちらかで構成される。

　一方、複数の撮像装置１０Aと複数の撮像装置１０Bとは、被写体を撮影する際のフレームレートが異なる点が相違する。複数の撮像装置１０Bが撮影する撮影画像のフレームレートは、複数の撮像装置１０Aが撮影する撮影画像のフレームレートよりも高い。

　上述したように、撮像装置１０Aおよび撮像装置１０Bのいずれも、パッシブカメラまたはアクティブカメラのどちらで構成されてもよいが、一般には、アクティブカメラの方がフレームレートは低くなるので、本実施の形態では、複数の撮像装置１０Bが、６０fpsで撮影を行うパッシブカメラであり、複数の撮像装置１０Aが、３０fpsで撮影を行うアクティブカメラであるとして説明する。

　３Dモデリング装置１１１は、３Dモデリング装置１１と同様に、複数の撮像装置１０Bそれぞれで撮像して得られた複数の撮影画像に基づいて、被写体の３D形状のモデリング処理を実行し、その結果として得られる3Dデータをトラッキング装置１１３に供給する。

　なお、以下では、説明を分かり易くするため、複数の撮像装置１０Bで得られた撮影画像に基づく3Dデータを、3DデータBと称し、複数の撮像装置１０Aで得られた撮影画像に基づく3Dデータを、3DデータAと称する。

　トラッキング装置１１３は、トラッキング装置１３と同様に、３Dモデリング装置１１１から3DデータBとして供給される各フレームのメッシュデータ（Ｕメッシュ）に対してメッシュトラッキング処理を実行し、メッシュトラッキング処理後のメッシュデータ（Ｒメッシュ）を符号化装置１１４に供給する。

　符号化装置１１４は、符号化装置１４と同様に、トラッキング装置１１３から供給される各フレームのＲメッシュを、所定の符号化方式で圧縮符号化し、その結果得られた各フレームの圧縮メッシュデータを、送信装置１１５へ供給する。

　送信装置１１５は、キーフレームフラグを伝送しない第３実施の形態の送信装置６１と同様に、ビットストリームに、各フレームの圧縮メッシュデータのみを格納して、受信装置１１６に送信する。

　受信装置１１６は、キーフレームフラグを伝送しない第３実施の形態の受信装置６２と同様に、ビットストリームを受信して、復号装置１１７に供給する。

　復号装置１１７は、復号装置１７と同様に、受信装置１１６から供給される各フレームの圧縮メッシュデータを、符号化装置１１４における符号化方式に対応する方式で復号する。復号装置１１７は、復号して得られる各フレームのＲメッシュを、ハイブリッド画像生成装置１２０へ供給する。

　なお、第４実施の形態において、トラッキング装置１１３は、省略してもよい。この場合、トラッキング装置１１３から出力された各フレームのＵメッシュが、符号化装置１１４に供給される。

　図２３を参照して、ハイブリッド画像生成装置１２０による補間フレーム生成処理について説明する。

　図２３は、第１実施の形態において図６と同様に、時刻ｔ＋２におけるキーフレームフラグが“１”のときの補間フレーム生成処理を説明する図である。

　図２３では、図６と同様に、複数の撮像装置１０Aで得られた３０fpsの撮影画像４１_ｔ、撮影画像４１_ｔ＋２、・・・と、３Dモデリング装置１１で生成された３０fpsのＵメッシュ４２_ｔ、Ｕメッシュ４２_ｔ＋２、・・・が示されている。

　さらに、複数の撮像装置１０Bで得られた６０fpsの撮影画像４４_ｔ、撮影画像４４_ｔ＋１、撮影画像４４_ｔ＋２、・・・が追加されている。

　第１実施の形態では、時刻ｔ＋２におけるキーフレームフラグが“１”のとき、時刻ｔのＲメッシュをコピーするか、または、時刻ｔ＋２のＲメッシュ４２_ｔ＋２（Ｕメッシュ４２_ｔ＋２）をコピーすることにより、時刻ｔ＋１のＲメッシュ４２_ｔ＋１が生成された。

　これに対して、第４実施の形態では、フレームレートの高い撮影画像４４_ｔ＋１から得られたＲメッシュを用いて、時刻ｔ＋１のＲメッシュ４２_ｔ＋１が生成される。

　キーフレームフラグが“０”の場合の補間フレーム生成処理は、第１実施の形態と同様である。例えば、時刻ｔ＋３のＲメッシュ４３_ｔ＋３のように、前後の時刻ｔ＋２のＲメッシュ４３_ｔ＋２と、時刻ｔ＋４のＲメッシュ４３_ｔ＋４との補間処理により、時刻ｔ＋３のＲメッシュ４３_ｔ＋３が生成される。

　複数の撮像装置１０Bで得られた複数の撮影画像に基づく3DデータBを送信する送信側の処理は、各フレームのキーフレームフラグを伝送しない第３実施の形態の伝送データ送信処理と同様である。

　複数の撮像装置１０Bで得られた複数の撮影画像に基づく3DデータBを受信する受信側の処理は、各フレームのキーフレームフラグを分離せず、図１６の伝送データ受信処理のステップＳ１７１とＳ１７３を行う処理となる。

＜１３．ハイブリッド補間フレーム生成処理＞
　図２４のフローチャートを参照して、フレームレートの異なる２種類の3DデータAおよびBを用いて、フレームレートをアップコンバージョンした3Dデータを生成するハイブリッド補間フレーム生成処理について説明する。

　なお、図２４のハイブリッド補間フレーム生成処理が実行される前には、復号装置１７から、低フレームレートの各フレームのＲメッシュと、復号装置１１７から、高フレームレートの各フレームのＲメッシュが、ハイブリッド画像生成装置１２０に供給されている。

　初めに、ステップＳ２６１において、ハイブリッド画像生成装置１２０は、低フレームレートの3DデータAのフレーム番号を示す変数ｉに１を設定する。

　ステップＳ２６２において、ハイブリッド画像生成装置１２０は、ｉ番目のフレームのキーフレームフラグ（KeyFrameFlag(i)の値）が“１”であるかを判定する。

　ステップＳ２６２で、ｉ番目のフレームのキーフレームフラグが“１”である、すなわち、ｉ番目のフレームのＲメッシュが、（ｉ－１）番目のフレームのＲメッシュと比較して大きく変化している場合、処理はステップＳ２６３に進む。

　ステップＳ２６３において、ハイブリッド画像生成装置１２０は、高フレームレートの3DデータBのフレームのＲメッシュに、生成したい時刻のフレームのＲメッシュが存在するかを判定する。

　ステップＳ２６３で、生成したい時刻のフレームのＲメッシュが存在すると判定された場合、処理はステップＳ２６４に進む。

　ステップＳ２６４において、ハイブリッド画像生成装置１２０は、高フレームレートの3DデータBの生成したい時刻のフレームのＲメッシュを、（ｉ－１）番目とｉ番目の間の、生成したい時刻の補間フレームのＲメッシュとして、処理をステップＳ２６７に進める。

　一方、ステップＳ２６３で、生成したい時刻のフレームのＲメッシュが存在しないと判定された場合、処理はステップＳ２６５に進む。

　ステップＳ２６５において、ハイブリッド画像生成装置１２０は、低フレームレートの（ｉ－１）番目のフレームのＲメッシュを、（ｉ－１）番目とｉ番目の間の、生成したい時刻の補間フレームのＲメッシュとして、処理をステップＳ２６７に進める。

　一方、ステップＳ２６２で、ｉ番目のフレームのキーフレームフラグが“１”ではない（“０”である）、すなわち、ｉ番目のフレームのＲメッシュが、（ｉ－１）番目のフレームのＲメッシュと比較して大きく変化していない場合、処理はステップＳ２６６に進む。

　ステップＳ２６６において、ハイブリッド画像生成装置１２０は、低フレームレートの（ｉ－１）番目のフレームのＲメッシュと、ｉ番目のフレームのＲメッシュとを用いて、補間処理を実行し、（ｉ－１）番目とｉ番目の間の補間フレームのＲメッシュを生成して、処理をステップＳ２６７に進める。

　ステップＳ２６７において、ハイブリッド画像生成装置１２０は、フレーム番号を示す変数ｉが、低フレームレートの3DデータAの（全フレーム数－１）よりも小さいかを判定する。

　ステップＳ２６７で、フレーム番号を示す変数ｉが3DデータAの（全フレーム数－１）よりも小さい、即ち、3DデータAの全てのフレームの間の補間フレームをまだ生成していないと判定された場合、処理はステップＳ２６８に進む。

　そして、ステップＳ２６８において、フレーム番号を示す変数ｉが１だけインクリメントされた後、処理がステップＳ２６２に戻され、上述したステップＳ２６２乃至Ｓ２６７が再度実行される。これにより、次のフレーム間の補間フレームのＲメッシュが生成される。

　一方、ステップＳ２６７で、フレーム番号を示す変数ｉが3DデータAの（全フレーム数－１）以上である、即ち、3DデータAの全てのフレームの間の補間フレームを生成したと判定された場合、ハイブリッド補間フレーム生成処理が終了される。

　以上のように、ハイブリッド補間フレーム生成処理では、フレームのキーフレームフラグが“１”である場合、すなわち、前のフレームとの被写体の３D形状の変化が大きい場合、高フレームレートのメッシュデータを用いて、生成したい時刻の補間フレームのＲメッシュを生成することができる。

　したがって、フレームレートの異なる２種類の3DデータAおよびBを送信側から受信側へ伝送することにより、被写体の３D形状の変化が大きい場合でも、フレームレートをアップコンバージョンした高フレームレートの3Dデータを生成することができる。

＜１４．補間タイプを用いる例＞
　フレームレートの異なる２種類の撮像装置１０Aおよび１０Bを用いる第４実施の形態においても、送信側が、キーフレームフラグを送信する代わりに、補間方法を指定する補間タイプを送信してもよい。

　図２５は、第４実施の形態においてキーフレームフラグの代わりに、補間タイプを用いる場合の補間タイプ生成処理のフローチャートを示している。この処理は、図７のキーフレームフラグ生成処理の後に実行され、各フレームのキーフレームフラグは既知であるとする。

　初めに、ステップＳ２９１において、フラグ生成装置１２は、低フレームレートの3DデータAのフレーム番号を示す変数ｉに０を設定する。

　ステップＳ２９２において、フラグ生成装置１２は、（ｉ＋１）番目のフレームのキーフレームフラグが生成されているかを判定する。

　ステップＳ２９２で、（ｉ＋１）番目のフレームのキーフレームフラグが生成されていないと判定された場合、処理はステップＳ２９３に進み、フラグ生成装置１２は、ｉ番目のフレームの補間タイプを“２”に設定し（Interpolation Type(i)＝２）、処理をステップＳ２９９に進める。

　一方、ステップＳ２９２で、（ｉ＋１）番目のフレームのキーフレームフラグが生成されていると判定された場合、処理はステップＳ２９４に進み、フラグ生成装置１２は、（ｉ＋１）番目のフレームのキーフレームフラグが“０”であるかを判定する。

　ステップＳ２９４で、（ｉ＋１）番目のフレームのキーフレームフラグが“０”ではない、すなわち、（ｉ＋１）番目のフレームのキーフレームフラグが“１”であると判定された場合、処理はステップＳ２９５に進む。

　ステップＳ２９５において、フラグ生成装置１２は、３Dモデリング装置１１１で撮影された高フレームレートの3DデータBを確認し、低フレームレートの3DデータAのｉ番目のフレームと（ｉ＋１）番目のフレームの間の時刻を高フレームレートの撮像装置１０Bが撮影しているかを判定する。

　ステップＳ２９５で、ｉ番目のフレームと（ｉ＋１）番目のフレームの間の時刻を高フレームレートの撮像装置１０Bが撮影していると判定された場合、処理はステップＳ２９６に進み、フラグ生成装置１２は、ｉ番目のフレームの補間タイプを“３”に設定し（Interpolation Type(i)＝３）、処理をステップＳ２９９に進める。

　一方、ステップＳ２９５で、ｉ番目のフレームと（ｉ＋１）番目のフレームの間の時刻を高フレームレートの撮像装置１０Bが撮影していないと判定された場合、処理はステップＳ２９７に進み、フラグ生成装置１２は、ｉ番目のフレームの補間タイプを“１”に設定し（Interpolation Type(i)＝１）、処理をステップＳ２９９に進める。

　一方、ステップＳ２９４で、（ｉ＋１）番目のフレームのキーフレームフラグが“０”であると判定された場合、処理はステップＳ２９８に進み、フラグ生成装置１２は、ｉ番目のフレームの補間タイプを“０”に設定し（Interpolation Type(i)＝０）、処理をステップＳ２９９に進める。

　ステップＳ２９９において、フラグ生成装置１２は、フレーム番号を示す変数ｉが、低フレームレートの3DデータAの（全フレーム数－１）よりも小さいかを判定する。

　ステップＳ２９９で、フレーム番号を示す変数ｉが3DデータAの（全フレーム数－１）よりも小さい、即ち、3DデータAの全てのフレームの補間タイプを決定していないと判定された場合、処理はステップＳ２３０に進む。

　そして、ステップＳ２３０において、フレーム番号を示す変数ｉが１だけインクリメントされた後、処理がステップＳ２９２に戻され、上述したステップＳ２９２乃至Ｓ２９９が再度実行される。これにより、低フレームレートの3DデータAの次のフレームの補間タイプが決定される。

　一方、ステップＳ２０７で、フレーム番号を示す変数ｉが3DデータAの（全フレーム数－１）以上である、即ち、3DデータAの全てのフレームの補間タイプを決定したと判定された場合、補間タイプ生成処理が終了される。

　次に、図２６のフローチャートを参照して、補間タイプを用いる場合のハイブリッド補間フレーム生成処理について説明する。この処理は、補間タイプがビットストリームに格納されて伝送されてきた場合に、図２４のハイブリッド補間フレーム生成処理の代わりに実行される。

　初めに、ステップＳ３１１において、ハイブリッド画像生成装置１２０は、低フレームレートの3DデータAのフレーム番号を示す変数ｉに１を設定する。

　ステップＳ３１２において、ハイブリッド画像生成装置１２０は、3DデータAのｉ番目のフレームの補間タイプ（Interpolation Type(i)の値）が“０”であるかを判定する。

　ステップＳ３１２で、ｉ番目のフレームの補間タイプが“０”であると判定された場合、処理はステップＳ３１３に進む。

　ステップＳ３１３において、ハイブリッド画像生成装置１２０は、低フレームレートの3DデータAの（ｉ－１）番目のフレームのＲメッシュとｉ番目のフレームのＲメッシュとを用いて、補間処理を実行し、（ｉ－１）番目とｉ番目の間の補間フレームのＲメッシュを生成し、処理をステップＳ３１９に進める。

　一方、ステップＳ３１２で、ｉ番目のフレームの補間タイプが“０”ではないと判定された場合、処理はステップＳ３１４に進む。

　ステップＳ３１４において、ハイブリッド画像生成装置１２０は、3DデータAのｉ番目のフレームの補間タイプ（Interpolation Type(i)の値）が“３”であるかを判定する。

　ステップＳ３１４で、ｉ番目のフレームの補間タイプが“３”ではないと判定された場合、処理はステップＳ３１５に進み、ハイブリッド画像生成装置１２０は、ｉ番目のフレームの補間タイプ（Interpolation Type(i)の値）が“１”であるかを判定する。

　ステップＳ３１５で、ｉ番目のフレームの補間タイプ（Interpolation Type(i)の値）が“１”であると判定された場合、処理はステップＳ３１６に進み、ハイブリッド画像生成装置１２０は、低フレームレートの3DデータAのｉ番目のフレームのＲメッシュをコピーして、（ｉ－１）番目とｉ番目の間の、生成したい時刻の補間フレームのＲメッシュを生成し、処理をステップＳ３１９に進める。

　一方、ステップＳ３１５で、ｉ番目のフレームの補間タイプが“１”ではない、即ち“２”あると判定された場合、処理はステップＳ３１７に進み、ハイブリッド画像生成装置１２０は、低フレームレートの3DデータAの（ｉ－１）番目のフレームのＲメッシュをコピーして、（ｉ－１）番目とｉ番目の間の、生成したい時刻の補間フレームのＲメッシュを生成し、処理をステップＳ３１９に進める。

　一方、ステップＳ３１４で、ｉ番目のフレームの補間タイプが“３”であると判定された場合と判定された場合、処理はステップＳ３１８に進み、ハイブリッド画像生成装置１２０は、高フレームレートの3DデータBの（ｉ－１）番目とｉ番目の間のフレームのＲメッシュをコピーして、生成したい時刻の補間フレームのＲメッシュを生成し、処理をステップＳ３１９に進める。

　ステップＳ３１９において、ハイブリッド画像生成装置１２０は、低フレームレートの3DデータAのフレーム番号を示す変数ｉが、3DデータAの（全フレーム数－１）よりも小さいかを判定する。

　ステップＳ３１９で、フレーム番号を示す変数ｉが3DデータAの（全フレーム数－１）よりも小さい、即ち、3DデータAの全てのフレームの間の補間フレームをまだ生成していないと判定された場合、処理はステップＳ３２０に進む。

　そして、ステップＳ３２０において、フレーム番号を示す変数ｉが１だけインクリメントされた後、処理がステップＳ３１２に戻され、上述したステップＳ３１２乃至Ｓ３１９が再度実行される。これにより、次のフレーム間の補間フレームのＲメッシュが生成される。

　一方、ステップＳ３１９で、フレーム番号を示す変数ｉが3DデータAの（全フレーム数－１）以上である、即ち、3DデータAの全てのフレームの間の補間フレームを生成したと判定された場合、補間フレーム生成処理が終了される。

　以上のように、フレームレートの異なる２種類の撮像装置１０Aおよび１０Bを用いる第４実施の形態においても、送信側が、キーフレームフラグの代わりに、補間タイプを送信し、受信側は、補間タイプに基づいて、受信したフレームの間の補間フレームを生成することができる。

＜１５．画像処理システムの第５実施の形態＞
　図２７は、本技術を適用した画像処理システムの第５実施の形態の構成例を示すブロック図である。

　図２７において、図２２に示した第４実施の形態と対応する部分については同一の符号を付してあり、その部分についての説明は適宜省略する。

　図２７の第５実施の形態は、フレームレートの異なる２種類の撮像装置１０Aおよび１０Bを用いる第４実施の形態の符号化装置１１４および復号装置１１７を省略し、圧縮符号化されない各フレームのメッシュデータを伝送するようにした構成である。

　図２７の第５実施の形態は、図２２の第４実施の形態と比較すると、上述した第１実施の形態と第２実施の形態の関係と同様に、符号化装置１４および１１４と、復号装置１７および１１７が省略されている。

　受信装置１６は、送信装置１５からネットワークを介して送信されてくる3DデータAのビットストリームを受信し、受信した3DデータAのビットストリームに格納されている各フレームのメッシュデータであるＲメッシュとキーフレームフラグとを分離して、ハイブリッド画像生成装置１２０へ供給する。

　トラッキング装置１１３は、メッシュトラッキング処理後のメッシュデータであるＲメッシュを送信装置１１５に供給する。送信装置１１５は、トラッキング装置１１３から供給される各フレームのＲメッシュを、１つのビットストリームに格納し、ネットワークを介して受信装置１１６へ送信する。

　受信装置１１６は、送信装置１５からネットワークを介して送信されてくる3DデータBのビットストリームを受信し、受信した3DデータBのビットストリームに格納されている各フレームのＲメッシュを、ハイブリッド画像生成装置１２０へ供給する。

　ハイブリッド画像生成装置１２０は、復号装置１７から供給される各フレームのＲメッシュ、受信装置１６から供給される各フレームのキーフレームフラグ、および、復号装置１１７から供給される各フレームのＲメッシュを用いて、補間フレーム生成処理を実行し、フレームレートをアップコンバージョンした3Dデータを生成する。

＜１６．画像処理システムの第６実施の形態＞
　図２８は、本技術を適用した画像処理システムの第６実施の形態の構成例を示すブロック図である。

　図２８において、上述した第１乃至第５実施の形態と対応する部分については同一の符号を付してあり、その部分についての説明は適宜省略する。

　図２８の第６実施の形態は、上述した第４および第５実施の形態と同様に、フレームレートの異なる２種類の撮像装置１０Aおよび１０Bを用いる構成である。

　また、図２８の第６実施の形態は、図２０に示した第３実施の形態と同様に、送信側から各フレームのキーフレームフラグを送信せずに、受信側が、各フレームのキーフレームフラグを決定（推定）して、生成する構成である。

　換言すれば、図２８の第６実施の形態は、図２２に示した、フレームレートの異なる２種類の撮像装置１０Aおよび１０Bを用いる第４実施の形態の、送信側のフラグ生成装置１２を省略して、送信装置１５を第３実施の形態の送信装置６１に置き換え、受信側の送信装置１５を第３実施の形態の受信装置６２に置き換えるとともに、フラグ推定装置６３が新たに追加された構成である。

　このように、フレームレートの異なる２種類の撮像装置１０Aおよび１０Bを用いる構成においても、送信側から各フレームのキーフレームフラグを送信せずに、受信側が、各フレームのキーフレームフラグを決定（推定）して生成し、補間フレーム生成処理を実行してもよい。

＜１７．画像処理システムの第７実施の形態＞
　図２９は、本技術を適用した画像処理システムの第７実施の形態の構成例を示すブロック図である。

　図２９において、上述した第１乃至第６実施の形態と対応する部分については同一の符号を付してあり、その部分についての説明は適宜省略する。

　第７実施の形態に係る画像処理システム１は、上述した第４乃至第６実施の形態と同様に、フレームレートの異なる２種類の撮像装置１０Aおよび１０Bを用いる構成である。

　上述した第４乃至第６実施の形態に係る画像処理システム１では、低フレームレートの3DデータAのメッシュデータの生成、伝送、および、受信と、高フレームレートの3DデータBのメッシュデータの生成、伝送、および、受信は、異なる装置が行っていた。

　しかしながら、図２９に示されるように、3Dデータのメッシュデータを生成、伝送、および、受信する各装置が、低フレームレートの3DデータAと高フレームレートの3DデータBの両方を処理する構成としてもよい。

　図２９の画像処理システム１は、３Dモデリング装置１４１、トラッキング装置１４３、符号化装置１４４、送信装置１４５、受信装置１４６、および、復号装置１４７を有する。

　また、図２９の画像処理システム１は、上述した第４実施の形態と同様に、複数の撮像装置１０A－１乃至１０A－N、複数の撮像装置１０B－１乃至１０B－M、フラグ生成装置１２、および、ハイブリッド画像生成装置１２０を備える。

　３Dモデリング装置１４１は、上述した３Dモデリング装置１１が行う処理と３Dモデリング装置１１１が行う処理の両方を行う。具体的には、３Dモデリング装置１４１は、複数の撮像装置１０Aおよび１０Bそれぞれで撮像して得られた複数の撮影画像に基づいて、被写体の３D形状のモデリング処理を実行し、その結果として得られる3DデータAおよび3DデータBを生成する。

　トラッキング装置１４３は、上述したトラッキング装置１３が行う処理とトラッキング装置１１３が行う処理の両方を行う。具体的には、トラッキング装置１４３は、３Dモデリング装置１４１から3DデータAおよびBとして供給される各フレームのＵメッシュに対してメッシュトラッキング処理を実行し、各フレームのＲメッシュに変換して符号化装置１４４に供給する。

　符号化装置１４４は、上述した符号化装置１４が行う処理と符号化装置１１４が行う処理の両方を行う。具体的には、符号化装置１４４は、トラッキング装置１４３から供給される3DデータAおよびBとしての各フレームのＲメッシュを、所定の符号化方式で圧縮符号化し、その結果得られた各フレームの圧縮メッシュデータを、送信装置１４５へ供給する。

　送信装置１４５は、上述した送信装置１５が行う処理と送信装置１１５が行う処理の両方を行う。具体的には、送信装置１４５は、ビットストリームとして、3DデータAとしての各フレームの圧縮メッシュデータと、フラグ生成装置１２から供給される各フレームのキーフレームフラグを、１つのビットストリームに格納し、ネットワークを介して受信装置１４６へ送信する。また、送信装置１４５は、3DデータBとしての各フレームの圧縮メッシュデータを格納して、１つのビットストリームに格納し、ネットワークを介して受信装置１４６へ送信する。

　受信装置１４６は、上述した受信装置１６が行う処理と受信装置１１６が行う処理の両方を行う。具体的には、受信装置１４６は、送信装置１４５からネットワークを介して送信されてくる3DデータAのビットストリームを受信し、各フレームの圧縮メッシュデータと、各フレームのキーフレームフラグとに分離する。また、受信装置１４６は、送信装置１４５からネットワークを介して送信されてくる3DデータBのビットストリームを受信し、各フレームの圧縮メッシュデータを取得する。3DデータAおよびBの各フレームの圧縮メッシュデータは、復号装置１７へ供給され、各フレームのキーフレームフラグをハイブリッド画像生成装置１２０へ供給される。

　復号装置１４７は、上述した復号装置１７が行う処理と復号装置１１７が行う処理の両方を行う。具体的には、復号装置１４７は、受信装置１４６から供給される3DデータAおよびBの各フレームの圧縮メッシュデータを、符号化装置１４における符号化方式に対応する方式で復号し、ハイブリッド画像生成装置１２０へ供給する。

　画像処理システム１は、以上のように構成することもできる。

＜１８．画像処理システムの第８実施の形態＞
　図３０は、本技術を適用した画像処理システムの第８実施の形態の構成例を示すブロック図である。

　図３０において、上述した第１乃至第６実施の形態と対応する部分については同一の符号を付してあり、その部分についての説明は適宜省略する。

　第７実施の形態に係る画像処理システム１は、図１に示した第１実施の形態の変形例である。

　図１に示した第１実施の形態では、被写体の３D形状のモデリング処理、キーフレームフラグの生成処理、メッシュトラッキング処理、圧縮符号化処理、および、キーフレームフラグの格納および送信処理、キーフレームフラグの受信および分離処理、復号処理、補間フレーム生成処理のそれぞれを、異なる装置が実行した。

　しかしながら、送信側および受信側のそれぞれにおいて、上述した複数の装置が１つの装置に含まれる構成としてもよい。

　例えば、図３０に示されるように、送信側において、画像送信装置１６１が、３Dモデリング装置１１、フラグ生成装置１２、トラッキング装置１３、符号化装置１４、および、送信装置１５を内部ブロックとして有する。３Dモデリング装置１１、フラグ生成装置１２、トラッキング装置１３、符号化装置１４、および、送信装置１５は、画像送信装置１６１内において、それぞれ、３Dモデリング部、フラグ生成部（情報生成部）、トラッキング部、符号化部、および、送信部として機能する。

　受信側において、画像受信装置１６２が、受信装置１６、復号装置１７、および、画像生成装置１８を内部ブロックとして有する。受信装置１６、復号装置１７、および、画像生成装置１８は、画像受信装置１６２内において、それぞれ、受信部、復号部、および、画像生成部として機能する。

　この場合、画像送信装置１６１が、３Dモデリング装置１１、フラグ生成装置１２、トラッキング装置１３、符号化装置１４、および、送信装置１５のそれぞれが行う処理を実行する。画像受信装置１６２が、受信装置１６、復号装置１７、および、画像生成装置１８のそれぞれが行う処理を実行する。

　なお、図３０に示した構成は、あくまで一例であり、任意の複数の装置を１つの装置が行わせる構成とすることができる。例えば、フラグ生成装置１２、トラッキング装置１３、および、符号化装置１４で１つの装置を構成してもよい。

　また、図３０の構成は、図１に示した第１実施の形態における複数の装置を１つの装置にまとめた構成であるが、上述した他の実施の形態についても同様に、任意の複数の装置を１つの装置が行わせる構成とすることができる。

＜１９．コンピュータの構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

　バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。

　入力部３０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部３０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部３０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体３１１を駆動する。

　以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。

　なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

　なお、本技術は以下のような構成も取ることができる。
（１）
　３D画像の２つのフレームの相違度に基づく情報を生成する情報生成部と、
　生成された前記相違度に基づく情報を送信する送信部と
　を備える送信装置。
（２）
　前記相違度に基づく情報は、前記２つのフレームで3D形状が大きく変化するか否かを示すフラグである
　前記（１）に記載の送信装置。
（３）
　前記相違度に基づく情報は、前記２つのフレームの間のフレームを生成する際の補間タイプを示す値である
　前記（１）に記載の送信装置。
（４）
　前記相違度に基づく情報は、前記２つのフレームの相違度の値である
　前記（１）に記載の送信装置。
（５）
　前記送信部は、前記３D画像の２つのフレームのメッシュデータと、前記相違度に基づく情報とを格納したビットストリームを生成して送信する
　前記（１）乃至（４）のいずれかに記載の送信装置。
（６）
　前記送信部は、前記相違度に基づく情報をフレーム毎にメタデータとして格納したビットストリームを生成して送信する
　前記（５）に記載の送信装置。
（７）
　前記送信部は、前記３D画像の全てのフレームの前記相違度に基づく情報を格納したメタデータと、前記３D画像の各フレームを格納したビットストリームを生成して送信する
　前記（５）に記載の送信装置。
（８）
　前記３D画像の２つのフレームのメッシュデータを所定の符号化方式で圧縮符号化する符号化部をさらに備え、
　前記送信部は、前記メッシュデータを圧縮符号化した圧縮メッシュデータと、前記相違度に基づく情報とを格納したビットストリームを生成して送信する
　前記（１）乃至（４）のいずれかに記載の送信装置。
（９）
　前記情報生成部は、第１フレームレートの前記３D画像の前記相違度に基づく情報を生成し、
　前記送信部は、前記第１フレームレートの前記３D画像のメッシュデータおよび前記相違度に基づく情報と、前記第１フレームレートとフレームレートが異なる第２フレームレートで、同一被写体を撮影した３D画像のメッシュデータとを送信する
　前記（１）乃至（４）のいずれかに記載の送信装置。
（１０）
　送信装置が、
　３D画像の２つのフレームの相違度に基づく情報を生成し、
　生成された前記相違度に基づく情報を送信する
　送信方法。
（１１）
　３D画像の２つのフレームの相違度に基づく情報に基づいて、前記２つのフレームの間の補間フレームを生成する画像生成部
　を備える受信装置。
（１２）
　前記相違度に基づく情報は、前記２つのフレームで3D形状が大きく変化するか否かを示すフラグである
　前記（１１）に記載の受信装置。
（１３）
　前記相違度に基づく情報は、前記補間フレームを生成する際の補間タイプを示す値である
　前記（１１）に記載の受信装置。
（１４）
　前記相違度に基づく情報は、前記２つのフレームの相違度の値である
　前記（１１）に記載の受信装置。
（１５）
　前記画像生成部は、前記相違度に基づく情報に基づいて、前記補間フレームを生成する生成方法を変更する
　前記（１１）乃至（１４）のいずれかに記載の受信装置。
（１６）
　前記相違度は、前記２つのフレームのハウスドルフ距離を計算した値である
　前記（１１）乃至（１５）のいずれかに記載の受信装置。
（１７）
　前記３D画像の２つのフレームのメッシュデータと、前記相違度に基づく情報とを格納したビットストリームを受信する受信部をさらに備え、
　前記画像生成部は、受信した前記相違度に基づく情報に基づいて、前記補間フレームを生成する
　前記（１１）乃至（１６）のいずれかに記載の受信装置。
（１８）
　前記３D画像の２つのフレームのメッシュデータは、所定の符号化方式で圧縮符号化されており、
　圧縮符号化された前記メッシュデータを復号する復号部をさらに備え、
　前記画像生成部は、受信した前記相違度に基づく情報に基づいて、復号により得られた前記メッシュデータを用いて前記補間フレームを生成する
　前記（１７）に記載の受信装置。
（１９）
　前記受信部は、前記相違度に基づく情報をフレーム毎にメタデータとして格納した前記ビットストリームを受信する
　前記（１７）または（１８）に記載の受信装置。
（２０）
　前記受信部は、前記３D画像の全てのフレームの前記相違度に基づく情報を格納したメタデータと、前記３D画像の各フレームのメッシュデータを格納した前記ビットストリームを受信する
　前記（１７）または（１８）に記載の受信装置。

　１　画像処理システム，　１０A,１０B　撮像装置，　１１　３Dモデリング装置，　１２　フラグ生成装置，　１３　トラッキング装置，　１４　符号化装置，　１５　送信装置，　１６　受信装置，　１７　復号装置，　１８　画像生成装置，　６１　送信装置，　６２　受信装置，　６３　フラグ推定装置，　１１１　３Dモデリング装置，　１１３　トラッキング装置，　１１４　符号化装置，　１１５　送信装置，　１１６　受信装置，　１１７　復号装置，　１２０　ハイブリッド画像生成装置，　１４１　３Dモデリング装置，　１４３　トラッキング装置，　１４４　符号化装置，　１４５　送信装置，　１４６　受信装置，　１４７　復号装置，　１６１　画像送信装置，　１６２　画像受信装置，　３０１　CPU，　３０２　ROM，　３０３　RAM，　３０６　入力部，　３０７　出力部，　３０８　記憶部，　３０９　通信部，　３１０　ドライブ

Claims

　３D画像の２つのフレームの相違度に基づく情報を生成する情報生成部と、
　生成された前記相違度に基づく情報を送信する送信部と
　を備える送信装置。
　前記相違度に基づく情報は、前記２つのフレームで3D形状が大きく変化するか否かを示すフラグである
　請求項１に記載の送信装置。
　前記相違度に基づく情報は、前記２つのフレームの間のフレームを生成する際の補間タイプを示す値である
　請求項１に記載の送信装置。
　前記相違度に基づく情報は、前記２つのフレームの相違度の値である
　請求項１に記載の送信装置。
　前記送信部は、前記３D画像の２つのフレームのメッシュデータと、前記相違度に基づく情報とを格納したビットストリームを生成して送信する
　請求項１に記載の送信装置。
　前記送信部は、前記相違度に基づく情報をフレーム毎にメタデータとして格納したビットストリームを生成して送信する
　請求項５に記載の送信装置。
　前記送信部は、前記３D画像の全てのフレームの前記相違度に基づく情報を格納したメタデータと、前記３D画像の各フレームを格納したビットストリームを生成して送信する
　請求項５に記載の送信装置。
　前記３D画像の２つのフレームのメッシュデータを所定の符号化方式で圧縮符号化する符号化部をさらに備え、
　前記送信部は、前記メッシュデータを圧縮符号化した圧縮メッシュデータと、前記相違度に基づく情報とを格納したビットストリームを生成して送信する
　請求項１に記載の送信装置。
　前記情報生成部は、第１フレームレートの前記３D画像の前記相違度に基づく情報を生成し、
　前記送信部は、前記第１フレームレートの前記３D画像のメッシュデータおよび前記相違度に基づく情報と、前記第１フレームレートとフレームレートが異なる第２フレームレートで、同一被写体を撮影した３D画像のメッシュデータとを送信する
　請求項１に記載の送信装置。
　送信装置が、
　３D画像の２つのフレームの相違度に基づく情報を生成し、
　生成された前記相違度に基づく情報を送信する
　送信方法。
　３D画像の２つのフレームの相違度に基づく情報に基づいて、前記２つのフレームの間の補間フレームを生成する画像生成部
　を備える受信装置。
　前記相違度に基づく情報は、前記２つのフレームで3D形状が大きく変化するか否かを示すフラグである
　請求項１１に記載の受信装置。
　前記相違度に基づく情報は、前記補間フレームを生成する際の補間タイプを示す値である
　請求項１１に記載の受信装置。
　前記相違度に基づく情報は、前記２つのフレームの相違度の値である
　請求項１１に記載の受信装置。
　前記画像生成部は、前記相違度に基づく情報に基づいて、前記補間フレームを生成する生成方法を変更する
　請求項１１に記載の受信装置。
　前記相違度は、前記２つのフレームのハウスドルフ距離を計算した値である
　請求項１１に記載の受信装置。
　前記３D画像の２つのフレームのメッシュデータと、前記相違度に基づく情報とを格納したビットストリームを受信する受信部をさらに備え、
　前記画像生成部は、受信した前記相違度に基づく情報に基づいて、前記補間フレームを生成する
　請求項１１に記載の受信装置。
　前記３D画像の２つのフレームのメッシュデータは、所定の符号化方式で圧縮符号化されており、
　圧縮符号化された前記メッシュデータを復号する復号部をさらに備え、
　前記画像生成部は、受信した前記相違度に基づく情報に基づいて、復号により得られた前記メッシュデータを用いて前記補間フレームを生成する
　請求項１７に記載の受信装置。
　前記受信部は、前記相違度に基づく情報をフレーム毎にメタデータとして格納した前記ビットストリームを受信する
　請求項１７に記載の受信装置。
　前記受信部は、前記３D画像の全てのフレームの前記相違度に基づく情報を格納したメタデータと、前記３D画像の各フレームのメッシュデータを格納した前記ビットストリームを受信する
　請求項１７に記載の受信装置。