WO2023171355A1

WO2023171355A1 - 撮像システムおよび映像処理方法、並びにプログラム

Info

Publication number: WO2023171355A1
Application number: PCT/JP2023/006123
Authority: WO
Inventors: 雅央神田; 伸絵前川; 和哉古本; 達也大川
Original assignee: ソニーセミコンダクタソリューションズ株式会社
Priority date: 2022-03-07
Filing date: 2023-02-21
Publication date: 2023-09-14

Abstract

本技術は、映り込みの発生を抑制することができるようにする撮像システムおよび映像処理方法、並びにプログラムに関する。撮像システムは、所定の被写体を含む撮影映像と距離情報に基づいて、被写体のモーションキャプチャを行う被写体動作検出部と、撮影映像上の被写体を見えなくする透明化処理を行い、撮影映像に対する透明化処理により得られた映像上に、モーションキャプチャにより検出された動きをする、被写体に対応するアバタを合成するか、または撮影映像上に透明化処理により得られたアバタを合成することで合成映像を生成するデータ制御部とを備える。本技術は撮像システムに適用することができる。

Description

撮像システムおよび映像処理方法、並びにプログラム

　本技術は、撮像システムおよび映像処理方法、並びにプログラムに関し、特に、映り込みの発生を抑制することができるようにした撮像システムおよび映像処理方法、並びにプログラムに関する。

　例えばAR（Augmented Reality）においては、実空間を撮影して得られた映像上の被写体についてモーションキャプチャを行い、その被写体の動きに合わせて動くアバタ等を、撮影により得られた映像上の被写体部分に重畳して得られる合成映像が提示される。

　この場合、合成映像上の被写体の領域とアバタ等の領域とが完全に一致しないときには、アバタ等から被写体がはみ出してしまう映り込みが発生する。

　また、被写体のはみ出しに関連する技術として、不要な被写体を補完CG（Computer Graphics）映像により隠蔽して合成映像を生成する技術が提案されている（例えば、特許文献１参照）。

　特許文献１では、実カメラに設けられたモーションセンサにより実カメラの位置と姿勢の推定が行われ、その推定結果に基づいて実空間と仮想空間の空間条件を一致させた、不要被写体がないとしたときの仮想空間のCG映像が生成される。そして、実カメラで得られた映像上の不要被写体の部分にCG映像から抽出された補完CGが合成される。この場合、予め用意した仮想モデルデータに基づいて、仮想空間のCG映像が生成される。

特開２０２０－９６２６７号公報

　しかしながら上述した技術では、被写体の映り込みの発生を抑制することができない場合があった。

　例えば上述の特許文献１では、撮影を行う実空間に対応する仮想空間の仮想モデルデータを予め用意しておく必要があるため、撮影場所が限定されてしまう。すなわち、対応する仮想モデルデータのない撮影場所では、映り込みの発生を抑制することができない。

　本技術は、このような状況に鑑みてなされたものであり、映り込みの発生を抑制することができるようにするものである。

　本技術の一側面の撮像システムは、所定の被写体を含む撮影映像と距離情報に基づいて、前記被写体のモーションキャプチャを行う被写体動作検出部と、前記撮影映像上の前記被写体を見えなくする透明化処理を行い、前記撮影映像に対する前記透明化処理により得られた映像上に、前記モーションキャプチャにより検出された動きをする、前記被写体に対応するアバタを合成するか、または前記撮影映像上に前記透明化処理により得られた前記アバタを合成することで合成映像を生成するデータ制御部とを備える。

　本技術の一側面の映像処理方法またはプログラムは、所定の被写体を含む撮影映像と距離情報に基づいて、前記被写体のモーションキャプチャを行い、前記撮影映像上の前記被写体を見えなくする透明化処理を行い、前記撮影映像に対する前記透明化処理により得られた映像上に、前記モーションキャプチャにより検出された動きをする、前記被写体に対応するアバタを合成するか、または前記撮影映像上に前記透明化処理により得られた前記アバタを合成することで合成映像を生成するステップを含む。

　本技術の一側面においては、所定の被写体を含む撮影映像と距離情報に基づいて、前記被写体のモーションキャプチャが行われ、前記撮影映像上の前記被写体を見えなくする透明化処理が行われ、前記撮影映像に対する前記透明化処理により得られた映像上に、前記モーションキャプチャにより検出された動きをする、前記被写体に対応するアバタが合成されるか、または前記撮影映像上に前記透明化処理により得られた前記アバタが合成されることで合成映像が生成される。

被写体の映り込みについて説明する図である。本技術について説明する図である。撮像システムの構成例を示す図である。 3Dマッピングデータを用いた合成映像の生成について説明する図である。合成映像生成処理を説明するフローチャートである。事前に撮影した映像による補完について説明する図である。撮像システムの構成例を示す図である。事前撮影処理を説明するフローチャートである。合成映像生成処理を説明するフローチャートである。サブ撮像部による撮影について説明する図である。サブ撮像部で撮影した映像による補完について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。推定により生成した背景の映像による補完について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。適用データに基づく映像による補完について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。アバタのサイズ等の調整による透明化について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。 3Dマッピングデータを活用した被写体検出について説明する図である。合成映像生成処理を説明するフローチャートである。過去背景映像に基づく補完について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。対象被写体までの距離に応じた処理について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。撮影の継続と一時停止について説明する図である。撮像システムの構成例を示す図である。判定処理を説明するフローチャートである。撮影映像と3Dマッピングの撮影視野について説明する図である。合成映像の生成について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。被写体同士の前後の位置関係の反映について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。対象被写体同士の前後の位置関係の反映について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。被写体同士の前後の位置関係の反映について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。アバタのサイズ変更について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。距離に応じたアバタの表示サイズの調整について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。被写体の接点を起点としたアバタ表示について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。任意の別映像の合成について説明する図である。撮像システムの構成例を示す図である。合成映像生成処理を説明するフローチャートである。コンピュータの構成例を示す図である。

　以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈本技術について〉
　本技術は、被写体の映り込みの発生を抑制可能な、モーションキャプチャによるAR映像撮影方法に関するものである。

　一般的なAR映像の提示においては、例えば図１の左側に示すように、人物等の特定の被写体SB11と背景等のその他の被写体がカメラCA11により撮影される。

　そして、カメラCA11による撮影により得られた撮影映像P11に基づき、被写体SB11の動きを検出するモーションキャプチャが行われ、その結果得られた動き（モーション）に合わせて動くアバタAB11の映像であるアバタ動作データが生成される。

　さらに、撮影映像P11上の被写体SB11の部分にアバタ動作データ（アバタAB11）が合成（重畳）されて、ユーザ等に提示される合成映像SP11が生成される。

　しかしながら、この方法では被写体SB11の部分にそのままアバタAB11を重ねて合成（表示）するため、被写体SB11とアバタAB11の形状が完全に一致しないと、合成映像SP11上においてアバタAB11の部分から被写体SB11がはみ出してしまう。すなわち、被写体SB11の映り込みが発生してしまう。

　そこで、本技術では撮影映像上の特定の被写体を見えなくする処理を行う、すなわち特定の被写体の透明化処理を行うことで、映り込みの発生を抑制できるようにした。

　特に、本技術では、撮影位置から特定の被写体や背景等の他の被写体までの距離を示す距離情報である3Dマッピングを利用することで、撮影場所によらず、より簡単かつ確実に映り込みの発生を抑制することができるようにした。

　具体的には本技術では、例えば図２の左側に示すように、人物等の特定の被写体SB21と背景等のその他の被写体が対象（被写体）とされて、カメラCA21により通常の動画像（映像）である撮影映像と3Dマッピングの撮影が行われる。

　これにより、被写体SB21等を被写体として含む撮影映像P21と、カメラCA21から被写体SB21や背景にある他の被写体などの各被写体までの距離を示す距離情報である3DマッピングMP21とが得られる。これらの撮影映像P21と3DマッピングMP21を用いれば、より正確に被写体SB21の領域や動きを検出することができる。

　本技術では、撮影映像P21上における被写体SB21の領域に対して、事前に撮影した撮影映像や予め用意した他の映像等による補完処理（置き換え）などを行うことで、撮影映像P21上における被写体SB21を見えなくする透明化処理が実現される。

　また、撮影により得られた撮影映像P21や3DマッピングMP21に基づき、被写体SB21のモーションキャプチャが行われる。すなわち、被写体SB21の動きが検出される。そして、被写体SB21の動きに合わせて動く、被写体SB21に対応するアバタAB21の映像がアバタ動作データとして生成される。

　さらに、透明化処理が行われた撮影映像P21上の被写体SB21の領域部分に、アバタAB21が合成されて、ユーザ等に提示される合成映像SP21が生成される。

　このように本技術によれば、仮想空間の仮想モデルデータを予め用意する必要がないので、撮影場所によらず被写体SB21の透明化を行い、被写体SB21の映り込みのない合成映像SP21を得ることができる。すなわち、現実の背景に対して違和感を生じさせずにアバタAB21を合成することができる。したがって、映像としての世界観を崩すことなく合成映像SP21の提示を行うことができる。

　また、本技術では、撮影映像P21だけでなく3DマッピングMP21も活用することで、より簡単かつ正確に被写体SB21の領域や動きを検出し、合成映像SP21上においてアバタAB21等を現実空間に自然に融和させることができる。

〈撮像システムの概略的な構成例〉
　図３は、本技術を適用した撮像システムの概略的な構成を示す図である。

　図３に示す撮像システム１１は、撮像部２１、データ制御部２２、およびディスプレイ２３を有している。

　撮像部２１は、例えばカメラなどからなり、特定の人物（ユーザ）や背景等を被写体として撮影映像と3Dマッピングの撮影（取得）を行う。撮像部２１は、3Dマッピング撮像部３１および画像撮像部３２を有している。

　3Dマッピング撮像部３１は、例えばToF（Time Of Flight）センサ、ステレオカメラ、ストラクチャードライトシステム等の測距センサからなる。3Dマッピング撮像部３１は、特定の人物（ユーザ）や背景等を対象として3Dマッピングの撮影を行い、その結果得られた、撮影位置、すなわち3Dマッピング撮像部３１から被写体（対象物）までの距離を示す3Dマッピングデータをデータ制御部２２に供給する。

　画像撮像部３２は、例えばイメージセンサなどからなり、特定の人物（ユーザ）や背景等を被写体として動画像（撮影映像）の撮影を行い、その結果得られた撮影映像の映像データをデータ制御部２２に供給する。

　なお、3Dマッピング撮像部３１と画像撮像部３２は、個別に設けられていてもよいし、１つのセンサ基板に形成されていてもよい。

　データ制御部２２は、例えばパーソナルコンピュータやスマートフォンなどの情報処理装置からなる。なお、データ制御部２２を有する情報処理装置に撮像部２１やディスプレイ２３が設けられていてもよいし、撮像部２１やディスプレイ２３が、データ制御部２２を有する情報処理装置とは別の装置とされてもよい。

　データ制御部２２は、撮像部２１から供給された、同じ被写体を含む3Dマッピングデータおよび映像データと、外部から供給されるアバタ情報とに基づいて合成映像の映像データを生成し、ディスプレイ２３に供給する。

　アバタ情報は、撮影映像上における人物等の特定の被写体に対応する他のキャラクタや人物像などのアバタの3Dモデルを表す3Dモデルデータなどとされる。

　以下では、撮影映像上の特定人物が透明化され、その特定人物に対応するアバタが合成された合成映像が生成されるものとして説明を続ける。また、透明化の対象となる特定人物を対象被写体とも称する。

　データ制御部２２は被写体動作検出部４１、アバタ動作構築部４２、被写体領域抽出部４３、被写体領域加工部４４、背景映像加工部４５、および画像合成部４６を有している。

　被写体動作検出部４１は、3Dマッピング撮像部３１から供給された3Dマッピングデータ、および画像撮像部３２から供給された映像データに基づいて、撮影映像上の対象被写体の動きを検出する処理であるモーションキャプチャを行う。

　被写体動作検出部４１は、モーションキャプチャにより検出（キャプチャ）された対象被写体の動きを示す被写体動作データをアバタ動作構築部４２に供給する。

　なお、被写体動作検出部４１では、3Dマッピングデータと撮影映像の映像データのうちの少なくとも何れかに基づいて対象被写体のモーションキャプチャが行われる。

　例えば、3Dマッピング撮像部３１から対象被写体までの距離によっては、3Dマッピングデータでは対象被写体の正確な動きを検出することができないこともある。また、撮像部２１の周囲の明るさなどの撮影環境によっては、撮影映像の映像データでは対象被写体の正確な動きを検出することができないこともある。

　そこで被写体動作検出部４１は、例えば対象被写体までの距離や明るさ等の撮影環境に応じて、3Dマッピングデータに基づく対象被写体の動きの検出結果と、映像データに基づく対象被写体の動きの検出結果とのうちの何れかを最終的な検出結果として採用したり、3Dマッピングデータと映像データの何れか一方のみに基づき対象被写体の動きを検出したりする。

　なお、モーションキャプチャにおいては、3Dマッピングデータや映像データから対象被写体の領域を検出し、その検出結果に基づいて対象被写体の動きを検出するようにしてもよいし、対象被写体の領域の検出を行わずに、3Dマッピングデータや映像データから直接、対象被写体の動きを検出してもよい。

　アバタ動作構築部４２は、被写体動作検出部４１から供給された被写体動作データと、外部から供給されたアバタ情報とに基づいて、対象被写体と同じ動きをするアバタの映像であるアバタ動作データを生成（構築）し、画像合成部４６に供給する。

　被写体領域抽出部４３は、3Dマッピング撮像部３１から供給された3Dマッピングデータ、および画像撮像部３２から供給された映像データの少なくとも何れか一方に基づいて、撮影映像上の対象被写体の領域（以下、被写体領域とも称する）を検出する。

　被写体領域抽出部４３は、撮影映像から対象被写体の領域を抽出し、抽出した対象被写体の画像（映像）のデータを被写体領域データとして被写体領域加工部４４に供給する。また、被写体領域抽出部４３は、撮影映像から対象被写体の領域を除去して得られる画像（映像）のデータを、対象被写体以外の被写体、すなわち背景の映像データである被写体領域外データとして背景映像加工部４５に供給する。

　その他、被写体領域抽出部４３は、必要に応じて3Dマッピングデータを被写体領域加工部４４や背景映像加工部４５に供給する。

　被写体領域加工部４４は、被写体領域抽出部４３から供給された被写体領域データに対して、対象被写体を透明化する処理など、所定の加工等を施す処理を被写体領域加工処理として行い、その結果得られた被写体領域加工データを画像合成部４６に供給する。

　背景映像加工部４５は、被写体領域抽出部４３から供給された被写体領域外データに対して、所定のオブジェクトの画像を重畳する画像処理（加工処理）等を背景映像加工処理として行い、その結果得られた背景映像加工データを画像合成部４６に供給する。

　画像合成部４６は、アバタ動作構築部４２から供給されたアバタ動作データ、被写体領域加工部４４から供給された被写体領域加工データ、および背景映像加工部４５から供給された背景映像加工データを合成し、その結果得られた合成映像の映像データをディスプレイ２３に供給する。

　ディスプレイ２３は、画像合成部４６から供給された映像データに基づいて合成映像を表示する。

　図３に示す撮像システム１１では、例えば図４に示すように合成映像が生成される。

　すなわち、図４に示す例では、まず撮像部２１による撮影により、対象被写体SB31を対象として含む3DマッピングMP31と撮影映像P31が取得される。

　その後、被写体動作検出部４１において対象被写体SB31のモーションキャプチャが行われ、その結果に基づいてアバタ動作構築部４２により、対象被写体SB31に対応するアバタAB31のアバタ動作データが生成される。このアバタ動作データは、対象被写体SB31と同じ動きをするアバタAB31の映像データである。

　また、被写体領域抽出部４３では、撮影映像P31から対象被写体SB31の領域が抽出される。そして、被写体領域加工部４４において対象被写体SB31の領域に対応する映像SRP31が生成されるとともに、背景映像加工部４５において背景映像BRP31が生成される。ここで、映像SRP31は被写体領域加工データに基づく映像であり、背景映像BRP31は背景映像加工データに基づく映像である。

　最後に、画像合成部４６において、アバタAB31のアバタ動作データ、映像SRP31（被写体領域加工データ）、および背景映像BRP31（背景映像加工データ）が合成され、１つの合成映像SP31が生成される。

　この場合、映像SRP31と背景映像BRP31を合成して得られる映像が、撮影映像P31上の対象被写体SB31を透明化する透明化処理を行うことで得られた背景の映像となる。

　データ制御部２２では、被写体領域抽出部４３による対象被写体の抽出や、被写体領域加工部４４による映像の生成など、アバタ動作構築部４２乃至画像合成部４６を含む複数のブロックのうちの少なくとも１以上のブロックにより行われる処理によって、透明化処理が実現される。

　一例として、例えば透明化処理では、撮影映像上の対象被写体の領域である被写体領域を抽出し、抽出した被写体領域に背景映像を合成することで対象被写体が見えなくなるようにされる。また、他の例として、例えば透明化処理では、撮影映像上の被写体領域を抽出し、抽出した被写体領域に合成するアバタのサイズを調整したり、抽出した被写体領域に合成する背景付きのアバタの映像を生成したりすることで対象被写体が見えなくなるようにされる。

　したがって、例えばデータ制御部２２は、撮影映像に対する透明化処理により得られた映像上に、モーションキャプチャにより検出された動きをする、対象被写体に対応するアバタを合成したり、撮影映像上に透明化処理により得られたアバタを合成したりすることで合成映像を生成する。

〈合成映像生成処理の説明〉
　次に、撮像システム１１により行われる合成映像生成処理について説明する。すなわち、以下、図５のフローチャートを参照して、撮像システム１１による合成映像生成処理について説明する。

　ステップＳ１１において撮像部２１は、撮影映像と3Dマッピングを取得する。

　すなわち、3Dマッピング撮像部３１は、対象被写体を含む領域について3Dマッピングの撮影を行い、その結果得られた3Dマッピングデータを被写体動作検出部４１および被写体領域抽出部４３に供給する。また、画像撮像部３２は、対象被写体を含む領域を対象として動画像（撮影映像）の撮影を行い、その結果得られた撮影映像の映像データを被写体動作検出部４１および被写体領域抽出部４３に供給する。例えば撮影映像の撮影時の画角（撮影対象となる範囲）は、3Dマッピングの撮影時の画角と略同じとされる。

　ステップＳ１２において被写体動作検出部４１は、3Dマッピング撮像部３１から供給された3Dマッピングデータ、および画像撮像部３２から供給された映像データに基づいてモーションキャプチャを行い、その結果得られた被写体動作データをアバタ動作構築部４２に供給する。

　例えば被写体動作検出部４１は、処理対象のフレームの3Dマッピングデータや映像データだけでなく、その処理対象のフレームよりも時間的に前のフレームの3Dマッピングデータや映像データも用いてモーションキャプチャを行う。

　ステップＳ１３においてアバタ動作構築部４２は、被写体動作検出部４１から供給された被写体動作データと、外部から供給されたアバタ情報とに基づいてアバタ動作データを生成し、画像合成部４６に供給する。

　ステップＳ１４において被写体領域抽出部４３は、3Dマッピング撮像部３１から供給された3Dマッピングデータ、および画像撮像部３２から供給された映像データに基づいて被写体領域を検出する。例えば被写体領域の検出は、画像認識等により行われる。

　被写体領域抽出部４３は、被写体領域の検出結果に基づき、被写体領域データおよび被写体領域外データを生成し、被写体領域データを被写体領域加工部４４に供給するとともに、被写体領域外データを背景映像加工部４５に供給する。

　ステップＳ１５において被写体領域加工部４４は、被写体領域抽出部４３から供給された被写体領域データに対して被写体領域加工処理を行い、その結果得られた被写体領域加工データを画像合成部４６に供給する。

　なお、被写体領域加工処理は、必要に応じて行われればよく、被写体領域加工処理が行われない場合には、例えば被写体領域データがそのまま被写体領域加工データとして画像合成部４６に供給されるようにしてもよい。

　ステップＳ１６において背景映像加工部４５は、被写体領域抽出部４３から供給された被写体領域外データに対して背景映像加工処理を行い、その結果得られた背景映像加工データを画像合成部４６に供給する。

　なお、背景映像加工処理は、必要に応じて行われればよく、背景映像加工処理が行われない場合には、例えば被写体領域外データがそのまま背景映像加工データとして画像合成部４６に供給されるようにしてもよい。

　ステップＳ１７において画像合成部４６は、アバタ動作構築部４２から供給されたアバタ動作データ、被写体領域加工部４４から供給された被写体領域加工データ、および背景映像加工部４５から供給された背景映像加工データを合成することで合成映像を生成する。画像合成部４６は、得られた合成映像の映像データをディスプレイ２３に供給し、ディスプレイ２３は、画像合成部４６から供給された映像データに基づき合成映像を表示する。

　例えば画像合成部４６は、背景映像加工データに基づく映像上における被写体領域部分に、被写体領域加工データに基づく映像を合成し、その結果得られた映像上における被写体領域部分にさらにアバタ動作データに基づくアバタの映像を合成する。このようにして得られる合成映像では、対象被写体が透明化されているので、対象被写体の映り込みの発生が抑制される。

　なお、データ制御部２２では、ステップＳ１３乃至ステップＳ１７で行われる処理のうちの少なくとも一部の処理によって透明化処理が実現される。換言すれば、データ制御部２２は、ステップＳ１３乃至ステップＳ１７の処理の一部を透明化処理として行う。対象被写体の透明化の具体的な例については後述する。

　ステップＳ１８においてデータ制御部２２は、処理を終了するか否かを判定する。例えばユーザ等により撮影の終了が指示された場合、処理を終了すると判定される。

　ステップＳ１８において、まだ処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返し行われる。

　これに対して、ステップＳ１８において処理を終了すると判定された場合、撮像システム１１の各部は行っている処理を停止し、合成映像生成処理は終了する。

　以上のようにして撮像システム１１は、撮影映像と3Dマッピングを取得し、合成映像を生成する。

　特に撮像システム１１では、撮影映像の映像データと3Dマッピングデータを用いることで、被写体の領域の位置や形状の認識精度を向上させ、被写体領域をより正確に抽出したり、対象被写体の動きをより正確に検出したりすることができる。また、撮像システム１１では、映り込みの発生を抑制するにあたり、仮想空間のCG映像の生成や撮像部２１の位置姿勢の推定、アバタの合成のために映像を遅延させる処理などが不要である。

　これらのことから、撮像システム１１では、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第１の実施の形態〉
〈撮像システムの構成例〉
　続いて、図６乃至図５８を参照して、本技術を適用したより具体的な実施の形態について説明する。以下において説明する実施の形態のうちの任意のものを組み合わせて合成映像を生成するようにしてもよい。

　なお、以下において参照する図（図６乃至図５８）において、図３または図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図６乃至図５８において互いに対応する部分にも同一の符号を付してあり、その説明は適宜省略する。

　まず、背景や対象被写体の周囲の物体について映像と3Dマッピングを事前に撮影しておき、実際の撮影時に対象被写体で見えない背景部分を事前に撮影した映像で補完することで、対象被写体を透明化する例について説明する。

　そのような場合、例えば図６の矢印Q11に示すように、対象被写体SB31がない状態で、事前に撮像部２１により撮影が行われ、撮影映像と3Dマッピングが取得される。

　なお、以下、事前の撮影により得られた参照用（補完用）の撮影映像および3Dマッピングを、それぞれ参照用撮影映像および参照用3Dマッピングとも称することとする。また、参照用撮影映像の映像データを参照用映像データとも称することとする。

　事前撮影の後、矢印Q12に示すように、対象被写体SB31がいる状態で、撮像部２１による撮影が行われて撮影映像と3Dマッピングが取得され、合成映像が生成される。

　この場合、矢印Q11に示した事前の撮影により、対象被写体SB31が映っていない参照用撮影映像P’41が取得され、その後の矢印Q12に示した撮影により、対象被写体SB31が映っている撮影映像P41が取得される。

　特に、この例では参照用撮影映像P’41と撮影映像P41では、実空間上の同じ領域が対象とされて同じ画角で撮影が行われている。したがって、参照用撮影映像P’41と撮影映像P41は、撮影映像上に対象被写体SB31が映っているか否かのみが異なっている。

　撮影映像P41から対象被写体SB31の領域（被写体領域）が除去され、背景のみの映像である背景映像P42の被写体領域外データ、すなわち背景映像加工データが生成される。しかし、背景映像P42には、対象被写体SB31が重なっていたために背景が見えない領域R41（被写体領域）が存在する。

　そこで、領域R41に対応する被写体領域加工データが、参照用撮影映像P’41に基づき生成される。特に、この例では参照用撮影映像P’41における、撮影映像P41上の被写体領域（領域R41）と同じ領域が抽出され、被写体領域加工データとされる。被写体領域加工データに基づく映像は、撮影映像P41では対象被写体SB31により隠れて見えていなかった、領域R41に対応する領域（背景）の背景映像である。

　これにより、被写体領域加工データと背景映像加工データを合成することで、被写体領域（領域R41）における部分が補完され、対象被写体SB31が透明化された背景の映像P43を得ることができる。

　このようにして得られた映像P43にアバタAB31のアバタ動作データを合成すれば、対象被写体SB31の映り込み（はみ出し）のない合成映像SP41をARの映像（動画像）として得ることができる。

　事前に参照用の撮影映像と3Dマッピングを撮影する場合、撮像システム１１は、例えば図７に示すように構成される。

　図７に示す撮像システム１１の構成は、図３に示した撮像システム１１の構成に、新たに参照データ保存部７１を設けた構成となっている。なお、図７では、図を見やすくするため、実際には１つだけ設けられている撮像部２１が２つ描かれている。

　参照データ保存部７１は、撮像部２１での事前の撮影により得られた参照用（補完用）の撮影映像の映像データおよび3Dマッピングを、参照用映像データおよび参照用3Dマッピングデータとして保持する。また、参照データ保存部７１は、保持している参照用映像データや参照用3Dマッピングデータを必要に応じて被写体領域加工部４４および背景映像加工部４５に供給する。

　被写体領域加工部４４は、被写体領域抽出部４３から供給された被写体領域データおよび3Dマッピングデータと、参照データ保存部７１から供給された参照用映像データおよび参照用3Dマッピングデータとに基づいて被写体領域加工データを生成する。

　背景映像加工部４５は、被写体領域抽出部４３から供給された被写体領域外データおよび3Dマッピングデータと、参照データ保存部７１から供給された参照用映像データおよび参照用3Dマッピングデータとに基づいて背景映像加工データを生成する。

〈事前撮影処理の説明〉
　続いて図７に示した撮像システム１１の動作について説明する。

　まず、図８のフローチャートを参照して、撮像システム１１による事前撮影処理について説明する。

　ステップＳ４１において撮像部２１は、対象被写体なしの撮影映像と3Dマッピングを取得する。

　すなわち、3Dマッピング撮像部３１は、対象被写体がいない状態で事前の3Dマッピングの撮影を行い、その結果得られた3Dマッピングデータを参照用3Dマッピングデータとして参照データ保存部７１に供給する。また、画像撮像部３２は、対象被写体がいない状態で事前の撮影映像の撮影を行い、その結果得られた撮影映像の映像データを参照用映像データとして参照データ保存部７１に供給する。

　ステップＳ４２において参照データ保存部７１は、3Dマッピング撮像部３１から供給された参照用3Dマッピングデータ、および画像撮像部３２から供給された参照用映像データを保持し、事前撮影処理は終了する。

　なお、以下、参照用3Dマッピングデータおよび参照用映像データからなるデータセットを参照データとも称することとする。

　以上のようにして撮像システム１１は、参照データを取得し、保持する。このようにすることで、撮像システム１１では、参照データを用いて簡単に対象被写体の透明化を行うことができるようになる。

〈合成映像生成処理の説明〉
　事前撮影処理が行われて参照用3Dマッピングデータおよび参照用映像データが得られると、その後、撮像システム１１は、任意のタイミングで対象被写体がいる状態で撮影を行い、合成映像を生成する合成映像生成処理を行う。以下、図９のフローチャートを参照して、撮像システム１１による合成映像生成処理について説明する。

　なお、ステップＳ７１乃至ステップＳ７４の処理は、図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

　ステップＳ７５において被写体領域加工部４４は、被写体領域抽出部４３から供給された被写体領域データおよび3Dマッピングデータと、参照データ保存部７１から供給された参照データとに基づいて被写体領域加工処理を行う。

　例えば被写体領域加工部４４は、被写体領域データ、3Dマッピングデータ、および参照データに基づいて、被写体領域に対応する参照用撮影映像上の領域を特定し、その特定した参照用撮影映像上の領域の画像を抽出して被写体領域加工データとする。

　この場合、被写体領域加工処理は、被写体領域データが、被写体領域に対応する参照用撮影映像上の領域の画像データに置き換えられて被写体領域加工データとされる処理となり、この処理により対象被写体の透明化が実現される。被写体領域加工部４４は、被写体領域加工処理により得られた被写体領域加工データを画像合成部４６に供給する。

　ステップＳ７６において背景映像加工部４５は、被写体領域抽出部４３から供給された被写体領域外データおよび3Dマッピングデータと、参照データ保存部７１から供給された参照データとに基づいて背景映像加工処理を行う。

　例えば背景映像加工部４５は、被写体領域外データ、3Dマッピングデータ、および参照データに基づいて、被写体領域に対応する参照用撮影映像上の領域を特定し、その特定結果に基づいてブレンド処理を行うことで背景映像加工データを生成する。

　ブレンド処理は、背景映像における被写体領域との境界近傍の領域（以下、対象領域とも称する）が対象として行われる。すなわち、対象領域では、被写体領域外データに基づく背景映像と参照用撮影映像とが重み付き加算されて、背景映像加工データに基づく映像が生成される。また、対象領域外では、被写体領域外データに基づく背景映像がそのまま背景映像加工データに基づく映像として用いられる。

　背景映像加工部４５は、背景映像加工処理により得られた背景映像加工データを画像合成部４６に供給する。

　ステップＳ７６の処理が行われると、その後、ステップＳ７７およびステップＳ７８の処理が行われて合成映像生成処理は終了するが、これらの処理は図５のステップＳ１７およびステップＳ１８の処理と同様であるので、その説明は省略する。

　以上のようにして撮像システム１１は、参照データに基づいて対象被写体を透明化する処理を行い、合成映像を生成する。この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第２の実施の形態〉
〈撮像システムの構成例〉
　対象被写体に対して複数の画像撮像部により同時に撮影映像の撮影を行い、得られた複数の撮影映像を用いて対象被写体で見えない背景部分を補完することで、対象被写体の透明化を実現する例について説明する。

　そのような場合、例えば図１０に示すように、メインのカメラとなる撮像部２１により撮影を行うと同時に、サブのカメラとなるサブ撮像部１０１によっても撮影が行われる。このとき、撮像部２１（画像撮像部３２）による撮影では対象被写体により隠れて見えない背景部分がサブ撮像部１０１による撮影によって撮影されるように、撮像部２１とサブ撮像部１０１とは互いに異なる位置に配置される。

　この例では、撮像部２１によって、対象被写体SB31を含む撮影映像P51が撮影され、サブ撮像部１０１によって、対象被写体SB31を含む撮影映像P52が撮影される。

　撮影映像P52においては、撮影映像P51上では対象被写体SB31により隠れて見えていない背景部分が被写体として含まれている（映っている）。

　したがって、図１１に示すように撮影映像P51と撮影映像P52を用いて、対象被写体SB31の映り込みのない合成映像SP51を得ることができる。

　図１１では、メインのカメラとなる撮像部２１によって撮影された撮影映像P51から対象被写体SB31の領域R51が抽出されて削除（除去）され、その結果得られる背景の映像P53の映像データが背景映像加工データとされる。

　また、サブのカメラとなるサブ撮像部１０１によって撮影された撮影映像P52から、撮影映像P51上における対象被写体SB31の領域R51に対応する領域が抽出されて、その抽出された領域の映像データが被写体領域加工データとされる。被写体領域加工データに基づく映像は、撮影映像P51では対象被写体SB31により隠れて見えていなかった、領域R51に対応する領域（背景）の背景映像である。

　そして、被写体領域加工データに基づく背景部分の映像と、背景の映像P53とを合成することで映像P54が生成される。この映像P54は、撮影映像P51における対象被写体SB31の領域R51の部分を撮影映像P52により補完することで得られる、対象被写体SB31が透明化された映像である。

　このようにして得られた映像P54に、アバタAB31のアバタ動作データを合成すれば、対象被写体SB31の映り込み（はみ出し）のない合成映像SP51を得ることができる。

　サブ撮像部１０１で得られる撮影映像に基づき補完が行われる場合、撮像システム１１は、例えば図１２に示す構成とされる。

　図１２に示す撮像システム１１の構成は、図３に示した撮像システム１１の構成に、新たにサブ撮像部１０１、すなわち画像撮像部１２１と、被写体背景加工部１２２とを設けた構成となっている。

　サブ撮像部１０１は、メインのカメラとなる撮像部２１とは異なる位置にあるサブのカメラ（他の撮像部）であり、画像撮像部１２１を有している。

　画像撮像部１２１は、例えばイメージセンサなどからなり、画像撮像部３２とは異なる撮影位置から対象被写体や背景等を被写体として動画像（撮影映像）の撮影を行い、その結果得られた撮影映像の映像データを被写体背景加工部１２２に供給する。なお、以下、画像撮像部１２１により撮影された撮影映像を、特に補完用撮影映像とも称する。また、サブ撮像部１０１に、3Dマッピング撮像部３１とは異なる撮影位置から3Dマッピングの撮影を行う3Dマッピング撮像部を設けるようにしてもよい。

　被写体背景加工部１２２は、被写体領域抽出部４３から供給された領域情報および3Dマッピングデータと、画像撮像部１２１から供給された補完用撮影映像の映像データとに基づいて、被写体領域背景データを生成し、被写体領域加工部４４に供給する。

　領域情報は、画像撮像部３２での撮影により得られた撮影映像における対象被写体の領域、すなわち被写体領域を示す情報である。換言すれば、領域情報は、撮影映像上における対象被写体が映っている領域の位置と範囲を示す情報である。

　被写体領域背景データは、領域情報に対応する補完用撮影映像上の領域（以下、オクルージョン領域とも称する）の映像、すなわち画像撮像部３２で得られる撮影映像上では対象被写体により隠れて見えない背景部分の映像のデータである。

〈合成映像生成処理の説明〉
　次に、図１３のフローチャートを参照して、図１２に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ１０１の処理は、図５のステップＳ１１の処理と同様であるので、その説明は省略する。

　ステップＳ１０２においてサブ撮像部１０１は、補完用撮影映像を取得する。すなわち、画像撮像部１２１は、対象被写体を含む領域を対象として動画像（撮影映像）の撮影を行い、その結果得られた補完用撮影映像の映像データを被写体背景加工部１２２に供給する。

　補完用撮影映像が得られると、その後、ステップＳ１０３乃至ステップＳ１０５の処理が行われるが、これらの処理は図５のステップＳ１２乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

　但し、ステップＳ１０５では、被写体領域抽出部４３は、撮影映像上における対象被写体の領域を示す領域情報を生成し、領域情報および3Dマッピングデータを被写体背景加工部１２２に供給する。

　ステップＳ１０６において被写体背景加工部１２２は、被写体領域抽出部４３から供給された領域情報および3Dマッピングデータと、画像撮像部１２１から供給された補完用撮影映像の映像データとに基づいて被写体領域背景データを生成する。

　例えば被写体背景加工部１２２は、既知である画像撮像部３２および画像撮像部１２１の位置関係を示す位置関係情報と、領域情報および3Dマッピングデータとに基づいて、領域情報により示される被写体領域に対応する補完用撮影映像上のオクルージョン領域を抽出する。

　被写体背景加工部１２２は、抽出したオクルージョン領域の映像（画像）に対して、位置関係情報や領域情報、3Dマッピングデータに基づき、撮影映像間の被写体の位置関係の整合をとる処理、例えばオクルージョン領域に対する変形処理などを行うことで、被写体領域背景データを生成する。

　この実施の形態では、被写体領域背景データを生成する処理により、対象被写体の透明化が実現される。被写体背景加工部１２２は、生成した被写体領域背景データを被写体領域加工部４４に供給する。

　被写体領域背景データは、画像撮像部３２で得られる撮影映像上では対象被写体により隠れて見えないオクルージョン領域（背景部分）であって、かつ領域情報により示される被写体領域と同じ形状に成形されたオクルージョン領域の映像データである。換言すれば被写体領域背景データは、画像撮像部３２の位置を視点位置として見たときのオクルージョン領域の映像データである。

　また、被写体領域加工部４４は、被写体領域抽出部４３から供給された被写体領域データと、被写体背景加工部１２２から供給された被写体領域背景データとに基づいて被写体領域加工データを生成し、画像合成部４６に供給する。

　なお、被写体領域加工部４４では、被写体領域背景データに対して何らかの加工処理が施されて被写体領域加工データとされてもよいし、被写体領域背景データがそのまま被写体領域加工データとされてもよい。

　ステップＳ１０６の処理が行われると、その後、ステップＳ１０７乃至ステップＳ１０９の処理が行われて合成映像生成処理は終了するが、これらの処理は図５のステップＳ１１６乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

　以上のようにして撮像システム１１は、補完用撮影映像に基づいて対象被写体を透明化する処理を行い、合成映像を生成する。この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第３の実施の形態〉
〈撮像システムの構成例〉
　撮影映像上において対象被写体で見えない背景部分の映像を推定により生成し、補完することで、対象被写体の透明化を実現する例について説明する。

　そのような場合、例えば図１４に示すように撮像部２１によって、対象被写体SB31を含む撮影映像P51が撮影される。また、撮影映像P51から対象被写体SB31の領域R51が抽出されて削除（除去）され、その結果得られる背景の映像P53の映像データが背景映像加工データとされる。

　一方、撮影映像P51の領域R51の周囲の領域の映像に基づいて、対象被写体SB31に隠れて見えていない背景部分の映像、すなわち領域R51部分の背景が推定され、その結果として得られた領域R51と同形状の映像の映像データが被写体領域加工データとされる。

　このとき、撮影映像P51における領域R51の周囲（近傍）にある背景となる被写体の色や形状などから、領域R51の部分における背景となる被写体の色や形状が推定される。

　このようにして得られた被写体領域加工データに基づく背景部分の映像と、背景の映像P53とを合成することで映像P61が生成される。この映像P61は、撮影映像P51における対象被写体SB31の領域R51の部分を推定により生成した背景の映像によって補完することで得られる、対象被写体SB31が透明化された映像である。

　この映像P61に、アバタAB31のアバタ動作データを合成すれば、対象被写体SB31の映り込み（はみ出し）のない合成映像SP61を得ることができる。

　推定により生成した背景の映像に基づき補完が行われる場合、撮像システム１１は、例えば図１５に示す構成とされる。

　図１５に示す撮像システム１１の構成は、図３に示した撮像システム１１の構成に、新たに仮想データ生成部１５１を設けた構成となっている。

　この例では、被写体領域抽出部４３は、撮影映像上における対象被写体の領域を示す生成領域情報を生成し、仮想データ生成部１５１に供給する。この生成領域情報は、撮影映像上における対象被写体の領域を示す情報であるが、推定により生成する背景の領域を示す情報であるともいうことができる。

　仮想データ生成部１５１は、被写体領域抽出部４３から供給された生成領域情報、3Dマッピング撮像部３１から供給された3Dマッピングデータ、および画像撮像部３２から供給された撮影映像の映像データに基づいて推定処理を行い、被写体領域仮想データを生成する。

　被写体領域仮想データは、推定処理により生成された、撮影映像上の生成領域情報により示される領域（被写体領域）の対象被写体に隠れて見えていない背景部分の映像データであって、かつ生成領域情報により示される領域と同形状の映像の映像データである。

　仮想データ生成部１５１は、生成した被写体領域仮想データを被写体領域加工部４４に供給する。

〈合成映像生成処理の説明〉
　次に、図１６のフローチャートを参照して、図１５に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ１３１乃至ステップＳ１３４の処理は、図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

　但し、ステップＳ１３４では、被写体領域抽出部４３は、撮影映像上における対象被写体の領域、すなわち推定により背景を生成すべき領域を示す生成領域情報を生成し、仮想データ生成部１５１に供給する。

　ステップＳ１３５において仮想データ生成部１５１は、被写体領域抽出部４３から供給された生成領域情報、3Dマッピング撮像部３１から供給された3Dマッピングデータ、および画像撮像部３２から供給された映像データに基づいて被写体領域仮想データを生成する。

　例えば仮想データ生成部１５１は、インペインティング（画像補間）により、撮影映像における生成領域情報により示される領域の近傍にある被写体（背景）の色や形状などから、生成領域情報により示される領域における背景となる被写体の色や形状を推定することで、被写体領域仮想データを生成する。このとき、3Dマッピングデータを用いれば、各被写体の領域の位置や形状をより高精度に認識できるので、より確からしい背景を推定することができる。すなわち、背景の推定精度を向上させることができる。

　この実施の形態では、被写体領域仮想データを生成することにより対象被写体の透明化が実現される。仮想データ生成部１５１は、生成した被写体領域仮想データを被写体領域加工部４４に供給する。

　また、被写体領域加工部４４は、被写体領域抽出部４３から供給された被写体領域データと、仮想データ生成部１５１から供給された被写体領域仮想データとに基づいて被写体領域加工データを生成し、画像合成部４６に供給する。

　なお、被写体領域加工部４４では、被写体領域仮想データに対して何らかの加工処理が施されて被写体領域加工データとされてもよいし、被写体領域仮想データがそのまま被写体領域加工データとされてもよい。

　ステップＳ１３５の処理が行われると、その後、ステップＳ１３６乃至ステップＳ１３８の処理が行われて合成映像生成処理は終了するが、これらの処理は図５のステップＳ１６乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

　以上のようにして撮像システム１１は、推定により生成した背景の映像に基づいて対象被写体を透明化する処理を行い、合成映像を生成する。この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第４の実施の形態〉
〈撮像システムの構成例〉
　撮影映像から抽出した被写体領域に対して、単色の静止画像やエフェクト画像（エフェクト映像）など、被写体とは異なる任意の別映像（他の画像）を合成することで、対象被写体の透明化を実現する例について説明する。

　そのような場合、例えば図１７に示すように撮像部２１によって、対象被写体SB31を含む撮影映像P51が撮影される。

　また、撮影映像P51から対象被写体SB31の領域R71が抽出され、撮影映像P51の領域R71と同形状の映像P71の映像データが被写体領域加工データとして生成される。この映像P71は、例えば予め用意された単色の静止画像やエフェクト映像、図形映像など、対象被写体の映像とは異なる別映像の映像データである適用データに基づき生成される。

　なお、適用データは、色や模様等を指定する情報であってもよい。そのような場合であっても、適用データにより指定される色や模様等から、単色や所定の模様等の被写体領域加工データを得ることができる。

　被写体領域加工データに基づく背景部分の映像P71と、撮影映像P51とを合成することで、対象被写体SB31が透明化された映像を得ることができる。

　そして、撮影映像P51と映像P71とを合成して得られた映像に、さらにアバタAB31のアバタ動作データを合成すれば、対象被写体SB31の映り込み（はみ出し）のない合成映像SP71を得ることができる。合成映像SP71では、対象被写体SB31が適用データに基づく映像P71に置き換えられて、透明化が実現されていることが分かる。

　適用データに基づく映像により補完が行われる場合、撮像システム１１は、例えば図１８に示す構成とされる。

　図１８に示す撮像システム１１の構成は、背景映像加工部４５が設けられていない点で図３に示した撮像システム１１の構成と異なる。

　この例では、被写体領域抽出部４３は、被写体領域データを被写体領域加工部４４に供給するとともに、撮影映像の映像データをそのまま画像合成部４６に供給する。

　被写体領域加工部４４は、被写体領域抽出部４３から供給された被写体領域データと、外部から供給された適用データとに基づいて被写体領域加工データを生成し、画像合成部４６に供給する。

　また、画像合成部４６は、アバタ動作構築部４２からのアバタ動作データ、被写体領域加工部４４からの被写体領域加工データ、および被写体領域抽出部４３からの撮影映像の映像データを合成し、合成映像の映像データを生成する。

　なお、被写体領域抽出部４３から画像合成部４６に、被写体領域外データが背景映像加工データとして供給されるようにしてもよい。そのような場合、アバタ動作データ、被写体領域加工データ、および背景映像加工データ（被写体領域外データ）が合成され、合成映像の映像データとされる。

〈合成映像生成処理の説明〉
　次に、図１９のフローチャートを参照して、図１８に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ１６１乃至ステップＳ１６４の処理は、図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

　但し、ステップＳ１６４では、被写体領域抽出部４３は、被写体領域データを被写体領域加工部４４に供給するとともに、撮影映像の映像データを画像合成部４６に供給する。

　ステップＳ１６５において被写体領域加工部４４は、被写体領域抽出部４３から供給された被写体領域データと、外部から供給された適用データとに基づいて被写体領域加工データを生成し、画像合成部４６に供給する。

　例えば被写体領域加工部４４は、被写体領域データに基づく映像全体を、単色の映像やエフェクト映像、図形映像などの適用データに基づく映像に置き換えることで被写体領域加工データを生成する。

　ステップＳ１６５の処理が行われると、その後、ステップＳ１６６およびステップＳ１６７の処理が行われて合成映像生成処理は終了するが、これらの処理は図５のステップＳ１７およびステップＳ１８の処理と同様であるので、その説明は省略する。

　但し、ステップＳ１６６では、アバタ動作データ、被写体領域加工データ、および撮影映像の映像データが合成されて、合成映像の映像データが生成される。

　以上のようにして撮像システム１１は、適用データに基づき被写体領域加工データを生成し、その被写体領域加工データを用いて合成映像の映像データを生成する。この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第５の実施の形態〉
〈撮像システムの構成例〉
　撮影映像上の対象被写体に対して、対象被写体が完全に覆われて隠れるように、合成（重畳）するアバタのサイズ等を調整することで、対象被写体の透明化を実現する例について説明する。

　そのような場合、例えば図２０に示すように撮像部２１によって、対象被写体SB31を含む撮影映像P51が撮影される。

　また、撮影映像P51における対象被写体SB31の領域のサイズ（大きさ）に応じて、背景画像や図形などが付与されたアバタAB51のアバタ動作データ、または巨大化されたアバタAB52のアバタ動作データが生成される。

　このとき、アバタAB51やアバタAB52は、それらのアバタAB51やアバタAB52を対象被写体SB31の領域に重ね合わせた場合に、アバタAB51やアバタAB52によって完全に対象被写体SB31の領域が見えなくなる（隠れる）ようなサイズおよび形状とされる。

　なお、以下では、アバタAB51においてアバタに付与された背景や図形などをアバタ背景とも称し、そのアバタ背景のデータをアバタ背景データとも称することとする。

　さらに図中、右側に示すように撮影映像P51に対して、アバタ背景が付与されたアバタAB51、または巨大化されたアバタAB52が合成されて、対象被写体SB31の映り込み（はみ出し）のない合成映像が生成される。

　このようにして得られる合成映像では、対象被写体SB31がアバタAB51またはアバタAB52により完全に覆われて見えなくなっており、対象被写体SB31の透明化が実現されていることが分かる。

　アバタのサイズ等を調整することで透明化が実現される場合、撮像システム１１は、例えば図２１に示す構成とされる。

　図２１に示す撮像システム１１の構成は、被写体領域加工部４４および背景映像加工部４５が設けられていない点で図３に示した撮像システム１１の構成と異なる。

　この例では、被写体領域抽出部４３は、対象被写体の領域（被写体領域）を示す領域情報をアバタ動作構築部４２に供給するとともに、撮影映像の映像データをそのまま画像合成部４６に供給する。

　また、この例ではアバタ動作構築部４２に供給されるアバタ情報には、アバタの3Dモデルデータだけでなくアバタ背景データも含まれている。

　アバタ動作構築部４２は、被写体動作検出部４１から供給された被写体動作データと、外部から供給されたアバタ情報と、被写体領域抽出部４３から供給された領域情報とに基づいて、アバタ動作データを生成し、画像合成部４６に供給する。

　このとき、アバタ動作構築部４２は、必要に応じて合成時のアバタのサイズを示すアバタサイズ情報も生成し、画像合成部４６に供給する。

　画像合成部４６は、アバタ動作構築部４２からのアバタ動作データ、および被写体領域抽出部４３からの撮影映像の映像データを合成し、合成映像の映像データを生成する。

〈合成映像生成処理の説明〉
　次に、図２２のフローチャートを参照して、図２１に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ１９１乃至ステップＳ１９３の処理は、図５のステップＳ１１、ステップＳ１２、およびステップＳ１４の処理と同様であるので、その説明は省略する。

　但し、ステップＳ１９３では、被写体領域抽出部４３は、対象被写体の検出結果に応じて領域情報を生成し、アバタ動作構築部４２に供給するとともに、撮影映像の映像データをそのまま画像合成部４６に供給する。

　ステップＳ１９４においてアバタ動作構築部４２は、被写体動作検出部４１から供給された被写体動作データ、外部から供給されたアバタ情報、および被写体領域抽出部４３から供給された領域情報に基づいて、アバタ動作データおよびアバタサイズ情報を生成し、画像合成部４６に供給する。

　例えばアバタ動作構築部４２は、被写体動作データとアバタ情報に基づいて、図５のステップＳ１３と同様の処理を行い、アバタ背景のないアバタのみを表示させるアバタ動作データを生成する。

　また、アバタ動作構築部４２は、アバタ動作データと領域情報とに基づいて、アバタ動作データの合成時に対象被写体がアバタにより完全に覆われて隠れるように、アバタ動作データに基づくアバタの映像のサイズを決定し、その決定結果を示すアバタサイズ情報を生成する。

　その他、例えばアバタ背景データも用いて、被写体領域の位置に合成される、アバタ背景付きのアバタのアバタ動作データが生成されるようにしてもよい。

　そのような場合、アバタ動作構築部４２は、アバタ背景データを含むアバタ情報と、領域情報とに基づいて、アバタ動作データの合成時に対象被写体がアバタにより完全に覆われて隠れるようなアバタ背景のサイズを決定する。

　そしてアバタ動作構築部４２は、被写体動作データとアバタ情報に基づいて、決定したサイズのアバタ背景がアバタに対し付加されたアバタ動作データを生成する。この場合、既にアバタ背景のサイズが調整されているので、アバタ動作データをそのまま撮影映像の映像データに合成しても合成映像において対象被写体の映り込みは生じない。

　なお、アバタ背景のない場合と同様に、サイズを考慮せずにアバタ背景が付加されたアバタのアバタ動作データを生成し、アバタ動作データと領域情報とに基づいてアバタサイズ情報を生成するようにしてもよい。

　ステップＳ１９５において画像合成部４６は、アバタ動作構築部４２から供給されたアバタサイズ情報およびアバタ動作データに基づいてサイズ調整を行う。

　すなわち、画像合成部４６は、被写体領域の位置に合成される、アバタ動作データに基づくアバタのサイズが、アバタサイズ情報により示されるサイズとなるように、適宜、アバタを拡大（巨大化）させるサイズ調整を行うことで、サイズ調整後のアバタ動作データを生成する。なお、アバタのサイズ調整は、画像合成部４６ではなくアバタ動作構築部４２で行われるようにしてもよい。

　ステップＳ１９６において画像合成部４６は、被写体領域抽出部４３から供給された撮影映像の映像データと、ステップＳ１９５でのサイズ調整後のアバタ動作データとを合成することで合成映像の映像データを生成し、ディスプレイ２３に供給する。

　ステップＳ１９６の処理が行われると、その後、ステップＳ１９７の処理が行われて合成映像生成処理は終了するが、ステップＳ１９７の処理は図５のステップＳ１８の処理と同様であるので、その説明は省略する。

　以上のようにして撮像システム１１は、アバタ動作データに対するサイズ調整を行うことで対象被写体の透明化を実現し、合成映像を生成する。この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第６の実施の形態〉
〈3Dマッピングデータの活用について〉
　撮影映像のみでは透明化の対象とする対象被写体を判別できない場合に、3Dマッピングデータに基づき対象被写体を判別できるときには、3Dマッピングデータに基づく判別結果を利用して対象被写体の透明化を行う例について説明する。この実施の形態では、撮像システム１１の構成は、例えば図３に示した構成とされる。

　例えば図２３に示すように、夜間等の暗い環境での撮影であったため、撮像部２１による撮影で得られた撮影映像P81からは対象被写体SB81を検出できなかったとする。すなわち、撮影映像P81上で対象被写体SB81となる被写体を判別できなかったとする。

　このように、撮影映像P81から対象被写体SB81を検出できないケースは、暗い環境での撮影の他、対象被写体SB81を認識しにくいシーンなど、背景状況によっても生じ得る。

　一方で、3Dマッピング撮像部３１での撮影で得られた3DマッピングMP81からは、対象被写体SB81を検出できたとする。すなわち、対象被写体SB81であるか否かを判別できたとする。

　このような場合、撮影映像P81から、3DマッピングMP81に基づき検出された対象被写体SB81の領域R81が抽出されて削除（除去）され、その結果得られる背景の映像P82の映像データが背景映像加工データとされる。

　また、任意の方法により領域R81の部分における背景の映像データが被写体領域加工データとして生成される。そして被写体領域加工データに基づく映像と、背景映像加工データに基づく映像P82とを合成して得られる映像P83に、アバタAB31のアバタ動作データを合成すれば、対象被写体SB81の映り込みのない合成映像SP81を得ることができる。

〈合成映像生成処理の説明〉
　次に、図２４のフローチャートを参照して、撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ２２１の処理は、図５のステップＳ１１の処理と同様であるので、その説明は省略する。

　ステップＳ２２２において被写体動作検出部４１および被写体領域抽出部４３は、3Dマッピング撮像部３１から供給された3Dマッピングデータと、画像撮像部３２から供給された撮影映像の映像データのそれぞれから透明化対象の被写体（対象被写体）を検出する。

　ステップＳ２２３において被写体動作検出部４１および被写体領域抽出部４３は、撮影映像の映像データから透明化対象の被写体が検出されたか否かを判定する。

　例えば被写体動作検出部４１と被写体領域抽出部４３の間で互いに対象被写体の検出結果を共有し、被写体動作検出部４１と被写体領域抽出部４３の両方で撮影映像から対象被写体が検出された場合に、透明化対象の被写体が検出されたと判定されるようにしてもよい。

　ステップＳ２２３において被写体が検出されたと判定された場合、その後、処理はステップＳ２２５へと進む。

　これに対して、ステップＳ２２３において被写体が検出されなかったと判定された場合、ステップＳ２２４において被写体動作検出部４１および被写体領域抽出部４３は、3Dマッピングデータから透明化対象の被写体が検出されたか否かを判定する。

　この場合においてもステップＳ２２３における場合と同様に、例えば被写体動作検出部４１と被写体領域抽出部４３の両方で3Dマッピングデータから対象被写体が検出された場合に、透明化対象の被写体が検出されたと判定されるようにしてもよい。

　ステップＳ２２４において被写体が検出されなかったと判定された場合、対象被写体の透明化を行うことができないので、以降のステップＳ２２５乃至ステップＳ２３０の処理はスキップされ、その後処理はステップＳ２３１へと進む。この場合、例えばディスプレイ２３では、合成映像の表示が更新されずに、最後に表示した合成映像のフレームが表示されたままの状態となる。

　また、ステップＳ２２４において被写体が検出されたと判定された場合、その後、処理はステップＳ２２５へと進む。

　ステップＳ２２３またはステップＳ２２４において被写体が検出されたと判定された場合、その後、ステップＳ２２５およびステップＳ２２６の処理が行われるが、これらの処理は図５のステップＳ１２およびステップＳ１３の処理と同様であるので、その説明は省略する。

　なお、ステップＳ２２３で被写体が検出されたと判定された場合、ステップＳ２２５において被写体動作検出部４１では、撮影映像の映像データと3Dマッピングデータのうちの少なくとも何れか一方に基づいてモーションキャプチャが行われる。すなわち、例えばステップＳ２２２での撮影映像の映像データや3Dマッピングデータからの対象被写体の検出結果が適宜用いられて、対象被写体の動きが検出される。

　これに対して、ステップＳ２２４で被写体が検出されたと判定された場合、撮影映像からは対象被写体が検出されなかったので、撮影映像の映像データはモーションキャプチャに利用することができない。そこで、ステップＳ２２４で被写体が検出されたと判定された場合には、被写体動作検出部４１は、ステップＳ２２５において3Dマッピングデータのみに基づいてモーションキャプチャを行う。

　ステップＳ２２７において被写体領域抽出部４３は、ステップＳ２２２での対象被写体の検出結果に基づいて被写体領域データおよび被写体領域外データを生成し、被写体領域データを被写体領域加工部４４に供給するとともに、被写体領域外データを背景映像加工部４５に供給する。

　特に、被写体領域抽出部４３は、ステップＳ２２３で被写体が検出されたと判定された場合、撮影映像の映像データと3Dマッピングデータのうちの少なくとも何れか一方に基づいて被写体領域の抽出を行い、被写体領域データと被写体領域外データを生成する。

　これに対して被写体領域抽出部４３は、ステップＳ２２４で被写体が検出されたと判定された場合には、3Dマッピングデータからの対象被写体の検出結果のみに基づいて撮影映像から被写体領域の抽出を行い、被写体領域データと被写体領域外データを生成する。

　ステップＳ２２７の処理が行われると、その後、ステップＳ２２８乃至ステップＳ２３１の処理が行われて合成映像生成処理は終了するが、これらの処理は図５のステップＳ１５乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

　この場合、例えばステップＳ２２８において、図１９のステップＳ１６５と同様にして、被写体領域データと、外部から供給された適用データとに基づき被写体領域加工データが生成されるなどして、対象被写体が透明化される。なお、この実施の形態では、対象被写体の透明化は、適用データを利用する例に限らず、上述した任意の実施の形態で説明した方法や後述する任意の方法など、どのような方法により行われてもよい。

　以上のようにして撮像システム１１は、撮影映像と3Dマッピングから対象被写体を検出し、その検出結果に応じてモーションキャプチャや被写体領域の抽出を行い、合成映像を生成する。この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第７の実施の形態〉
〈撮像システムの構成例〉
　撮影映像の処理対象のフレームにおける対象被写体で見えない背景部分を、過去のフレーム、つまり処理対象のフレームよりも時間的に前のフレームの撮影映像を用いて補完することで、対象被写体の透明化を実現する例について説明する。

　例えば図２５に示すように、撮像部２１によって、対象被写体SB31を含む所定のフレームFL1の撮影映像P91が撮影されたとする。

　また、撮影映像P91から対象被写体SB31の領域R91が抽出されて削除され、その結果得られる背景の映像P92の映像データが背景映像加工データとされ、上述の適用データから生成された単色等の映像P93の映像データが被写体領域加工データされたとする。

　この場合、映像P92と映像P93とを合成して得られる映像P94が、処理対象のフレームFL1における、対象被写体SB31が透明化された撮影映像となる。

　この例では、フレームFL1の背景の映像P92の映像データ、より詳細には被写体領域外データが過去背景映像の映像データである過去背景データとして保持される。

　また、フレームFL1の次のフレームFL2では、対象被写体SB31を含む撮影映像P101が撮影され、その撮影映像P101から対象被写体SB31の領域R101が抽出されて削除され、背景の映像P102の映像データが背景映像加工データとされたとする。

　この場合、フレームFL2では、適用データと、過去のフレームの背景映像の映像データである過去背景データとから、被写体領域加工データとされる映像P103の映像データが生成される。

　ここでは、映像P103の領域のうち、例えば矢印W11に示すように、対応する過去背景映像がない領域、つまり過去背景映像には映っていない背景の領域については、適用データに基づき映像が生成される。

　これに対して、映像P103の領域のうち、例えば矢印W12に示すように、対応する過去背景映像がある領域、つまり過去背景映像に映っている背景の領域については、過去背景データに基づき映像が生成される。

　このように過去背景映像を利用して各フレームの被写体領域加工データを生成すれば、保持している過去背景データが増えるほど、過去背景映像により補完できる領域、すなわち過去背景映像により生成可能な領域が増えていき、より自然な合成映像が得られる。

　また、映像P103と背景の映像P102とを合成して得られる映像P104が、フレームFL2における、対象被写体SB31が透明化された撮影映像となる。映像P104にアバタAB31のアバタ動作データを合成すれば、対象被写体SB31の映り込みのない合成映像SP101を得ることができる。

　過去背景映像を用いて生成した背景の映像に基づき補完が行われる場合、撮像システム１１は、例えば図２６に示す構成とされる。

　図２６に示す撮像システム１１の構成は、図３に示した撮像システム１１の構成に、新たに過去背景データ保持部１８１を設けた構成となっている。

　この例では、被写体領域抽出部４３は、撮影映像上における対象被写体の領域を示す領域情報を生成し、領域情報と被写体領域外データを過去背景データ保持部１８１に供給するとともに、領域情報を被写体領域加工部４４に供給する。

　過去背景データ保持部１８１は、被写体領域抽出部４３から供給された被写体領域外データを、次のフレーム以降の過去背景データとして、その過去背景データを被写体領域抽出部４３から供給された領域情報と対応付けて保持する。

　被写体領域加工部４４は、被写体領域抽出部４３から供給された領域情報と、外部から供給された適用データと、過去背景データ保持部１８１に保持（記録）されている過去背景データとに基づいて被写体領域加工データを生成する。

〈合成映像生成処理の説明〉
　次に、図２７のフローチャートを参照して、図２６に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ２６１乃至ステップＳ２６４の処理は、図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

　但し、ステップＳ２６４では、被写体領域抽出部４３は、撮影映像上における対象被写体の領域を示す領域情報を生成し、領域情報と被写体領域外データを過去背景データ保持部１８１に供給するとともに、領域情報を被写体領域加工部４４に供給する。

　ステップＳ２６５において被写体領域加工部４４は、被写体領域上の処理対象の領域に対応する過去背景映像が保存されているか否かを判定する。換言すれば、撮影映像の過去のフレームに、現フレームの被写体領域内の処理対象の領域に対応する背景の映像が含まれているか否かが判定される。

　例えば被写体領域加工部４４は、被写体領域抽出部４３から供給された領域情報により示される被写体領域のうちの一部の領域を処理対象の領域とする。

　そして被写体領域加工部４４は、過去背景データ保持部１８１に保持（保存）されている１または複数の全ての過去背景データに対応付けられている領域情報を参照することで、処理対象の領域に対応する領域を含む過去背景映像の過去背景データがあるかを判定する。

　ステップＳ２６５において、対応する過去背景映像が保存されていると判定された場合、被写体領域加工部４４は、過去背景データ保持部１８１から、処理対象の領域に対応する領域を含む過去背景データを読み出して、その後、処理はステップＳ２６６に進む。

　ステップＳ２６６において被写体領域加工部４４は、読み出した過去背景映像に基づいて、背景の映像を生成する。すなわち、被写体領域加工部４４は、読み出した過去背景データに基づく過去背景映像から、処理対象の領域に対応する領域を抽出し、処理対象の現フレームにおける背景の映像の一部とする。

　これに対して、ステップＳ２６５において対応する過去背景映像が保存されていないと判定された場合、ステップＳ２６７において被写体領域加工部４４は、外部から供給された適用データに基づいて、処理対象の領域に対応する背景の映像を生成する。この場合、例えば単色や所定の模様等の任意の別映像が処理対象の領域に対応する背景の映像となる。

　ステップＳ２６６またはステップＳ２６７の処理が行われると、その後、ステップＳ２６８の処理が行われる。

　ステップＳ２６８において被写体領域加工部４４は、領域情報により示される被写体領域上の全ての領域を処理対象の領域として処理したか否かを判定する。

　ステップＳ２６８において、まだ全ての領域を処理していないと判定された場合、処理はステップＳ２６５に戻り、上述した処理が繰り返し行われる。

　これに対して、ステップＳ２６８において全ての領域を処理したと判定された場合、被写体領域全体に対応する背景の映像が得られたので、処理はステップＳ２６９へと進む。

　ステップＳ２６９において被写体領域加工部４４は、以上のステップＳ２６６やステップＳ２６７を行うことで得られた全ての対象領域について生成した背景の映像を並べて合成し、その結果得られた背景の映像の映像データを被写体領域加工データとする。被写体領域加工部４４は、得られた被写体領域加工データを画像合成部４６に供給する。

　例えば全ての対象領域についてステップＳ２６６の処理が行われた場合、被写体領域全体に対応する背景映像が１または複数の過去背景映像から生成されたことになる。

　また、例えばステップＳ２６６の処理もステップＳ２６７の処理も行われた場合には、被写体領域のうちの一部の領域に対応する背景映像は１または複数の過去背景映像から生成され、残りの領域に対応する背景映像は適用データから生成されたことになる。この実施の形態では、過去背景データや適用データに基づき被写体領域加工データを生成することで、対象被写体の透明化が実現される。

　ステップＳ２７０において過去背景データ保持部１８１は、被写体領域抽出部４３から供給された被写体領域外データを背景映像、すなわち過去背景データとして保存（保持）する。このとき過去背景データ保持部１８１は、被写体領域抽出部４３から供給された領域情報と過去背景データとを対応付けて保存する。撮影映像のフレームごとにステップＳ２７０の処理を行うことにより、過去の複数フレームの被写体領域外データが過去背景データとして保存されることになる。

　ステップＳ２７０の処理が行われると、その後、ステップＳ２７１乃至ステップＳ２７３の処理が行われて合成映像生成処理は終了するが、これらの処理は図５のステップＳ１６乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

　以上のようにして撮像システム１１は、被写体領域外データを過去背景データとして保存し、適宜、過去背景データに基づいて対象被写体を透明化する処理を行い、合成映像を生成する。この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第８の実施の形態〉
〈撮像システムの構成例〉
　撮像部２１から対象被写体までの距離が遠すぎるか、または近すぎるため、対象被写体の領域の抽出精度が低下してしまう場合に、対象被写体までの距離に応じて、対象被写体の映り込みを抑制する方法（処理）を決定する例について説明する。

　例えば3Dマッピングデータを活用すれば、撮像部２１から対象被写体までの距離を得ることができる。また、対象被写体が遠方にあり、撮影映像上で対象被写体を十分に認識できない場合や、撮影映像上に対象被写体全体が映らない程度に対象被写体が近すぎて、撮影映像上で対象被写体を十分に認識できない場合がある。

　撮像システム１１は、合成映像上で対象被写体を見えなくする機能を有しており、対象被写体までの距離に応じてその機能を切り替える（変更する）ことができる。換言すれば、データ制御部２２が、撮像部２１（撮影位置）から対象被写体までの距離に応じて、異なる透明化処理を行うようにすることができる。

　具体的には、例えば図２８の矢印Q31に示すように、撮像部２１から対象被写体SB31までの距離が遠い場合、撮影映像からの対象被写体SB31の抽出精度が低下してしまう。

　そこで、例えば対象被写体SB31までの距離が所定の閾値thmaxよりも大きい場合、対象被写体SB31までの距離が遠すぎる、すなわち距離の測定限界を超過したと判定される。そして、例えば対象被写体SB31を含む領域R111が適用データ等による単色の映像（塗りつぶされた映像）に置き換えられた合成映像P111が生成される。この例では合成映像P111には、アバタAB31は表示されない。

　このように、対象被写体SB31を含む領域R111を単色の映像等に置き換えれば、対象被写体SB31を透明化し、対象被写体SB31の映り込みを確実に防止することができる。

　なお、単色の映像等による置き換えの他、現時点で表示されている、対象被写体SB31の映り込みのない合成映像が表示されたままとする、すなわち合成映像の再生を一時的に停止するようにしてもよい。この場合においても対象被写体SB31の映り込みを確実に防止することができる。

　また、例えば矢印Q32に示すように、撮像部２１から対象被写体SB31までの距離が近すぎる場合、撮影映像P112上には対象被写体SB31の一部しか映らないため、撮影映像P112上において対象被写体SB31の領域を正しく認識することができないおそれがある。すなわち、撮影映像P112からの対象被写体SB31の抽出精度が低下してしまう。

　そこで、例えば対象被写体SB31までの距離が所定の閾値thmin未満である場合、現時点で表示されている、対象被写体SB31の映り込みのない合成映像P113が表示されたままとする。すなわち、合成映像P113の再生が一時的に停止される。

　このように、対象被写体SB31が一定の距離以上、撮像部２１に近づいたときには、合成映像P113の再生を停止することで、対象被写体SB31の認識不良、すなわち認識精度の低下により生じる対象被写体SB31の映り込みを確実に防止することができる。換言すれば、対象被写体SB31が透明化された状態を維持することができる。

　対象被写体までの距離に応じて処理を切り替える場合、撮像システム１１は、例えば図２９に示す構成とされる。

　図２９に示す撮像システム１１の構成は、図３に示した撮像システム１１の構成と同じであるが、図２９の例では、外部から被写体領域抽出部４３に適正撮影距離判定基準が供給される。

　この適正撮影距離判定基準は、撮像部２１から対象被写体までの距離が適切な範囲（以下、適正範囲とも称する）内の距離であるか否かの判定に利用されるものである。具体的には、例えば適正撮影距離判定基準は、適正範囲の上限と下限を示す距離、すなわち上述の閾値thmaxや閾値thminを示す情報や、被写体認識精度クライテリアなどとされる。

　被写体領域抽出部４３は、適正撮影距離判定基準と3Dマッピングデータに基づいて、対象被写体までの距離が適正範囲内であるか否かを判定し、その判定結果に応じた処理をデータ制御部２２の各部に実行させる。

〈合成映像生成処理の説明〉
　次に、図３０のフローチャートを参照して、図２９に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ３０１の処理は、図５のステップＳ１１の処理と同様であるので、その説明は省略する。

　ステップＳ３０２において被写体領域抽出部４３は、3Dマッピング撮像部３１から供給された3Dマッピングデータと、供給された適正撮影距離判定基準とに基づいて、撮像部２１から対象被写体までの距離が適正範囲内であるか否かを判定する。

　すなわち、被写体領域抽出部４３は、必要に応じて撮影映像の映像データを用いて、3Dマッピングデータから対象被写体の領域を抽出し、その抽出結果に基づいて撮像部２１から対象被写体までの距離を求める。そして被写体領域抽出部４３は、求めた距離が適正撮影距離判定基準により示される適正範囲内の距離であるか否かを判定する。

　ステップＳ３０２において適正範囲内の距離であると判定された場合、その後、ステップＳ３０３乃至ステップＳ３０８の処理が行われて合成映像が生成され、その後、処理はステップＳ３１０へと進む。

　なお、これらのステップＳ３０３乃至ステップＳ３０８の処理は、図５のステップＳ１２乃至ステップＳ１７の処理と同様であるので、その説明は省略する。

　この場合、例えばステップＳ３０６において、図１９のステップＳ１６５と同様にして、被写体領域データと、外部から供給された適用データとに基づき被写体領域加工データが生成されるなどして、対象被写体が透明化される。なお、この実施の形態では、対象被写体の透明化は、適用データを利用する例に限らず、上述した任意の実施の形態で説明した方法や後述する任意の方法など、どのような方法により行われてもよい。

　また、ステップＳ３０２において適正範囲内の距離ではないと判定された場合、ステップＳ３０９においてデータ制御部２２は、対象被写体までの距離に応じた処理を行う。

　具体的には、例えば対象被写体までの距離が適正範囲内の距離よりも大きい場合、被写体領域抽出部４３は、ステップＳ３０５と同様の処理を行い、背景映像加工部４５はステップＳ３０７と同様の処理を行う。また、被写体領域加工部４４は、被写体領域加工処理として、対象被写体の領域全体を覆う（含む）単色の領域の映像データを被写体領域加工データとして生成する。

　そして画像合成部４６は、被写体領域抽出部４３の指示に応じて、背景映像加工データと、単色の領域の被写体領域加工データとを合成し、合成映像とする。この場合、例えば図２８に示した合成映像P111と同様の合成映像が得られる。

　また、例えば対象被写体までの距離が適正範囲内の距離未満である場合、被写体領域抽出部４３は、画像合成部４６に対して合成映像の生成の一時的な停止、すなわち合成映像のディスプレイ２３への供給の一時的な停止を指示する。すると、画像合成部４６は、被写体領域抽出部４３の指示に応じて、合成映像の供給（再生）を停止する。これにより、ディスプレイ２３では、合成映像の表示が更新されずに、最後に表示した合成映像のフレームが表示されたままの状態となる。

　このようなステップＳ３０９の処理によって、対象被写体の映り込みの発生が確実に抑制される。

　ステップＳ３０８の処理が行われたか、またはステップＳ３０９の処理が行われると、その後、ステップＳ３１０の処理が行われて合成映像生成処理は終了するが、ステップＳ３１０の処理は図５のステップＳ１８の処理と同様であるので、その説明は省略する。

　この場合、例えば一度ステップＳ３０９の処理が行われた後、ステップＳ３０２において対象被写体までの距離が適正範囲内であると判定されると、その後は、アバタが表示された合成映像が適切に更新される。

　以上のようにして撮像システム１１は、対象被写体までの距離に応じて、実行する処理を切り換えながら合成映像を生成する。この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第９の実施の形態〉
〈撮像システムの構成例〉
　撮影映像上の対象被写体に対して、モーションキャプチャと透明化の処理の両方に成功している場合のみ、撮影映像の撮影、すなわち合成映像の生成（記録）、または合成映像の送信（放送）を行う例について説明する。

　例えば合成映像をコンテンツとしてリアルタイムで放送（中継）したり、合成映像をコンテンツとして記録したりする場合に、対象被写体を認識し、モーションキャプチャと透明化の処理の両方に成功している状態でのみコンテンツの放送や記録を行う機能を撮像システム１１に持たせるようにしてもよい。換言すれば、モーションキャプチャや透明化処理などの対象被写体への画像処理の可否に応じて、合成映像の撮影可否を変更する機能を撮像システム１１に持たせるようにしてもよい。

　そのような場合、例えば図３１の図中、左側に示すように、撮像部２１から対象被写体までの距離が近いため、対象被写体への画像処理、すなわちモーションキャプチャまたは透明化処理の何れかに失敗したときには撮影が一時的に停止される。すなわち、合成映像の放送（送信）や記録（録画）が一時的に停止される。

　同様に、図中、右側に示すように、撮像部２１から対象被写体までの距離が遠いため、対象被写体への画像処理に失敗したときには撮影が一時的に停止される。

　これに対して、図中、中央に示すように、撮像部２１から対象被写体までの距離が適正な距離であるため、対象被写体への画像処理、すなわちモーションキャプチャと透明化処理の両方を正しく行うことができたときには撮影が継続して行われる。すなわち、合成映像の放送（送信）や記録（録画）が継続して行われる。

　このように、対象被写体までの距離が適切ではないなどの理由により、モーションキャプチャや透明化処理を行うことができないときには、撮影を一時的に停止させることで、対象被写体の映り込みをより確実に抑制することができる。

　モーションキャプチャや透明化処理が成功したか否かに応じて、撮影を継続するか、または一時停止する場合、撮像システム１１は、例えば図３２に示す構成とされる。

　図３２に示す撮像システム１１の構成は、図３に示した撮像システム１１の構成に、新たに被写体動作判定部２１１および被写体領域判定部２１２を設けた構成となっている。

　被写体動作判定部２１１は、被写体動作検出部４１から供給された被写体動作データに基づいて、モーションキャプチャに成功したか否かを判定し、その判定結果を被写体領域判定部２１２に供給する。

　例えば被写体動作判定部２１１は、直近数フレーム分の被写体動作データと、適宜、被写体動作検出部４１から供給される撮影映像や3Dマッピングデータからの対象被写体の検出結果などに基づいて、現フレームにおいて正しくモーションキャプチャが行われたか否か、すなわちモーションキャプチャに成功したか否かを判定する。

　被写体領域判定部２１２は、被写体領域抽出部４３から供給された被写体領域データおよび被写体領域外データに基づいて、対象被写体の透明化に成功したか否かを判定し、その判定結果を被写体動作判定部２１１に供給する。

　例えば被写体領域判定部２１２は、直近数フレーム分の被写体領域データおよび被写体領域外データと、適宜、被写体領域抽出部４３から供給される撮影映像や3Dマッピングデータからの対象被写体の検出結果などに基づいて、現フレームにおいて正しく透明化処理が行われたか否か、すなわち透明化処理に成功したか否かを判定する。この場合、撮影映像等から正しく対象被写体が抽出（検出）できた場合、透明化処理に成功した、より詳細にはこれから行う透明化処理を正しく行うことができると判定される。

　被写体動作判定部２１１と被写体領域判定部２１２の間では、互いの判定結果が共有されており、それらの判定結果に応じて後段へのデータの出力が行われる。

　すなわち、被写体動作判定部２１１は、モーションキャプチャにも透明化処理にも成功したとの判定結果が得られた場合に、被写体動作データをアバタ動作構築部４２へと供給する。同様に、被写体領域判定部２１２は、モーションキャプチャにも透明化処理にも成功したとの判定結果が得られた場合に、被写体領域データを被写体領域加工部４４に供給するとともに、被写体領域外データを背景映像加工部４５に供給する。

〈判定処理の説明〉
　次に、図３２に示した撮像システム１１の動作について説明する。

　図３２に示した撮像システム１１は、基本的には図５を参照して説明した合成映像生成処理を継続して行うと同時に、図３３に示す判定処理も行う。特に撮像システム１１は、判定処理での判定結果に応じて、合成映像生成処理を一時的に停止したり、合成映像生成処理を再開したりする。

　以下、図３３のフローチャートを参照して、図３２に示した撮像システム１１により行われる判定処理について説明する。

　ステップＳ３４１において被写体動作判定部２１１は、被写体動作検出部４１から供給された被写体動作データに基づいてモーションキャプチャに成功したか否かを判定し、その判定を被写体領域判定部２１２に供給する。

　ステップＳ３４１においてモーションキャプチャに成功したと判定された場合、その後、処理はステップＳ３４２へと進む。

　ステップＳ３４２において被写体領域判定部２１２は、被写体領域抽出部４３から供給された被写体領域データおよび被写体領域外データに基づいて、対象被写体の透明化に成功したか否かを判定し、その判定を被写体動作判定部２１１に供給する。

　ステップＳ３４２において対象被写体の透明化に成功したと判定された場合、その後、処理はステップＳ３４３へと進む。

　ステップＳ３４３においてデータ制御部２２は、合成映像の録画または放送を行う。

　すなわち、被写体動作判定部２１１は、被写体動作検出部４１から供給された被写体動作データをアバタ動作構築部４２へと供給する。また、被写体領域判定部２１２は、被写体領域データを被写体領域加工部４４に供給するとともに、被写体領域外データを背景映像加工部４５に供給する。

　これにより、その後、図５を参照して説明した合成映像生成処理のステップＳ１３、およびステップＳ１５乃至ステップＳ１８の処理が行われることになる。この場合、画像合成部４６は、生成した合成映像をディスプレイ２３に供給して表示させるとともに、合成映像の映像データを図示せぬ記録部に供給して記録（録画）させたり、図示せぬ通信部に供給して外部の装置へと送信（放送）させたりする。

　ステップＳ３４３の処理が行われると、その後、処理はステップＳ３４５へと進む。

　また、ステップＳ３４１においてモーションキャプチャに成功しなかった、つまりモーションキャプチャに失敗したと判定されたか、またはステップＳ３４２において対象被写体の透明化に成功しなかった、つまり透明化に失敗したと判定された場合、ステップＳ３４４の処理が行われる。

　ステップＳ３４４においてデータ制御部２２は、合成映像の録画または放送を一時的に停止する。

　すなわち、被写体動作判定部２１１は、被写体動作検出部４１から供給された被写体動作データのアバタ動作構築部４２への供給を一時的に停止する。また、被写体領域判定部２１２は、被写体領域データの被写体領域加工部４４への供給と、被写体領域外データの背景映像加工部４５への供給を一時的に停止する。

　これにより、図５を参照して説明した合成映像生成処理のステップＳ１３、およびステップＳ１５乃至ステップＳ１８の処理が一時的に行われないようになり、その結果、合成映像の表示の更新と、合成映像の記録（録画）や送信（放送）が一時的に停止される。

　なお、モーションキャプチャと対象被写体の透明化の少なくとも何れか一方に失敗した場合、ステップＳ３４４では、合成映像の生成と表示は行われるが、合成映像の録画と放送は行われない（一時的に停止される）ようにしてもよい。

　ステップＳ３４３の処理が行われたか、またはステップＳ３４４の処理が行われると、ステップＳ３４５においてデータ制御部２２は、継続して撮影を行うか否かを判定する。例えば図５のステップＳ１８において処理を終了すると判定された場合、撮影を終了すると判定される。

　ステップＳ３４５において、継続して撮影を行うと判定された場合、その後、処理はステップＳ３４１に戻り、上述した処理が繰り返し行われる。

　したがって、例えば撮影開始直後においてステップＳ３４４の処理が行われると、録画や放送が不可な状態であるため、合成映像の録画や放送は開始されず、その後、ステップＳ３４２において透明化に成功したと判定されると、合成映像の録画や放送が開始される。同様に、例えば合成映像の録画や放送が開始された後、ステップＳ３４４の処理が行われるときには、録画や放送の途中で、一時的に録画や放送が停止され、その後、ステップＳ３４２において透明化に成功したと判定されると、合成映像の録画や放送が再開される。

　また、ステップＳ３４５において継続して撮影を行わない、すなわち撮影を終了すると判定された場合、データ制御部２２の各部は行っている処理を停止し、判定処理は終了する。

　以上のようにして撮像システム１１は、モーションキャプチャや透明化処理が成功したか否かに応じて、適宜、合成映像の録画や放送を行う。このようにすることで、さらに対象被写体の映り込みの発生を抑制することができる。

〈第１０の実施の形態〉
〈撮像システムの構成例〉
　撮影映像に対象被写体の一部のみが映っている場合でも、正しくモーションキャプチャを行うことができるようにする例について説明する。

　例えば撮影映像の撮影時の範囲（画角）よりもより広い範囲を対象として、すなわちより広角で3Dマッピングの撮影を行うようにすれば、撮影映像では対象被写体の全身が映らないような近距離撮影の場合や、撮影映像の撮影範囲内外を対象被写体が行き来するような場合においても、対象被写体の領域を正確に抽出することができる。これにより、モーションキャプチャの精度の低下を抑制することができる。

　そのような場合、例えば図３４に示すように3Dマッピング撮像部３１と画像撮像部３２の撮影視野、すなわち撮影対象とされる領域の範囲が異なるようにされる。

　図３４では、矢印Q51に示す部分では、3Dマッピング撮像部３１と画像撮像部３２の水平方向の撮影視野、すなわち撮影対象となる領域の範囲が示されている。特に、矢印Q51に示す部分における横方向（X方向）および縦方向（Y方向）は、撮像部２１から対象被写体SB31の方向を見たときの横方向（水平方向）と奥行き方向を示している。

　具体的には、直線L51と直線L52との間の領域が画像撮像部３２、つまり撮影映像の撮影視野の範囲となっており、直線L53と直線L54との間の領域が3Dマッピング撮像部３１、つまり3Dマッピングの撮影視野の範囲となっている。すなわち、3Dマッピングの撮影視野の範囲には、撮影映像の撮影視野の全範囲が含まれており、3Dマッピング撮像部３１では、画像撮像部３２と比較して、水平方向により広角な撮影が可能である。

　この例では、対象被写体SB31の一部が撮影映像の撮影視野の範囲外にあるが、対象被写体SB31全体が3Dマッピングの撮影視野の範囲内に含まれているため、3Dマッピングデータを用いれば、対象被写体SB31の領域を正しく特定（抽出）することができる。

　したがって、例えば対象被写体SB31の一部が撮影映像の撮影視野の範囲外となってしまうような瞬間であっても、3Dマッピングデータを用いれば、モーションキャプチャを行うことが可能である。

　また、矢印Q52に示す部分では、3Dマッピング撮像部３１と画像撮像部３２の垂直方向の撮影視野の範囲が示されている。特に、矢印Q52に示す部分における横方向（Y方向）および縦方向（Z方向）は、撮像部２１から対象被写体SB31の方向を見たときの奥行方向と垂直方向（鉛直方向）を示している。

　具体的には、直線L61と直線L62との間の領域が撮影映像の撮影視野の範囲となっており、直線L63と直線L64との間の領域が3Dマッピングの撮影視野の範囲となっている。すなわち、3Dマッピングの撮影視野の範囲には、撮影映像の撮影視野の全範囲が含まれており、3Dマッピング撮像部３１では、画像撮像部３２と比較して、垂直方向により広角な撮影が可能である。

　したがって、例えば対象被写体SB31が撮像部２１に近すぎる位置にいるため、撮影映像に対象被写体SB31の全体が映らない場合であっても、3Dマッピングデータを用いれば、モーションキャプチャを行うことが可能である。

　例えば図３５に示すように、撮影映像P121上において対象被写体SB31の体の一部が見切れている（見えていない）状態では、その撮影映像P121のみを用いたときには、モーションキャプチャの精度が低下してしまう。

　しかし、そのような場合でも、3DマッピングP122上に対象被写体SB31の全身が映っていれば、3DマッピングP122を用いて精度よくモーションキャプチャを行うことができる。したがって、対象被写体SB31の映り込みのない合成映像SP121を得ることができる。

　この場合、撮影映像P121と3DマッピングP122との同期が行われる。すなわち、撮影映像P121上と3DマッピングP122上とでの対象被写体SB31の領域の対応関係が特定される。そして、その特定結果に応じて合成映像SP121上におけるアバタAB31の表示範囲が決定（制御）される。この例では、撮影映像P121上における対象被写体SB31と同様に、合成映像SP121上においてアバタAB31の一部が見切れている。

　撮影映像よりも3Dマッピングを広角で撮影する場合、撮像システム１１は、例えば図３６に示す構成とされる。

　図３６に示す撮像システム１１の構成は、図３に示した撮像システム１１の構成に、新たに3Dマッピング被写体判定部２４１、撮影映像被写体判定部２４２、および同期部２４３を設けた構成となっている。

　また、この例では、3Dマッピング撮像部３１（3Dマッピング）の撮影視野の範囲は、画像撮像部３２（撮影映像）の撮影視野を含む、より広い範囲となっている。換言すれば、3Dマッピング撮像部３１の視野角は、画像撮像部３２の視野角よりも大きい。

　3Dマッピング被写体判定部２４１は、3Dマッピング撮像部３１から供給された3Dマッピングデータから対象被写体の領域を抽出可能か否か、すなわち対象被写体の領域の抽出可否を判定し、その判定結果を撮影映像被写体判定部２４２に供給する。

　また、3Dマッピング被写体判定部２４１は、対象被写体の領域の抽出可否の判定結果等に応じて、3Dマッピング撮像部３１から供給された3Dマッピングデータを被写体動作検出部４１や被写体領域抽出部４３に供給する。

　撮影映像被写体判定部２４２は、画像撮像部３２から供給された撮影映像の映像データから対象被写体の領域を抽出可能か否か、すなわち対象被写体の領域の抽出可否を判定し、その判定結果を3Dマッピング被写体判定部２４１に供給する。

　また、撮影映像被写体判定部２４２は、対象被写体の領域の抽出可否の判定結果等に応じて、画像撮像部３２から供給された撮影映像の映像データを被写体動作検出部４１や被写体領域抽出部４３に供給する。

　同期部２４３は、被写体領域抽出部４３から供給された対象被写体の検出結果（抽出結果）、撮影映像の映像データ、および3Dマッピングデータに基づいて、アバタ表示範囲情報、被写体領域データ、および被写体領域外データを生成する。

　同期部２４３は、アバタ表示範囲情報、被写体領域データ、および被写体領域外データを、それぞれアバタ動作構築部４２、被写体領域加工部４４、および背景映像加工部４５に供給する。アバタ表示範囲情報は、アバタ全身のうちの一部のみを合成映像に表示させる場合におけるアバタの表示範囲を示す情報である。

〈合成映像生成処理の説明〉
　次に、図３７のフローチャートを参照して、図３６に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ３７１の処理は、図５のステップＳ１１の処理と同様であるので、その説明は省略する。但し、この例では、3Dマッピング撮像部３１は、3Dマッピングデータを3Dマッピング被写体判定部２４１に供給し、画像撮像部３２は撮影映像の映像データを撮影映像被写体判定部２４２に供給する。

　ステップＳ３７２において3Dマッピング被写体判定部２４１は、3Dマッピング撮像部３１から供給された3Dマッピングデータに基づいて、3Dマッピングから対象被写体の領域を抽出可能か否かを判定し、その判定結果を撮影映像被写体判定部２４２に供給する。

　例えば3Dマッピング被写体判定部２４１は、3Dマッピングから対象被写体を検出することで、対象被写体の領域の抽出可否を判定する。

　このとき、例えば3Dマッピング上で対象被写体が見切れている、つまり対象被写体の一部が撮影視野（3Dマッピング）外にある場合や、3Dマッピングから対象被写体が検出できなかった場合に、対象被写体の領域を抽出可能でないと判定される。

　ステップＳ３７２において抽出可能ではないと判定された場合、モーションキャプチャを行うことはできないので、その後、処理はステップＳ３８４へと進む。この場合、例えばディスプレイ２３では、合成映像の表示が更新されずに、最後に表示した合成映像のフレームが表示されたままの状態となる。

　一方、ステップＳ３７２において対象被写体の領域を抽出可能であると判定された場合、ステップＳ３７３の処理が行われる。

　ステップＳ３７３において撮影映像被写体判定部２４２は、画像撮像部３２から供給された撮影映像の映像データに基づいて、撮影映像から対象被写体の領域を抽出可能か否かを判定し、その判定結果を3Dマッピング被写体判定部２４１に供給する。

　例えば撮影映像被写体判定部２４２は、撮影映像から対象被写体を検出することで、対象被写体の領域の抽出可否を判定する。

　このとき、例えば撮影映像上で対象被写体が見切れている、つまり対象被写体の一部が撮影視野（撮影映像）外にある場合や、撮影映像から対象被写体が検出できなかった場合に、対象被写体の領域を抽出可能でないと判定される。

　ステップＳ３７３において対象被写体の領域を抽出可能であると判定された場合、処理はステップＳ３７４へと進む。

　このとき、3Dマッピング被写体判定部２４１は、3Dマッピング撮像部３１から供給された3Dマッピングデータを被写体動作検出部４１および被写体領域抽出部４３に供給する。また、撮影映像被写体判定部２４２は、画像撮像部３２から供給された撮影映像の映像データを被写体動作検出部４１および被写体領域抽出部４３に供給する。

　ステップＳ３７４において被写体動作検出部４１は、撮影映像被写体判定部２４２から供給された撮影映像の映像データと、3Dマッピング被写体判定部２４１から供給された3Dマッピングデータとの少なくとも何れか一方に基づいてモーションキャプチャを行い、その結果得られた被写体動作データをアバタ動作構築部４２に供給する。

　ステップＳ３７５において被写体領域抽出部４３は、撮影映像被写体判定部２４２から供給された撮影映像の映像データと、3Dマッピング被写体判定部２４１から供給された3Dマッピングデータとの少なくとも何れか一方に基づいて、撮影映像から対象被写体の領域を抽出する。被写体領域抽出部４３は、対象被写体の領域の抽出結果と、撮影映像の映像データと、3Dマッピングデータとを同期部２４３に供給する。

　同期部２４３は、被写体領域抽出部４３から供給された抽出結果、撮影映像の映像データ、および3Dマッピングデータに基づいて、図５のステップＳ１４と同様にして被写体領域データと被写体領域外データを生成する。また、同期部２４３は、被写体領域データを被写体領域加工部４４に供給するとともに、被写体領域外データを背景映像加工部４５に供給する。

　ステップＳ３７６においてアバタ動作構築部４２は、被写体動作検出部４１から供給された被写体動作データと、外部から供給されたアバタ情報とに基づいてアバタ動作データを生成し、画像合成部４６に供給する。この場合、撮影映像に対象被写体の全体が含まれているので、アバタ動作データの生成にアバタ表示範囲情報は不要である。

　ステップＳ３７６の処理が行われると、その後、処理はステップＳ３８１へと進む。

　また、ステップＳ３７３において対象被写体の領域を抽出可能でないと判定された場合、処理はステップＳ３７７へと進む。

　このとき、3Dマッピング被写体判定部２４１は、3Dマッピング撮像部３１から供給された3Dマッピングデータを被写体動作検出部４１および被写体領域抽出部４３に供給する。また、撮影映像被写体判定部２４２は、画像撮像部３２から供給された撮影映像の映像データを被写体領域抽出部４３のみに供給する。

　ステップＳ３７７において被写体動作検出部４１は、3Dマッピング被写体判定部２４１から供給された3Dマッピングデータのみに基づいて対象被写体の領域を抽出し、その抽出結果に基づいてモーションキャプチャを行い、その結果得られた被写体動作データをアバタ動作構築部４２に供給する。

　ステップＳ３７８において被写体領域抽出部４３は、3Dマッピング被写体判定部２４１から供給された3Dマッピングデータのみに基づいて対象被写体の領域を抽出し、その抽出結果と撮影映像の映像データと3Dマッピングデータとを同期部２４３に供給する。

　ステップＳ３７９において同期部２４３は、被写体領域抽出部４３から供給された抽出結果、撮影映像の映像データ、および3Dマッピングデータに基づいて、アバタ表示範囲情報を生成し、アバタ動作構築部４２に供給する。

　例えば同期部２４３は、3Dマッピングからの対象被写体の抽出結果と、既知である撮影映像と3Dマッピングの撮影視野の範囲の関係とから、撮影映像上における対象被写体の領域を特定し、その特定結果に基づきアバタ表示範囲情報を生成する。

　このとき、例えばアバタ表示範囲情報により示されるアバタの表示範囲は、撮影映像上において表示されている対象被写体の領域の範囲とされる。具体的には、例えば撮影映像上に対象被写体としての人物の上半身のみが映っているときには、アバタの上半身がそのアバタの表示範囲とされる。

　また、同期部２４３は、撮影映像上における対象被写体の領域の特定結果に基づいて被写体領域データと被写体領域外データを生成し、被写体領域データを被写体領域加工部４４に供給するとともに、被写体領域外データを背景映像加工部４５に供給する。

　ステップＳ３８０においてアバタ動作構築部４２は、被写体動作検出部４１から供給された被写体動作データと、外部から供給されたアバタ情報と、同期部２４３から供給されたアバタ表示範囲情報とに基づいてアバタ動作データを生成し、画像合成部４６に供給する。このとき、例えばアバタ全体のうち、アバタ表示範囲情報により示される表示範囲の部分のみが表示されるアバタ動作データが生成される。

　ステップＳ３７６またはステップＳ３８０の処理が行われると、その後、ステップＳ３８１乃至ステップＳ３８４の処理が行われて合成映像生成処理は終了するが、これらの処理は図５のステップＳ１５乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

　この場合、例えばステップＳ３８１において、図１９のステップＳ１６５と同様にして、被写体領域データと、外部から供給された適用データとに基づき被写体領域加工データが生成されるなどして、対象被写体が透明化される。なお、この実施の形態では、対象被写体の透明化は、適用データを利用する例に限らず、上述した任意の実施の形態で説明した方法など、どのような方法により行われてもよい。

　以上のようにして撮像システム１１は、撮影映像や3Dマッピングから対象被写体を抽出可能か否かを判定し、その判定結果に応じて合成映像を生成する。特に撮像システム１１では、3Dマッピングデータを活用することにより、精度よくモーションキャプチャを行うことができる。また、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第１１の実施の形態〉
〈撮像システムの構成例〉
　対象被写体の付近にある他の物体に対象被写体と重なる部分がある場合に、重畳するアバタ等にも対象被写体と他の物体との前後の位置関係を反映させる例について説明する。

　例えば図３８に示すように、撮像部２１によって、対象被写体SB31を含む撮影映像P131が撮影されたとする。この例では、撮影映像P131上では、対象被写体SB31と一部の領域が重なっているギターが他の物体OBJ11（オブジェクト）、すなわち他の被写体として映っている。なお、以下、対象被写体と重なって映っている物体を重なり物体とも称することとする。

　また、3Dマッピング撮像部３１によっても、対象被写体SB31と物体OBJ11とを含む3DマッピングP132が撮影されたとする。

　3DマッピングP132は、各被写体までの距離を示す距離情報であるから、3DマッピングP132を用いれば、対象被写体SB31と物体OBJ11の前後の位置関係を容易に特定することが可能である。特にこの例では、物体OBJ11が対象被写体SB31よりも手前側（撮像部２１側）に位置していることが特定される。

　この実施の形態では、対象被写体SB31と物体OBJ11の前後の位置関係に基づいて、合成映像SP131が生成される。すなわち、前後の位置関係に基づいて対象被写体SB31の透明化やアバタAB31の合成が行われる。

　具体的には、撮影映像P131から対象被写体SB31の領域R131が抽出されて削除（除去）され、その結果得られる背景の映像P133の映像データが背景映像加工データとされる。この例では、映像P133上では対象被写体SB31のみが除去され、その対象被写体SB31の手前側に重なっている物体OBJ11は、除去されずに残されたままとなっている。

　また、上述の適用データを用いる方法など、任意の手法により領域R131に対応する背景等の映像データが被写体領域加工データとして生成され、被写体領域加工データと背景映像加工データとを合成することで、背景が補完された映像P134が得られる。この映像P134は、対象被写体SB31が透明化された撮影映像である。

　さらに、アバタAB31を表示させるためのアバタ動作データも、対象被写体SB31と物体OBJ11の前後の位置関係に基づいて生成される。特に、この例ではアバタAB31全体の領域のうち、対象被写体SB31の手前側に重なっている物体OBJ11に対応する部分の領域は表示されないアバタ動作データが生成される。つまり、アバタAB31に対しても、対象被写体SB31と物体OBJ11の前後の位置関係が反映される。

　そして、このようにして得られた映像P134にアバタAB31のアバタ動作データを合成すれば、対象被写体SB31の映り込みのない合成映像SP131を得ることができる。

　さらに合成映像SP131上では、アバタAB31と物体OBJ11の前後の位置関係が、アバタAB31に対応する対象被写体SB31と物体OBJ11の実際の前後の位置関係と合致している。このように、3DマッピングP132を用いれば、被写体同士の前後の位置関係の整合の取れた高品質な合成映像SP131を得ることができる。

　対象被写体と重なり物体の前後の位置関係が反映された合成映像が生成される場合、撮像システム１１は、例えば図３９に示す構成とされる。

　図３９に示す撮像システム１１の構成は、基本的には図３に示した撮像システム１１の構成と同じであるが、被写体領域抽出部４３から被写体動作検出部４１とアバタ動作構築部４２に対して被写体領域情報と物体領域情報が供給される点で図３の例と異なっている。

　すなわち、被写体領域抽出部４３は、撮影映像上の対象被写体の領域を示す被写体領域情報を生成し、被写体動作検出部４１に供給する。また、被写体領域抽出部４３は、撮影映像上における対象被写体と重なり物体とが互いに重なる領域のうち、重なり物体が手前側にある領域（位置）を示す物体領域情報を生成し、アバタ動作構築部４２に供給する。

〈合成映像生成処理の説明〉
　次に、図４０のフローチャートを参照して、図３９に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ４１１の処理は、図５のステップＳ１１の処理と同様であるので、その説明は省略する。

　ステップＳ４１２において被写体領域抽出部４３は、3Dマッピング撮像部３１から供給された3Dマッピングデータ、および画像撮像部３２から供給された映像データに基づいて被写体領域を検出する。ここでは、例えば撮影映像上における対象被写体の輪郭の内側の領域が対象被写体の領域として検出される。すなわち、手前側に他の被写体が重なっている領域も含む、対象被写体により囲まれる領域が検出される。

　ステップＳ４１３において被写体領域抽出部４３は、ステップＳ４１２における検出結果と、3Dマッピングデータとに基づいて、対象被写体と重なり物体とが重なっている領域、およびその領域における対象被写体と重なり物体の前後の位置関係を特定する。

　ステップＳ４１４において被写体領域抽出部４３は、ステップＳ４１２において検出された対象被写体の領域から、重なり物体が手前側（撮像部２１側）に重なっている領域を除いた領域を最終的な対象被写体の領域（被写体領域）とする。

　被写体領域抽出部４３は、このようにして特定された最終的な対象被写体の領域を示す被写体領域情報を生成し、被写体動作検出部４１に供給する。また、被写体領域抽出部４３は、重なり物体の領域と対象被写体との前後の位置関係の特定結果に基づいて物体領域情報を生成し、アバタ動作構築部４２に供給する。

　さらに被写体領域抽出部４３は、最終的な対象被写体の領域の特定結果に基づいて被写体領域データおよび被写体領域外データを生成し、被写体領域データを被写体領域加工部４４に供給するとともに、被写体領域外データを背景映像加工部４５に供給する。

　ステップＳ４１５において被写体動作検出部４１は、3Dマッピング撮像部３１から供給された3Dマッピングデータ、画像撮像部３２から供給された映像データ、および被写体領域抽出部４３から供給された被写体領域情報に基づいてモーションキャプチャを行う。

　このとき被写体動作検出部４１は、被写体領域情報により示される被写体領域、すなわち対象被写体の手前側に見えている領域だけでなく、骨格推定等を行うことで、対象被写体の領域のうちの重なり物体が手前側に重なって見えていない領域についても、対象被写体の動きを検出する。これにより、対象被写体のより正確な動きを検出することができる。

　被写体動作検出部４１は、モーションキャプチャ（対象被写体の動きの検出）により得られた被写体動作データをアバタ動作構築部４２に供給する。

　ステップＳ４１６においてアバタ動作構築部４２は、被写体動作検出部４１から供給された被写体動作データ、供給されたアバタ情報、および被写体領域抽出部４３から供給された物体領域情報に基づいてアバタ動作データを生成し、画像合成部４６に供給する。

　このときアバタ動作構築部４２は、物体領域情報に基づいて、対象被写体に対応するアバタの各領域と重なり物体との表示の前後関係（前後の位置関係）を決定し、アバタと重なり物体との前後の位置関係が反映されたアバタ動作データを生成する。

　ステップＳ４１６の処理が行われると、その後、ステップＳ４１７乃至ステップＳ４２０の処理が行われて合成映像生成処理は終了するが、これらの処理は図５のステップＳ１５乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

　この場合、例えばステップＳ４１７において、図１９のステップＳ１６５と同様にして、被写体領域データと、外部から供給された適用データとに基づき被写体領域加工データが生成されるなどして、対象被写体が透明化される。なお、この実施の形態では、対象被写体の透明化は、適用データを利用する例に限らず、上述した任意の実施の形態で説明した方法など、どのような方法により行われてもよい。

　以上のようにして撮像システム１１は、3Dマッピングデータに基づいて、対象被写体と重なって映っている物体との前後の位置関係を特定し、その前後の位置関係が反映された合成映像を生成する。特に撮像システム１１では、3Dマッピングデータを活用することにより、アバタと重なり物体との位置関係の整合の取れた、より自然な（高品質な）合成映像を得ることができる。また、この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第１２の実施の形態〉
〈撮像システムの構成例〉
　複数の対象被写体があり、撮影映像上で複数の対象被写体同士が重なる部分がある場合に、それらの対象被写体の前後の位置関係を反映させる例について説明する。

　例えば図４１に示すように、撮影映像P141上に２つの対象被写体SB31および対象被写体SB141が含まれているとする。この例では、対象被写体SB31と対象被写体SB141の一部の領域が重なっている。

　また、3DマッピングP142上においても対象被写体SB31および対象被写体SB141が含まれている。そのため、3DマッピングP142を用いれば、対象被写体SB31と対象被写体SB141が重なっている部分における対象被写体SB31と対象被写体SB141の前後の位置関係を特定することができる。

　この例では、対象被写体SB141が対象被写体SB31よりも手前側（撮像部２１側）に位置していることが特定される。

　この実施の形態では、対象被写体SB31と対象被写体SB141の前後の位置関係に基づいて、合成映像SP141が生成される。

　すなわち、撮影映像P141から対象被写体SB31の領域R141と対象被写体SB141の領域R142とが抽出されて削除（除去）され、その結果得られる背景の映像P143の映像データが背景映像加工データとされる。

　また、上述の適用データを用いる方法など、任意の手法により領域R141および領域R142に対応する背景等の映像データが被写体領域加工データとして生成され、被写体領域加工データと背景映像加工データとを合成することで、背景が補完された映像P144が得られる。この映像P144は、対象被写体SB31と対象被写体SB141が透明化された撮影映像である。

　さらに、対象被写体SB31に対応するアバタAB31を表示させるためのアバタ動作データと、対象被写体SB141に対応するアバタAB141を表示させるためのアバタ動作データも、対象被写体SB31と対象被写体SB141の前後の位置関係に基づいて生成される。

　特に、この例ではアバタAB31全体の領域のうち、対象被写体SB31の手前側に重なっている対象被写体SB141に対応する部分の領域は表示されないアバタAB31のアバタ動作データが生成される。つまり、アバタAB31に対しても、対象被写体SB31と対象被写体SB141の前後の位置関係が反映される。

　そして、映像P144にアバタAB31とアバタAB141のアバタ動作データを合成すれば、対象被写体SB31と対象被写体SB141の映り込みのない合成映像SP141を得ることができる。合成映像SP141上では、アバタAB31とアバタAB141の前後の位置関係が、それらのアバタに対応する対象被写体SB31と対象被写体SB141の実際の前後の位置関係と合致している。このように、3DマッピングP142を用いれば、対象被写体同士の前後の位置関係の整合の取れた高品質な合成映像SP141を得ることができる。

　対象被写体同士の互いに重なる部分の前後の位置関係が反映された合成映像が生成される場合、撮像システム１１は、例えば図４２に示す構成とされる。

　図４２に示す撮像システム１１の構成は、基本的には図３に示した撮像システム１１の構成と同じであるが、被写体領域抽出部４３から被写体動作検出部４１とアバタ動作構築部４２に対して被写体領域情報と前後領域情報が供給される点で図３の例と異なっている。

　すなわち、被写体領域抽出部４３は、撮影映像上の対象被写体の領域を示す被写体領域情報を生成し、被写体動作検出部４１に供給する。また、被写体領域抽出部４３は、撮影映像上における複数の対象被写体同士が互いに重なる領域と、その領域における対象被写体同士の前後の位置関係を示す前後領域情報を生成し、アバタ動作構築部４２に供給する。

〈合成映像生成処理の説明〉
　次に、図４３のフローチャートを参照して、図４２に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ４５１の処理は、図５のステップＳ１１の処理と同様であるので、その説明は省略する。

　ステップＳ４５２において被写体領域抽出部４３は、3Dマッピング撮像部３１から供給された3Dマッピングデータ、および画像撮像部３２から供給された映像データに基づいて複数の対象被写体の被写体領域を検出する。

　ステップＳ４５３において被写体領域抽出部４３は、ステップＳ４５２での検出結果と、3Dマッピングデータとに基づいて、複数の対象被写体同士が互いに重なり合っている領域における前後の位置関係を特定し、被写体領域情報および前後領域情報を生成する。例えば被写体領域情報は、対象被写体ごとに生成される。

　被写体領域抽出部４３は、被写体領域情報を被写体動作検出部４１に供給するとともに、前後領域情報をアバタ動作構築部４２に供給する。さらに被写体領域抽出部４３は、前後の位置関係の特定結果に基づいて被写体領域データおよび被写体領域外データを生成し、被写体領域データを被写体領域加工部４４に供給するとともに、被写体領域外データを背景映像加工部４５に供給する。

　ステップＳ４５４において被写体動作検出部４１は、3Dマッピング撮像部３１から供給された3Dマッピングデータ、画像撮像部３２から供給された映像データ、および被写体領域抽出部４３から供給された被写体領域情報に基づいてモーションキャプチャを行う。

　このとき被写体動作検出部４１は、被写体領域情報により示される被写体領域、すなわち対象被写体の手前側に見えている領域だけでなく、骨格推定等を行うことで、対象被写体の領域のうちの他の対象被写体が手前側に重なって見えていない領域についても、対象被写体の動きを検出する。これにより、対象被写体のより正確な動きを検出することができる。

　被写体動作検出部４１は、モーションキャプチャにより得られた対象被写体ごとの被写体動作データをアバタ動作構築部４２に供給する。

　ステップＳ４５５においてアバタ動作構築部４２は、被写体動作検出部４１から供給された被写体動作データ、供給されたアバタ情報、および被写体領域抽出部４３から供給された前後領域情報に基づいてアバタ動作データを生成し、画像合成部４６に供給する。

　このときアバタ動作構築部４２は、前後領域情報に基づいて、一部が互いに重なっている対象被写体同士の表示の前後関係（前後の位置関係）を決定し、対象被写体同士の前後の位置関係が反映されたアバタ動作データを対象被写体ごとに生成する。

　ステップＳ４５５の処理が行われると、その後、ステップＳ４５６乃至ステップＳ４５９の処理が行われて合成映像生成処理は終了するが、これらの処理は図５のステップＳ１５乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

　この場合、例えばステップＳ４５６において、図１９のステップＳ１６５と同様にして、被写体領域データと、外部から供給された適用データとに基づき被写体領域加工データが生成されるなどして、対象被写体が透明化される。なお、この実施の形態では、対象被写体の透明化は、適用データを利用する例に限らず、上述した任意の実施の形態で説明した方法など、どのような方法により行われてもよい。

　以上のようにして撮像システム１１は、3Dマッピングデータに基づいて、対象被写体同士の重なり合っている部分の前後の位置関係を特定し、その前後の位置関係が反映された合成映像を生成する。特に撮像システム１１では、3Dマッピングデータを活用することにより、複数の対象被写体に対応するアバタの位置関係の整合の取れた、より自然な（高品質な）合成映像を得ることができる。また、この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第１３の実施の形態〉
〈撮像システムの構成例〉
　対象被写体の候補となる被写体が複数あり、撮影映像上で複数の被写体に重なる部分がある場合に、それらの複数の被写体のうちの特定の被写体のみ対象被写体として透明化し、互いに重なっている被写体の前後の位置関係を反映させる例について説明する。

　例えば図４４に示すように、撮影映像P151上に対象被写体の候補、つまり透明化の候補となる２つの被写体SB151および被写体SB152が含まれているとする。この例では、被写体SB151と被写体SB152の一部の領域が重なっている。

　また、3DマッピングP152上においても被写体SB151および被写体SB152が含まれているため、3DマッピングP152を用いれば、被写体SB151と被写体SB152が重なっている部分の前後の位置関係を特定することができる。

　この例では、被写体SB152が被写体SB151よりも手前側（撮像部２１側）に位置していることが特定される。

　この実施の形態では、被写体SB151と被写体SB152のうちの被写体SB151のみが透明化の対象である対象被写体とされ、被写体SB151と被写体SB152の前後の位置関係に基づいて、合成映像SP151が生成される。

　すなわち、撮影映像P151から被写体SB151の領域R151のみが抽出されて削除（除去）され、その結果得られる背景の映像P153の映像データが背景映像加工データとされる。この映像P153上には透明化の対象とされていない被写体SB152は映ったままである。

　また、上述の適用データを用いる方法など、任意の手法により領域R151に対応する背景等の映像データが被写体領域加工データとして生成され、被写体領域加工データと背景映像加工データとを合成することで、背景が補完された映像P154が得られる。この映像P154は、被写体SB151のみが透明化された撮影映像である。

　さらに、被写体SB151に対応するアバタAB31を表示させるためのアバタ動作データが、被写体SB151と被写体SB152の前後の位置関係に基づいて生成される。

　そして、映像P154にアバタAB31のアバタ動作データを合成すれば、被写体SB151の映り込みのない合成映像SP151を得ることができる。合成映像SP151上では、アバタAB31と被写体SB152の前後の位置関係が、アバタAB31に対応する被写体SB151と被写体SB152の実際の前後の位置関係と合致している。このように、3DマッピングP152を用いれば、被写体同士の前後の位置関係の整合の取れた高品質な合成映像SP151を得ることができる。

　被写体同士の互いに重なる部分の前後の位置関係が反映された合成映像が生成される場合、撮像システム１１は、例えば図４５に示す構成とされる。

　図４５に示す撮像システム１１の構成は、基本的には図３に示した撮像システム１１の構成と同じであるが、被写体領域抽出部４３から被写体動作検出部４１とアバタ動作構築部４２に対して被写体領域情報と前後領域情報が供給される点で図３の例と異なっている。

　すなわち、被写体領域抽出部４３は、外部から供給されるアバタ適用する被写体、すなわち透明化の対象とする被写体（対象被写体）を指定する指定情報に基づき、撮影映像上の対象被写体の領域を示す被写体領域情報を生成し、被写体動作検出部４１に供給する。また、被写体領域抽出部４３は、撮影映像上における被写体同士が互いに重なる領域と、その領域における被写体の前後の位置関係を示す前後領域情報を生成し、アバタ動作構築部４２に供給する。

〈合成映像生成処理の説明〉
　次に、図４６のフローチャートを参照して、図４５に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ４９１の処理は、図５のステップＳ１１の処理と同様であるので、その説明は省略する。

　ステップＳ４９２において被写体領域抽出部４３は、3Dマッピング撮像部３１から供給された3Dマッピングデータ、および画像撮像部３２から供給された映像データに基づいて対象被写体の候補となる複数の被写体の被写体領域を検出する。

　ステップＳ４９３において被写体領域抽出部４３は、ステップＳ４９２での検出結果と、3Dマッピングデータとに基づいて、複数の被写体同士が互いに重なり合っている領域における前後の位置関係を特定する。

　ステップＳ４９４において被写体領域抽出部４３は、外部から供給された指定情報に基づいて、アバタを重畳させる被写体、すなわち透明化の対象とする対象被写体を決定（選択）する。例えばステップＳ４９２で被写体領域が検出された複数の被写体のうち、指定情報により示される被写体が対象被写体とされる。なお、指定情報により示される、透明化の対象とする対象被写体は１つであってもよいし、複数であってもよい。

　また、ここでは透明化された対象被写体の部分にアバタ（アバタ動作データ）を重畳させる例について説明するが、透明化を行う１または複数の被写体（以下、透明化対象被写体とも称する）と、アバタの重畳対象とする１または複数の被写体（以下、アバタ重畳対象被写体とも称する）とを指定情報等により指定できるようにしてもよい。この場合、アバタ重畳対象被写体として指定された被写体は、基本的には透明化対象被写体として指定されるが、必ずしも透明化対象被写体として指定されなくてもよい。このように透明化の対象とする被写体とアバタの重畳対象とする被写体とを別々に指定できるようにすることで、例えばアバタの重畳対象ではない、撮影映像上に映り込んでしまった他人を透明化対象被写体として指定し、透明化することができる。

　被写体領域抽出部４３は、対象被写体の決定結果と、ステップＳ４９２およびステップＳ４９３の処理結果とに基づいて被写体領域情報および前後領域情報を生成し、被写体領域情報を被写体動作検出部４１に供給するとともに、前後領域情報をアバタ動作構築部４２に供給する。また、被写体領域抽出部４３は、ステップＳ４９２およびステップＳ４９３の処理結果とに基づいて被写体領域データおよび被写体領域外データを生成し、被写体領域データを被写体領域加工部４４に供給するとともに、被写体領域外データを背景映像加工部４５に供給する。

　なお、指定情報により透明化対象被写体とアバタ重畳対象被写体とを指定可能な場合には、被写体領域情報は、撮影映像上におけるアバタ重畳対象被写体の領域を示す情報とされる。また、被写体領域データは、撮影映像から抽出された、透明化対象被写体の画像（映像）のデータとされ、被写体領域外データは、撮影映像から透明化対象被写体の領域を除去して得られる画像（映像）のデータとされる。

　ステップＳ４９５において被写体動作検出部４１は、3Dマッピング撮像部３１から供給された3Dマッピングデータ、画像撮像部３２から供給された映像データ、および被写体領域抽出部４３から供給された被写体領域情報に基づいてモーションキャプチャを行う。

　このとき被写体動作検出部４１は、被写体領域情報により示される被写体領域だけでなく、骨格推定等を行うことで、対象被写体の領域のうちの他の被写体が手前側に重なって見えていない領域についても、対象被写体の動きを検出する。これにより、対象被写体のより正確な動きを検出することができる。

　被写体動作検出部４１は、モーションキャプチャにより得られた被写体動作データをアバタ動作構築部４２に供給する。

　ステップＳ４９６においてアバタ動作構築部４２は、被写体動作検出部４１から供給された被写体動作データ、供給されたアバタ情報、および被写体領域抽出部４３から供給された前後領域情報に基づいてアバタ動作データを生成し、画像合成部４６に供給する。

　このときアバタ動作構築部４２は、前後領域情報に基づいて、対象被写体に対応するアバタの各領域と他の被写体との表示の前後関係（前後の位置関係）を決定し、アバタと他の被写体との前後の位置関係が反映されたアバタ動作データを生成する。

　ステップＳ４９６の処理が行われると、その後、ステップＳ４９７乃至ステップＳ５００の処理が行われて合成映像生成処理は終了するが、これらの処理は図５のステップＳ１５乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

　但し、ステップＳ４９７では、複数の被写体のうちの指定情報により指定された対象被写体の領域に対してのみ被写体領域加工処理、すなわち対象被写体を透明化する処理が行われる。

　この場合、被写体領域加工処理では、例えば図１９のステップＳ１６５と同様にして、被写体領域データと、外部から供給された適用データとに基づき被写体領域加工データが生成されるなどして、対象被写体が透明化される。なお、この実施の形態では、対象被写体の透明化は、適用データを利用する例に限らず、上述した任意の実施の形態で説明した方法など、どのような方法により行われてもよい。なお、他人の映り込み防止の観点から、複数の被写体のうちの指定情報により指定されていない被写体の領域であって、被写体が人物である領域に対しても被写体を透明化する処理が行われてもよい。

　また、例えば指定情報により透明化対象被写体とアバタ重畳対象被写体とを指定可能な場合には、アバタ重畳対象被写体でもある透明化対象被写体の領域と、アバタ重畳対象被写体ではない透明化対象被写体の領域とで、被写体を透明化する処理として異なる処理が行われるようにしてもよい。例えば、アバタ重畳対象被写体ではない透明化対象被写体の領域は推定により生成した背景の映像によって透明化され、アバタ重畳対象被写体でもある透明化対象被写体の領域は単色の映像やエフェクト映像により透明化されるようにすることもできる。

　その他、他人の映り込み防止の観点から、撮影映像上における対象被写体以外の人物の領域に対しても透明化が行われるようにする場合、以下のような処理を行えばよい。すなわち、例えばステップＳ４９２において撮影映像上の人物が対象被写体の候補として検出される。そして、ステップＳ４９４では、ステップＳ４９２で検出された複数の被写体、すなわち対象被写体の候補のうち、アバタ重畳対象被写体以外の全ての被写体（候補）も透明化対象被写体として選択される。このとき、アバタ重畳対象被写体は基本的には透明化対象被写体として選択されるが、透明化対象被写体として選択されなくてもよい。このようにすれば、撮影映像上の不要な人物の領域が透明化されることになり、他人の映り込みを防止することができる。

　以上のようにして撮像システム１１は、3Dマッピングデータに基づいて、被写体同士の重なり合っている部分の前後の位置関係を特定し、その前後の位置関係が反映された合成映像を生成する。特に撮像システム１１では、3Dマッピングデータを活用することにより、アバタと、透明化されない他の被写体との位置関係の整合の取れた、より自然な（高品質な）合成映像を得ることができる。また、この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第１４の実施の形態〉
〈撮像システムの構成例〉
　合成映像に表示させるアバタのサイズを任意に変更できる例について説明する。

　例えば図４７に示すように、対象被写体SB31を含む撮影映像P161が得られたとすると、撮影映像P161から対象被写体SB31の領域R161が抽出されて削除（除去）され、その結果得られる背景の映像P162の映像データが背景映像加工データとされる。

　また、上述の適用データを用いる方法など、任意の手法により領域R161に対応する背景等の映像データが被写体領域加工データとして生成され、被写体領域加工データと背景映像加工データとを合成することで、背景が補完された映像P163が得られる。この映像P163は、対象被写体SB31が透明化された撮影映像である。

　さらに、対象被写体SB31に対応するアバタAB31を表示させるためのアバタ動作データが生成される。そして、アバタAB31のサイズが任意に変更（調整）されたアバタ動作データと映像P163とを合成することで、所望のサイズのアバタAB31が映っており、対象被写体SB31の映り込みのない合成映像SP161や合成映像SP162を得ることができる。

　例えば合成映像SP161では、アバタAB31が本来のものよりもスリム化されている。すなわち、アバタAB31のサイズが横方向に縮小されている。また、合成映像SP162では、アバタAB31が本来のサイズよりも全体的に小さいサイズとされている。

　撮像システム１１では、対象被写体SB31が透明化された映像P163にアバタAB31を重畳（合成）させて合成映像とするため、アバタAB31のサイズを任意のサイズに変更しても対象被写体SB31の映り込みが生じることはない。

　アバタのサイズを任意に変更（調整）する場合、撮像システム１１は、例えば図４８に示す構成とされる。

　図４８に示す撮像システム１１の構成は、基本的には図３に示した撮像システム１１の構成と同じであるが、画像合成部４６は、外部から供給された、合成映像上におけるアバタの表示サイズを示すアバタサイズ情報に基づいて合成映像を生成する。すなわち、画像合成部４６は、合成映像（撮影映像）上に合成するアバタの表示サイズを任意のサイズに調整する。

〈合成映像生成処理の説明〉
　次に、図４９のフローチャートを参照して、図４８に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ５３１乃至ステップＳ５３６の処理は、図５のステップＳ１１乃至ステップＳ１６の処理と同様であるので、その説明は省略する。

　この場合、ステップＳ５３５では、例えば図１９のステップＳ１６５と同様にして、被写体領域データと、外部から供給された適用データとに基づき被写体領域加工データが生成されるなどして、対象被写体が透明化される。なお、この実施の形態では、対象被写体の透明化は、適用データを利用する例に限らず、上述した任意の実施の形態で説明した方法など、どのような方法により行われてもよい。

　ステップＳ５３７において画像合成部４６は、外部から供給されたアバタサイズ情報に基づきアバタのサイズ調整を行い、合成映像を生成する。

　すなわち、画像合成部４６は、アバタ動作構築部４２から供給されたアバタ動作データ、被写体領域加工部４４から供給された被写体領域加工データ、および背景映像加工部４５から供給された背景映像加工データを合成する。

　このとき、画像合成部４６は、背景映像加工データに基づく映像上における被写体領域部分に、被写体領域加工データに基づく映像を合成し、背景の映像を生成する。また、画像合成部４６は、アバタ動作データに基づくアバタの映像を、アバタサイズ情報により示される表示サイズに調整し、調整後のアバタの映像を背景の映像に合成することで、合成映像の映像データを生成し、ディスプレイ２３に供給する。このようにして得られる合成映像では、対象被写体が透明化されているので、アバタの表示サイズによらず、対象被写体の映り込みの発生が抑制される。

　ステップＳ５３７の処理が行われると、その後、ステップＳ５３８の処理が行われて合成映像生成処理は終了するが、ステップＳ５３８の処理は図５のステップＳ１８の処理と同様であるので、その説明は省略する。

　以上のようにして撮像システム１１は、アバタサイズ情報に基づいてアバタの表示サイズを調整し、合成映像を生成する。この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第１５の実施の形態〉
〈撮像システムの構成例〉
　撮影地点（撮影位置）、すなわち撮像部２１の位置から対象被写体までの距離に応じて、合成映像上におけるアバタの表示サイズを変更し、より自然な遠近感を表現できるようにした例について説明する。

　撮像システム１１では、撮影映像に加えて3Dマッピングも取得されるので、3Dマッピングを活用し、撮像部２１から対象被写体までの距離を算出することができる。そこで、例えば図５０に示すように、対象被写体までの距離に適したサイズにアバタの表示サイズを修正するようにしてもよい。

　具体的には、例えば図５０の上側に示すように撮像部２１から対象被写体SB31までの距離が遠い場合には、対象被写体SB31に対応するアバタAB31が比較的小さいサイズで表示される合成映像SP171が生成される。

　これに対して、例えば図中、下側に示すように撮像部２１から対象被写体SB31までの距離が近い場合には、対象被写体SB31に対応するアバタAB31が比較的大きいサイズで表示される合成映像SP172が生成される。

　このように、対象被写体SB31までの距離に応じてアバタAB31の表示サイズを調整することで、現実空間に違和感なくアバタAB31が存在しているような合成映像を得ることができる。すなわち、より高品質な（自然な）合成映像を得ることができる。しかも、この例においても対象被写体SB31は透明化されているので、対象被写体SB31の映り込みを抑制することができる。

　対象被写体までの距離に応じてアバタの表示サイズを調整する場合、撮像システム１１は、例えば図５１に示す構成とされる。

　図５１に示す撮像システム１１の構成は、基本的には図３に示した撮像システム１１の構成と同じであるが、被写体領域抽出部４３は、撮像部２１（3Dマッピング撮像部３１）から対象被写体までの距離を示す被写体距離情報をアバタ動作構築部４２に供給する。

　また、アバタ動作構築部４２は、被写体領域抽出部４３から供給された被写体距離情報に基づいて、アバタの表示サイズを調整する。

〈合成映像生成処理の説明〉
　次に、図５２のフローチャートを参照して、図５１に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ５６１乃至ステップＳ５６３の処理は、図５のステップＳ１１、ステップＳ１２、およびステップＳ１４の処理と同様であるので、その説明は省略する。

　但し、ステップＳ５６３では、被写体領域抽出部４３は被写体領域データおよび被写体領域外データを生成するのに加えて、被写体距離情報も生成する。

　すなわち、被写体領域抽出部４３は、対象被写体の検出結果と3Dマッピングデータとに基づいて撮像部２１（撮影位置）から対象被写体までの距離を算出して被写体距離情報を生成し、アバタ動作構築部４２に供給する。

　ステップＳ５６４においてアバタ動作構築部４２は、アバタのサイズ調整を行い、アバタ動作データを生成し、画像合成部４６に供給する。

　すなわち、アバタ動作構築部４２は、被写体動作検出部４１から供給された被写体動作データと、外部から供給されたアバタ情報とに基づいてアバタ動作データを生成する。このときアバタ動作構築部４２は、被写体領域抽出部４３から供給された被写体距離情報により示される距離に応じたサイズとなるように、アバタの表示サイズを調整し、調整後のサイズでアバタが表示されるアバタ動作データを生成する。

　なお、ここではアバタ動作構築部４２においてアバタの表示サイズが調整される例について説明するが、例えば上述した第１４の実施の形態における場合と同様に、画像合成部４６において被写体距離情報に基づきアバタの表示サイズが調整されてもよい。

　ステップＳ５６４の処理が行われると、その後、ステップＳ５６５乃至ステップＳ５６８の処理が行われて合成映像生成処理は終了するが、これらの処理は図５のステップＳ１５乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

　この場合、ステップＳ５６５では、例えば図１９のステップＳ１６５と同様にして、被写体領域データと、外部から供給された適用データとに基づき被写体領域加工データが生成されるなどして、対象被写体が透明化される。なお、この実施の形態では、対象被写体の透明化は、適用データを利用する例に限らず、上述した任意の実施の形態で説明した方法など、どのような方法により行われてもよい。

　以上のようにして撮像システム１１は、被写体距離情報に基づいてアバタの表示サイズを調整し、合成映像を生成する。この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第１６の実施の形態〉
〈撮像システムの構成例〉
　対象被写体と地面等との接地点を起点としてアバタ表示を行う例について説明する。

　撮像システム１１では、撮影映像に加えて3Dマッピングも取得されるので、3Dマッピングを活用し、撮像部２１から各被写体までの距離を算出することができ、対象被写体と地面等との接点（接地点）の位置を特定することができる。そこで、例えば図５３に示すように、対象被写体の接地点を起点として、その対象被写体に対応するアバタを表示するようにしてもよい。

　具体的には、例えば図５３の矢印Q81に示すように、対象被写体SB31が地面に立っており、3Dマッピングから対象被写体SB31と地面との接地点の位置が求められたとする。

　そのような場合、矢印Q82に示すように、求めた接地点を起点として対象被写体SB31に対応するアバタAB31が配置され、合成映像SP181が生成される。すなわち、接地点の位置とアバタAB31の足の端部分とが接するように、アバタAB31の表示位置が決定される。したがって、合成映像SP181上では、求めた接地点の位置、すなわち地面の上にアバタAB31が立っており、より自然な映像表現が実現される。

　同様に、例えば矢印Q83に示すように、対象被写体SB31が地面上に配置された物体OBJ181の上に立っており、3Dマッピングから対象被写体SB31と物体OBJ181との接地点の位置が求められたとする。

　そのような場合、矢印Q84に示すように、求めた接地点を起点として対象被写体SB31に対応するアバタAB31が配置され、合成映像SP182が生成される。したがって、この例においても合成映像SP182では、求めた接地点の位置、すなわち物体OBJ181の上にアバタAB31が立っており、より自然な映像表現が実現される。

　接地点を起点としてアバタ表示を行う場合、撮像システム１１は、例えば図５４に示す構成とされる。

　図５４に示す撮像システム１１の構成は、基本的には図３に示した撮像システム１１の構成と同じであるが、被写体領域抽出部４３は、アバタ配置点位置情報も生成し、画像合成部４６に供給する。

　すなわち、被写体領域抽出部４３は、対象被写体の抽出結果と、3Dマッピングデータとに基づいて、撮影映像上における対象被写体の接地点の位置、換言すれば対象被写体に対応するアバタの配置位置（表示位置）を示すアバタ配置点位置情報を生成する。

　画像合成部４６は、被写体領域抽出部４３から供給された、アバタ配置点位置情報に基づいて合成映像を生成する。

〈合成映像生成処理の説明〉
　次に、図５５のフローチャートを参照して、図５４に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ５９１乃至ステップＳ５９４の処理は、図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

　ステップＳ５９５において被写体領域抽出部４３は、ステップＳ５９４における対象被写体の抽出結果と、3Dマッピングデータとに基づいて、撮影映像上における対象被写体の接地点の位置を特定し、その特定結果に基づいてアバタ配置点位置情報を生成する。被写体領域抽出部４３は、生成したアバタ配置点位置情報を画像合成部４６に供給する。

　ステップＳ５９５の処理が行われると、その後、ステップＳ５９６およびステップＳ５９７の処理が行われるが、これらの処理は図５のステップＳ１５およびステップＳ１６の処理と同様であるので、その説明は省略する。

　この場合、ステップＳ５９６では、例えば図１９のステップＳ１６５と同様にして、被写体領域データと、外部から供給された適用データとに基づき被写体領域加工データが生成されるなどして、対象被写体が透明化される。なお、この実施の形態では、対象被写体の透明化は、適用データを利用する例に限らず、上述した任意の実施の形態で説明した方法など、どのような方法により行われてもよい。

　ステップＳ５９８において画像合成部４６は、被写体領域抽出部４３から供給されたアバタ配置点位置情報に基づき合成映像を生成し、得られた合成映像の映像データをディスプレイ２３に供給する。

　このとき、画像合成部４６は、背景映像加工データに基づく映像上における被写体領域部分に、被写体領域加工データに基づく映像を合成し、背景の映像を生成する。また、画像合成部４６は、アバタ配置点位置情報により示される接地点の位置を起点として、アバタ動作データに基づくアバタの映像を背景の映像上に合成することで、合成映像の映像データを生成する。このようにして得られる合成映像上では、アバタ配置点位置情報により示される接地点の位置にアバタの下端が配置されている。すなわち、合成映像上の接地点の位置を起点としてアバタが表示されている。

　なお、アバタ配置点位置情報に基づき画像合成部４６でアバタの配置位置の調整を行う例について説明したが、アバタの配置位置の調整がアバタ動作構築部４２で行われるようにしてもよい。そのような場合、アバタ動作構築部４２は、アバタ配置点位置情報に基づいて、アバタ配置点位置情報により示される配置位置（接地点の位置）を起点として配置されたアバタが表示されるアバタ動作データを生成する。

　ステップＳ５９８の処理が行われると、その後、ステップＳ５９９の処理が行われて合成映像生成処理は終了するが、ステップＳ５９９の処理は図５のステップＳ１８の処理と同様であるので、その説明は省略する。

　以上のようにして撮像システム１１は、アバタ配置点位置情報に基づいてアバタの表示位置を調整し、合成映像を生成する。この場合においても、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈第１７の実施の形態〉
〈撮像システムの構成例〉
　撮影映像から抽出した対象被写体以外の部分の映像を任意の別映像に置き換える合成を行う例について説明する。

　例えば背景映像の一部または全部に任意の別映像を追加で合成したり、対象被写体の周囲の物体の映像を任意の他の物体（オブジェクト）の映像に変更したりすることで、所望の世界観を表現し、アバタの世界に入り込んだような体験を提供することができる。

　例えば図５６に示すように、対象被写体SB31と、実空間上の他の物体（オブジェクト）としての机OBJ191や窓OBJ192とを含む撮影映像P191が得られたとする。この場合、動時に取得される3DマッピングP192にも対象被写体SB31、机OBJ191、および窓OBJ192が含まれている。

　これらの撮影映像P191と3DマッピングP192に基づき、撮影映像P191から対象被写体SB31の領域R191が抽出されて削除（除去）され、その結果得られる背景の映像P193の映像データが背景映像加工データとされる。

　また、上述の適用データを用いる方法など、任意の手法により領域R191に対応する背景等の映像データが被写体領域加工データとして生成され、被写体領域加工データと背景映像加工データとを合成することで、背景が補完された映像P194が得られる。

　この映像P194は、対象被写体SB31が透明化された撮影映像であり、映像P194上には透明化の対象となっていない、つまり対象被写体ではない机OBJ191や窓OBJ192は表示されたままとなっている。

　ここで、3DマッピングP192を用いれば、映像P194上、すなわち撮影映像P191上における机OBJ191や窓OBJ192までの距離や位置（領域）、実空間の背景として存在している壁や床の位置（領域）などを正確に特定することができる。

　そこで、例えばアバタの世界観を画面上で再現（表現）するために、映像P194上の背景や周辺物体に対する画像加工が行われて映像P195が生成される。

　この例では映像P195上において、もとの机OBJ191と窓OBJ192が仮想オブジェクト（別映像）であるソファOBJ201と、外の景色が見える別の窓OBJ202に置き換えられる画像加工が行われている。また、映像P195では、背景としての壁に新たにシールドOBJ203等の仮想オブジェクトが配置されるとともに、床部分にも仮想オブジェクトとしてのランプが配置されている。

　さらに、このようにして得られた映像P195に、アバタ動作データに基づく、対象被写体SB31に対応するアバタAB31が合成され、対象被写体SB31の映り込みのない合成映像SP191の映像データが生成される。このようにしてアバタの世界観が表現された合成映像SP191を提示することで、あたかもアバタの世界に入り込んだような体験を提供することができる。

　合成映像上にアバタとは異なる任意の背景や仮想オブジェクト等を配置（合成）する場合、撮像システム１１は、例えば図５７に示す構成とされる。

　図５７に示す撮像システム１１の構成は、基本的には図３に示した撮像システム１１の構成と同じであるが、被写体領域加工部４４と背景映像加工部４５に対して、外部から仮想データが供給される。

　仮想データは、撮影映像に合成される、すなわち合成映像上に重畳されるアバタとは異なる仮想的なオブジェクト（仮想オブジェクト）や背景の映像を表示させるための映像データである。

　被写体領域加工部４４および背景映像加工部４５は、供給された仮想データも用いて被写体領域加工データおよび背景映像加工データを生成する。

〈合成映像生成処理の説明〉
　次に、図５８のフローチャートを参照して、図５７に示した撮像システム１１により行われる合成映像生成処理について説明する。

　なお、ステップＳ６３１乃至ステップＳ６３４の処理は、図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

　但し、ステップＳ６３４では、例えば撮影映像上における仮想データに基づく映像が合成される位置にある被写体の領域の検出も被写体領域抽出部４３により行われ、その検出結果や3Dマッピングデータも必要に応じて被写体領域加工部４４および背景映像加工部４５に供給される。

　ステップＳ６３５において被写体領域加工部４４は、被写体領域抽出部４３から供給された被写体領域データと、外部から供給された仮想データとに基づいて被写体領域加工処理を行い、その結果得られた被写体領域加工データを画像合成部４６に供給する。このとき、被写体領域加工部４４は、必要に応じて被写体領域抽出部４３から供給された被写体の検出結果や3Dマッピングデータも用いて被写体領域加工データを生成する。

　具体的には、例えば図５６に示したように、被写体領域である領域R191内の一部に仮想オブジェクトとしての窓OBJ202の一部が配置される場合、被写体領域加工部４４は、窓OBJ202の仮想データに基づいて、その窓OBJ202の領域R191内に含まれる部分の映像を生成する。この場合、窓OBJ202に置き換えられる窓OBJ192の領域は、例えば被写体領域抽出部４３から供給された検出結果や3Dマッピングデータから特定される。

　また、被写体領域内における仮想データに基づく仮想オブジェクトや背景が配置されない領域については、被写体領域加工部４４は、例えば図１９のステップＳ１６５と同様にして、適用データに基づき被写体領域に対応する部分の映像を生成するなどして、対象被写体を透明化する。

　被写体領域加工部４４は、このようにして被写体領域内の領域ごとに生成した映像を並べて合成することで、被写体領域加工データを生成する。これにより、仮想データに基づく仮想オブジェクトや背景、適用データに基づく映像などが表示される被写体領域加工データを得ることができる。

　なお、この実施の形態では、仮想オブジェクトや背景が配置されない領域における対象被写体の透明化は、適用データを利用する例に限らず、上述した任意の実施の形態で説明した方法など、どのような方法により行われてもよい。

　ステップＳ６３６において背景映像加工部４５は、被写体領域抽出部４３から供給された被写体領域外データと、外部から供給された仮想データとに基づいて背景映像加工処理を行い、その結果得られた背景映像加工データを画像合成部４６に供給する。このとき、背景映像加工部４５は、必要に応じて被写体領域抽出部４３から供給された被写体の検出結果や3Dマッピングデータも用いて背景映像加工データを生成する。

　具体的には、例えば図５６に示したように、撮影映像P191上の机OBJ191が仮想オブジェクトであるソファOBJ201に置き換えられるとする。この場合、背景映像加工部４５は、被写体領域外データに基づく映像上の机OBJ191を含む領域部分を、仮想データに基づくソファOBJ201の映像に置き換えることで背景映像加工データを生成する。このとき、ソファOBJ201に置き換えられる机OBJ191の領域は、例えば被写体領域抽出部４３から供給された検出結果や3Dマッピングデータから特定される。

　このようにすることで、実空間の背景に加えて仮想データに基づく仮想オブジェクトや背景などが合成されて表示される背景映像加工データを得ることができる。

　ステップＳ６３６の処理が行われると、その後、ステップＳ６３７およびステップＳ６３８の処理が行われて合成映像生成処理は終了するが、これらの処理は図５のステップＳ１７およびステップＳ１８の処理と同様であるので、その説明は省略する。

　以上のようにして撮像システム１１は、仮想データに基づいて被写体領域加工データおよび背景映像加工データを生成し、合成映像を生成する。特に撮像システム１１では、3Dマッピングデータを活用することにより、精度よく仮想オブジェクトや背景を合成し、アバタの世界観が表現された合成映像を提示することができる。これにより、あたかもアバタの世界に入り込んだかのような体験を提供することができる。

　また、撮像システム１１によれば、撮影場所によらず、より簡単かつ確実に対象被写体の映り込みの発生を抑制することができる。

〈コンピュータの構成例〉
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図５９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

　入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ヘッドマウントディスプレイ、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、本技術は、以下の構成とすることも可能である。

（１）
　所定の被写体を含む撮影映像と距離情報に基づいて、前記被写体のモーションキャプチャを行う被写体動作検出部と、
　前記撮影映像上の前記被写体を見えなくする透明化処理を行い、前記撮影映像に対する前記透明化処理により得られた映像上に、前記モーションキャプチャにより検出された動きをする、前記被写体に対応するアバタを合成するか、または前記撮影映像上に前記透明化処理により得られた前記アバタを合成することで合成映像を生成するデータ制御部と
　を備える撮像システム。
（２）
　前記データ制御部は、前記撮影映像と前記距離情報の少なくとも何れか一方に基づいて前記撮影映像上の前記被写体の領域である被写体領域を抽出し、抽出した前記被写体領域に背景映像を合成することで前記被写体を見えなくする
　（１）に記載の撮像システム。
（３）
　前記データ制御部は、事前に撮影された前記撮影映像、前記撮影映像を撮影する撮像部とは異なる他の撮像部により撮影された他の撮影映像、前記撮影映像の過去のフレーム、または前記撮影映像に基づく推定処理に基づいて前記背景映像を生成する
　（２）に記載の撮像システム。
（４）
　前記データ制御部は、
　　前記過去のフレームに、前記被写体領域内の所定の領域に対応する背景の映像が含まれている場合、前記過去のフレームに基づいて前記背景映像における前記所定の領域に対応する領域の映像を生成し、
　　前記過去のフレームに、前記被写体領域内の前記所定の領域に対応する背景の映像が含まれていない場合、所定の別映像を前記背景映像における前記所定の領域に対応する領域の映像とする
　（３）に記載の撮像システム。
（５）
　前記データ制御部は、前記撮影映像と前記距離情報の少なくとも何れか一方に基づいて前記撮影映像上の前記被写体の領域である被写体領域を抽出し、抽出した前記被写体領域に、任意の別映像を合成することで前記被写体を見えなくする
　（１）に記載の撮像システム。
（６）
　前記別映像は、図形映像またはエフェクト映像である
　（５）に記載の撮像システム。
（７）
　前記データ制御部は、前記撮影映像と前記距離情報の少なくとも何れか一方に基づいて前記撮影映像上の前記被写体の領域である被写体領域を抽出し、抽出した前記被写体領域に合成する前記アバタのサイズを調整するか、または抽出した前記被写体領域に合成する背景付きの前記アバタの映像を生成することで前記被写体を見えなくする
　（１）に記載の撮像システム。
（８）
　前記データ制御部は、前記撮影映像から前記被写体の領域が検出されず、前記距離情報から前記被写体の領域が検出された場合、前記距離情報のみに基づいて前記撮影映像上の前記被写体の領域である被写体領域を抽出し、前記透明化処理を行う
　（１）に記載の撮像システム。
（９）
　前記データ制御部は、前記撮影映像の撮影位置から前記被写体までの距離に応じて、異なる前記透明化処理を行う
　（１）乃至（８）の何れか一項に記載の撮像システム。
（１０）
　前記データ制御部は、前記モーションキャプチャまたは前記透明化処理に失敗した場合、前記合成映像の記録または送信を一時的に停止する
　（１）乃至（９）の何れか一項に記載の撮像システム。
（１１）
　前記距離情報の撮影視野の範囲は、前記撮影映像の撮影視野の範囲よりも広い
　（１）乃至（１０）の何れか一項に記載の撮像システム。
（１２）
　前記データ制御部は、前記距離情報に基づいて、前記撮影映像上の前記被写体と他の被写体とが重なる部分における、前記被写体と前記他の被写体との前後の位置関係を特定し、前記前後の位置関係の特定結果に基づいて前記透明化処理を行う
　（１）乃至（１１）の何れか一項に記載の撮像システム。
（１３）
　前記データ制御部は、前記合成映像上における前記アバタの表示サイズを任意のサイズに調整する
　（１）乃至（６）の何れか一項に記載の撮像システム。
（１４）
　前記データ制御部は、前記合成映像上における前記アバタの表示サイズを、前記撮影映像の撮影位置から前記被写体までの距離に応じたサイズに調整する
　（１）乃至（６）の何れか一項に記載の撮像システム。
（１５）
　前記データ制御部は、前記距離情報に基づいて、前記撮影映像上における前記被写体の接地点の位置を特定し、前記接地点を起点として前記アバタの合成を行う
　（１）乃至（１４）の何れか一項に記載の撮像システム。
（１６）
　前記データ制御部は、前記撮影映像上における前記被写体とは異なる他の被写体の位置に、任意の別映像が合成された前記合成映像を生成する
　（１）乃至（１５）の何れか一項に記載の撮像システム。
（１７）
　撮像システムが、
　所定の被写体を含む撮影映像と距離情報に基づいて、前記被写体のモーションキャプチャを行い、
　前記撮影映像上の前記被写体を見えなくする透明化処理を行い、前記撮影映像に対する前記透明化処理により得られた映像上に、前記モーションキャプチャにより検出された動きをする、前記被写体に対応するアバタを合成するか、または前記撮影映像上に前記透明化処理により得られた前記アバタを合成することで合成映像を生成する
　映像処理方法。
（１８）
　所定の被写体を含む撮影映像と距離情報に基づいて、前記被写体のモーションキャプチャを行い、
　前記撮影映像上の前記被写体を見えなくする透明化処理を行い、前記撮影映像に対する前記透明化処理により得られた映像上に、前記モーションキャプチャにより検出された動きをする、前記被写体に対応するアバタを合成するか、または前記撮影映像上に前記透明化処理により得られた前記アバタを合成することで合成映像を生成する
　ステップを含む処理をコンピュータに実行させるプログラム。

　１１　撮像システム，　２１　撮像部，　２２　データ制御部，　３１　3Dマッピング撮像部，　３２　画像撮像部，　４１　被写体動作検出部，　４２　アバタ動作構築部，　４３　被写体領域抽出部，　４４　被写体領域加工部，　４５　背景映像加工部，　４６　画像合成部

Claims

　所定の被写体を含む撮影映像と距離情報に基づいて、前記被写体のモーションキャプチャを行う被写体動作検出部と、
　前記撮影映像上の前記被写体を見えなくする透明化処理を行い、前記撮影映像に対する前記透明化処理により得られた映像上に、前記モーションキャプチャにより検出された動きをする、前記被写体に対応するアバタを合成するか、または前記撮影映像上に前記透明化処理により得られた前記アバタを合成することで合成映像を生成するデータ制御部と
　を備える撮像システム。
　前記データ制御部は、前記撮影映像と前記距離情報の少なくとも何れか一方に基づいて前記撮影映像上の前記被写体の領域である被写体領域を抽出し、抽出した前記被写体領域に背景映像を合成することで前記被写体を見えなくする
　請求項１に記載の撮像システム。
　前記データ制御部は、事前に撮影された前記撮影映像、前記撮影映像を撮影する撮像部とは異なる他の撮像部により撮影された他の撮影映像、前記撮影映像の過去のフレーム、または前記撮影映像に基づく推定処理に基づいて前記背景映像を生成する
　請求項２に記載の撮像システム。
　前記データ制御部は、
　　前記過去のフレームに、前記被写体領域内の所定の領域に対応する背景の映像が含まれている場合、前記過去のフレームに基づいて前記背景映像における前記所定の領域に対応する領域の映像を生成し、
　　前記過去のフレームに、前記被写体領域内の前記所定の領域に対応する背景の映像が含まれていない場合、所定の別映像を前記背景映像における前記所定の領域に対応する領域の映像とする
　請求項３に記載の撮像システム。
　前記データ制御部は、前記撮影映像と前記距離情報の少なくとも何れか一方に基づいて前記撮影映像上の前記被写体の領域である被写体領域を抽出し、抽出した前記被写体領域に、任意の別映像を合成することで前記被写体を見えなくする
　請求項１に記載の撮像システム。
　前記別映像は、図形映像またはエフェクト映像である
　請求項５に記載の撮像システム。
　前記データ制御部は、前記撮影映像と前記距離情報の少なくとも何れか一方に基づいて前記撮影映像上の前記被写体の領域である被写体領域を抽出し、抽出した前記被写体領域に合成する前記アバタのサイズを調整するか、または抽出した前記被写体領域に合成する背景付きの前記アバタの映像を生成することで前記被写体を見えなくする
　請求項１に記載の撮像システム。
　前記データ制御部は、前記撮影映像から前記被写体の領域が検出されず、前記距離情報から前記被写体の領域が検出された場合、前記距離情報のみに基づいて前記撮影映像上の前記被写体の領域である被写体領域を抽出し、前記透明化処理を行う
　請求項１に記載の撮像システム。
　前記データ制御部は、前記撮影映像の撮影位置から前記被写体までの距離に応じて、異なる前記透明化処理を行う
　請求項１に記載の撮像システム。
　前記データ制御部は、前記モーションキャプチャまたは前記透明化処理に失敗した場合、前記合成映像の記録または送信を一時的に停止する
　請求項１に記載の撮像システム。
　前記距離情報の撮影視野の範囲は、前記撮影映像の撮影視野の範囲よりも広い
　請求項１に記載の撮像システム。
　前記データ制御部は、前記距離情報に基づいて、前記撮影映像上の前記被写体と他の被写体とが重なる部分における、前記被写体と前記他の被写体との前後の位置関係を特定し、前記前後の位置関係の特定結果に基づいて前記透明化処理を行う
　請求項１に記載の撮像システム。
　前記データ制御部は、前記合成映像上における前記アバタの表示サイズを任意のサイズに調整する
　請求項１に記載の撮像システム。
　前記データ制御部は、前記合成映像上における前記アバタの表示サイズを、前記撮影映像の撮影位置から前記被写体までの距離に応じたサイズに調整する
　請求項１に記載の撮像システム。
　前記データ制御部は、前記距離情報に基づいて、前記撮影映像上における前記被写体の接地点の位置を特定し、前記接地点を起点として前記アバタの合成を行う
　請求項１に記載の撮像システム。
　前記データ制御部は、前記撮影映像上における前記被写体とは異なる他の被写体の位置に、任意の別映像が合成された前記合成映像を生成する
　請求項１に記載の撮像システム。
　撮像システムが、
　所定の被写体を含む撮影映像と距離情報に基づいて、前記被写体のモーションキャプチャを行い、
　前記撮影映像上の前記被写体を見えなくする透明化処理を行い、前記撮影映像に対する前記透明化処理により得られた映像上に、前記モーションキャプチャにより検出された動きをする、前記被写体に対応するアバタを合成するか、または前記撮影映像上に前記透明化処理により得られた前記アバタを合成することで合成映像を生成する
　映像処理方法。
　所定の被写体を含む撮影映像と距離情報に基づいて、前記被写体のモーションキャプチャを行い、
　前記撮影映像上の前記被写体を見えなくする透明化処理を行い、前記撮影映像に対する前記透明化処理により得られた映像上に、前記モーションキャプチャにより検出された動きをする、前記被写体に対応するアバタを合成するか、または前記撮影映像上に前記透明化処理により得られた前記アバタを合成することで合成映像を生成する
　ステップを含む処理をコンピュータに実行させるプログラム。