JPH10240908A - 映像合成方法 - Google Patents

Abstract

(57)【要約】 【課題】 実写映像中の人物画像を別の人物画像に変更
する映像合成方法を提供することを目的とする。 【解決手段】 モデル解析手段によって各時刻における
モデル人物の姿勢、表情、カメラ情報を予め抽出する。
ターゲット解析手段によってターゲットとなる人物の形
状と顔ＣＧモデルを生成し、変換手段によってターゲッ
ト顔画像と、ターゲット人体画像を生成し、背景画像と
合成することにより人物変換合成画像を生成する。 【効果】 実写の人物映像を別の人物映像に変換するこ
とが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影した人物映像
を利用して、その映像に登場する人物（モデル人物）を
別の人物（ターゲット人物）に置き換える映像合成方法
に関する。

【０００２】

【従来の技術】ＣＧ（コンピュータグラフィックス）技
術の発展により様々なオブジェクトを計算機によって自
然に表現できるようになりつつある。しかし、人物像は
形状、質感、変形、動きが複雑なため、写真と見間違え
るほどの迫真の映像をＣＧで生成することは非常に困難
である。また、ある程度の質感をもったＣＧ映像の制作
も時間と手間がかかっているのが実状である。

【０００３】ＣＧ技術を用いて人物映像を生成するため
には大きく分けて二つの方法がある。第一の方法は人物
のモデルをすべて三次元モデルで記述し、これを動かす
ことによって人物映像を生成する方法である。第二の方
法は実写の人物映像を画像処理的に変形したり、別の人
物の映像と合成することで人物の変換を行う。

【０００４】その一方で三次元ＣＧを用いた方法（上記
の第１の方法）では、（１）三次元形状モデルの作成に
時間がかかる、（２）三次元ＣＧによる質感は未だに実
写のレベルに比べて低い、着衣等のシミュレーションに
非常に長い時間がかかる、という問題点があった。

【０００５】画像処理により人物映像を合成する方法
（上記の第２の方法）は以下のように顔画像の変換と体
型の変換の二つのステップからなる。

【０００６】顔画像については、オリジナルの顔画像を
消去し、２次元のペイントプログラムによって別の顔画
像を合成することで、人物を変更することが可能であ
る。例えば、アドビシステムズ株式会社のAdobe Photos
hopを用いて実現できる。しかしこのような場合には、
もとの顔画像と変更する顔画像の向きがほぼ同一である
ことが必要になる。また、この合成も煩雑であるし、特
殊な技能が要求される。

【０００７】体型の変更については、画像処理の技術を
用いて、画像の拡大縮小、変形で体型を変更することが
可能である。これらの手法はワーピングと呼ばれてい
る。しかし、体型の変更についても、ワーピングにおい
ては、複数の画像の対応点を対話的に指定する必要があ
り、その指定が非常に煩雑でかつ特殊な技能が必要とな
る。また、ワーピングの変形手法としてモーフィングの
手法がある。モーフィングについては、Computer Graph
ics, 26, 2, July 1992 P35〜P42に記載されている。し
かし、モーフィングについても変形する画像の特徴点を
人手で指定すると言った特殊技能かつ複雑処理が要求さ
れる。

【０００８】以上のように高品質な人物画像をＣＧによ
って生成しようとする場合、三次元ＣＧ技術を用いた場
合には、画質が低い、手間、計算時間がかかるという問
題点があり、画像処理による方法では上記のような画像
の特徴点の指定に手間暇がかかるという問題点があっ
た。

【０００９】他方、近年のコンピュータ技術の発達によ
り、ユーザが自端末に様々な映像をうつし出すことが可
能となっている。ユーザの要求に応じて写真のような静
止画像、映画のような動画像がユーザ端末から見ること
ができる。しかしながら、配信された映像はＴＶ放送の
如くそのまま徴する形態であり、映像自体をユーザが加
工するものはなかった。特に人物画像を変更したり加入
するものはなかった。これは、上記したようにＣＧ技術
を用いて人物画像を作成する場合の困難性によるものと
推察される。つまり人物画像の作成に対して、従来の映
像合成手法においては、第一の三次元ＣＧによる方法で
は、モデルのポーズや動きには制限はないものの、非常
に大きな手間と計算時間が必要であり、画質が低いとい
う問題点がある。画像処理手法による方法では、画質は
高いものの、合成できるポーズに制限があり、一枚一枚
の画像に対して対話的に対応点を指定するために膨大な
工数がかかるという問題点があった。

【００１０】

【発明が解決しようとする課題】双方向画像通信におい
て、人物画像作成技術を取り入れることができれば、多
様な娯楽形態や商業形態が生じる可能性がある。例え
ば、通信販売に人物画像作成技術を取り入れた場合、画
面上の商品と共にユーザ自身の人物画像を映し出すこと
により実際に店頭で商品を試着したり手にとって自分の
雰囲気に合うかを確認することと同様の安心感を生み出
すことができる。また、映像の登場人物をたの人物画像
（例えばユーザ自身）に置き換えることにより、あたか
もユーザが主人公の映画を鑑賞することができるし、ま
た、ＣＭ等、製品イメージに合致した俳優を効率よく選
択することができる。

【００１１】高画質の人物映像を少ない工数で生成する
ことが可能であれば、洋服の試着のシミュレーションや
映画等の映像の登場人物をユーザの好みに合わせて変更
する等の新しい娯楽が発生すると考えられる。

【００１２】本発明の目的は、映像に登場する人物画像
を少ない工数で高品質に別の人物画像に変換する方法を
提供することにある。

【００１３】本発明の他の目的は、端末上で通信路から
取り込んだ映像に含まれる人物画像を他の人物画像に変
更する処理プログラムを保持したコンピュータ可読媒体
を提供することにある。

【００１４】本発明の他の目的は、人物画像が含まれる
映像信号の作成または記録方法を提供するものである。

【００１５】

【課題を解決するための手段】上記目的を達成するた
め、本発明の映像合成方法の第１の形態では、人物（以
下モデル人物と呼ぶ）を含む映像（入力映像）を撮影
し、この人物像を別の人物（以下ターゲット人物と呼
ぶ）の映像に変換する映像合成方法において、映像を撮
影したときのカメラパラメータを指定する手段と、モデ
ル人物の特徴を指定する手段と、ターゲット人物の特徴
を指定する手段と、モデル人物の映像をターゲット人物
に適合するような変形手段を備え、モデル人物を撮影し
て入力映像を得、該撮影時におけるカメラパラメータを
指定し、モデル人物の特徴を指定し、入力映像をモデル
人物映像と背景映像に分離し、モデルの特徴とターゲッ
トの特徴を用いてモデル人物映像を変形してターゲット
人物画像を生成し、得られたターゲット人物画像と背景
映像を合成する。

【００１６】上記目的を達成するため、本発明の映像合
成方法の第２の形態では、第１の形態において、モデル
人物の特徴として体型の情報を用い、ターゲット人物の
特徴としてターゲット人物の体型の情報を用いる。

【００１７】上記目的を達成するため、本発明の映像合
成方法の第３の形態にでは、第２の形態において、モデ
ル人体画像の変形方法として、モデル人物画像をワーピ
ング用いる。

【００１８】上記目的を達成するため、本発明の映像合
成方法の第４の形態では、第１の形態において、モデル
人物の特徴としてモデルの顔の位置と方向の情報を用
い、ターゲット人物の特徴としてターゲット人物の顔の
形状とテクスチャーの情報を用い、ターゲット人物画像
の生成において、顔画像の生成に三次元コンピュータグ
ラフィクスを用いる。

【００１９】上記目的を達成するため、本発明の映像合
成方法の第５の形態では、第４の形態において、モデル
の特徴としてモデルの表情を用い、ターゲット人物画像
の生成において、顔画像の表情の変更を行う。

【００２０】上記目的を達成するため、本発明の映像合
成方法の第６の形態では、人物（以下モデル人物と呼
ぶ）を含む映像（入力映像）を撮影し、この人物像の顔
を別の人物（以下ターゲット人物と呼ぶ）の顔の映像に
変換する映像合成方法において、映像を撮影したときの
カメラパラメータを指定する手段と、入力映像から顔画
像の部分のみを除去する手段と、モデル人物の顔の位置
と方向を指定する手段と、ターゲット人物の顔の形状及
び表面の色、テクスチャー情報を取得する手段と、ター
ゲット人物の体型情報からターゲット人物の形状データ
を生成する手段と、ターゲット人物の顔のＣＧモデルと
モデルの位置情報、カメラ情報、モデルの表情の情報か
らターゲットの顔のコンピュータグラフィックス映像を
生成する手段と、ターゲットの顔のコンピュータグラフ
ィックス映像と背景映像を合成する手段を備え、モデル
人物を撮影して入力映像を得、該撮影時におけるカメラ
パラメータ、モデルの顔の位置方向情報を指定し、入力
映像からモデルの顔画像を除去し、ターゲット人物の顔
の三次元モデルを入力し、ターゲット人物の顔の三次元
モデルとモデルの顔の位置方向情報、カメラパラメータ
からターゲットの顔の三次元コンピュータグラフィック
映像を生成し、生成されたコンピュータグラフィックス
映像と背景映像を合成する。

【００２１】上記目的を達成するため、本発明の映像合
成方法の第７の形態では、人物（以下モデル人物と呼
ぶ）を含む映像（入力映像）を撮影し、この人物像を別
の人物（以下ターゲット人物と呼ぶ）の映像に変換する
映像合成方法において、映像を撮影したときのカメラパ
ラメータを指定する手段と、入力映像を背景映像とモデ
ル人物の映像（モデル人物映像）に分離する手段と、モ
デル人物の姿勢を指定する手段と、モデル人物の体型情
報を指定する手段と、モデル体型情報からモデルの形状
データを生成する手段と、モデル形状とカメラ情報とモ
デルの姿勢情報からモデルのコンピュータグラフィクス
映像を生成する手段と、生成されたコンピュータグラフ
ィクス映像から特徴点を生成する手段と、ターゲット人
物の体型情報を指定する手段と、ターゲット形状とカメ
ラ情報とモデルの姿勢情報からターゲットの人体のコン
ピュータグラフィクス映像を生成する手段と、生成され
たターゲットのコンピュータグラフィクス映像から特徴
点を生成する手段と、モデルの特徴点とターゲットの特
徴点が一致するように上記モデル人物映像を変形する手
段とターゲットの人体のコンピュータグラフィクス映像
と背景映像を合成する手段を備え、モデル人物を撮影し
て入力映像を得、該撮影時におけるカメラパラメータ、
モデルの姿勢情報を指定し、入力映像をモデル人物映像
と背景映像に分離し、モデルの体型情報からモデルの三
次元形状データを生成し、モデルの人体の三次元形状と
モデルの姿勢情報、カメラパラメータからモデルの三次
元コンピュータグラフィック映像を生成し、生成された
コンピュータグラフィックス映像から特徴点を抽出し、
ターゲット人物の体型データからターゲット人物の人体
の三次元形状モデルを生成し、ターゲット人物の人体の
三次元形状モデルとモデルの姿勢情報、カメラパラメー
タからターゲットの三次元コンピュータグラフィック映
像を生成し、生成されたコンピュータグラフィックス映
像からターゲットの特徴点を抽出し、上記のモデルの特
徴点とターゲットの特徴点が一致するようにモデルの人
物映像を変形し、得られたターゲットの人体の変形映像
と背景映像を合成する。

【００２２】上記目的を達成するため、本発明の映像合
成方法の第８の形態では、人物（以下モデル人物と呼
ぶ）を含む映像（入力映像）を撮影し、この人物像を別
の人物（以下ターゲット人物と呼ぶ）の映像に変換する
映像合成方法において、映像を撮影したときのカメラパ
ラメータを指定する手段と、入力映像を背景映像とモデ
ル人物の映像（モデル人物映像）に分離する手段と、モ
デル人物の姿勢を指定する手段と、モデル人物の体型情
報を指定する手段と、モデル体型情報からモデルの形状
データを生成する手段と、モデル形状とカメラ情報とモ
デルの姿勢情報からモデルのコンピュータグラフィクス
映像を生成する手段と、生成されたコンピュータグラフ
ィクス映像から特徴点を生成する手段と、ターゲット人
物の体型情報を指定する手段と、ターゲット人物の顔の
形状及び表面の色、テクスチャー情報を取得する手段
と、ターゲット人物の体型情報からターゲット人物の形
状データを生成する手段と、ターゲット形状とカメラ情
報とモデルの姿勢情報からターゲットの人体のコンピュ
ータグラフィクス映像を生成する手段と、生成されたタ
ーゲットのコンピュータグラフィクス映像から特徴点を
生成する手段と、モデルの特徴点とターゲットの特徴点
が一致するように上記モデル人物映像を変形する手段
と、ターゲット人物の顔のＣＧモデルとモデルの姿勢情
報、カメラ情報、モデルの表情の情報からターゲットの
顔のコンピュータグラフィックス映像を生成する手段
と、ターゲットの顔のコンピュータグラフィックス映像
とターゲットの人体のコンピュータグラフィクス映像と
背景映像を合成する手段を備え、モデル人物を撮影して
入力映像を得、該撮影時におけるカメラパラメータ、モ
デルの姿勢情報を指定し、入力映像をモデル人物映像と
背景映像に分離し、モデルの体型情報からモデルの三次
元形状データを生成し、モデルの人体の三次元形状とモ
デルの姿勢情報、カメラパラメータからモデルの三次元
コンピュータグラフィック映像を生成し、生成されたコ
ンピュータグラフィックス映像から特徴点を抽出し、タ
ーゲット人物の顔の三次元モデル及び体型データを入力
し、ターゲット人物の体型データからターゲット人物の
人体の三次元形状モデルを生成し、ターゲット人物の人
体の三次元形状モデルとモデルの姿勢情報、カメラパラ
メータからターゲットの三次元コンピュータグラフィッ
ク映像を生成し、生成されたコンピュータグラフィック
ス映像からターゲットの特徴点を抽出し、上記のモデル
の特徴点とターゲットの特徴点が一致するようにモデル
の人物映像を変形し、ターゲット人物の顔の三次元モデ
ルとモデルの顔の位置方向情報、カメラパラメータから
ターゲットの顔の三次元コンピュータグラフィック映像
を生成し、得られたターゲットの人体の変形映像とター
ゲットの顔のコンピュータグラフィクス映像と背景映像
を合成する。

【００２３】上記目的を達成するため、本発明の映像合
成方法の第９の形態では、人物（以下モデル人物と呼
ぶ）を含む映像（入力映像）に対して、この人物像を別
の人物（以下ターゲット人物と呼ぶ）の映像に変換する
映像合成方法において、映像を撮影したときのカメラパ
ラメータと、背景映像とモデル人物の映像（モデル人物
映像）と、モデル人物の姿勢情報と、モデル人物の体型
情報をと、モデル体型情報からモデルの形状データと、
モデル形状とカメラ情報とモデルの姿勢情報からモデル
のコンピュータグラフィクス映像を生成する手段と、生
成されたコンピュータグラフィクス映像から特徴点を生
成する手段と、ターゲット人物の体型情報を指定する手
段と、ターゲット人物の顔の形状及び表面の色、テクス
チャー情報を取得する手段と、ターゲット人物の体型情
報からターゲット人物の形状データを生成する手段と、
ターゲット形状とカメラ情報とモデルの姿勢情報からタ
ーゲットの人体のコンピュータグラフィクス映像を生成
する手段と、生成されたターゲットのコンピュータグラ
フィクス映像から特徴点を生成する手段と、モデルの特
徴点とターゲットの特徴点が一致するように上記モデル
人物映像を変形する手段と、ターゲット人物の顔のＣＧ
モデルとモデルの姿勢情報、カメラ情報、モデルの表情
の情報からターゲットの顔のコンピュータグラフィック
ス映像を生成する手段と、ターゲットの顔のコンピュー
タグラフィックス映像とターゲットの人体のコンピュー
タグラフィクス映像と背景映像を合成する手段を備え、
モデルの人体の三次元形状とモデルの姿勢情報、カメラ
パラメータからモデルの三次元コンピュータグラフィッ
ク映像を生成し、生成されたコンピュータグラフィック
ス映像から特徴点を抽出し、ターゲット人物の顔の三次
元モデル及び体型データを入力し、ターゲット人物の体
型データからターゲット人物の人体の三次元形状モデル
を生成し、ターゲット人物の人体の三次元形状モデルと
モデルの姿勢情報、カメラパラメータからターゲットの
三次元コンピュータグラフィック映像を生成し、生成さ
れたコンピュータグラフィックス映像からターゲットの
特徴点を抽出し、上記のモデルの特徴点とターゲットの
特徴点が一致するようにモデルの人物映像を変形し、タ
ーゲット人物の顔の三次元モデルとモデルの顔の位置方
向情報、カメラパラメータからターゲットの顔の三次元
コンピュータグラフィック映像を生成し、得られたター
ゲットの人体の変形映像とターゲットの顔のコンピュー
タグラフィクス映像と背景映像を合成する。

【００２４】上記目的を達成するため、本発明の映像合
成方法の第１０の形態では、人物（以下モデル人物と呼
ぶ）を含む映像（入力映像）に対して、この人物像を別
の人物（以下ターゲット人物と呼ぶ）の映像に変換する
映像合成方法において、映像を撮影したときのカメラパ
ラメータと、背景映像とモデル人物の映像（モデル人物
映像）と、モデル人物の姿勢情報と、モデル人物の体型
情報をと、モデル体型情報からモデルの形状データと、
モデル形状とカメラ情報とモデルの姿勢情報からモデル
のコンピュータグラフィクス映像を生成する手段と、生
成されたコンピュータグラフィクス映像から特徴点を生
成する手段と、ターゲット人物の体型情報と、ターゲッ
ト人物の顔の形状及び表面の色、テクスチャー情報と、
ターゲット人物の体型情報からターゲット人物の形状デ
ータを生成する手段と、ターゲット形状とカメラ情報と
モデルの姿勢情報からターゲットの人体のコンピュータ
グラフィクス映像を生成する手段と、生成されたターゲ
ットのコンピュータグラフィクス映像から特徴点を生成
する手段と、モデルの特徴点とターゲットの特徴点が一
致するように上記モデル人物映像を変形する手段と、タ
ーゲット人物の顔のＣＧモデルとモデルの姿勢情報、カ
メラ情報、モデルの表情の情報からターゲットの顔のコ
ンピュータグラフィックス映像を生成する手段と、ター
ゲットの顔のコンピュータグラフィックス映像とターゲ
ットの人体のコンピュータグラフィクス映像と背景映像
を合成する手段を備え、モデルの人体の三次元形状とモ
デルの姿勢情報、カメラパラメータからモデルの三次元
コンピュータグラフィック映像を生成し、生成されたコ
ンピュータグラフィックス映像から特徴点を抽出し、タ
ーゲット人物の体型データからターゲット人物の人体の
三次元形状モデルを生成し、ターゲット人物の人体の三
次元形状モデルとモデルの姿勢情報、カメラパラメータ
からターゲットの三次元コンピュータグラフィック映像
を生成し、生成されたコンピュータグラフィックス映像
からターゲットの特徴点を抽出し、上記のモデルの特徴
点とターゲットの特徴点が一致するようにモデルの人物
映像を変形し、ターゲット人物の顔の三次元モデルとモ
デルの顔の位置方向情報、カメラパラメータからターゲ
ットの顔の三次元コンピュータグラフィック映像を生成
し、得られたターゲットの人体の変形映像とターゲット
の顔のコンピュータグラフィクス映像と背景映像を合成
する。

【００２５】上記目的を達成するため、本発明は、情報
処理装置上で映像合成を行うために必要な処理を記録し
た記録媒体を提供する。すなわち、本発明の記録媒体
は、画像データの入力手段と、表示装置と、上記画像デ
ータの処理を行う制御装置とからなる情報処理装置に用
いられ、上記制御装置で読みとられる形態のプログラム
データ及び該プログラムの実行に必要なデータを保持す
る記録媒体であって、モデル人物の表示情報と、該表示
情報を用いて上記表示装置に上記モデル人物を表示する
第１の処理プログラムと、上記情報処理装置に備えられ
たカメラからユーザの映像を入手してユーザの視覚的な
特徴情報を取得する第２の処理プログラムと、上記ユー
ザの特徴情報にもとづき上記モデル人物の顔部分をユー
ザの顔に変形して表示する第３の処理プログラムを保持
している。

【００２６】

【発明の実施の形態】以下、本発明の実施例について、
図面を参照して説明する。

【００２７】本実施例は、ある特定の人物（以下モデル
人物と呼ぶ）を含む映像を撮影し、その映像を別の人物
（以下ターゲット人物）に映像上で置き換えるための具
体的な方法である。図１に本実施例におけるまとまった
処理を手段に置き換え、本発明の処理概要を説明するた
めの機能ブロック図を示す。本発明の映像合成方法は、
図１に示すようにモデル画像の撮影と解析を行う手段１
００と、ターゲット人物の体型指定と顔モデルの生成を
行う手段２００と、人物像の変換を行う手段３００とを
有する。

【００２８】本発明の画像合成方法は、モデル画像撮影
解析部１００において、モデル人物１００１と背景１０
０２を撮影する。撮影された映像からカメラ情報を推
定、指定あるいは測定することにより各フレームにおけ
るカメラ情報を得る。以上がモデル画像撮影解析部１０
０の入力である。これらの入力からモデル画像撮影解析
部１００はモデルの姿勢データ２０３０（pose(t)）、
モデルの表情データ２０４０（Express(t)）、背景画像
２０６０（BackImage(t)）、モデルの特徴点データ２０
９０（ModelCp(i,t)）、体だけの人物映像２０７０（Mo
delBodyImage(t)）を得る。ここでtは時刻を表す。時刻
ｔを用いるのは、本発明の画像変換は動画像を対象にし
ており、時刻ｔによって画像が変化するためである。な
お、これらのモデル画像撮影解析部１００におけるモデ
ルの姿勢データ２０３０（pose(t)）、モデルの表情デ
ータ２０４０（Express(t)）、背景画像２０６０（Back
Image(t)）、モデルの特徴点データ２０９０（ModelCp
(i,t)）、体だけの人物映像２０７０（ModelBodyImage
(t)）の取得方法は、自動推定、測定、対話的な指定等
の様々な手法で取得することが可能である。以上のモデ
ル映像に関する解析処理は一つの映像について一回だけ
行う。

【００２９】ターゲット解析部２００においては合成の
結果表示される人物１１００に関する情報を取得する処
理が行われる。この処理ではターゲット人物の体型形状
２１１０、および顔の三次元モデル２１２０が生成され
る。対象になるターゲット人物に対して一回だけ行われ
る。なお、ターゲット解析部２００における解析処理に
おいて、ターゲット人物の体型の指定と顔モデルの生成
の処理の流れを図４に示す。

【００３０】人物像の変換処理３００は上記のモデル画
像撮影解析部１００及びターゲット人物指定処理２００
にて生成された、モデルの姿勢データ２０３０（pose
(t)）、モデルの表情データ２０４０（Express(t)）、
背景画像２０６０（BackImage(t)）、モデルの特徴点デ
ータ２０９０（ModelCp(i,t)）、体だけの人物映像２０
７０（ModelBodyImage(t)）、ターゲット人物の体型形
状２１１０、および顔の三次元モデル２１２０を用いて
人物像を変換した映像を発生する処理が行われる。合成
された映像４００（SynthesizedImage(t)）はディスプ
レイ装置に出力される。

【００３１】図２に、本発明の画像変換方法を実現する
ハードウェア構成の概要を示す。なお、図２は画像変換
対象となる画像を撮影し、かつ、その画像をターゲット
画像に変換するハード構成が示されている。

【００３２】ＣＰＵ１５１は格納されている命令を実行
するＣＰＵ装置である。メモリ１８０はＣＰＵ１５１が
実行する命令が格納されており、メモリ１８０は、シス
テム全体の中では、内部メモリであっても、磁気ディス
ク、光ディスク、ＤＶＤ等の外部記憶媒体でも良い。メ
モリ１８０には、システム全体の制御手順１８１、モデ
ル解析手順１８２、ターゲット解析手順１８２、画像変
換手順１８３を示す命令が格納されている。撮像手段１
６０は人物画像を入力するための手段であり、カメラ１
６１とカメラから入力されたビデオ信号をデジタル化す
るキャプチャー装置１６２から構成される。測定手段１
７０は三次元形状とテクスチャーを計測するものであ
り、三次元形状・テクスチャー測定手段１７１から構成
される。メモリ１９０は作業用のメモリ１９１と画像デ
ータを格納するメモリ１９２から構成される。合成され
た画像データ４００はＲＧＢ信号変換器１２０によって
ＲＧＢ信号に変換され、表示装置１２１によって画像と
して表示される。

【００３３】図３にモデル解析手段１００の詳細を示
す。

【００３４】モデル人物１００１は実際に撮影される人
物（俳優等）である。モデル人物１００１は背景１００
２の前で決められた演技等を行う。また必要ならばカメ
ラを移動させて、アニメーションを作成する。この人物
の動きをカメラ１６１を用いて撮影する（５０５）。撮
影された映像はキャプチャー手段１６２によって計算機
のメモリに映像２０１０（Image(t))として格納され
る。ここで、ｔは時刻を表すパラメータである。すなわ
ち、映像は撮影開始時刻から撮影終了時刻までの時系列
で格納される。入力画像２０１０の例を図６に示す。こ
こではモデル１００１が洋服を着て歩いているシーンを
示す。背景は簡単な部屋である。

【００３５】カメラ情報１００３（Camera(t)）は撮影
において使用したカメラのパラメータであり、その詳細
はカメラの位置、方向、ズーム比である。カメラが固定
の場合には、カメラパラメータ１００３は時間的な変化
はなく、測定によって簡単に求めることが可能である。
カメラパラメータが時間的に変化する場合には、このパ
ラメータを求める。カメラを計算機制御するモーション
コントロールカメラを用いる場合にはカメラパラメータ
１００３は、事前に設定されたデータとなる。モーショ
ンコントロールカメラを用いない場合には、例えば撮影
された映像上の点の三次元の絶対位置が複数わかってい
れば、その点の画像上の位置から最小二乗法を用いてカ
メラパラメータを推定することが可能である。また、画
像を見ながら、カメラのパラメータを対話的に推定する
ことも可能である。以上の方法のいずれかによってカメ
ラパラメータすなわちカメラ情報１００３を指定する。

【００３６】モデル人物１００１、背景１００２、カメ
ラパラメータ１００３はモデル解析手段１００の入力で
ある。

【００３７】得られた映像２０１０をモデルが存在しな
い背景画像２０６０（BackImage(t)）と背景画像を除去
した人物画像２０５０（ModelImage(t)）に分離する
（５４０）。図７にモデル人物画像２０５０の例を、図
８に背景画像２０６０の例を示す。図７に示すように人
物画像２０５０は背景を除去し人物画像だけを格納した
ものである。また図８示す背景画像２０６０はモデルを
除去し、部屋の映像だけを格納したものである。

【００３８】撮影においてカメラが固定の場合にはモデ
ルを除去して一枚の画像を撮影することによって背景画
像２０６０を取得する。この場合には背景画像は時間的
に変化しない。カメラが移動する場合には、背景画像は
時間的に変化する。カメラをモーションコントロールす
る場合には、モデルを除去して再度撮影して背景画像２
０６０を取得する。モデルを除去して撮影できない場合
には処理が煩雑ではあるが、画像からモデルのシルエッ
トを指定し、これを除去し、抜けが生じた部分について
他の画像を変形合成して、対話的に背景画像を生成す
る。

【００３９】背景画像を除去した人物画像２０５０（Mo
delImage(t)）の分離については、人物像をブルーバッ
クで撮影することが可能であれば、人物像の抽出は人物
と背景との色差によって簡単に実現できる。色差の使用
が困難な場合には、モデルのシルエットを対話的に指定
することで処理が煩雑ではあるが人物映像の切り出しを
実行する。

【００４０】次にモデル１００１の体型データを取得す
るし、モデルの形状データ２０２０を得る（５１０）。
モデルの形状データは実際にレンダリングしないため、
ある程度おおざっぱなものでもよい。すなわち、身長体
重、股下、胸囲、ウエスト等の通常の洋服のサイズを指
定するためのパラメータ等を用いてモデルの体型に合致
した三次元の人物の形状モデル２０２０を作成する。こ
の形状測定では三次元測定器を用いることも可能であ
る。

【００４１】図９にモデル形状２０２０の例を示す。モ
デル形状２０２０は三次元ＣＧにおける形状データであ
り、多角形の集合で定義される。この人体形状データは
肩や肘等の関節を曲げることが可能である。この形状デ
ータは、基本となる人体の形状データをあらかじめ用意
しておき、この基本人体形状データを、体型のサイズ
（身長、股下、胸囲等）に従って変形することで得る。

【００４２】次に各時刻ｔにおけるモデル１００１の姿
勢２０３０（pose(t)）を指定する（５２０）。

【００４３】pose(t)は時刻tのおける各関節の角度であ
る。このモデルの姿勢の推定は対話的に指定することが
可能である。また、関節位置等に特徴的な点があれば、
この位置を複数のカメラから撮影することで三角法によ
って関節の絶対位置を求めることが可能であり、逆運動
学を用いて関節角度を求めることが可能である。

【００４４】次に各フレームについて、モデルの三次元
形状２０２０に対して、姿勢データ２０３０に基づき、
モデルの姿勢をとらせたモデルＣＧ映像２０８０を生成
する。（５６０）。モデルＣＧ映像２０８０の例を図１
０に示す。モデルの三次元形状２０２０はモデルに似せ
たものであり、ポーズ２０３０（pose(t)）も実写の映
像から推定したものであるため、ＣＧ合成された人物像
２０８０は人物映像２０５０（ModelImage）に近いもの
になる。このＣＧ画像２０８０から特徴点２０９０を抽
出する（５７０）。この特徴点２０９０は後述するモデ
ルの人物像（ModelImage）をターゲットの体型に似せる
ために変形（ワーピング）するための制御点として使用
する。このため、合成されたＣＧ画像の境界部分の点か
ら適宜選択する。

【００４５】生成されたモデルＣＧ画像２０８０の頭部
領域を用いて人物画像２０５０のの頭部部分を除去し体
だけの人物画像（モデル人体画像）２０７０を得る（５
５０）。モデル人体画像の例を図１１に示す。

【００４６】さらに、モデル１００１の顔の表情、発声
による口の動き２０４０（Express(t)）を各フレームで
推定し、記述しておく。これも画像を参考にしながら対
話的に指定することが可能である。また画像処理によっ
て特徴点の位置を推定して自動判定してもよい。

【００４７】以上のカメラパラメータ、体型の形状デー
タ、姿勢、表情のデータによって、各フレームでのモデ
ルのアニメーションが記述される。

【００４８】モデルのアニメーションの解析結果をもと
に別の人物（ターゲット）のアニメーションを生成する
にあたって、ターゲットの解析を行う。

【００４９】図４にターゲット解析手段１００の詳細を
示す。

【００５０】ターゲット人物１１００はモデル映像の人
物像をターゲットの人物像に変換する場合の変換される
人物である。例えば、映画の主人公をユーザに変更する
場合にはモデル人物は、オリジナルの俳優であり、ター
ゲットはユーザである。人物像をターゲットに変更する
ためにターゲットの情報を取得する。

【００５１】ターゲット１１００の体型データを取得
し、ターゲットの形状データ２１１０を得る（６１
０）。ターゲットの形状データは実際にレンダリングし
ないため、ある程度おおざっぱなものでもよい。すなわ
ち、身長体重、股下、胸囲、ウエスト等の通常の洋服の
サイズを指定するためのパラメータ等を用いてモデルの
体型に合致した三次元の人物の形状モデル２１１０を作
成する。この形状測定では三次元測定器を用いることも
可能である。

【００５２】図１２にターゲット形状２１１０の例を示
す。モデル形状２１１０は三次元ＣＧにおける形状デー
タであり、多角形の集合で定義される。この人体形状デ
ータは肩や肘等の関節を曲げることが可能である。この
形状データは、基本となる人体の形状データをあらかじ
め用意しておき、この基本人体形状データを、体型のサ
イズ（身長、股下、胸囲等）に従って変形することで得
る。

【００５３】次にターゲット１１００の顔ＣＧモデル２
１２０を測定する（６２０）。顔ＣＧモデル２１２０は
三次元形状と色、テクスチャーで記述される。三次元測
定装置１７１を用いて形状およびテクスチャーを取得す
る。このとき表情はニュートラルであるとする。また、
正面や側面の顔の写真から形状のフィッティングによっ
て形状やテクスチャーを推定するこのも可能である。

【００５４】図１６に顔ＣＧモデルの幾何形状の例を示
す。

【００５５】このようにターゲット解析処理によってタ
ーゲット人物の情報及び顔のＣＧモデルが得られた。こ
の情報をもとに画像上の人物の変換を行う。

【００５６】図５に人物像変換手段３００の詳細を示す
ターゲット人物の形状データ２１１０とモデルの姿勢デ
ータ２０３０（pose(t)）を用いてターゲットの特徴点
の画像上の座標２２３０を求める（６１０）。これは、
モデル解析部で求めたモデルの特徴点２０９０に対応す
るターゲット形状２１１０上の点をカメラパラメータ２
００３、姿勢データ２０３０を用いて座標変換すること
で求められる。このターゲット特徴点２２３０は、もし
モデルとターゲットの体型が同一であれば同じ座標とな
る。体型が違う場合にはそれに対応して特徴点の位置に
差が生じる。

【００５７】図１３にターゲット人物の形状データ２１
１０にモデルの姿勢データ２０３０（pose(t)）を適用
してポーズをつけた画像の例を示す。この例ではターゲ
ット人物はモデル人物に比べて太っている場合である。
このとき、ターゲットの境界線上の特徴点はモデルの特
徴点に比べて外側に位置する。

【００５８】この対応する特徴点を用いて図１５に示す
モデル画像２０７０（ModelImage(t)）をワープしてタ
ーゲット人物画像２２４０を得る（６２０）。ワープと
は特徴点を用いて画像を変形する手法であり、ワープ前
のの画像の特徴点は指定された特徴点に移動するように
画像が変形される。この処理によって、モデル画像２２
０７０（ModelImage(t)）はターゲットの体型に対応し
て変形する。このとき、モデル、ターゲットとも洋服を
無視して形状モデルを生成している。しかし、洋服は体
の側にあることを考慮すれば、ワーピングによって洋服
も自然に変形される場合が多い。

【００５９】以上で、モデルの体型をターゲットの体型
に変更した体の画像２２４０が生成される。

【００６０】図１４はワーピング（６２０）処理におけ
る特徴点を示している。図に示すようにモデルの特徴点
はモデルの境界線上に位置している。これに対してター
ゲットの特徴点は人物画像の外側に位置している。図１
５にワーピングの結果であるターゲット人物画像２２４
０の例を示す。この人物像はターゲットの体型の特徴に
従ったものである。

【００６１】次に、モデル姿勢２０３０、ターゲット顔
ＣＧモデル２１２０、モデル表情２０４０を用いてター
ゲット顔画像（２２５０）を生成する（６４０）。顔Ｃ
Ｇモデル２１２０は三次元形状とテクスチャーを有して
いるため、あらゆる方向から見ることが可能である。ま
た、顔のアニメーション手法によって表情データ２０４
０から表情を再生することが可能である。以上のように
ターゲットの顔画像２２５０が生成される。図１７に生
成された顔画像２２５０の例を示す。

【００６２】次にターゲット顔画像２２５０とターゲッ
ト人体画像２２４０、背景画像２０６０を合成すること
で、人物像を変換した合成画像４００を生成する。合成
は背景画像２０６０の上にターゲット人体画像２２４０
を合成し、その上にターゲット顔画像２２５０を合成す
る。このとき、実写をワーピングして生成した人体画像
２２４０にターゲット顔画像２２５０を滑らかに合成す
る必要がある。このため、境界部分をぼかす処理を行
う。

【００６３】以上の処理により実写映像のモデル人物画
像をターゲット人物画像に変換する。変換後の人物画像
２２００を図１８に示す。

【００６４】以上説明したように本発明によれば、実写
の人物映像を別の人物映像に変換することが可能であ
る。体型の変更に画像のワーピング、顔の変更にテクス
チャーマッピングを用いた三次元コンピュータグラフィ
クスを用いるため、高品質なＣＧ映像を短時間で作成す
ることが可能である。モデル解析に工数がかかるが、モ
デル解析を一度行っておけば、様々な人物像への変換は
自動的かつ短時間で実現できる。

【００６５】本発明の別の形態について説明する。

【００６６】上記の説明では体型および顔の変更を行っ
ていた。体型がほとんど変わらない場合には顔の変更だ
けで充分な効果が得られる場合もある。本発明の別の形
態では、体型に関するワーピングを行わないものが考え
られる。

【００６７】また、例えば遠景からの画像や顔の表情が
重要でない場合には表情の変更処理を行わない形態も考
えられる。この場合には図３の表情の取得処理５３０及
び、図５における表情による顔画像の変更を削除するこ
とで実現する。

【００６８】また、本発明の利用の形態として、モデル
解析部の処理結果をあらかじめ取得しておき、メモリあ
るいは補助記憶装置に格納しておき、これを用いてター
ゲットの人物に変更する形態がある。この形態では図１
のモデル解析部が不要となる。この形態は例えばゲーム
センター等での適用に適している。

【００６９】次に本発明の他の構成例を示す。図１９は
図２のハードウエア構成と比べて、ターゲット解析手順
１８３と画像変換手順１８４をもたない。図１９は、例
えばパソコン等での画像を利用して通信販売を行う際の
販売者が提供する画像を作成する装置構成である。図１
９の装置では図３に示す処理が行われる。ここで、得ら
れた情報は図１９の装置から図示しないネットワークを
介して、又は、可搬な記憶媒体におりユーザに届けられ
る。

【００７０】図２０に他のハード構成例を示す。図２０
は図２の構成に比べてモデル解析手順１８２と画像変換
手順１８４を持たない構成である。

【００７１】図２２に図１９の構成で得られたモデルの
情報を読み込みユーザがターゲット情報を解析してモデ
ル画像をターゲット画像に変換するユーザ側の装置を示
す。モデル情報は図示しないネットワークを介して、ま
たは、記憶媒体に記憶された情報として外部から得るこ
とができる。

【００７２】モデル画像をターゲット画像に変換する処
理は、図５に示す処理と同様にすればよい。

【００７３】

【発明の効果】以上説明したように本発明によれば、実
写の人物映像を別の人物映像に変換することが可能であ
る。

【００７４】また、ＣＧで人物像を表現でき、洋服の試
着のシミュレーションやヘアースタイルの事前検討等、
様々な用途に応用が可能であるし、映像の中の人物をユ
ーザに変換できれば新しい種類の娯楽が生まれる。

【図面の簡単な説明】

【図１】本発明の動作の概要を示す説明図。

【図２】本発明で用いられるハードウェアの構成を示す
ブロック図。

【図３】本発明の実施例で用いられるモデル解析部の動
作の概要を示す説明図。

【図４】本実施例のターゲット解析部の動作の概要を示
す説明図。

【図５】本実施例の画像合成部の動作の概要を示す説明
図。

【図６】本実施例の入力画像の一例を示す説明図。

【図７】本実施例のモデル人物画像の一例を示す説明
図。

【図８】本実施例の背景画像の一例を示す説明図。

【図９】本実施例のモデル形状の一例を示す説明図。

【図１０】本実施例のモデルＣＧ映像の一例を示す説明
図。

【図１１】本実施例のモデル人体画像の一例を示す説明
図。

【図１２】本実施例のターゲット形状の一例を示す説明
図。

【図１３】本実施例のターゲットＣＧ映像の一例を示す
説明図。

【図１４】本実施例のモデル人体画像のワーピングの一
例を示す説明図。

【図１５】本実施例のターゲット人体画像の一例を示す
説明図。

【図１６】本実施例のターゲット頭部ＣＧモデルの一例
を示す説明図。

【図１７】本実施例のターゲット頭部画像の一例を示す
説明図。

【図１８】本実施例のターゲット合成画像の一例を示す
説明図。

【図１９】本発明のハード構成の一例を示す図。

【図２０】本発明のハード構成の一例を示す図。

【図２１】本発明のハード構成の一例を示す図。

【符号の説明】

１００…モデル解析手段、２００…ターゲット解析手
段、３００…人物像変換手段、１００１…モデル人物、
１００２…背景、１００３…カメラ情報、２０３０…モ
デル姿勢データ、２０４０…モデル表情データ、２０６
０…背景画像、２０９０…モデルの特徴点データ、２０
７０…モデル人体映像、２１１０…ターゲット人体形
状、２１２０…ターゲット顔ＣＧデータ、４００…合成
映像、１２１…表示装置。

Claims (13)

【特許請求の範囲】
1. 【請求項１】人物（以下モデル人物と呼ぶ）を含む映像
   （入力映像）を撮影し、この人物像を別の人物（以下タ
   ーゲット人物と呼ぶ）の映像に変換する映像合成方法に
   おいて、 モデル人物を撮影して入力映像を得、該撮影時における
   カメラパラメータを指定し、 モデル人物の特徴を指定し、 入力映像をモデル人物映像と背景映像に分離し、 モデルの特徴とターゲットの特徴を用いてモデル人物映
   像を変形してターゲット人物画像を生成し、 得られたターゲット人物画像と背景映像を合成すること
   を特徴とする映像合成方法。
2. 【請求項２】請求項１において、モデル人物の特徴とし
   て体型の情報を用い、 ターゲット人物の特徴としてターゲット人物の体型の情
   報を用いることを特徴とする映像合成方法。
3. 【請求項３】請求項２において、モデル人体画像の変形
   方法として、モデル人物画像にワーピング用いることを
   特徴とする映像合成方法。
4. 【請求項４】請求項１において、モデル人物の特徴とし
   てモデルの顔の位置と方向の情報を用い、 ターゲット人物の特徴としてターゲット人物の顔の形状
   とテクスチャーの情報を用い、 ターゲット人物画像の生成において、顔画像の生成に三
   次元コンピュータグラフィクスを用いることを特徴とす
   る映像合成方法。
5. 【請求項５】請求項４において、モデルの特徴としてモ
   デルの表情を用い、 ターゲット人物画像の生成において、顔画像の表情の変
   更を行うことを特徴とする映像合成方法。
6. 【請求項６】人物（以下モデル人物と呼ぶ）を含む映像
   （入力映像）を撮影し、この人物像の顔を別の人物（以
   下ターゲット人物と呼ぶ）の顔の映像に変換する映像合
   成方法において、 モデル人物を撮影して入力映像を得、該撮影時における
   カメラパラメータ、モデルの顔の位置方向情報を指定
   し、 入力映像からモデルの顔画像を除去し、 ターゲット人物の顔の三次元モデルを入力し、 ターゲット人物の顔の三次元モデルとモデルの顔の位置
   方向情報、カメラパラメータからターゲットの顔の三次
   元コンピュータグラフィック映像を生成し、 生成されたコンピュータグラフィックス映像と背景映像
   を合成することを特徴とする映像合成方法。
7. 【請求項７】人物（以下モデル人物と呼ぶ）を含む映像
   （入力映像）を撮影し、この人物像を別の人物（以下タ
   ーゲット人物と呼ぶ）の映像に変換する映像合成方法に
   おいて、 モデル人物を撮影して入力映像を得、該撮影時における
   カメラパラメータ、モデルの姿勢情報を指定し、 入力映像をモデル人物映像と背景映像に分離し、 モデルの体型情報からモデルの三次元形状データを生成
   し、 モデルの人体の三次元形状とモデルの姿勢情報、カメラ
   パラメータからモデルの三次元コンピュータグラフィッ
   ク映像を生成し、 生成されたコンピュータグラフィックス映像から特徴点
   を抽出し、 ターゲット人物の体型データからターゲット人物の人体
   の三次元形状モデルを生成し、 ターゲット人物の人体の三次元形状モデルとモデルの姿
   勢情報、カメラパラメータからターゲットの三次元コン
   ピュータグラフィック映像を生成し、 生成されたコンピュータグラフィックス映像からターゲ
   ットの特徴点を抽出し、 上記のモデルの特徴点とターゲットの特徴点が一致する
   ようにモデルの人物映像を変形し、 得られたターゲットの人体の変形映像と背景映像を合成
   することを特徴とする映像合成方法。
8. 【請求項８】人物（以下モデル人物と呼ぶ）を含む映像
   （入力映像）を撮影し、この人物像を別の人物（以下タ
   ーゲット人物と呼ぶ）の映像に変換する映像合成方法に
   おいて、 モデル人物を撮影して入力映像を得、該撮影時における
   カメラパラメータ、モデルの姿勢情報を指定し、 入力映像をモデル人物映像と背景映像に分離し、 モデルの体型情報からモデルの三次元形状データを生成
   し、 モデルの人体の三次元形状とモデルの姿勢情報、カメラ
   パラメータからモデルの三次元コンピュータグラフィッ
   ク映像を生成し、 生成されたコンピュータグラフィックス映像から特徴点
   を抽出し、 ターゲット人物の顔の三次元モデル及び体型データを入
   力し、 ターゲット人物の体型データからターゲット人物の人体
   の三次元形状モデルを生成し、 ターゲット人物の人体の三次元形状モデルとモデルの姿
   勢情報、カメラパラメータからターゲットの三次元コン
   ピュータグラフィック映像を生成し、 生成されたコンピュータグラフィックス映像からターゲ
   ットの特徴点を抽出し、 上記のモデルの特徴点とターゲットの特徴点が一致する
   ようにモデルの人物映像を変形し、 ターゲット人物の顔の三次元モデルとモデルの顔の位置
   方向情報、カメラパラメータからターゲットの顔の三次
   元コンピュータグラフィック映像を生成し、 得られたターゲットの人体の変形映像とターゲットの顔
   のコンピュータグラフィクス映像と背景映像を合成する
   ことを特徴とする映像合成方法。
9. 【請求項９】人物（以下モデル人物と呼ぶ）を含む映像
   （入力映像）に対して、この人物像を別の人物（以下タ
   ーゲット人物と呼ぶ）の映像に変換する映像合成方法に
   おいて、 モデルの人体の三次元形状とモデルの姿勢情報、カメラ
   パラメータからモデルの三次元コンピュータグラフィッ
   ク映像を生成し、 生成されたコンピュータグラフィックス映像から特徴点
   を抽出し、 ターゲット人物の顔の三次元モデル及び体型データを入
   力し、 ターゲット人物の体型データからターゲット人物の人体
   の三次元形状モデルを生成し、 ターゲット人物の人体の三次元形状モデルとモデルの姿
   勢情報、カメラパラメータからターゲットの三次元コン
   ピュータグラフィック映像を生成し、 生成されたコンピュータグラフィックス映像からターゲ
   ットの特徴点を抽出し、 上記のモデルの特徴点とターゲットの特徴点が一致する
   ようにモデルの人物映像を変形し、 ターゲット人物の顔の三次元モデルとモデルの顔の位置
   方向情報、カメラパラメータからターゲットの顔の三次
   元コンピュータグラフィック映像を生成し、 得られたターゲットの人体の変形映像とターゲットの顔
   のコンピュータグラフィクス映像と背景映像を合成する
   ことを特徴とする映像合成方法。
10. 【請求項１０】人物（以下モデル人物と呼ぶ）を含む映
    像（入力映像）に対して、この人物像を別の人物（以下
    ターゲット人物と呼ぶ）の映像に変換する映像合成方法
    において、 映像を撮影したときのカメラパラメータと、背景映像と
    モデル人物の映像（モデル人物映像）と、モデル人物の
    姿勢情報と、モデル人物の体型情報と、モデル体型情報
    からモデルの形状データと、モデル形状とカメラ情報と
    モデルの姿勢情報からモデルのコンピュータグラフィク
    ス映像を生成し、 生成されたコンピュータグラフィクス映像から特徴点を
    生成し、 ターゲット人物の体型情報と、ターゲット人物の顔の形
    状及び表面の色、テクスチャー情報と、ターゲット人物
    の体型情報からターゲット人物の形状データを生成する
    手段と、ターゲット形状とカメラ情報とモデルの姿勢情
    報からターゲットの人体のコンピュータグラフィクス映
    像を生成し、 生成されたターゲットのコンピュータグラフィクス映像
    から特徴点を生成し、 モデルの特徴点とターゲットの特徴点が一致するように
    上記モデル人物映像を変形し、 ターゲット人物の顔のＣＧモデルとモデルの姿勢情報、
    カメラ情報、モデルの表情の情報からターゲットの顔の
    コンピュータグラフィックス映像を生成し、 ターゲットの顔のコンピュータグラフィックス映像とタ
    ーゲットの人体のコンピュータグラフィクス映像と背景
    映像を合成し、 を特徴とする映像合成方法。
11. 【請求項１１】映像を撮影したときのカメラパラメータ
    を指定する手段と、 入力映像を背景映像とモデル人物の映像（モデル人物映
    像）に分離する手段と、 モデル人物の姿勢を指定する手段と、 モデル人物の体型情報を指定する手段と、 モデル体型情報からモデルの形状データを生成する手段
    と、 モデル形状とカメラ情報とモデルの姿勢情報からモデル
    のコンピュータグラフィクス映像を生成する手段と、 生成されたコンピュータグラフィクス映像から特徴点を
    生成する手段と、 ターゲット人物の体型情報を指定する手段と、 ターゲット形状とカメラ情報とモデルの姿勢情報からタ
    ーゲットの人体のコンピュータグラフィクス映像を生成
    する手段と、 生成されたターゲットのコンピュータグラフィクス映像
    から特徴点を生成する手段と、 モデルの特徴点とターゲットの特徴点が一致するように
    上記モデル人物映像を変形する手段とターゲットの人体
    のコンピュータグラフィクス映像と背景映像を合成する
    手段とからなることを特徴とする映像合成装置。
12. 【請求項１２】映像を撮影したときのカメラパラメータ
    を指定する手段と、 入力映像を背景映像とモデル人物の映像（モデル人物映
    像）に分離する手段と、 モデル人物の姿勢を指定する手段と、 モデル人物の体型情報を指定する手段と、 モデル体型情報からモデルの形状データを生成する手段
    と、 モデル形状とカメラ情報とモデルの姿勢情報からモデル
    のコンピュータグラフィクス映像を生成する手段と、 生成されたコンピュータグラフィクス映像から特徴点を
    生成する手段と、 ターゲット人物の体型情報を指定する手段と、 ターゲット人物の顔の形状及び表面の色、テクスチャー
    情報を取得する手段と、 ターゲット人物の体型情報からターゲット人物の形状デ
    ータを生成する手段と、 ターゲット形状とカメラ情報とモデルの姿勢情報からタ
    ーゲットの人体のコンピュータグラフィクス映像を生成
    する手段と、 生成されたターゲットのコンピュータグラフィクス映像
    から特徴点を生成する手段と、 モデルの特徴点とターゲットの特徴点が一致するように
    上記モデル人物映像を変形する手段とターゲット人物の
    顔のＣＧモデルとモデルの姿勢情報、カメラ情報、モデ
    ルの表情の情報からターゲットの顔のコンピュータグラ
    フィックス映像を生成する手段と、 ターゲットの顔のコンピュータグラフィックス映像とタ
    ーゲットの人体のコンピュータグラフィクス映像と背景
    映像を合成する手段とからなることを特徴とする映像合
    成装置。
13. 【請求項１３】画像データの入力手段と、表示装置と、
    上記画像データの処理を行う制御装置とからなる情報処
    理装置に用いられ、上記制御装置で読みとられる形態の
    プログラムデータ及び該プログラムの実行に必要なデー
    タを保持する記録媒体であって、該記録媒体は、モデル
    人物の表示情報と、該表示情報を用いて上記表示装置に
    上記モデル人物を表示する第１の処理プログラムと、上
    記情報処理装置に備えられたカメラからユーザの映像を
    入手してユーザの視覚的な特徴情報を取得する第２の処
    理プログラムと、上記ユーザの特徴情報にもとづき上記
    モデル人物の顔部分をユーザの顔に変形して表示する第
    ３の処理プログラムを保持することを特徴とする記録媒
    体。