JPH10126687A - すり替え編集システム - Google Patents
すり替え編集システムInfo
- Publication number
- JPH10126687A JPH10126687A JP8273167A JP27316796A JPH10126687A JP H10126687 A JPH10126687 A JP H10126687A JP 8273167 A JP8273167 A JP 8273167A JP 27316796 A JP27316796 A JP 27316796A JP H10126687 A JPH10126687 A JP H10126687A
- Authority
- JP
- Japan
- Prior art keywords
- data
- polygon
- original image
- texture
- editing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
(57)【要約】
【課題】 従来の映画ソフトは、俳優が出演するのみで
一般の人が自分で映画に登場するということは、自分自
身がその撮影現場にいなければ不可能であった。また、
撮影後に配役を入れ替えたりすることも不可能であっ
た。 【解決手段】 本発明によるすり替え編集システムは、
ユーザの顔、姿を取り込む手段とこれの一部または全部
をポリゴンデータにしてテクスチャーマッピング化しる
手段を構成し、あるいは、前記手段でのデータ化された
ポリゴンデータや、テクスチャーマッピングデータを記
録手段に記録された物を再生する手段を有するもであ
る。
一般の人が自分で映画に登場するということは、自分自
身がその撮影現場にいなければ不可能であった。また、
撮影後に配役を入れ替えたりすることも不可能であっ
た。 【解決手段】 本発明によるすり替え編集システムは、
ユーザの顔、姿を取り込む手段とこれの一部または全部
をポリゴンデータにしてテクスチャーマッピング化しる
手段を構成し、あるいは、前記手段でのデータ化された
ポリゴンデータや、テクスチャーマッピングデータを記
録手段に記録された物を再生する手段を有するもであ
る。
Description
【０００１】
【発明の属する技術分野】本発明は、画像の中の顔等の
情報を他の映像と置き換えて画像編集する画像編集処理
システムに関するものである。
情報を他の映像と置き換えて画像編集する画像編集処理
システムに関するものである。
【０００２】
【従来の技術】従来動画のなかの一部を入れ替えるに
は、背景を青色で撮影したオブジェクトを原画に合成す
るという、いわゆるクロマキー技術よっていたが、これ
によると撮影したオブジェクトの形、様子、照明、ある
いは音声などを撮影後、あるいは合成後に、制御変化さ
せることは不可能であった。
は、背景を青色で撮影したオブジェクトを原画に合成す
るという、いわゆるクロマキー技術よっていたが、これ
によると撮影したオブジェクトの形、様子、照明、ある
いは音声などを撮影後、あるいは合成後に、制御変化さ
せることは不可能であった。
【０００３】一方、映像を加工する画像編集装置として
ディジタルカメラやスキャナーから静止画を取り入れそ
の一部を切り出して原画にはめ込むものがあり、個人的
なアルバム作りに使われている。
ディジタルカメラやスキャナーから静止画を取り入れそ
の一部を切り出して原画にはめ込むものがあり、個人的
なアルバム作りに使われている。
【０００４】特に最近では、高能率符号化技術が発展し
て映像データでさえも帯域圧縮されてディジタルデータ
として扱えるようになり、画像のエンコードから切り張
り編集までソフトウェアで構成され、個人でパソコン上
で簡単に実現できるようになった。
て映像データでさえも帯域圧縮されてディジタルデータ
として扱えるようになり、画像のエンコードから切り張
り編集までソフトウェアで構成され、個人でパソコン上
で簡単に実現できるようになった。
【０００５】しかし、これらの映像がディジタルデータ
であっても、そのオブジェクトの形、様子、照明、ある
いは音声などを動画などの原画のなかの類似したオブジ
ェクトの動作、音声などのいろんな情報にもとづいて、
撮影後、あるいは合成後に、制御変化させることは不可
能であった。
であっても、そのオブジェクトの形、様子、照明、ある
いは音声などを動画などの原画のなかの類似したオブジ
ェクトの動作、音声などのいろんな情報にもとづいて、
撮影後、あるいは合成後に、制御変化させることは不可
能であった。
【０００６】
【発明が解決しようとする課題】上記したような編集ソ
フトがCD-ROM等の光ディスクなどに記録プレスされ市販
されているが、いずれも各映像の一こま一こまがフレー
ムデータとして加工済みのデータであるために、各フレ
ーム内のデータを制御可変する手段がなく後加工は不可
能であった。従って、その用途としては単に静止画アル
バムを作成したり、ＣＧなど専門家が合成編集した映画
を見るだけの鑑賞用が中心で、使い方も単に静止画の入
れ替えや、動画であってもシーンとシーンの間に挿入す
るだけの簡単な編集に限られ、従来の映像ディスクと違
った新しい楽しみを提供する新規の用途は大変少ないの
が現状である。従って受け身的な楽しみに終わり、一度
見れば、再び見たいと思わないためオーディオのように
何度も聞いて楽しめない分オーディオＣＤのように広く
市場に普及しないという課題があった。
フトがCD-ROM等の光ディスクなどに記録プレスされ市販
されているが、いずれも各映像の一こま一こまがフレー
ムデータとして加工済みのデータであるために、各フレ
ーム内のデータを制御可変する手段がなく後加工は不可
能であった。従って、その用途としては単に静止画アル
バムを作成したり、ＣＧなど専門家が合成編集した映画
を見るだけの鑑賞用が中心で、使い方も単に静止画の入
れ替えや、動画であってもシーンとシーンの間に挿入す
るだけの簡単な編集に限られ、従来の映像ディスクと違
った新しい楽しみを提供する新規の用途は大変少ないの
が現状である。従って受け身的な楽しみに終わり、一度
見れば、再び見たいと思わないためオーディオのように
何度も聞いて楽しめない分オーディオＣＤのように広く
市場に普及しないという課題があった。
【０００７】また、既に記録されているデータを参照し
ながら、新たにユーザからのデータを取り込み、これを
加工、制御するという手段がないため、例えば映画の主
人公と自分が入れ代わって映画の中に自分自身が入り込
むような迫力あるプレーは処理出来ないという課題があ
った。
ながら、新たにユーザからのデータを取り込み、これを
加工、制御するという手段がないため、例えば映画の主
人公と自分が入れ代わって映画の中に自分自身が入り込
むような迫力あるプレーは処理出来ないという課題があ
った。
【０００８】また、ゲームなどの登場キャラクターで
は、キャラクター自身の動きを制御できるが、連続した
フレーム画像でないため、原画ストーリーなどの連続し
た直列データがなく、キャラクターを入れ替えても原画
にの動きなどの情報をもとづいて入れ替えたキャラクタ
ーが、自動的に動作するということはできないという課
題があった。
は、キャラクター自身の動きを制御できるが、連続した
フレーム画像でないため、原画ストーリーなどの連続し
た直列データがなく、キャラクターを入れ替えても原画
にの動きなどの情報をもとづいて入れ替えたキャラクタ
ーが、自動的に動作するということはできないという課
題があった。
【０００９】本発明はこれらの問題点を鑑みてなされた
ものであり、動画のようなリアルタイムに大容量のデー
タであっても既に記録されている原画からの情報を使っ
て入れ替える対象となるユーザデータを加工処理できる
すり替え編集装置を提供することを目的としている。
ものであり、動画のようなリアルタイムに大容量のデー
タであっても既に記録されている原画からの情報を使っ
て入れ替える対象となるユーザデータを加工処理できる
すり替え編集装置を提供することを目的としている。
【００１０】
【課題を解決するための手段】前記目的を達成するため
の本発明によるすり替え編集装置は、すり替えの対象と
なるオブジェクトを加工するための加工データを保有す
るか、そのオブジェクトをユーザーが選べばそのオブジ
ェクトをパターン化して自動検知追従し、さらにはオブ
ジェクトの顔の動きや表情、及び照明等による陰影効果
等の動的情報の微分値データを算出し保有する手段とす
り替えるオブジェクトの静止画、または動画データから
テクスチャーデータ及びそのポリゴンデータを作成し前
記照明による陰影データによるテクスチャー制御のため
の微分値に基づいたテクスチャーデータに変換し、前記
オブジェクトの顔の動きや表情の動的情報の微分値デー
タに基づいてポリゴンデータを制御し、原画と合成する
手段を有するものである。
の本発明によるすり替え編集装置は、すり替えの対象と
なるオブジェクトを加工するための加工データを保有す
るか、そのオブジェクトをユーザーが選べばそのオブジ
ェクトをパターン化して自動検知追従し、さらにはオブ
ジェクトの顔の動きや表情、及び照明等による陰影効果
等の動的情報の微分値データを算出し保有する手段とす
り替えるオブジェクトの静止画、または動画データから
テクスチャーデータ及びそのポリゴンデータを作成し前
記照明による陰影データによるテクスチャー制御のため
の微分値に基づいたテクスチャーデータに変換し、前記
オブジェクトの顔の動きや表情の動的情報の微分値デー
タに基づいてポリゴンデータを制御し、原画と合成する
手段を有するものである。
【００１１】
【発明の実施の形態】次に本発明によるすり替え編集シ
ステムについて図面を用いて具体的に説明する。図１
は、本発明の第一の実施例におけるすり替え編集システ
ムの構成図を示している。
ステムについて図面を用いて具体的に説明する。図１
は、本発明の第一の実施例におけるすり替え編集システ
ムの構成図を示している。
【００１２】本発明のすり替え編集システムの第１の実
施例では、原画のオブジェクトを選択する手段と、これ
と同一パターンのオブジェクトを自動的に抽出、追従す
るオブジェクト画像解析手段と顔のアングル、上下左
右、および照明方向や表情、視線などの動き情報を算出
する動き演算手段、および、すり替え対象オブジェクト
の映像取り込み入力手段とこれをポリゴン化するととも
にテクスチャーマッピングする手段を備えこれに前記の
原画オブジェクトの動き演算手段の結果をもとに背景と
合成処理する合成手段とを有するものである。以下にそ
の動作概要について説明する。
施例では、原画のオブジェクトを選択する手段と、これ
と同一パターンのオブジェクトを自動的に抽出、追従す
るオブジェクト画像解析手段と顔のアングル、上下左
右、および照明方向や表情、視線などの動き情報を算出
する動き演算手段、および、すり替え対象オブジェクト
の映像取り込み入力手段とこれをポリゴン化するととも
にテクスチャーマッピングする手段を備えこれに前記の
原画オブジェクトの動き演算手段の結果をもとに背景と
合成処理する合成手段とを有するものである。以下にそ
の動作概要について説明する。
【００１３】入力１から、ディジタル化された音声デー
タ、映像データが取り込まれるが、まず映像データから
説明する。入力された映像データは、人の顔であり、そ
の人の顔の特徴点とあらかじめ用意されている人の顔の
標準ポリゴンデータ２とがポリゴン比較手段３で比較さ
れ入力映像に近くなるように標準ポリゴンの各特徴点を
移動させユーザーポリゴン４を生成する。次に生成され
たポリゴンの分割された区分にもとづいて区分毎に入力
映像写真データをテクスチャー分割手段５で分割し、前
記のユーザーポリゴンデータ４にはりつけテクスチャー
データー６を生成する。
タ、映像データが取り込まれるが、まず映像データから
説明する。入力された映像データは、人の顔であり、そ
の人の顔の特徴点とあらかじめ用意されている人の顔の
標準ポリゴンデータ２とがポリゴン比較手段３で比較さ
れ入力映像に近くなるように標準ポリゴンの各特徴点を
移動させユーザーポリゴン４を生成する。次に生成され
たポリゴンの分割された区分にもとづいて区分毎に入力
映像写真データをテクスチャー分割手段５で分割し、前
記のユーザーポリゴンデータ４にはりつけテクスチャー
データー６を生成する。
【００１４】後でのべる図２の原画のもとづいて生成さ
れるテクスチャー制御データＹがテクスチャー制御手段
７に印加される。一方後に述べる図２の原画オブジェク
トの動きに基づいて生成されたポリゴン制御データＸが
ポリゴン制御手段８に印加され、このポリゴン制御され
たポリゴンデータに前記テクスチャー制御されたテクス
チャーが貼り付けられる。
れるテクスチャー制御データＹがテクスチャー制御手段
７に印加される。一方後に述べる図２の原画オブジェク
トの動きに基づいて生成されたポリゴン制御データＸが
ポリゴン制御手段８に印加され、このポリゴン制御され
たポリゴンデータに前記テクスチャー制御されたテクス
チャーが貼り付けられる。
【００１５】次に背景原画１０は、オバーレイなどのシ
ースルー合成ができる背景合成手段１１によってで背景
が合成されて出力データ１２が得られる。
ースルー合成ができる背景合成手段１１によってで背景
が合成されて出力データ１２が得られる。
【００１６】図２は、本発明の第一の実施例におけるす
り替え編集装置の原画ポリゴンデータと原画のポリゴン
動きデータおよび照明部分の動きデータを生成する構成
図を示している。
り替え編集装置の原画ポリゴンデータと原画のポリゴン
動きデータおよび照明部分の動きデータを生成する構成
図を示している。
【００１７】以下にその動作概要について説明する。映
画などの原画をディジタルデータにした原画１３のなか
のどれをすり替え対象のオブジェクトにするかをマウス
ポインターなどのオブジェクト選択手段１４を使ってユ
ーザーが選択すると、オブジェクトが存在する代表的な
原画を選択的に再生しオブジェクトトラッキング手段１
５で選択されたオブジェクトの顔を自動的に追尾しなが
ら原画オブジェクトのスケールサイズや顔の正面、側面
などの同一パターンを検出しこれをもとづいて原画オブ
ジェクトの２次元または、３次元オブジェクトデータ１
６を生成し、ポリゴン比較手段１７で標準ポリゴンデー
タ２とポリゴン比較し原画オブジェクトに近くなるよう
に標準ポリゴンの各特徴点を移動させオブジェクトポリ
ゴンデータ１８をあらかじめ生成しておく。次に今度は
原画を原画連続再生手段１９で連続再生しながら前述と
同様に通常画像圧縮などで使われる同一画像検知とその
トラッキング手法によってトラッキング手段２０で選択
されたオブジェクトのオブジェクトデータ２１を連続デ
ータとして生成しこれと標準ポリゴン２とをポリゴン比
較手段２２で原画ポリゴンデータ２３を生成する。次に
得られた原画ポリゴン２３とオブジェクトポリゴン１８
をポリゴンの動き演算手段２４で比較することによって
オブジェクトのスケールサイズを含めたポリゴン制御信
号Ｘとして出力する。
画などの原画をディジタルデータにした原画１３のなか
のどれをすり替え対象のオブジェクトにするかをマウス
ポインターなどのオブジェクト選択手段１４を使ってユ
ーザーが選択すると、オブジェクトが存在する代表的な
原画を選択的に再生しオブジェクトトラッキング手段１
５で選択されたオブジェクトの顔を自動的に追尾しなが
ら原画オブジェクトのスケールサイズや顔の正面、側面
などの同一パターンを検出しこれをもとづいて原画オブ
ジェクトの２次元または、３次元オブジェクトデータ１
６を生成し、ポリゴン比較手段１７で標準ポリゴンデー
タ２とポリゴン比較し原画オブジェクトに近くなるよう
に標準ポリゴンの各特徴点を移動させオブジェクトポリ
ゴンデータ１８をあらかじめ生成しておく。次に今度は
原画を原画連続再生手段１９で連続再生しながら前述と
同様に通常画像圧縮などで使われる同一画像検知とその
トラッキング手法によってトラッキング手段２０で選択
されたオブジェクトのオブジェクトデータ２１を連続デ
ータとして生成しこれと標準ポリゴン２とをポリゴン比
較手段２２で原画ポリゴンデータ２３を生成する。次に
得られた原画ポリゴン２３とオブジェクトポリゴン１８
をポリゴンの動き演算手段２４で比較することによって
オブジェクトのスケールサイズを含めたポリゴン制御信
号Ｘとして出力する。
【００１８】一方、前記のポリゴン化された原画ポリゴ
ンのテクスチャーデータが単位時間経過前後に生じる明
るさと色の変化値を差分計算することによって原画オブ
ジェクトの明るさの動的情報を算出し、前記の原画ポリ
ゴンの動的計算結果と比較して動きに伴う変化の場合に
は照明方向の変化値として照明方向を算出する。以上の
ようにしてポリゴン動きデータのうち照明部分のポリゴ
ンを照明抽出手段２５で抽出し、照明部分動き演算手段
２６において、オブジェクトポリゴン１８と比較するこ
とで制御しようとする照明制御信号Ｙを生成する。
ンのテクスチャーデータが単位時間経過前後に生じる明
るさと色の変化値を差分計算することによって原画オブ
ジェクトの明るさの動的情報を算出し、前記の原画ポリ
ゴンの動的計算結果と比較して動きに伴う変化の場合に
は照明方向の変化値として照明方向を算出する。以上の
ようにしてポリゴン動きデータのうち照明部分のポリゴ
ンを照明抽出手段２５で抽出し、照明部分動き演算手段
２６において、オブジェクトポリゴン１８と比較するこ
とで制御しようとする照明制御信号Ｙを生成する。
【００１９】こうして得られたポリゴン制御信号Ｘと照
明制御信号Ｙを図１のポリゴン制御手段８、およびテク
スチャー制御手段７にそれぞれ印加することでユーザポ
リゴンが原画ポリゴンの動きにあわせて、またユーザポ
リゴンに貼り付けられるテクスチャーデータ上の照明効
果部分も原画の照明部分の動きに合わせて動作するよう
になる。
明制御信号Ｙを図１のポリゴン制御手段８、およびテク
スチャー制御手段７にそれぞれ印加することでユーザポ
リゴンが原画ポリゴンの動きにあわせて、またユーザポ
リゴンに貼り付けられるテクスチャーデータ上の照明効
果部分も原画の照明部分の動きに合わせて動作するよう
になる。
【００２０】その結果、ユーザのテクスチャーデーター
６が原画オブジェクトポリゴンで動き、原画オブジェク
トとユーザオブジェクトがすりかえて表示されるように
なる。
６が原画オブジェクトポリゴンで動き、原画オブジェク
トとユーザオブジェクトがすりかえて表示されるように
なる。
【００２１】以上、実施例では、ポリゴン制御やテクス
チャー制御は、それぞれ、メモリーに書き込まれたポリ
ゴンアドレスやテクスチャーアドレスをメモリー上でポ
リゴン制御信号やテクスチャー制御信号でアドレスを書
き換えたり、ＣＰＵなどの演算装置を介してアドレス割
り当てを演算し、そのまま画像出力する、あるいは、予
めディスクに書き込まれたポリゴンアドレスやテクスチ
ャーアドレスをメモリーへ取り込み、これに予め制御信
号と原画が書き込まれたディスクを再生しながら、制御
信号とともに再生するなど複数の手段が考えられるが、
いずれにしても制御信号で画像を制御できるものであれ
ばよい。
チャー制御は、それぞれ、メモリーに書き込まれたポリ
ゴンアドレスやテクスチャーアドレスをメモリー上でポ
リゴン制御信号やテクスチャー制御信号でアドレスを書
き換えたり、ＣＰＵなどの演算装置を介してアドレス割
り当てを演算し、そのまま画像出力する、あるいは、予
めディスクに書き込まれたポリゴンアドレスやテクスチ
ャーアドレスをメモリーへ取り込み、これに予め制御信
号と原画が書き込まれたディスクを再生しながら、制御
信号とともに再生するなど複数の手段が考えられるが、
いずれにしても制御信号で画像を制御できるものであれ
ばよい。
【００２２】また、原画オブジェクトの顔の傾き、動
き、表情の動きについて説明したが、オブジェクトの特
徴点を瞳に選べば視線の動きになり、口の場合は、唇の
代表点を複数選べば口の動きとして話てる様子を表現で
きる。また、眉やほうべたも代表点を選んでポリゴン化
すれば表情として表現される。さらには、照明によるハ
レーションについても周辺より明るい部分を選択的に特
徴点としてポリゴン化して、原画のなかの複数のハレー
ション部分を抽出すれば、照明方向が算出され、照明デ
ータとしてこれもテクスチャーデータの明るさを制御す
ることによって照明効果も表現できるようになる。
き、表情の動きについて説明したが、オブジェクトの特
徴点を瞳に選べば視線の動きになり、口の場合は、唇の
代表点を複数選べば口の動きとして話てる様子を表現で
きる。また、眉やほうべたも代表点を選んでポリゴン化
すれば表情として表現される。さらには、照明によるハ
レーションについても周辺より明るい部分を選択的に特
徴点としてポリゴン化して、原画のなかの複数のハレー
ション部分を抽出すれば、照明方向が算出され、照明デ
ータとしてこれもテクスチャーデータの明るさを制御す
ることによって照明効果も表現できるようになる。
【００２３】また、体全体の動きを現した人の姿の場合
や模型、工作物などの立体物でも同様である。
や模型、工作物などの立体物でも同様である。
【００２４】次に本発明で音声も原音から入れ替える場
合について図３とともに説明する。図３で入力手段２７
で入力された音声信号がA/D変換手段２８でディジタル
変換されユーザフォルマント生成手段２９で音声合成さ
れる。一方原音３０から取り込まれた原音のディジタル
音声を原画フォルマント生成手段３１でフォルマント変
換し、選択されたオブジェクトに対応したフォルマント
のみをフォルマントトラッキング手段３２で追従し、こ
れをテキスト変換手段３３でテキストデータ３４を生成
する。生成されたテキストデータをフォルマント制御手
段３５に印加してユーザフォルマントをテキストデータ
にもとづいてフォルマントを制御し音声変換手段３６で
音声に変換して出力３６へ出力する。フォルマント変換
については、映像と同様に、メモリーに書き込まれたフ
ォルマント信号をメモリー上でテキスト制御信号でアド
レスを書き換えたり、ＣＰＵなどの演算装置を介してア
ドレス割り当てを演算し、そのまま音声出力する、ある
いは、予めディスクに書き込まれた実音声信号をメモリ
ーに取り込み、これに予め制御信号と原音が書き込まれ
たディスクを再生しながら、制御信号とともに再生する
など複数の手段が考えられるが、いずれにしても制御信
号で音声を制御できるものであればよい。
合について図３とともに説明する。図３で入力手段２７
で入力された音声信号がA/D変換手段２８でディジタル
変換されユーザフォルマント生成手段２９で音声合成さ
れる。一方原音３０から取り込まれた原音のディジタル
音声を原画フォルマント生成手段３１でフォルマント変
換し、選択されたオブジェクトに対応したフォルマント
のみをフォルマントトラッキング手段３２で追従し、こ
れをテキスト変換手段３３でテキストデータ３４を生成
する。生成されたテキストデータをフォルマント制御手
段３５に印加してユーザフォルマントをテキストデータ
にもとづいてフォルマントを制御し音声変換手段３６で
音声に変換して出力３６へ出力する。フォルマント変換
については、映像と同様に、メモリーに書き込まれたフ
ォルマント信号をメモリー上でテキスト制御信号でアド
レスを書き換えたり、ＣＰＵなどの演算装置を介してア
ドレス割り当てを演算し、そのまま音声出力する、ある
いは、予めディスクに書き込まれた実音声信号をメモリ
ーに取り込み、これに予め制御信号と原音が書き込まれ
たディスクを再生しながら、制御信号とともに再生する
など複数の手段が考えられるが、いずれにしても制御信
号で音声を制御できるものであればよい。
【００２５】以上、実施例では、フォルマント変換を用
いたが、テキスト信号で単に音声合成したもであって
も、また、ユーザの実録音信号をそのまま利用したもの
でも良い。
いたが、テキスト信号で単に音声合成したもであって
も、また、ユーザの実録音信号をそのまま利用したもの
でも良い。
【００２６】以上、ポリゴンを使った場合について説明
したが、ポリゴンに変わる手段として他の３次元情報デ
ータ群であっても、あるいは、オブジェクトを複数の方
向から撮影した写真などの２次元データからオブジェク
トの３６０度方向の撮影データを予め、補間作成した２
次元情報のままオブジェクトを制御しても構わない。
したが、ポリゴンに変わる手段として他の３次元情報デ
ータ群であっても、あるいは、オブジェクトを複数の方
向から撮影した写真などの２次元データからオブジェク
トの３６０度方向の撮影データを予め、補間作成した２
次元情報のままオブジェクトを制御しても構わない。
【００２７】本発明の第２の実施例としては、構成手段
についてのみ本発明の第１の実施例と異なるので構成の
み簡単に説明する。
についてのみ本発明の第１の実施例と異なるので構成の
み簡単に説明する。
【００２８】図２の制御信号ＸまたはＹを得る手段とし
て、それぞれの手段を一部手動にしてハードウェア構成
を簡単化したり、予め演算した結果のオブジェクトの動
きなどを制御、加工、編集する信号ＸまたはＹとして、
別の記録メディアに記録しておいて原画の再生とともに
順次信号Ｘまたは、Ｙを再生することも構わない。図４
は、その一実施例であり、記録メディア３７が、複数の
層として、第１の信号層３８と第２の信号層３９の２つ
の信号層で構成されていて、第１の信号層３８に背景な
どの原画像を記録し、第２の信号層３９にオブジェクト
の動きなどを制御、加工、編集する信号ＸまたはＹを記
録したものである。この２つの信号層にそれぞれレーザ
光４０、４１をレンズ４２を介して信号層に照射して反
射光から第１の信号層からの再生信号４３と第２の信号
層からの再生信号４４をよみとることができるようにし
たものである。また、第２の信号層を記録できる信号層
として構成するとユーザ固有のデータとして記録保存
し、制御信号Ｘ、Ｙとして再生することや、予め第１の
信号層を再生して演算した制御信号Ｘ，Ｙを記録し、再
生すれば、演算時間が長いような高密度な映像再生を可
能にすることも可能である。
て、それぞれの手段を一部手動にしてハードウェア構成
を簡単化したり、予め演算した結果のオブジェクトの動
きなどを制御、加工、編集する信号ＸまたはＹとして、
別の記録メディアに記録しておいて原画の再生とともに
順次信号Ｘまたは、Ｙを再生することも構わない。図４
は、その一実施例であり、記録メディア３７が、複数の
層として、第１の信号層３８と第２の信号層３９の２つ
の信号層で構成されていて、第１の信号層３８に背景な
どの原画像を記録し、第２の信号層３９にオブジェクト
の動きなどを制御、加工、編集する信号ＸまたはＹを記
録したものである。この２つの信号層にそれぞれレーザ
光４０、４１をレンズ４２を介して信号層に照射して反
射光から第１の信号層からの再生信号４３と第２の信号
層からの再生信号４４をよみとることができるようにし
たものである。また、第２の信号層を記録できる信号層
として構成するとユーザ固有のデータとして記録保存
し、制御信号Ｘ、Ｙとして再生することや、予め第１の
信号層を再生して演算した制御信号Ｘ，Ｙを記録し、再
生すれば、演算時間が長いような高密度な映像再生を可
能にすることも可能である。
【００２９】また同様に、図１のユーザポリゴン生成に
ついても、各手段の一部を手動にして、予め、別の記録
メディアに記録したものを再生して背景映像との合成の
みリアルタイムに自動処理することも構わない。
ついても、各手段の一部を手動にして、予め、別の記録
メディアに記録したものを再生して背景映像との合成の
みリアルタイムに自動処理することも構わない。
【００３０】図３の音声信号は、原画の音声と入れ替え
ない場合はもちろん不要であることはいうまでもない
が、図３の各構成も予め音声データとして作成し記録し
たものを原画再生と動機して再生することも構わない。
ない場合はもちろん不要であることはいうまでもない
が、図３の各構成も予め音声データとして作成し記録し
たものを原画再生と動機して再生することも構わない。
【００３１】図５は、こうした一連の動作の見取り図を
模式的に示すものであり、以下に図面と共にその動作の
概要を説明する。
模式的に示すものであり、以下に図面と共にその動作の
概要を説明する。
【００３２】４３はユーザの写真であり、４６はこれを
もとに作成されたユーザの３次元顔モデルである。一方
４７は原画で、この原画のなかの３次元オブジェクトを
抽出したものが４８であり、この時間軸情報を各コマと
してとりだしたものが４９である。この時間軸情報４９
に基づいて動きデータＸ，Ｙを予め作成されたユーザの
３次元顔モデルに通知してユーザモデルの動画データ５
０を得る。その後背景映像となる原画４７とシースルー
にしたユーザモデルの動画データ５０を重ね合わせ表示
する。
もとに作成されたユーザの３次元顔モデルである。一方
４７は原画で、この原画のなかの３次元オブジェクトを
抽出したものが４８であり、この時間軸情報を各コマと
してとりだしたものが４９である。この時間軸情報４９
に基づいて動きデータＸ，Ｙを予め作成されたユーザの
３次元顔モデルに通知してユーザモデルの動画データ５
０を得る。その後背景映像となる原画４７とシースルー
にしたユーザモデルの動画データ５０を重ね合わせ表示
する。
【００３３】オバーレイなどのシースルー合成を使うと
背景動画などの第１のレイヤーフレームでは原画に何ら
加工することなくそのまま表示すればよいので原画の再
生手段は従来のまま単に再生すればよいので、その構成
は簡単化できる。また、入れ替えたオブジェクトは第２
のレイヤーの制御信号によって動作しながら、第１のレ
イヤーフレームの上に重ねて表示するだけであり第２の
レイヤーの上で入れ替えたオブジェクト以外のデータは
クロマキー（いはゆる青色の背景）にすることでシース
ルーになって第１のレイヤーと第２のレイヤーの上で入
れ替えたオブジェクトを重ねて同時に見ることが可能と
なる。
背景動画などの第１のレイヤーフレームでは原画に何ら
加工することなくそのまま表示すればよいので原画の再
生手段は従来のまま単に再生すればよいので、その構成
は簡単化できる。また、入れ替えたオブジェクトは第２
のレイヤーの制御信号によって動作しながら、第１のレ
イヤーフレームの上に重ねて表示するだけであり第２の
レイヤーの上で入れ替えたオブジェクト以外のデータは
クロマキー（いはゆる青色の背景）にすることでシース
ルーになって第１のレイヤーと第２のレイヤーの上で入
れ替えたオブジェクトを重ねて同時に見ることが可能と
なる。
【００３４】以上示したように、選択されたオブジェク
トの顔を自動的に追尾しながら原画オブジェクトのスケ
ールサイズや顔の正面、側面などの同一パターンを検出
し、この同一パターンデータの動きからデータ変化の微
分値や経過を演算した積分値を演算し動きデータを生成
する。この動きデータにもとづいて得られた原画ポリゴ
ン制御信号と照明制御信号は、選択された原画オブジェ
クトの顔の傾き、動き、表情、照明変化などの動きデー
タの上にユーザーのテクスチャーを貼り付けて生成され
たものであるから、原画オブジェクトとユーザがすりか
えて表示されるようになる。
トの顔を自動的に追尾しながら原画オブジェクトのスケ
ールサイズや顔の正面、側面などの同一パターンを検出
し、この同一パターンデータの動きからデータ変化の微
分値や経過を演算した積分値を演算し動きデータを生成
する。この動きデータにもとづいて得られた原画ポリゴ
ン制御信号と照明制御信号は、選択された原画オブジェ
クトの顔の傾き、動き、表情、照明変化などの動きデー
タの上にユーザーのテクスチャーを貼り付けて生成され
たものであるから、原画オブジェクトとユーザがすりか
えて表示されるようになる。
【００３５】以上、原画の俳優を他の人物に置き換えて
鑑賞することをその効果として説明したが、予め完成し
た作品の場合は、あらかじめ原画の俳優の許諾を得てか
ら鑑賞することが必要であることはいうまでもないが、
これから新たに制作する作品の場合は、作成時点で俳優
の了解の上で制御データを作成すればよい。
鑑賞することをその効果として説明したが、予め完成し
た作品の場合は、あらかじめ原画の俳優の許諾を得てか
ら鑑賞することが必要であることはいうまでもないが、
これから新たに制作する作品の場合は、作成時点で俳優
の了解の上で制御データを作成すればよい。
【００３６】
【発明の効果】本発明によるすり替え編集システムによ
れば、ユーザが選んだ任意の俳優の顔データを任意に選
んで入力した顔データに入れ替えて楽しむ事が可能にな
り、一つの映画などの作品をいろいろな編集によって何
度も楽しむことが可能となる。
れば、ユーザが選んだ任意の俳優の顔データを任意に選
んで入力した顔データに入れ替えて楽しむ事が可能にな
り、一つの映画などの作品をいろいろな編集によって何
度も楽しむことが可能となる。
【図１】本発明の一実施例におけるすり替え編集システ
ムの構成図
ムの構成図
【図２】本発明の一実施例におけるポリゴン制御信号と
照明制御信号の生成を示すブロック図
照明制御信号の生成を示すブロック図
【図３】本発明の一実施例における音声のすり替え信号
の生成を示すブロック図
の生成を示すブロック図
【図４】２層ディスクの１例を示す図
【図５】本発明の要旨を説明するための図
１ 入力 ２ 標準ポリゴン ３ ポリゴン比較手段 ４ ユーザポリゴンデータ ５ テクスチャー分割手段 ６ テクスチャーデータ ７ テクスチャー制御手段 ８ ポリゴン制御手段 ９ テクスチャーマッピング １３ 原画 １４ オブジェクト選択手段 １５ オブジェクトの選択的トラッキング手段 １６ オブジェクトデータ １７ ポリゴン比較手段 １８ オブジェクトポリゴンデータ １９ 原画連続再生手段 ２０ 自動選択トラッキング手段 ２１ 連続オブジェクトデータ ２２ ポリゴン比較手段 ２３ 原画ポリゴンデータ ２４ ポリゴンの動き演算手段 ２５ 照明部分抽出手段 ２６ 照明部分動き演算手段 ２７ 音声入力手段 ２８ アナログディジタル変換機 ２９ ユーザフォルマント生成手段 ３０ 原音取り込み手段 ３１ オブジェクト音声選択手段 ３２ フォルマントトラッキング手段 ３３ テキスト変換手段 ３４ テキストデータ ３５ フォルマント制御手段 ３６ 出力手段
Claims (11)
- 【請求項１】 原画の中のオブジェクトの特徴または、
その動きに基づいてこれと類似した、または、他の少な
くとも一つ以上のオブジェクトとを加工、制御あるい
は、入れ替え編集を行う動作制御手段を備えたことを特
徴とするすり替え編集システム。 - 【請求項２】 前記の原画の中のオブジェクトの動きと
表情と撮影アングルと照明の方向と明るさ、色合い、透
明度のいずれか一つの動的情報を算出する機能を備えた
ことを特徴とする請求項１記載のすり替え編集システ
ム。 - 【請求項３】 前記の原画の中で同一の映像パターンを
検知し、前記検知したパターンを３次元情報化したオブ
ジェクトとして合成し、前記オブジェクトを追従すると
き単位時間経過前後の動き量を差分計算することによっ
て原画の中のオブジェクトの動的情報を算出するように
したことを特徴とする請求項１記載のすり替え編集シス
テム。 - 【請求項４】 前記の原画の中で同一の映像パターンを
検知し、前記検知したパターンを３次元情報化したオブ
ジェクトとして合成し、前記オブジェクトを追従すると
き単位時間経過前後の動き量を差分計算することによっ
て原画の中のオブジェクトの動的情報を算出した結果、
原画オブジェクトと相対的に大きさのみが変化した場合
は、これをスケール情報として出力するようにすること
を特徴とする請求項１記載のすり替え編集システム。 - 【請求項５】 前記の３次元情報化されたオブジェクト
のテクスチャーデータが単位時間経過前後に生じる明る
さと色の変化値を差分計算することによって原画オブジ
ェクトの明るさの動的情報を算出し、前記の原画オブジ
ェクトの動的計算結果と比較して動きに伴う変化の場合
には照明方向の変化値として照明方向を算出することを
特徴とする請求項１記載のすり替え編集システム。 - 【請求項６】 入れ替え編集対象のオブジェクトの映像
データから３次元情報データを作成し、前記３次元情報
データに前記のオブジェクトの映像をテクスチャーマッ
ピングするとともに請求項３記載の原画の中のオブジェ
クトの３次元情報の動的情報をもとに、前記入れ替え編
集対象のオブジェクトの３次元情報データの動きを決定
することを特徴とする請求項１記載のすり替え編集シス
テム。 - 【請求項７】 制御データを入れ替え対象の３次元情報
データの動作制御手段へ通知することを特徴とする請求
項３〜６のいずれか１項に記載のすり替え編集システ
ム。 - 【請求項８】 入れ替え編集対象のオブジェクトのテク
スチャーマッピングの明るさデータを請求項５に記載の
明るさ動的情報をもとに決定することを特徴とする請求
項６記載のすり替え編集システム。 - 【請求項９】 ３次元情報の代わりに複数の２次元情報
から補間されて得られた擬似的な３次元情報を利用した
ことを特徴とする請求項３〜７のいずれか１項に記載の
すり替え編集システム。 - 【請求項１０】 制御データを記録したメディアを再生
する手段を有する請求項２〜８のいずれか１項に記載の
すり替え編集システム。 - 【請求項１１】 動的制御手段の演算を自動化または、
手動化、またはこれを組み合わせたことを特徴とする請
求項１〜９のいずれか１項に記載のすりかえ編集システ
ム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8273167A JPH10126687A (ja) | 1996-10-16 | 1996-10-16 | すり替え編集システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8273167A JPH10126687A (ja) | 1996-10-16 | 1996-10-16 | すり替え編集システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10126687A true JPH10126687A (ja) | 1998-05-15 |
Family
ID=17524042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8273167A Withdrawn JPH10126687A (ja) | 1996-10-16 | 1996-10-16 | すり替え編集システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10126687A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002033660A1 (fr) * | 2000-10-20 | 2002-04-25 | Matsushita Electric Industrial Co., Ltd. | Dispositif de production d'informations video |
| JP2004264907A (ja) * | 2003-02-17 | 2004-09-24 | Sony Computer Entertainment Inc | 画像生成システム、画像生成装置、画像生成方法 |
| KR100813947B1 (ko) * | 2001-09-08 | 2008-03-14 | 삼성전자주식회사 | 프로그램 상에서 호명되는 이름을 시청자의 요구에 맞추어변경하여 제공하는 시스템 및 그 방법 |
| CN100382576C (zh) * | 2002-05-28 | 2008-04-16 | 卡西欧计算机株式会社 | 合成图像输出设备及方法 |
| JP2008271495A (ja) * | 2007-04-16 | 2008-11-06 | Chang Hwan Lee | ユーザー指定の顔面像が反映された映像コンテンツの製作システム |
| US7787028B2 (en) | 2002-05-28 | 2010-08-31 | Casio Computer Co., Ltd. | Composite image output apparatus and composite image delivery apparatus |
| JP2015185879A (ja) * | 2014-03-20 | 2015-10-22 | フリュー株式会社 | 管理サーバ、画像管理方法、制御プログラム、コンピュータ読み取り可能な記録媒体 |
| KR101691806B1 (ko) * | 2015-07-13 | 2017-01-02 | 주식회사 시어스랩 | 전처리를 이용한 영상 디스플레이 방법 및 장치 |
| WO2017013925A1 (ja) * | 2015-07-21 | 2017-01-26 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0223473A (ja) * | 1988-07-13 | 1990-01-25 | Kokusai Denshin Denwa Co Ltd <Kdd> | ３次元形状モデルへの濃淡付与方法及び装置 |
| JPH0628449A (ja) * | 1992-07-08 | 1994-02-04 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| JPH07244726A (ja) * | 1993-12-30 | 1995-09-19 | Eastman Kodak Co | 個人化されたビデオエンターテイメント用の顔画像の標準化方法及び装置 |
| JPH07262410A (ja) * | 1994-03-17 | 1995-10-13 | Fujitsu Ltd | 画像合成方法及び装置 |
| JPH07284129A (ja) * | 1994-01-19 | 1995-10-27 | Eastman Kodak Co | ３次元モデル及び深さ測定装置を用いた３次元個人化ビデオ用の方法及び装置 |
| JPH08153213A (ja) * | 1994-09-29 | 1996-06-11 | Hitachi Ltd | 画像合成表示方法 |
-
1996
- 1996-10-16 JP JP8273167A patent/JPH10126687A/ja not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0223473A (ja) * | 1988-07-13 | 1990-01-25 | Kokusai Denshin Denwa Co Ltd <Kdd> | ３次元形状モデルへの濃淡付与方法及び装置 |
| JPH0628449A (ja) * | 1992-07-08 | 1994-02-04 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| JPH07244726A (ja) * | 1993-12-30 | 1995-09-19 | Eastman Kodak Co | 個人化されたビデオエンターテイメント用の顔画像の標準化方法及び装置 |
| JPH07284129A (ja) * | 1994-01-19 | 1995-10-27 | Eastman Kodak Co | ３次元モデル及び深さ測定装置を用いた３次元個人化ビデオ用の方法及び装置 |
| JPH07262410A (ja) * | 1994-03-17 | 1995-10-13 | Fujitsu Ltd | 画像合成方法及び装置 |
| JPH08153213A (ja) * | 1994-09-29 | 1996-06-11 | Hitachi Ltd | 画像合成表示方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002033660A1 (fr) * | 2000-10-20 | 2002-04-25 | Matsushita Electric Industrial Co., Ltd. | Dispositif de production d'informations video |
| KR100813947B1 (ko) * | 2001-09-08 | 2008-03-14 | 삼성전자주식회사 | 프로그램 상에서 호명되는 이름을 시청자의 요구에 맞추어변경하여 제공하는 시스템 및 그 방법 |
| CN100382576C (zh) * | 2002-05-28 | 2008-04-16 | 卡西欧计算机株式会社 | 合成图像输出设备及方法 |
| US7787028B2 (en) | 2002-05-28 | 2010-08-31 | Casio Computer Co., Ltd. | Composite image output apparatus and composite image delivery apparatus |
| JP2004264907A (ja) * | 2003-02-17 | 2004-09-24 | Sony Computer Entertainment Inc | 画像生成システム、画像生成装置、画像生成方法 |
| JP2008271495A (ja) * | 2007-04-16 | 2008-11-06 | Chang Hwan Lee | ユーザー指定の顔面像が反映された映像コンテンツの製作システム |
| JP4665147B2 (ja) * | 2007-04-16 | 2011-04-06 | エフエックスギア インコーポレイテッド | ユーザー指定の顔面像が反映された映像コンテンツの製作システム |
| JP2015185879A (ja) * | 2014-03-20 | 2015-10-22 | フリュー株式会社 | 管理サーバ、画像管理方法、制御プログラム、コンピュータ読み取り可能な記録媒体 |
| KR101691806B1 (ko) * | 2015-07-13 | 2017-01-02 | 주식회사 시어스랩 | 전처리를 이용한 영상 디스플레이 방법 및 장치 |
| WO2017013925A1 (ja) * | 2015-07-21 | 2017-01-26 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JPWO2017013925A1 (ja) * | 2015-07-21 | 2018-05-10 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US11481943B2 (en) | 2015-07-21 | 2022-10-25 | Sony Corporation | Information processing apparatus, information processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6556775B1 (en) | Image and sound reproduction system | |
| US5734794A (en) | Method and system for voice-activated cell animation | |
| US6492990B1 (en) | Method for the automatic computerized audio visual dubbing of movies | |
| US8655152B2 (en) | Method and system of presenting foreign films in a native language | |
| US20070165022A1 (en) | Method and system for the automatic computerized audio visual dubbing of movies | |
| US7109993B2 (en) | Method and system for the automatic computerized audio visual dubbing of movies | |
| KR20030036747A (ko) | 원래 영상에 사용자 영상을 수퍼임포징하는 방법 및 장치 | |
| US8170239B2 (en) | Virtual recording studio | |
| JP2007529951A (ja) | 動画シーケンス合成用ディジタルビデオシステム | |
| KR102186607B1 (ko) | 증강현실을 통한 발레 공연 시스템 및 방법 | |
| US11570378B2 (en) | Methods and apparatus for metadata-based processing of media content | |
| US7554542B1 (en) | Image manipulation method and system | |
| KR20100017242A (ko) | 파노라마식 사운드 이미지를 생성하고 재생하는 방법과, 그러한 이미지를 재생하기 위한 장치 | |
| JPH10126687A (ja) | すり替え編集システム | |
| KR100411760B1 (ko) | 애니메이션 영상 합성 장치 및 방법 | |
| KR20070098362A (ko) | 배경 음악을 동영상에 합성시키는 음성 합성 장치 및 방법 | |
| KR101773891B1 (ko) | 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법 | |
| JP2006221489A (ja) | Ｃｇアニメーション製作システム | |
| KR20200025285A (ko) | 컨텐츠 체험관 | |
| JPH11149285A (ja) | 映像音響システム | |
| JP7011728B2 (ja) | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 | |
| KR20170075321A (ko) | 증강현실 노래방 시스템 | |
| JP2003346180A (ja) | ３ｄ画像合成システム | |
| KR20070098361A (ko) | 2차원 배경 이미지를 3차원 공간에 합성시키는 영상 합성장치 및 방법 | |
| Li | Musical Instrument Performance in Augmented Virtuality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050623 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20060831 |