JPH0721606B2 - 映画作品の顔デイスプレイの変更 - Google Patents

映画作品の顔デイスプレイの変更

Info

Publication number
JPH0721606B2
JPH0721606B2 JP61068853A JP6885386A JPH0721606B2 JP H0721606 B2 JPH0721606 B2 JP H0721606B2 JP 61068853 A JP61068853 A JP 61068853A JP 6885386 A JP6885386 A JP 6885386A JP H0721606 B2 JPH0721606 B2 JP H0721606B2
Authority
JP
Japan
Prior art keywords
computer
frame
lip
frames
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP61068853A
Other languages
English (en)
Other versions
JPS61226736A (ja
Inventor
リチヤード・ダヴリユウ・ブルームスタイン
Original Assignee
リチヤード・ダヴリユウ・ブルームスタイン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リチヤード・ダヴリユウ・ブルームスタイン filed Critical リチヤード・ダヴリユウ・ブルームスタイン
Publication of JPS61226736A publication Critical patent/JPS61226736A/ja
Publication of JPH0721606B2 publication Critical patent/JPH0721606B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G11B27/028—Electronic editing of analogue information signals, e.g. audio or video signals with computer assistance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B31/00—Associated working of cameras or projectors with sound-recording or sound-reproducing means
    • G03B31/02—Associated working of cameras or projectors with sound-recording or sound-reproducing means in which sound track is on a moving-picture film
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/032—Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508—Magnetic discs
    • G11B2220/2512—Floppy disks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G11B27/024—Electronic editing of analogue information signals, e.g. audio or video signals on tapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Slot Machines And Peripheral Devices (AREA)

Description

【発明の詳細な説明】 発明の背景 本発明は一般に、映画作品で元の（第１の）、すなわち
現在ある動く顔デイスプレイを新しい（第２の）動く顔
デイスプレイに置き換えることによつて映画作品を変更
する方法に関するものであり、この場合デイスプレイは
俳優の使う言語に対応する唇の動きを示し、また２つの
デイスプレイは充分に異なつているので各デイスプレイ
で唇および／または他の顔の動きが異なる。
本発明は唇の動きが対話と一致しない単純な「ダブド・
イン」効果（“dubbed in"effect）を避けることを意図
している、したがつて、本発明が特に適用可能なのは、
映画のサウンド・トラツクを別の言語の新しいサウンド
・トラツクに置き換えるとともに映画の中の俳優の唇の
動きをサウンド・トラツクに入れる新しい言語と合うよ
うに変える場合である。本発明は俳優を使つた作品だけ
でなく、漫画映画にも適用できる。
1981年４月７日に認可された米国特許第4,260,229号に
は、可視画像と音声をフイルム、ビデオテープ等の媒体
に記録するとき、唇の動きが使用する言語に対応するよ
うにして映画作品を一層リアルかつ興味深くするため、
唇の動き等の所定の可視画像を音声と一致するようにグ
ラフ的に作成するシステムと方法が図示、説明されてい
る。
上記特許のシステムでは、音声が分析され、デイジタル
的に符号化され、コンピユータに送られる。音声に対応
する唇の動きの可視画像を発生する出力データを作成す
るためのプログラムがコンピユータ内に格納されてい
る。音声に対するデータの制御下で、コンピユータから
のグラフイツク出力がグラフイツク出力機器と関連のデ
イスプレイ装置に送られてグラフイツク・デイスプレイ
が作られ、これが音声と組み合わされる。その結果得ら
れる音声−可視デイスプレイでは唇の動きが音声と合つ
ている。
発明の目的と要約 一般的に言えば、本発明の１つの目的はプログラムド・
デイジタル・コンピユータと選定されたデータの新規な
使い方によりフイルムのコマ（フレーム）の唇の動きを
補正する改良された新規な方式を提供することにより、
もとのサウンド・トラツクが外国語で唇の動きが違う映
画のもとのサウンド・トラツクを唇の動きが正しいサウ
ンド・トラツクに置き換えてフイルムの「ダブド・イ
ン」現象を避けることである。
本発明のもう１つの目的は音素コードを記憶する必要も
なく口の形の綿密な図を用意する必要もない、すなわち
口の形がほんの数個でこれを独特のアルゴリズムと一緒
に使うことにより映画作品の新しい言語に合うように唇
の形状を変える上記の型の方法と構成を提供することで
ある。
本発明のもう１つの目的は音声が必要とする唇の形をき
めるために音声符号器を必要としない上記の型の方法と
構成を提供することである。音声符号器のかわりに俳優
を使つて録音し、既存の映画作品の声と唇の動きを俳優
の声と唇の動きに置き換える。音声は映画すなわちビデ
オ部分とは別個に録音され、ビデオ部分を使つてフレー
ム毎に限られた数の測定値をグラフ的に作る。しかし、
各フレームについて測定を行なう必要はなく、一般にフ
レームのスロー・モーシヨン像で見て唇の方向に変化が
あるフレームについてだけ測定すればよい。中間のフレ
ームの測定は非線形補間アルゴリズムを使つてコンピユ
ータ内で実行される。これらの測定によつて、新しい声
ともとの唇の形との関係が一層直接的になる。
可能なときは、新しい声ともとの唇が合うフレームを選
択する努力が行なわれる。時にはこれはフレームのスキ
ツプおよび／または二重化を意味する。しかし、この方
法では許容できる動きが必らずしも得られず、多くのフ
レームを変更しなければならない。この目的のため、唇
とあごの曲線を含む標準顔面曲線が描かれる。これらの
標準曲線に対するデータはプログラミングされたデイジ
タル・コンピユータに送られ、これは相互に行なわれ
る。標準曲線には詳しくは完全に開いた口、完全に閉じ
た口、標準幅の口、すぼめた口を含めることができる。
これらの標準曲線は各フレームに対して後で口、あご、
および唇の線の補間を行なうための基礎となる。
たとえば俳優の下唇が25％開いている場合の近似曲線
は、その俳優の標準閉口位置曲線と標準解放位置曲線と
の間の25％の各点の補間で計算した曲線となる。これに
関連してわかつたことは特定の俳優の開口または閉口の
位置は口の幅全体について比較的一定であるということ
である。この発見により一般に図形が簡単となり、唇の
形状の適度に正確な補正を行なうために必要な曲線の数
が少なくなる。
コンピユータ内の変更によつて新しい唇の形状を作成す
ることによつてフレームが訂正される。コンピユータは
イメージ・プロセツサと一緒に使用される。これは公知
の市販装置である。訂正プロセスの間、コンピユータと
イメージ・プロセツサの間に信号のやり取りが行なわれ
る。イメージ・プロセツサは連続したビデオ・フレーム
をアナログ形式で受け、デイジタル形式に変換してその
中に記憶することができる。更に、各フレームはイメー
ジ・プロセツサから標準のビデオ・モニタに送り直し
て、そこでフレームを静止画像として出すこともでき
る。イメージ・プロセツサは１秒間に60回フレームに必
要なビデオ信号をモニタに送ることができ、これにより
訂正されたビデオ・フレームを見たり処理動作で処理し
たりすることができる。ビデオ・スクリーンは通常画素
で構成され、各画素は走査されデイジタル化されて、も
とのシーンの多数の点（たとえば512×480の画素または
点）の光強度に対応する数字アレイが得られる。これら
の数字は大容量ではあるが通常のデイジタル・コンピユ
ータ・メモリーに記憶され、そこからデイスプレイされ
る。各数はもとの点位置に対応する一義的な位置によつ
てアドレス指定可能である。１組のメモリー位置から他
の組のメモリー位置に数を動かすことには１つの領域か
ら他の領域にフレームの一部を動かす効果がある。移動
はコンピユータによつて行なわれるので、移動には複雑
な移動に対応する複雑な数値アルゴリズムが関係するこ
とがある。このデイジタル数により、デイスプレイされ
た顔で直接、俳優の唇を「拡げ」たり「すぼめ」たりす
ることができる。更に、各点が標準曲線相互の間のどこ
にあるか、そして新しい言語の唇の動きの測定値と既存
の言語の唇の動きの測定値によつてきまる変更の程度す
なわちパーセントに応じて、俳優の顔の各点の個々の動
きがコンピユータ・アルゴリズムによつて計算される。
ビデオ・デイスプレイされた俳優の顔の画素が上記の計
算に基いて移動された後、コンピユータ・プログラムは
前のフレームからの補充を行なう。たとえば、コンピユ
ータは俳優の開いた口から見える歯をコンピユータ・メ
モリーの一部に記憶する。これにより、後のフレームで
開いたとき口に補充することができる。
更に一般的に言えば本発明の方法では、ある映画作品で
あつて、元の（第１の）言語に対応する現在存在する元
の（第１の）顔デイスプレイを、新しい（第２の）言語
に対応する新しい（第２の）顔デイスプレイに置き換え
ることにより映画作品を変更する方法であつて、ここ
で、顔デイスプレイとは該作品に使用されている言語に
対応する唇の動きを有するものを指し、この方法は元の
（第１の）複数の映画のコマにわたつて第１の顔デイス
プレイの形状を表わすデイジタル形式の元の（第１の）
組のデータを発生すること、新しい（第２の）複数の映
画のコマにわたつて第２の顔デイスプレイの形状を表わ
すデイジタル形式の新しい（第２の）組のデータを発生
すること、そして上記両組のデータとプログラムド・デ
イジタル・コンピユータの制御下で上記第１の顔デイス
プレイの形状を上記第２の顔デイスプレイの形状を実質
的に作り出すように変更することを含む。
見方を変えれば本発明の方法では、多数のフレームで構
成された映画作品で第１の言語と対応する唇の動きを第
２の言語と対応する唇の動きに置き換える必要があり、
２つの言語の唇の動きが異なつている場合に各言語の唇
の動きをデイジタル形式で表わすデータを発生する事、
上記データをプログラムド・デイジタル・コンピユータ
に送る事、ならびに上記コンピユータの制御下で上記デ
ータに従つて、フレームの選択された領域の光強度を変
更することにより唇の動きを上記第２の言語に対応する
形状に変更することが含まれる。
詳細な説明 以下、図面を参照して更に詳細に説明する。第１図は本
発明の開示された実施例による基本的な機能ステツプを
示すブロツク図である。すなわちこのブロツク図は外国
語の映画２の一部を第２の言語の対話すなわち新しい言
語の対話とそれに付随する唇の動きを含む顔のアニメー
シヨンに置き換えるための構成を示す。外国語の作品は
フイルム状になつていてもビデオ・テープ状になつてい
てもよい。新しい俳優を使つてしやべらせ（音声）、音
声と唇の動きをフイルムの俳優のものに置き換える。新
しい言語の俳優はテープ等の録音媒体４に新しい言語を
録音し、同時にその俳優の唇の動きと形状がビデオテー
プに録画され、デイスプレイされ、測定される。この情
報はデイジタル形式に変換される。同様に、フイルム内
の俳優の頭と唇の動きが頭の動きとともに測定される。
２群のデータはプログラミングされたコンピユータで比
較され、顔の動きとともに唇の動きを新しい俳優の新し
い言語の音声に対応する位置にするため外国フイルムの
俳優の唇の動きに加えなければならない訂正量の大きさ
が得られる。このようなデータはデイジタル形式でコン
ピユータに記憶される。
新しい俳優ともとの俳優の唇の動きの測定値で構成され
るデータはフレーム毎が原則になつているが、間もなく
詳細に説明するように外国フイルムのすべてのフイルム
を使う必要はないことがわかる。更に、唇と顔の動きの
訂正を行なうための基準点として使うため、選択された
フレームから標準曲線が求められる。すべてのデータは
プログラミングされたデイジタル・コンピユータに与え
られる。ここで更に詳しく説明する独特なアルゴリズム
を使うことによつて、新しい言語に対応する所望の唇形
状となるように外国グイルムのフレームが変更される。
その後、新しい言語の音声を新しい言語の唇の動きと組
み合わすことにより、新しいサウンド・トラツクをそな
え、唇の動きを音声に適切に合うように変更したフイル
ムまたはビデオ・テープ６が得られる。プロセス中、外
国フイルムやフレームをビデオ形式に変換して、そこで
唇や変更する他の顔の形状を訂正するのに必要な程度に
画素を動かすことによつて変更を行なうことが好まし
い。次に、変更したフレームを再び撮影してもよいし、
そのかわりに外国映画をビデオ・テープ形式で保存する
こともできる。
第２図ではフイルムを変換する言語で俳優８がマイクロ
ホン10に向つて話す。俳優の声が録音機12で録音され、
同時にビデオ・カメラ14が俳優８の唇の動きを撮影す
る。カメラ14からのビデオ信号はビデオ・テープ・レコ
ーダ16に録画され、レコーダ16は動作させるとその出力
信号をビデオ・モニタ18に送出する。モニタ18はフレー
ムごとに、あるいは選択されたフレームについてビデオ
信号をデイスプレイする。後で更に詳しく説明するよう
にデイスプレイには測定値を入れることもできる。ビデ
オ情報を構成する測定信号はコンピユータ20に送られ
て、デイスケツト22に記録される。
第３図に示すように新しい言語の唇の動きには限られた
数の測定値しか必要ないことがわかつた。一般的に言え
ば、求める測定値は上の高さ26、下の高さ28、内側の幅
30、および外側の幅32である。少なくとも理論的にはす
べてのフレームを測定することもできるが、実際には唇
の動きが変る、すなわち開き始める、開き終る、閉じ始
める、形状が突然変るような選択されたフレームに測定
を限定してもよい。
測定に当つて、操作者は測定すべき各フレームをモニタ
18にデイスプレイした後、定規で距離26,28,30,32を測
定する。
各測定値を俳優８の最大値と比較することにより測定値
を単位唇寸法に変換することもでき、また最大値のパー
セントをインチ、センチメートル等の絶対寸法に言い換
えることもできる。後述するように、これにより音声−
画像フイルムに現在ある唇の動きを比較することがで
き、フイルムの唇の動きも同じ指数に言い換えることも
できる。更に、口の中心（グラフ的にはＸ＝0,Y＝０）
は第３図の24で示すように配置することができる。各々
の動きを測定して、俳優８および唇と声を処理する他の
各俳優の開口状態の最大距離と比較することによつて測
定値をスクリーン座標X,Yの位置から開口パーセントに
変換することができる。
コンピュータ20は周知の型、たとえばIBM PCモデルATで
よく、第３図を参照して説明した種々の測定値はコンピ
ユータ付属の標準キーボードを使つてタイプ・インし、
データをデイスケツト22に記録することができる。
既存すなわち「外国語の」フイルムの頭と唇の動きの測
定はフイルムから、あるいはビデオ・テープのスクリー
ン投射からのフレームを見ながら操作者が行なう。頭と
唇の動きは前述した声の動きと比較され、後で更に詳し
く説明するようにグラフイツク・フレームの変更を制御
するために使用される。前述した新しい言語の唇の動き
と同様に、既存の唇の動きが測定される。これには第３
図と同じ測定値、すなわち上の高さ、下の高さ、内側の
幅、および外側の幅が含まれる。更に、頭の動きは口の
中心のX,Y座標と頭の傾きの変化によつて測定すること
ができる。新しい言語と同様、動きの測定は動きが変化
するフレームに限定することができる。すべてのフレー
ムを扱うこともできるが、本発明の実際の適用ではフイ
ルムの全フレームと比べて少ないフレームしか使わな
い。
第２図に示すように映画作品の入つたフイルム・プロジ
エクタ46はコンピユータ48からの信号の制御によりフレ
ーム毎にスクリーン44に画像を投影する。スクリーン44
の画像はビデオ・カメラ42によつてピツクアツプされ、
イメージ・プロセツサ50に送られる。イメージ・プロセ
ツサはカーソル54のあるモニタ52に画像を再デイスプレ
イする。このようにモニタは画像をフレーム毎に見る。
各フレームは「フローズン（frozen）」画像すなわち静
止画となる。
イメージ・プロセツサ50は公知の装置であり、米国カリ
フオルニア州マウンテンビユーのデイジタル・グラフイ
ツクス社（Digital Graphic Systems,Mountainview,Cal
ifornia）製造のモデル1633とすることができ、これはC
ATという商標で販売され、時にCATモデル1633デイジタ
ル・イメージ・プロセツサと呼ばれる。このイメージ・
プロセツサはビデオ・カメラ42からのアナログ信号を受
け、この信号をデイジタル形式に変換し、フレーム毎の
信号を記憶する。次にイメージ・プロセツサからの信号
はモニタ52に再送される。モニタは各フレームの画像を
毎秒60回受け、観測と訂正作業のための静止フレームす
なわち「フローズン」フレームを提供する。このように
イメージ・プロセツサで行なえることはたとえばビデオ
信号のデイジタル化、信号を光強度（画素すなわち「ピ
クセル（pixel）」のアレイとしてデイジタル・メモリ
ー内に記憶すること、光強度をテレビ・モニタにデイス
プレイすること、ビデオ・モニタ・デイスプレイのＸと
Ｙの指定位置にフラツシング・カーソルを重畳すること
などである。
操作者はコンピユータ48からの信号によりプロジエクタ
46を操作してフレームを進め、フレームがスクリーン44
にデイスプレイされ、これがビデオ・カメラ42によつて
ピツクアツプされる。これに関連して注意しなければな
らないのは、カメラ42のかわりに映画作品はビデオ・テ
ープに入つていても良いということである。この場合、
イメージ・プロセツサへの伝送はビデオテープからフレ
ーム毎に行なうことができる。
操作者はコンピユータへのコマンドの実行によつてデイ
ジタル化とモニタ52のフレームのデイスプレイを指示す
る。次に操作者はカーソル54をデイスプレイさせ、フレ
ーム上の（後述する）選択されたキー点に移動させる。
コンピユータ・キーボード上の選択されたキーを専用に
し、記憶データの指定に特別のコマンド・キーを使うこ
とによつて測定を簡略化することができる。「外国」フ
イルムの唇の動きを構成するデータはデイスケツト56に
記憶され、デイスケツト56はコンピユータ48からそのデ
ータを受ける。各々の動きを測定してフイルムに現われ
る俳優の最大距離と比較することにより、フイルム上の
もとの唇の動きの測定値26a,28a,30a,32aをスクリーン
座標X,Yの位置からパーセント開口に変換することがで
きる。第４図はフイルムの１フレームに於ける俳優の唇
の形状の測定値を示す。種々のフレームからの測定値は
スクリーン座標X,Yの位置からフイルムの特定の俳優の
パーセント開口に変換することができる。指示されると
コンピユータ操作の通常の手法に従つてカーソル54を使
い第４図の種々の測定を行なうことができる。
第５図および第６図は新しい言語の唇の動きとフイルム
に既にある唇の動きの比較をグラフ的に、また図式的に
示している。このように、既存の作品のフレームを新し
い俳優８が示した唇の動きの適当なフレームと組み合わ
せることにより既存の唇の調整量を減らすことができ
る。第５図に示すように、もとの言語の唇の動きに関連
し、デイスケツト56に現われるデータが新しい言語すな
わち第２の言語のデータ22とともにコンピユータ60に送
られる。このように、デイスケツト22,56の２群のデー
タはプログラムド・コンピユータ60に送られ、第２の言
語すなわち新しい言語に対応する唇の動きのデイスプレ
イを発生するために（後述する）標準曲線のデータと協
力するデータを構成するデイスケツトが作られる。
操作者は俳優８の唇から作られたフレーム数を外国グラ
フイツクの既存フレーム数と比較する。操作者はカウン
トを比較し、環境に基いて必要な調整を計算する。たと
えば、第２の言語の音声が300フレームを必要とし、フ
イルム部分に400フレーム入つている場合には、操作者
は（１）作品の最初の100フレームを落す、（２）既存
の作品の最後の100フレームを落す、（３）既存の作品
で４フレームのうち１フレームの割合で落す等の決定を
行なうことができる。訂正が最も重要なクローズアツプ
・シーンでは、操作者は頭と唇の両方の動きに基いて調
整を変えることができる。
フレームの選択または対組み合わせを助けるため、コン
ピユータは第6A図に示すようなグラフをプロツトするよ
うにプログラミングされている。このプロツトはパーセ
ント開口とフレーム番号の関係を示したものである。グ
ラフ70と72はたとえば、曲線70が俳優８の開口の相対パ
ーセント、曲線72がフイルムの俳優の同じデータを表わ
す。訂正量を減らすためには点76をシフトして点74と一
致させ、点80をシフトして点78と一致させることが望ま
しい。コンピユータによつてグラフ70,72を相互にシフ
トして第6B図に示すように垂直方向に点74を点76と一致
させ、点78を点80と一致させることができるので、操作
者は次にフイルム上の唇の動きを調整するために対にす
るフレームを選択することができる。
第３図および第４図に示す唇の動きの測定値に関するデ
ータを入れる前に、操作者は処理しているフイルム区間
の俳優の特性を表わす標準曲線の制御点を識別して決定
する。新しい唇の動きともとの唇の動きの測定値を使つ
て各フレームの変更量が制御されている間に、標準顔面
曲線が変更位置を制御する。新しい声に合わせてフイル
ム内の俳優の顔の特性を表わすためには少数の制御点だ
けを決めればよい。この目的のため、フイルム区間を標
準化するため最低限２フレームの選択を行なう。１つの
フレームは完全開口を示し、他方のフレームは完全閉口
を示す。頭の位置で正当化される場合には付加的なフレ
ームを選択することができる。
第７図に示す標準曲線には鼻境界92、開いた上唇94、中
心線96、開いた下唇98、閉じたあご100、開いたあご10
2、および首境界104が含まれている。２つの付加的な曲
線、すなわち閉じた上唇と閉じた下唇は第７図には示さ
れていない。通常、中心線の曲線96と一致するからであ
る。
開いた上唇の曲線94に対してたとえば第８図に示される
操作者が選択した制御点のX,Y座標を測定し単記するこ
とによつて標準曲線が決定される。他の曲線についても
同じ手順に従つて行なう。通常、唇の曲線に対する制御
点には頬の境界点1a,7a、隅2a,6a、中心4a、中心端の隅
のいずれかの側の１つまたは２つの点3a,5aが含まれ
る。鼻境界と首境界の制御点は任意かつ通常、変更領域
と結合される。あご曲線に対する制御点は対応する下唇
曲線に従う。
操作者は前述した頭と唇の動きの測定に類似した方法で
標準曲線制御点のX,Y座標を測定することができる。こ
のようにしてフイルムをハードウエア42-54を含むテレ
シフア構成に取り付けることができる。標準化のための
フイルムの適当なフレームが得られ、操作者はイメージ
・プロセツサ50へのデイジタル化とビデオ・モニタ52の
デイスプレイを指示する。操作者はコンピユータ48のキ
ーボードの適当なキーを叩くことによつてカーソル54の
移動と点座標の記憶を指示する。従つて、各制御点に対
するX,Y座標は口の中心線（Ｘ＝0,Y＝０）の位置に対す
る実際のX,Yの位置に置かれる。すべての点は１点づ
つ、１曲線づつコンピユータ48に与えられる。これによ
り、個々のフレームを変更する際のフレームからフレー
ムへの移動に対して各曲線の位置をきめることができ
る。
後で示すアルゴリズムとコンピユータ用プログラミング
とともに、説明しているプロセスでもとのフイルムを変
更して録音機12で録音された新しい音声と組み合わせる
フイルムまたはビデオ・テープの新しい区間を得るのに
充分なデータが求められた。使用するハードウエアは第
２図の42-54で表わしたものに１つのフレーム毎に録画
するカメラを追加したものである。
そのかわりに、ハードウエアは第９図に示す形式とする
こともできる。第９図では、フイルムはビデオ・テープ
形式になつており、ビデオ・テープ・レコーダ82からイ
メージ・プロセツサ16aに伝送される。コンピユータ60
a、ビデオ・モニタ52a、およびイメージ・プロセツサ16
aは前述のように動作する。録画カメラ80はモニタ52aの
画像をフレーム毎に録画することができる。録画カメラ
はフイルム・カメラでもビデオ・カセツト・レコーダの
付随したビデオ・カメラでもよい。
前述したようにテレシフア42-46またはVCR構成82はデイ
ジタル・コンピユータ60aに制御されて各フイルム・フ
レームをビデオ信号に変換する。このビデオ信号はデイ
ジタル・イメージ・プロセツサ16aによつてデイジタル
化され、記憶され、再デイスプレイされる。フイルム・
フレームのデイジタル化、記憶、再デイスプレイの他
に、デイジタル・イメージ・プロセツサ16aはコンピユ
ータ60aとの間で光強度情報の送受も行なう。更に詳し
く述べると、イメージ・プロセツサ16aとデイジタル・
コンピユータ60aの動作はイメージ・プロセツサがコン
ピユータからX,Y座標を受け、その座標位置での光強度
に対応する数値を送り返すようになつている。更に、イ
メージ・プロセツサは与えられた座標位置での光強度を
デイジタル・コンピユータから送られた新しい値に置き
換えることができる。従つて、もとの唇の動作曲線（第
４図）のX,Y位置の特定の点を新しい唇の形（第３図）
の対応する点で表わされる新しい位置にシフトまたは移
動するようにできる。上記のことは唇曲線のすべての点
に対して行なわれるので、第４図の唇曲線の種々の点は
第３図の唇曲線に対応してシフトされ、新しい唇の動き
が新しい音に合うようにされる。コンピユータ・プログ
ラムと構成により、シフト量は第７図の一対の標準曲
線、更に詳しくはその間に特定のX,Y点がある２つの標
準曲線を参照して制御される。
本プロセスに一義的に適用されるアルゴリズムによつて
定められたように、鼻と首との間の顔面領域画素に対し
て光強度の反復置換を行なつて画像を修正することによ
り、モニタに再デイスプレイされたとき俳優の口が声の
要求する形状となるようにする。モニタ52aにデイスプ
レイされた修正済みフレームはカメラ80によつて記録さ
れるか、またはビデオ・テープ・レコーダによつて直接
ビデオ・テープに記録される。この変更プロセスはフイ
ルムの対話部分全体が記録されるまでフレーム毎に繰り
返される。
本発明で使用されるアルゴリズムは命令群に変換してコ
ンピユータに入力、記憶させ、実行させることができ
る。前に指適したように、これらのアルゴリズムは標準
曲線の情報またはデータを新しい唇の動きのデータとフ
イルムにある現在の頭と動きのデータに組み合わせる。
アルゴリズムには（１）動き情報に対するフレーム・デ
ータの補間、（２）標準曲線から動作曲線の作成、
（３）曲線遮断の検出、（４）点ごとの置換、および
（５）内側の口領域の補充が含まれる。
幅，高さ，頭の動きとＸ＝０、Ｙ＝０（口の中心）が動
きの情報に対して補間される。前述した測定に関する操
作者の労力を減らすため、このような測定は動きが変る
フレームに対してだけ行なわれた。中間フレームに対す
る動きは直線または線形補間によつて補間することがで
きる。たとえば、閉じたフレームと完全開口フレームと
の間の1/4のフレームは1/4開口とすることができる。し
かし、経験的に唇と頭の動きは非線形になりがちである
と考えられてきた。ここで使用されている補間アルゴリ
ズムは線形成分と二次成分を組み合わせる。これは次の
ように３つの式で中間の値Ｖを計算する。
Ａ＝（Ｆ−F1）／（F2−F1）＋Ｑ×（Ｆ−F1）×（Ｆ−
F1−１）／（（F2−F1）×（F2−F1）） Ｂ＝（F2−Ｆ）／（F2−F1）＋Ｑ×（F2−Ｆ）×（F2−
F1）／（（F2−F1）×（F2−F1）） Ｖ＝（V2×Ａ＋V1×Ｂ）／（Ａ＋Ｂ） ここでＡとＢは３番目の式に使用される一時的な値であ
る。ＶはフレームＦに於ける補間値（たとえば、高さ，
幅，頭の動き）、V1はフレームF1で与えられた値、V2は
フレームF2で与えられた値、Ｑは動きの速度に関連した
加速係数であり、経験的に0.6に選ばれる。これらの式
によつて各フレームに対して補間されるデータには下記
のものが含まれる。
もとの（変更前の）、上唇の高さ、下唇の高さ、内側の
幅、外側の幅、傾斜の変化、ならびに口の中心のX,Y座
標。
希望の新しい言語の（変更後の）、上唇の高さ、下唇の
高さ、内側の幅、ならびに外側の幅。
高さと幅は標準曲線と組み合わされて、関連した口領域
に対する実際の曲線を表わす動作曲線が作られる。
前述したように、標準曲線は操作者が開いた上唇と閉じ
た上唇，下唇、およびあごに対して決定する。もとの外
国語と希望の新しい言語の高さと幅によつて対応する開
口と閉口の標準曲線制御点を補間することにより、前後
の上唇，下唇、およびあごを近似する動作曲線が計算さ
れる。たとえば、希望する新しい言語の上の高さが0.5
（すなわち50％開口）である場合には、上唇の各制御点
のX,Y座標は標準開口上唇と標準閉口上唇に対応する制
御点の間の丁度0.5（すなわち50％）となる。唇とあご
に対する前後の動作曲線が第７図に示す鼻境界、中心
線、および首境界に対する標準曲線を補足する。
限定された数の制御点によつて動作曲線と標準曲線が決
定されるが、制御点の間の中間点または切片は補間によ
つて計算することができる。線形補間は良好な近似であ
るが、経済的に我々が知つたことによればいわゆる３次
スプライン補間が通常の唇曲線の一層良い近似となる。
３次スプライン補間は標準的な数学的技法であるが、た
とえばアデイソン・ウエズリー・パブリツシング社発行
の「アプライド・ニユーメリカル・アナリシス」に詳述
されている（Applied Numerical Analysis,1980,pages4
74〜488,Addison Wesley Publishing Co.,Reading,Mas
s,U.S.A.）。３次スプライン補間式は後で本明細書の一
部として含まれ、「CALCULATE CUBIC COEFF'S」という
見出しのコンピユータ・プログラムに示されている。３
次補間によつて決定される曲線切片を使つて点ごとの置
換のための垂直座標を見出す。
点ごとの置換は変更の中心的なアルゴリズムである。鼻
と首の境界曲線の間のすべての顔面点の置換が検討され
る。点ごとの置換は第９図に於いてデイジタル・コンピ
ユータ60aによつて行なわれる。デイジタル・コンピユ
ータ60aはデイジタル・イメージ・プロセツサ16aに命じ
てソース座標Ｘ′,Y′からデイジタル・コンピユータに
強度情報を送らせ、座標X,Yの行先点に対する新しい強
度情報としてその値を受信させる。アルゴリズムの主要
なタスクは置換を考えている各行先点X,Yの計算と、そ
れから強度情報に対するソーズ点座標Ｘ′,Y′を計算す
ることである。
Ｘに対する行先座標値を計算する１つの方法は口の中心
のＸ＝０からスタートすることである。次に、Ｘ＝−1,
X＝−2,X＝−3,……のようにＸ＝第１の鼻境界点となる
までセツトする。次に、Ｘ＝＋1,X＝＋2,X＝＋3,……の
ようにＸ＝最後の鼻境界点となるまでセツトする。これ
により置換用のＸの可能なすべての値が得られる。次に
各Ｘに対してY1とY2の間のＹの値を次のように計算す
る。スタート時のY1座標は鼻境界曲線でＸの３次スプラ
イン切片として計算することができる。終りの値Y2は首
の境界曲線でＸの３次スプラインＹ切片として計算する
ことができる。Ｙの中間の値は順次１を減算することに
よつて計算することができる。Ｙ＝鼻切片，鼻切片−1,
鼻切片−2,……のようにＹが首境界と交わるまで行な
う。
ソース垂直切片Y1′を計算するため、Y1,Y2,Y1′および
Y2′を次のように計算する。すなわち、Ｙの上の境界曲
線または動作「後」曲線のＹ切片としてY1を計算する。
Ｙの下の境界曲線または動作「後」の曲線のＹ切片とし
てY2を計算する。Y1に対応する境界曲線または「前」の
曲線の切片としてY1′を計算する。そしてY2に対応する
境界曲線または動作「前」曲線の切片としてY2′を計算
する。
次に下記のような線形補間によりY1′とY2′との間の
Ｙ′座標を計算する。
Ｙ′＝Ｙ＋（（Y1−Y1′）×（Ｙ−Y2）＋（Y2−Y2′）
×（Ｙ−Y1））／（Y2−Y1） ソース水平座標Ｘ′の計算は変更前後の行先点のＸ座標
およびＹ座標と口の幅によつてきまる。
１） 次のようにXW、上唇と下唇の間に調整されたＸの
福を計算する。
ａ） Ｘが頬X0と口の隅X1との間にある場合は、外側の
「変更後」幅と外側の「変更前」幅から幅係数XWを次の
ように計算する。
XW＝X1×（Ｘ−X0）×（W0′−W0）／（X1−X0） ｂ） Ｘが口の隅X1と中心０との間にある場合は、内側
の「変更後」幅W1と内側の「変更前」幅W1′からXW′を
次のように計算する。
XW＝（Ｘ−X0）×（W1′−W1） ２） Ｙが上唇曲線と下唇曲線との間にある場合は、ソ
ースＸ座標に対してＸを調整した幅XWを使つてＸ′を直
接求める。
Ｘ′＝Ｘ＋XW ３） Ｙが上の鼻の境界切片Y1と上唇切片Y2との間にあ
る場合は、上唇の曲線の上の距離によつてXWを補間す
る。
Ｘ′＝Ｘ＋XW×（Y1−Ｙ）／（Y1−Y2） ４） Ｙが下唇切片Y4とあご切片Y5との間にある場合
は、下唇曲線の下の距離によつてXWを補間する。
Ｘ′＝Ｘ＋XW×（Ｙ−Y5）／（Y4−Y5） ５） Ｙがあごと首の間にある場合は、幅調整は使わな
い。
要約すると、顔下部のすべての点の強度は以下のａ）か
らｃ）に基いて他の点からの強度に置き換えられる。
ａ）置換すべき点のX,Y座標、ｂ）標準境界曲線、ｃ）
前後の高さと前後の幅からの水平調整に基づく動作曲
線。
置換された点X,YとソースＸ′,Y′との差は減少し、
鼻，中心，首の境界線および頬の境界点で零になる。こ
のように零に向つて次第に減少するため、顔の変更領域
と非変更領域との間の継ぎ目は見えない。
点を置換する順序は任意である。しかし、唇を中心に向
つて伸張し、中心からすぼめれば、コンピユータの所要
データ記憶量が少なくなる。
閉じた状態から開いた状態に口を開いたとき、口の中の
点は前のフレームからの強度情報を必要とすることがあ
る。たとえば、歯の構成を復元しなければならないこと
もある。デイジタル化された完全開口からある範囲の点
の強度情報がデイジタル・イメージ・プロセツサ16aか
らホスト・コンピユータ60aのメモリに送られてその中
に格納される。後続のフレームがデイジタル化されたと
き、プログラムで定められた通りホスト・コンピユータ
は点強度のいくつかを送つて、新たに開いた口の中の対
応する位置で置換される。このような対応する位置は口
の中心に対してすべての点を参照することによつて計算
される。転送は中心から操作者の指定した左右の最大距
離に限定される。「変更後」すなわち新しい言語の上唇
曲線と下唇曲線との間の点だけが置換される。
シーケンスのすべてのフレームがデイジタル化され、変
更され、フイルムまたはビデオ・テープに記録された
後、変更されたグラフイツク・フレームはレコーダから
の新しい言語の声と組み合わせて、フイルム圧間を完成
することができる。組み合わせはたとえばサウンド・ト
ラツクをフイルムに付加するための通常の手法によつて
行なうことができる。
本発明を実行するためのコンピユータ・プログラムは下
記の通りである。
【図面の簡単な説明】
第１図は本発明の一実施例の各ステツプを図式的に示す
ブロツク図である。第２図は本発明のプロセスのいくつ
かの初期ステツプのもう１つのブロツク図であり、主と
してハードウエアの接続を示している。第３図はサウン
ド・トラツクに加えられる第２の言語すなわち新しい言
語の唇形状の拡大図であり、その上で求める測定値を示
している。第４図は第３図に非常に似ているが、映画作
品のもとの言語に対応する唇の形状を示す。第５図は第
３図および第４図の測定値のデータをデイジタル形式で
比較する本発明の１ステツプを示すもう１つのブロツク
図である。第6A図および第6B図は本発明のプロセスで使
うのに最も適したフレームを選択する際に使うためのデ
イスプレイを構成するグラフである。第７図は作品のも
との言語版の俳優の顔のビデオ・デイスプレイであり、
またそれを使うことが本発明の一部を構成する標準曲線
の形成方法を示している。第８図は第７図によく似た拡
大図であるが、標準曲線の１つを形成する方法を示して
いる。第９図は顔デイスプレイを訂正する際の最終ステ
ツプを示すブロツク図である。 符号の説明 10……マイクロホーン、12……録音機、14……カメラ、
16……ビデオ・テープ・レコーダ、18……ビデオ・モニ
タ、20……コンピユータ、22……デイスケツト、42……
ビデオ・カメラ、44……スクリーン、46……プロジエク
タ、48……コンピユータ、50……イメージ・プロセツ
サ、52……モニタ、56……デイスケツト、60……コンピ
ユータ。

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】ある映画作品であつて、元の（第１の）言
    語に対応する現在存在する元の（第１の）顔デイスプレ
    イを、新しい（第２の）言語に対応する新しい（第２
    の）顔デイスプレイに置き換えることにより映画作品を
    変更する方法であつて、ここで、顔デイスプレイとは該
    作品に使用されている言語に対応する唇の動きを有する
    ものを指し、 この方法は元の（第１の）複数の映画のコマにわたつて
    第１の顔デイスプレイの形状を表わすデイジタル形式の
    元の（第１の）組のデータを発生すること、 新しい（第２の）複数の映画のコマにわたつて第２の顔
    デイスプレイの形状を表わすデイジタル形式の新しい
    （第２の）組のデータを発生すること、 そして上記両組のデータとプログラムド・デイジタル・
    コンピユータの制御下で上記第１の顔デイスプレイの形
    状を上記第２の顔デイスプレイの形状を実質的に作り出
    すように変更すること、 を含む該方法。
  2. 【請求項２】２つのデイスプレイの選択されたコマの対
    を形成すること、 およびコマ毎に上記変更を実行する際に使うために、上
    記対の群からデータを得ること、 を変更に含む特許請求の範囲第１項記載の方法。
  3. 【請求項３】上記プログラムド・デイジタル・コンピユ
    ータはビデオ・モニタ上で上記変更の結果得られた映画
    のコマをデイスプレイするイメージ・プロセツサを制御
    する特許請求の範囲第１項または第２項記載の方法。
  4. 【請求項４】上記コンピユータに接続されたイメージ・
    プロセツサを設けること、 上記第２の複数のコマのコマに対応する信号を上記イメ
    ージ・プロセツサに送出すること、 上記イメージ・プロセツサの出力をビデオ・モニタに接
    続することによりイメージ・プロセツサに伝送された各
    コマを表わす信号がデイジタル化され、記憶され、且つ
    上記モニタに与えられること、そして 上記変更により得られた映画のコマが上記モニタに現わ
    れるようにされることを含む特許請求の範囲第１項乃至
    第３項の何れか一つに記載の方法。
  5. 【請求項５】上記モニタに与えられた各コマは画素で構
    成され、各画素の強度の大きさが上記コンピユータに記
    憶され、上記画素の位置も上記コンピユータ内に記憶さ
    れ該コンピユータ内でアドレス指定可能であり、そして
    上記コンピユータからの光強度情報が上記イメージ・プ
    ロセツサに送られて所望画素の強度を変更させる特許請
    求の範囲第４項記載の方法。
  6. 【請求項６】上記元の（第１の）複数の映画のコマの各
    コマを一連の画素としてデイジタル形式で記憶するこ
    と、 ならびに上記変更の一部として上記元の（第１）と新し
    い（第２の）顔デイスプレイの形状を表わす前記元の
    （第１）と新しい（第２の）組のデータに従つて選択さ
    れた画素のデイジタル値を変更すること、 を含む特許請求の範囲第１項または第２項の何れか一つ
    に記載の方法。
  7. 【請求項７】音声−画像媒体において、対応する言語に
    対応するオーデイオ・サウンドトラックと同期して、上
    記変更された顔デイスプレイを組み合わせることを含む
    特許請求の範囲第１項、第２項または第６項の何れか一
    つに記載の方法。
  8. 【請求項８】上記顔デイスプレイの中の少なくとも１つ
    のコマの唇形状の諸点を表わしている相互に離隔した複
    数の点の位置についての情報を含むデータを発生するこ
    と、 ならびに３次スプライン補間を使つて、上記複数の点を
    通る曲線を推定することによつて上記の少なくとも１つ
    のデイスプレイの唇形状の全体形状を計算すること、 を含む特許請求の範囲第１項記載の方法。
JP61068853A 1985-03-29 1986-03-28 映画作品の顔デイスプレイの変更 Expired - Lifetime JPH0721606B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US06/717,843 US4600281A (en) 1985-03-29 1985-03-29 Altering facial displays in cinematic works
US717843 1985-03-29

Publications (2)

Publication Number Publication Date
JPS61226736A JPS61226736A (ja) 1986-10-08
JPH0721606B2 true JPH0721606B2 (ja) 1995-03-08

Family

ID=24883712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP61068853A Expired - Lifetime JPH0721606B2 (ja) 1985-03-29 1986-03-28 映画作品の顔デイスプレイの変更

Country Status (5)

Country Link
US (2) US4600281A (ja)
EP (1) EP0196225B1 (ja)
JP (1) JPH0721606B2 (ja)
CA (1) CA1248627A (ja)
DE (1) DE3687915T2 (ja)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4600281A (en) * 1985-03-29 1986-07-15 Bloomstein Richard W Altering facial displays in cinematic works
US4913539A (en) * 1988-04-04 1990-04-03 New York Institute Of Technology Apparatus and method for lip-synching animation
DE4102895C1 (ja) * 1991-01-31 1992-01-30 Siemens Ag, 8000 Muenchen, De
US5430835A (en) * 1991-02-15 1995-07-04 Sierra On-Line, Inc. Method and means for computer sychronization of actions and sounds
JPH0546743A (ja) * 1991-08-09 1993-02-26 Matsushita Electric Ind Co Ltd 個人識別装置
US5313522A (en) * 1991-08-23 1994-05-17 Slager Robert P Apparatus for generating from an audio signal a moving visual lip image from which a speech content of the signal can be comprehended by a lipreader
JP3068304B2 (ja) * 1992-01-21 2000-07-24 日本電気株式会社 動画像符号化方式および復号化方式
IL101720A (en) * 1992-04-29 1998-09-24 Mali Tech Ltd Needle for syringe or the like
US5553864A (en) 1992-05-22 1996-09-10 Sitrick; David H. User image integration into audiovisual presentation system and methodology
US8821276B2 (en) 1992-05-22 2014-09-02 Bassilic Technologies Llc Image integration, mapping and linking system and methodology
US7137892B2 (en) * 1992-05-22 2006-11-21 Sitrick David H System and methodology for mapping and linking based user image integration
JPH06168314A (ja) * 1992-11-30 1994-06-14 Matsushita Electric Ind Co Ltd 娯楽装置
US5482048A (en) * 1993-06-30 1996-01-09 University Of Pittsburgh System and method for measuring and quantitating facial movements
US5523791A (en) * 1993-10-12 1996-06-04 Berman; John L. Method and apparatus for applying overlay images
CA2144795A1 (en) * 1994-03-18 1995-09-19 Homer H. Chen Audio visual dubbing system and method
IL109649A (en) * 1994-05-12 1997-03-18 Electro Optics Ind Ltd Movie processing system
US6707484B1 (en) 1994-07-28 2004-03-16 Semiconductor Energy Laboratory Co., Ltd. Information processing system
JP3167865B2 (ja) * 1994-07-28 2001-05-21 株式会社半導体エネルギー研究所 情報処理装置
US6232965B1 (en) 1994-11-30 2001-05-15 California Institute Of Technology Method and apparatus for synthesizing realistic animations of a human speaking using a computer
JPH11506575A (ja) * 1995-03-07 1999-06-08 インターバル リサーチ コーポレイション 情報の選択記憶システム及び方法
EP0735510B1 (en) * 1995-03-31 2001-11-28 Hitachi Europe Limited Facial image processing
US5870138A (en) * 1995-03-31 1999-02-09 Hitachi, Ltd. Facial image processing
US6020892A (en) * 1995-04-17 2000-02-01 Dillon; Kelly Process for producing and controlling animated facial representations
US5734794A (en) * 1995-06-22 1998-03-31 White; Tom H. Method and system for voice-activated cell animation
NL1000679C2 (nl) * 1995-06-28 1996-12-31 Arie Van Wieringen Video Film Bewegingseditor/samensteleenheid.
EP0972285A4 (en) * 1995-10-08 2002-04-03 Face Imaging Ltd METHOD FOR AUTOMATIC COMPUTER ASSISTED AUDIOVISUAL COPYING FILMS
US7109993B2 (en) * 1995-10-08 2006-09-19 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for the automatic computerized audio visual dubbing of movies
US5880788A (en) * 1996-03-25 1999-03-09 Interval Research Corporation Automated synchronization of video image sequences to new soundtracks
US7098392B2 (en) * 1996-07-10 2006-08-29 Sitrick David H Electronic image visualization system and communication methodologies
US7297856B2 (en) * 1996-07-10 2007-11-20 Sitrick David H System and methodology for coordinating musical communication and display
US7989689B2 (en) * 1996-07-10 2011-08-02 Bassilic Technologies Llc Electronic music stand performer subsystems and music communication methodologies
US5728960A (en) 1996-07-10 1998-03-17 Sitrick; David H. Multi-dimensional transformation systems and display communication architecture for musical compositions
US6263507B1 (en) * 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
US5893062A (en) 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
JPH11219446A (ja) * 1998-02-03 1999-08-10 Matsushita Electric Ind Co Ltd 映像音響再生システム
US20070165022A1 (en) * 1998-07-15 2007-07-19 Shmuel Peleg Method and system for the automatic computerized audio visual dubbing of movies
JP2003503925A (ja) * 1999-06-24 2003-01-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報ストリームのポスト同期
US7155735B1 (en) 1999-10-08 2006-12-26 Vulcan Patents Llc System and method for the broadcast dissemination of time-ordered data
US6757682B1 (en) 2000-01-28 2004-06-29 Interval Research Corporation Alerting users to items of current interest
ITCA20000018A1 (it) * 2000-10-10 2002-04-10 Fabrizio Cucca Sistema per la realizzazione di dedica personalizzata incisa su supporti magnetici e/o video preesistenti cd, dvd, dat, minidisc, musica e v
JP4310916B2 (ja) * 2000-11-08 2009-08-12 コニカミノルタホールディングス株式会社 映像表示装置
US7827488B2 (en) 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
US6654018B1 (en) * 2001-03-29 2003-11-25 At&T Corp. Audio-visual selection process for the synthesis of photo-realistic talking-head animations
US7990384B2 (en) * 2003-09-15 2011-08-02 At&T Intellectual Property Ii, L.P. Audio-visual selection process for the synthesis of photo-realistic talking-head animations
US20060031885A1 (en) * 2004-04-30 2006-02-09 Vulcan Inc. Management and non-linear presentation of music-related broadcasted or streamed multimedia content
US20060031916A1 (en) * 2004-04-30 2006-02-09 Vulcan Inc. Management and non-linear presentation of broadcasted or streamed multimedia content
US20060031879A1 (en) * 2004-04-30 2006-02-09 Vulcan Inc. Management and non-linear presentation of news-related broadcasted or streamed multimedia content
US7209577B2 (en) * 2005-07-14 2007-04-24 Logitech Europe S.A. Facial feature-localized and global real-time video morphing
US20070230794A1 (en) * 2006-04-04 2007-10-04 Logitech Europe S.A. Real-time automatic facial feature replacement
US20080115063A1 (en) * 2006-11-13 2008-05-15 Flagpath Venture Vii, Llc Media assembly
FR2951605A1 (fr) * 2009-10-15 2011-04-22 Thomson Licensing Procede pour rajouter un contenu sonore a un contenu video et dispositif mettant en oeuvre le procede
US8918723B2 (en) 2011-05-06 2014-12-23 David H. Sitrick Systems and methodologies comprising a plurality of computing appliances having input apparatus and display apparatus and logically structured as a main team
US8914735B2 (en) 2011-05-06 2014-12-16 David H. Sitrick Systems and methodologies providing collaboration and display among a plurality of users
US8924859B2 (en) 2011-05-06 2014-12-30 David H. Sitrick Systems and methodologies supporting collaboration of users as members of a team, among a plurality of computing appliances
US8918722B2 (en) 2011-05-06 2014-12-23 David H. Sitrick System and methodology for collaboration in groups with split screen displays
US11611595B2 (en) 2011-05-06 2023-03-21 David H. Sitrick Systems and methodologies providing collaboration among a plurality of computing appliances, utilizing a plurality of areas of memory to store user input as associated with an associated computing appliance providing the input
US8826147B2 (en) 2011-05-06 2014-09-02 David H. Sitrick System and methodology for collaboration, with selective display of user input annotations among member computing appliances of a group/team
US8918721B2 (en) 2011-05-06 2014-12-23 David H. Sitrick Systems and methodologies providing for collaboration by respective users of a plurality of computing appliances working concurrently on a common project having an associated display
US8990677B2 (en) 2011-05-06 2015-03-24 David H. Sitrick System and methodology for collaboration utilizing combined display with evolving common shared underlying image
US9224129B2 (en) 2011-05-06 2015-12-29 David H. Sitrick System and methodology for multiple users concurrently working and viewing on a common project
US9330366B2 (en) 2011-05-06 2016-05-03 David H. Sitrick System and method for collaboration via team and role designation and control and management of annotations
US10402485B2 (en) 2011-05-06 2019-09-03 David H. Sitrick Systems and methodologies providing controlled collaboration among a plurality of users
US8806352B2 (en) 2011-05-06 2014-08-12 David H. Sitrick System for collaboration of a specific image and utilizing selected annotations while viewing and relative to providing a display presentation
US8918724B2 (en) 2011-05-06 2014-12-23 David H. Sitrick Systems and methodologies providing controlled voice and data communication among a plurality of computing appliances associated as team members of at least one respective team or of a plurality of teams and sub-teams within the teams
US8875011B2 (en) 2011-05-06 2014-10-28 David H. Sitrick Systems and methodologies providing for collaboration among a plurality of users at a plurality of computing appliances
TW201301148A (zh) * 2011-06-21 2013-01-01 Hon Hai Prec Ind Co Ltd 網頁瀏覽控制系統及方法
US8655152B2 (en) 2012-01-31 2014-02-18 Golden Monkey Entertainment Method and system of presenting foreign films in a native language
US9300994B2 (en) 2012-08-03 2016-03-29 Elwha Llc Methods and systems for viewing dynamically customized audio-visual content
US10237613B2 (en) 2012-08-03 2019-03-19 Elwha Llc Methods and systems for viewing dynamically customized audio-visual content
US10455284B2 (en) 2012-08-31 2019-10-22 Elwha Llc Dynamic customization and monetization of audio-visual content
US20160042766A1 (en) * 2014-08-06 2016-02-11 Echostar Technologies L.L.C. Custom video content

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3510210A (en) * 1967-12-15 1970-05-05 Xerox Corp Computer process character animation
US3662374A (en) * 1970-07-13 1972-05-09 Computer Image Corp Automatic generation of a mouth display and animation of the mouth in response to sound
US3747087A (en) * 1971-06-25 1973-07-17 Computer Image Corp Digitally controlled computer animation generating system
JPS5345120A (en) * 1976-10-05 1978-04-22 Tokyo Hoso:Kk Video special effect device
US4260229A (en) * 1978-01-23 1981-04-07 Bloomstein Richard W Creating visual images of lip movements
FR2447656A1 (fr) * 1979-01-24 1980-08-22 Dainippon Screen Mfg Procece et appareil pour essayer une forme de coiffure en image
US4602286A (en) * 1982-01-15 1986-07-22 Quantel Limited Video processing for composite images
US4642710A (en) * 1985-03-15 1987-02-10 Milton Bradley International, Inc. Animated display controlled by an audio device
US4600281A (en) * 1985-03-29 1986-07-15 Bloomstein Richard W Altering facial displays in cinematic works

Also Published As

Publication number Publication date
JPS61226736A (ja) 1986-10-08
CA1248627A (en) 1989-01-10
US4827532A (en) 1989-05-02
EP0196225B1 (en) 1993-03-10
EP0196225A2 (en) 1986-10-01
DE3687915T2 (de) 1993-09-30
DE3687915D1 (de) 1993-04-15
EP0196225A3 (en) 1988-05-25
US4600281A (en) 1986-07-15

Similar Documents

Publication Publication Date Title
JPH0721606B2 (ja) 映画作品の顔デイスプレイの変更
US6492990B1 (en) Method for the automatic computerized audio visual dubbing of movies
US6215505B1 (en) Scheme for interactive video manipulation and display of moving object on background image
US20070165022A1 (en) Method and system for the automatic computerized audio visual dubbing of movies
US4260229A (en) Creating visual images of lip movements
US7194676B2 (en) Performance retiming effects on synchronized data in an editing system
US7109993B2 (en) Method and system for the automatic computerized audio visual dubbing of movies
US5384667A (en) Video processing system
JP2995745B2 (ja) 動き情報抽出装置
JPH07253986A (ja) 音声及び動画の検索装置
KR102186607B1 (ko) 증강현실을 통한 발레 공연 시스템 및 방법
EP0674315A1 (en) Audio visual dubbing system and method
JP3753625B2 (ja) 表情アニメーション生成装置および表情アニメーション生成方法
EP1420407B1 (en) Method and apparatus for controlling editing image display
US5986660A (en) Motion capture data system and display
JP5109038B2 (ja) リップシンクアニメーション作成装置及びコンピュータプログラム
JP2703032B2 (ja) 動画作成方法
JP2765270B2 (ja) 動画像提示方法
EP0056507A1 (en) Apparatus and method for creating visual images of lip movements
JP3523784B2 (ja) 対話型画像操作表示装置および方法並びにプログラム格納媒体
JP7425690B2 (ja) ロボット動作生成装置、ロボット動作生成方法、およびプログラム
JPH10188026A (ja) 動画像作成方法および動画像作成用記憶媒体
KR20240002881A (ko) 동영상에 포함된 객체별로 음원을 매칭시키는 방법 및 이를 수행하기 위한 컴퓨팅 장치
Morishima Voice Animator: Automatic Lip-Synching in Limited Animation by Audio
JPH0530453A (ja) 画像記録媒体のインデツクス作成装置