JPS61226736A - 映画作品の顔デイスプレイの変更 - Google Patents

映画作品の顔デイスプレイの変更

Info

Publication number
JPS61226736A
JPS61226736A JP61068853A JP6885386A JPS61226736A JP S61226736 A JPS61226736 A JP S61226736A JP 61068853 A JP61068853 A JP 61068853A JP 6885386 A JP6885386 A JP 6885386A JP S61226736 A JPS61226736 A JP S61226736A
Authority
JP
Japan
Prior art keywords
frame
lip
computer
frames
image processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP61068853A
Other languages
English (en)
Other versions
JPH0721606B2 (ja
Inventor
リチヤード・ダヴリユウ・ブルームスタイン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPS61226736A publication Critical patent/JPS61226736A/ja
Publication of JPH0721606B2 publication Critical patent/JPH0721606B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G11B27/028—Electronic editing of analogue information signals, e.g. audio or video signals with computer assistance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B31/00—Associated working of cameras or projectors with sound-recording or sound-reproducing means
    • G03B31/02—Associated working of cameras or projectors with sound-recording or sound-reproducing means in which sound track is on a moving-picture film
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/032—Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508—Magnetic discs
    • G11B2220/2512—Floppy disks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G11B27/024—Electronic editing of analogue information signals, e.g. audio or video signals on tapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Slot Machines And Peripheral Devices (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 発明の背景 本発明は一般に、映画作品で第１の、すなわち現在ある
動く顔ダイスグレイを第２の動く顔ディスプレイに置き
換えることによって映画作品を変更する方法に関するも
のであり、この場合ディスプレイは俳優の使う言語に対
応する唇の動きを示し、またλつのディスプレイは充分
に異なっているので各ディスプレイで唇および／または
他の顔の動きが異なる。
本発明は唇の動きが対話と一致しない単純な「グツド・
イン」効果（”ｄｕｂｂｅｄ　ｉｎ”ｅｆｆｅｃｔ）を
避けることを意図している。したがって、本発明が特に
適用可能なのは、映画のサウンド・トラックを別の言語
の新しいサウンド・トラックに置き換えるとともに映画
の中の俳優の唇の動きをサウンド・トラックに入れる新
しい言語と合うように変える場合である。本発明は俳優
を使った作品だけでなく、漫画映画にも適用できる。
／り♂／年≠月７日に認可された米国特許第≠、２１，
０．２２り号には、可視画像と音声をフィルム、ピデオ
テーグ等の媒体に記録するとき、唇の動きが使用する言
語に対応するようにして映画作品を６層リアルかつ興味
深くするため、唇の動き等の所定の可視画像を音声と一
致するようにグラフ的に作成するシステムと方法が図示
、説明されている。
上記特許のシステムでは、音声が分析され、ディジタル
的に符号化され、コンピュータに送られる。音声に対応
する唇の動きの可視画像を発生する出力データを作成す
るためのプログラムがコンピュータ内に格納されている
。音声に対するデータの制御下で、コンピュータからの
グラフィック出力がグラクイック出力機器と関連のディ
ス７０Ｖイ装置に送られてグラフィック・ディスプレイ
が作られ、これが音声と組み合わされる。その結果書ら
れる音声−可視ディスプレイでは唇の動きが音声と合っ
ている。
発明の目的と要約 一般的に言えば、本発明の７つの目的はプログラムド・
ディジタル・コンピュータと選定されたデータの新規な
使い方によりフィルム・フレームの唇の動きを補正する
改良され九新規な方式を提供することにより、もとのサ
ウンド・トラックが外国語で唇の動きが違う映画のもと
のサウンド・トラックを唇の動きが正しいサウンド・ト
ラックに置き換えてフィルムの「グツド・イン」現象ヲ
避けることである。
本発明のもう１つの目的は音素コードを記憶する必要も
なく口の形の綿密な図を用意する必要もない、すなわち
口の形がほんの数個でこれを独特のアルゴリズムと一緒
に使うことにより映画作品の新しい言語に合うように唇
の形状を変える上記の型の方法と構成を提供することで
ある。
本発明のもう７つの目的は音声が必要とする唇の形をき
めるために音声符号器を必要としない上記の型の方法と
構成を提供することである。音声符号器のかわりに俳優
を使って録音し、既存の映画作品の声と唇の動きを俳優
の声と唇の動きに置き換える。音声は映画すなわちビデ
オ部分とは別個に録音され、ビデオ部分を使ってフＶ−
ム毎に限られた数の測定値をグラフ的に作る。しかし、
各フレームについて測定を行なう必要はなく、一般にフ
レームのスロー・モーション儂で見て唇の方向に変化が
あるフレームについてだけ測定すればよい。中間のフレ
ームの測定は非線形補間アルゴリズムを使ってコンピュ
ータ内で実行される。
これらの測定によって、新しい声ともとの唇の形との関
係が一層直接的になる。
可能なときは、新しい声ともとの唇が合うフレームを選
択する努力が行なわれる。時にはこれはフレームのスキ
ラグおよび／または二重化を意味する。しかし、この方
法では許容できる動きが必らずしも得られず、多くのフ
レームを変更しなければならない。この目的のため、唇
とあごの曲線を含む標準顔面曲線が描かれる。これらの
標準曲線に対するデータはプログラミングされたディツ
タＡ／・コンビエータに送られ、これは相互に行なわれ
る。標準曲線には詳しくは完全に開いた口、完全に閉じ
た口、標準幅の口、すほめた口を含めることができる。
これらの標準曲線は各フレームに対して後で口、あご、
および唇の線の補間を行なうための基礎となる。
たとえば俳優の下唇が２タ％開いている場合の近似曲線
は、その俳優の標準閉口位置曲線と標準開放位置曲線と
の間の２ターの各点の補間で計算した曲線となる。これ
に関連してわかったことは特定の俳優の開口または閉口
の位置は口の幅全体について比較的一定であるというこ
とである。この発見により一般に図形が簡単となシ、唇
の形状の適度に正確な補正を行なう丸めに必要な曲線の
数が少なくなる。
コンピュータ内の変更によって新しい唇の形状を作成す
ることによってフレームが訂正される。
コンピュータはイメージ・プロセッサと一緒ニ使用され
る。これは公知の市販装置である。訂正プロセスの間、
コンピュータとイメージ・ノロセッサの間に信号のやシ
取シが行なわれる。イメージ・プロセッサは連続したビ
デオ・フレームをアナログ形式で受け、ディジタル形式
に変換してその中に記憶することができる。更に、各フ
レームはイメージ・ノロセッサから標準のビデオ・モニ
タに送り直して、そこでフレームを静止画像として出す
こともできる。イメージ・プロセッサは１秒間に６０回
フレームに必要なビデオ信号をモニタに送ることができ
、これにより訂正されたビデオ・フレームを見たり処理
動作で処理したりすることができる。ビデオ・スクリー
ンは通常画素で構成され、各画素は走査されディジタル
化されて、もとのシーンの多数の点（たとえば夕／２×
４ｔＩＯの画素または点）の光強度に対応する数字プレ
イが得られる。これらの数字は大容量ではあるが通常の
ディジタル・コンピュータ・メモリーに記憶さ瓜そこか
らディスプレイされる。６数はもとの点位置に対応する
一義的な位置によってアドレス指定可能である。７組の
メモリー位置から他の組のメモリー位置に数を動かすこ
とには７つの領域から他の領域にフレームの一部を動か
す効果がある。
移動はコンピュータによって行なわれるので、移動には
複雑な移動に対応する複雑な数値アルゴリズムが関係す
ることがある。このディジタル数により、ディスプレイ
され丸顔で直接、俳優の唇を「拡げ」たり「すぼめ」九
りすることができる。
更に、各点が標準曲線相互の間のどこにあるか、そして
新しい言語の唇の動きの測定値と恥存の言語の唇の動き
の測定値によってきまる変更の程度すなわちノ９−セン
トに応じて、俳優の顔の各点の個々の動きがコンピュー
タ・アルプリズムによって計算される。
ビデオ・ディスプレイされた俳優の顔の画素が上記の計
算に基いて移動された後、コンピュータ・プログラムは
前のフレームからの補充を行なう。
九とえば、コンピュータは俳優の開いた口から見える歯
をコンピュータ・メモリーの一部に記憶する。これによ
り、後のフレームで圃いたとき口に補充することができ
る。
更に一般的に言えば本発明の方法では、第１および第２
の動く顔ディスプレイがあシ、これらのディスプレイが
使用言語に応じた唇の動きを示し、λつのディスプレイ
の言語が充分に異なっているので唇の動きも異なる場合
に第１の動く顔ディスプレイを第２の動く顔ディスプレ
イに置き換えることによって映画作品を変更するために
、複数の映画フレームにわたって第２の顔ディスプレイ
の形状を表わすディジタル形式のデータを発生する事、
上記作品の複数の映画フレームにわたって第１の顔ディ
スプレイの形状を表わすディジタル形式のデータを発生
する事、上記両組のデータとプログラムド・ディジタル
・コンピュータの制御下で上記第１の顔ディスプレイの
形状を変更する事により第２の顔ディスゲＶイの形状を
ｔｌぼ発生する事が含まれる。
見方を変えれば本発明の方法では、多数のフレームで構
成された映画作品で第１の言語と対応する唇の動きを第
２の言語と対応する唇の動きに置き換える必要があり、
２つの言語の唇の動きが異なっている場合に各言語の唇
の動きをディジタル形式で表わすデータを発生する事、
上記データをグログラムド・ディジタル・コンピュータ
に送る事、ならびに上記コンピュータの制御下で上記デ
ータに従って、フレームの選択された領域の光強度を変
更することによシ唇の動きを上記第２の言語に対応する
形状に変更する事が含まれる。
詳細な説明 以下、図面を参照して更に詳細に説明する。第１図は本
発明の開示された実施例による基本的な機能ステツブを
示すブロック図である。すなわちこのブロック図は外国
語の映画２の一部を第２の言語の対話すなわち新しい言
語の対話とそれに付随する唇の動きを含む顔のアニメー
ションに置き換えるための構成を示す。外国語の作品は
フィルム状になっていてもビデオ・テープ状になってい
てもよい。新しい俳優を使ってしゃべらせ（音声）、音
声と唇の動きをフィルムの俳優のものに置き換える。新
しい言語の俳優はテープ等の録音媒体弘に新しい′！！
語を録音し、同時にその俳優の唇の動きと形状がビデオ
テープに録画され、ダイスグレイされ、測定される。こ
の情報はディジタル形式に変換される。同様に、フィル
ム内の俳優の頭と唇の動きが頭の動きとともに測定され
る。２群のデータはグログラばングされたコンピュータ
で比較され、顔の動きとともに唇の動きを新しい俳優の
新しい言語の音声に対応する位置にするため外国フィル
ムの俳優の唇の動きに加えなければならない訂正量の大
きさが得られる。このようなデータはディジタル形式で
コンピュータに記憶される。
新しい俳優ともとの俳優の唇の動きの測定値で構成され
るデータはフレーム毎が原則になっているが、間もなく
詳細に説明するように外国フィルムのすべてのフィルム
を使う必要はないことがわかる。更に、后と顔の動きの
訂正を行なうための基準点として使うため、選択された
フレームから標準曲線が求められる。すべてのデータは
プログライングされたディジタル・コンピュータに与え
られる。ここで更に詳しく説明する独特なアルゴリズム
を使うことによって、新しい言語に対応する所望の唇形
状となるように外国フィルムのフレームが変更される。
その後、新しい言語の音声を新しい言語の唇の動きと組
み合わすことにより、新しいサウンド・トラックをそな
え、唇の動きを音声に適切に合うように変更したフィル
ムまたはビデオ・チーブ乙が得られる。プロセス中、外
国フィルムのフレームをビデオ形式に変換して、そこで
唇や変更する他の顔の形状を訂正するのに必要な程度に
画素を動かすことによって変更を行なうことが好ましい
。次に、変更したフＶ−ムを再び撮影してもよいし、そ
のかわりに外国映画をビデオ・テープ形式で保存するこ
ともできる。
第２図ではフィルムを変換する言語で俳優♂がマイクロ
ホンＩＯに向って話す。俳優の声が録音機１２で録音さ
れ、同時にビデオ・カメラ／≠が俳優♂の唇の動きを撮
影する。カメラ／ｌＩｔからのビデオ信号はビデオ・テ
ープ・レコーダｌ乙に録画され、レコーダ１６は動作さ
せるとその出力信号をビデオ・モニタ／Ｉに送出する。
モニタ／ｒはフレームごとに、あるいは選択されたフレ
ームについてビデオ信号をディスプレイする。後で更に
詳しく説明するようにディスプレイには測定値を入れる
こともできる。ビデオ情報を構成する測定信号はコンピ
ュータ２０に送られて、ディスケット２２に記録される
。
第３図に示すように新しい言語の唇の動きには限られた
数の測定値しか必要ないことがわかった。
一般的に言えば、求める測定値は上の高さ、２乙、下の
高さ２に、内側の幅３０、および外側の幅３２である。
少なくとも理論的にはすべてのフレームを測定すること
もできるが、実際には唇の動きが変る、すなわち開き始
める、開き終る、閉じ始める、形状が突然変るような選
択されたフレームに測定を限定してもよい。
測定に当って、操作者は測定すべき各フレームをモニタ
／ｒにディスプレイした後、定規で距離２６．２ｒ、３
０．３２を測定する。
各測定値を俳優ｒの最大値と比較することにより測定値
を単位唇寸法に変換することもでき、また最大値の／臂
−セントをインチ、センチメートル等の絶対寸法に言い
換えることもできる。後述するように、これにより音声
−画像フィルムに現在ある唇の動きを比較することがで
き、フィルムの唇の動きも同じ指数に言い換えることも
できる。
更に、口の中心（グラフ的にはＸ＝０　、　Ｙ＝０　）
は第３図の２≠で示すように配置することができる。各
々の動きを測定して、俳優？および唇と声を処理する他
の各俳優の開口状態の最大距離と比較することによって
測定値をスクリーン座標Ｘ。
Ｙの位置から開ロノ９−セントに変換することができる
。
コンピュータ２０は周知の型、たとえばＩＢＭＰＣモデ
ルＡＴでよく、第３図を参照して説明した種々の測定値
はコンピュータ付属の標準キー♂−ドを使ってタイグ・
インシ、データを、ディスク。
ト、２２に記録することができる。
既存すなわち「外国語の」フィルムの頭と唇の動きの測
定はフィルムから、あるいはビデオ・テープのスクリー
ン投射からのフレームを見ながら操作者が行なう。頭と
唇の動きは前述し北岸の動きと比較され、後で更に詳し
く説明するようにグラフィック・フレームの変更を制御
するために使用される。前述した新しい言語の唇の動き
と同様に、既存の唇の動きが測定される。これには第３
図と同じ測定値、すなわち上の高さ、下の高さ、内側の
幅、および外側の幅が含まれる。更に、頭の動きは口の
中心のＸ、Ｙ座標と頭の傾きの変化によって測定するこ
とができる。新しい言語と同様、動きの測定は動きが変
化するフレームに限定することができる。すべてのフレ
ームを扱うこともできるが、本発明の実際の適用ではフ
ィルムの全フレームと比べて少ないフレームしか使わな
い。
第２図に示すように映画作品の入ったフィルム・グロジ
エクタ≠乙はコンピュータ弘♂からの信号の制御によυ
フレーム毎にスクリーン４ｔ４ｔ−に画像を投影する。
スクリーン弘弘の画像はビデオ・カメラｌＡ２によって
ピックアップされ、イメージ・プロセッサタＯに送られ
る。イメージ・プロセッサはカーソルよ≠のあるモニタ
ｊ２に画像を再ダイスグレイする。このようにモニタは
画像をフレーム毎に見る。各フレームは［フローズン（
ｆｒｏｚｅｎ）Ｊ画像すなわち静止画となる。
イメージ・プロセッサタ０は公知の装置であり、米国カ
リフォルニア州マウンテンピユーのディジタル・グラフ
ィックス社（Ｄｉｇｆｔａｌ　Ｇｒａｐｈｉｃ　５ｙｓ
ｔ１！ｆｒ１１１゜Ｍｏｕｎｔａｉｎｖｉｅｗ、　Ｃａ
１ｉｆｏｒｎｉａ）製造のモデル／１ｔ３３とすること
ができ、これはＣＡＴという商標で販売され、時にＣＡ
Ｔモデル１６３３ディジタル・イメージ・プロセッサと
呼ばれる。このイメージ・プロセッサはビデオ・カメラ
４１２からのアナログ信号を受け、この信号をディジタ
ル形式に変換し、フレーム毎の信号を記憶する。次にイ
メージ・プロセッサからの信号はモニタｊ２に再送され
る。モニタは各フレームの画像を毎秒６０回受け、観測
と訂正作業のための静止フレームすなわち「フローズン
」フレームを提供する。このようにイメージ・プロセッ
サで行なえることはたとえばビデオ信号のディジタル化
、信号を光強度（画素すなわち「ピクセル（ｐｉｘｅｌ
）Ｊのアレイとしてディジタル・メモリー内に記憶する
こと、光強度をテレビ・七二夕にディスプレイすること
、ビデオ・モニタ・ディスプレイのＸとＹの指定位置に
７ラツシング・カーソルを重畳することなどである。
操作者はコンピュータｌＩ−♂からの信号によりグロジ
エクタ弘６を操作してフレームを進め、フレームがスク
リーングルにディスプレイされ、これがビデオ・カメラ
≠２によってピックアップされる。これに関連して注意
しなければならないのは、カメラｌＡ２のかわりに映画
作品はビデオ・テープに入っていても良いということで
ある。この場合、イメージ・グロセツサへの伝送はビデ
オテープからフレーム毎に行なうことができる。
操作者はコンピュータへのコマンドの実行によってディ
ジタル化とモニタ！λのフレームのディスプレイを指示
する。次に操作者はカーソルｊｌをディスプレイさせ、
フＶ−ム上の（後述する）選択されたキ一点に移動させ
る。コンピュータ・キーボード上の選択されたキーを専
用にし、記憶データの指定に特別のコマンド・キーを使
うことによって測定を簡略化することができる。「外国
」フィルムの唇の動きを構成するデータはディスケット
ｊ″乙に記憶され、ディスケット！乙はコンピュータｐ
ｒからそのデータを受ける。各々の動きを測定してフィ
ルムに現われる俳優の最大距離と比較することにょシ、
フィルム上のもとの唇の動きの測定値、２ｊａ、、２Ｊ
’ａ、ｊｏａ、７．２ｇをスクリーン座標Ｘ、Ｙの位置
から・母−セント開口に変換することができる。第弘図
はフィルムのｌフレームに於ける俳優の唇の形状の測定
値を示す。種々のフレームからの測定値はスクリーン座
標Ｘ、Ｙの位置からフィルムの特定の俳優の／４’−セ
ン）［口に変換することができる。指示されるとコンピ
ュータ操作の通常の手法に従ってカーソルｊ″弘を使い
第弘図の種々の測定を行なうことができる。
第５図および第６図は新しい言語の唇の動きとフィルム
に既にある唇の動きの比較をグラフ的に、また図式的に
示している。このように、既存の作品のフレームを新し
い俳優♂が示し丸溝の動きの適当なフレームと組み合わ
せるととくより既存の唇の調整量を減らすことができる
。第５図に示すように、もとの言語の唇の動きに関連し
、ディスケラ）Ｊ”４に現われるデータが新しい言語す
なわち第２の言語のデータ２．２とともにコンピュータ
１、ＯＫ送られる。このように、ディスケット２２゜ｊ
乙の２群のデータはプログラムド・コンピュータ１０に
送られ、第２の言語すなわち新しい言語に対応する唇の
動きのディスプレイを発生するために（後述する）標準
曲線のデータと協力するデータを構成するディスケット
が作られる。
操作者は俳優どの唇から作られたフレーム数を外国グラ
フィックの既存フレーム数と比較する。
操作者はカウントを比較し、環境に基いて必要な調整を
計算する。たとえば、第２の言語の音声が３００フレー
ムを必要とし、フィルム部分に４ＬＯＯフレーム入って
いる場合には、操作者は（１）作品の最初の１００フレ
ームを落す、（２）既存の作品の最後の１００フレーム
を落す、（３）既存の作品で≠フレームのうちｌフレー
ムの割合で落す等の決定を行なうことができる。訂正が
最も重要なりローズアップ・シーンでは、操作者は頭と
唇の両方の動きに基いて調整を変えることができる。
フレームの選択または対組み合わせを助ける九め、コン
ピュータは第６Ａ図に示すようなグ２７をグロットする
ようにプログラミングされている。
このゾロットはノ４−セント開口とフレームｉ号の関係
を示したものである。グラ７７θと７２はたとえば、曲
線７０が俳優どの開口の相対ノー−セント、曲線７λが
フィルムの俳優の同じデータを表わす。訂正量を減らす
ためには点７乙をシフトして点７弘と一致させ、点１０
をシフトして点７ｇと一致させることが望ましい。コン
ピュータによってグラフ７０．７２を相互にシフトして
第６Ｂ図に示すように垂直方向に点７≠を点７ｔと一致
させ、点７ざを点１０と一致させることができるので、
操作者は次にフィルム上の唇の動きを調整するために対
にするフレームを選択することができる。
第３図および第４図に示す唇の動きの測定値に関するデ
ータを入れる前に、操作者は処理しているフィルム区間
の俳優の特性を表わす標準曲線の制御点を識別して決定
する。新しい唇の動きともとの唇の動きの測定値を使っ
て各フレームの変更量が制御されている間に、標準顔面
曲線が変更位置を制御する。新しい声に合わせてフィル
ム内の俳優の顔の特性を表わすためには少数の制御点だ
けを決めればよい。この目的のため、フィルム区間を標
準化するため最低限λフレームの選択を行なう。１つの
フレームは完全開口を示し、他方のフレームは完全閉口
を示す。頭の位置で正当化される場合には付加的なフレ
ームを選択することができる。
第１図に示す標準曲線には鼻境界タコ、開い九上唇り弘
、中心線り６、開いた下唇りｒ、閉じたあご１００．開
い九あご／Ｑ２、および首境界ＩＯ≠が含まれている。
２つの付加的な曲線、すなわち閉じた上唇と閉じた下唇
は第１図には示されていない。通常、中心線の曲線り６
と一致するからである。
開いた上唇の曲線り≠に対してたとえば第ｒ図に示され
る操作者が選択した制御点のＸ、Ｙ座標を測定し単記す
ることによって標準曲線が決定される。他の曲線につい
ても同じ手順に従って行なう。通常、唇の曲線に対する
制御点には頬の境界点／ａｅ７ａｓ隅２ｍ＋４ｍｓ中心
Ｉ／Ｌａ、中心端の隅のいずれかの側の１つまたは２つ
の点３ａ。
ｊａが含まれる。鼻境界と首境界の制御点は任意かつ通
常、変更領域と結合される。あご曲線に対する制御点は
対応する下唇曲線に従う。
操作者は前述した頭と唇の動きの測定に類似した方法で
標準曲線制御点のｘ、ｙ座標を測定することができる。
このようにしてフィルムをハードウェア≠２−タグを含
むテレシファ構成に取り付けることができる。標準化の
ためのフィルムの適当なフレームが得られ、操作者はイ
メージ・プロセッサｊＯへのディ・ゾタル化とビデオ・
モニタ！ｒ２のディスプレイを指示する。操作者はコン
ピュータ≠ｒのキーゲートの適当なキーを叩くことによ
ってカーソルよ≠の移動と点座標の記憶を指示する。従
って、各制御点に対するＸ、Ｙ座標は口の中心線（Ｘ＝
＝＝０　、　Ｙ＝０　）の位置に対する実際のＸ、Ｙの
位置に置かれる。すべての点は１点づつ、７曲線づつコ
ンピュータ４ｔｒに与えられる。これによシ、個々のフ
レームを変更する際のフレームからフレームへの移動に
対して各曲線の位置をきめることができる。
後で示スアルコ０リズムとコンピュータ用プログラミン
グとともに、説明しているプロセスでもとのフィルムを
変更して録音機１２で録音された新しい音声と組み合わ
せるフィルムまたはビデオ・テープの新しい区間を得る
のに充分なデータが求められた。使用するハードウェア
は第２図の１Ａ２−５弘で表わしたものに１つのフレー
ム毎に録画するカメラを追加したものである。
そのかわりに、ハードウェアは第り図に示す形式とする
こともできる。第り図では、フィルムはビデオ・テープ
形式になっており、ビデオ・テープ・レコーダざコから
イメージ・プロセッサ１６ＩＬに伝送される。コンピュ
ータ乙θａ１　ビデオ・モニタｊ、２ｍ、およびイメー
ジ・プロセッサ／乙ａは前述のように動作する。録画カ
メラ♂０はモニタ３２ｍの画像をフレーム毎に録画する
ことができる。録画カメラはフィルム・カメラでもビデ
オ・カセット・レコーダの付随したビデオ・カメラでも
よい。
（以下余白） 前述したようにテレシファ≠２−≠６またはＶＣＲ構成
？、２はディジタル・コンピュータＡＯ＊に制御されて
各フィルム・フレームをビデオ（１に変換する。このビ
デオ信号はディジタル・イメージ・プロセッサノロａに
よってディジタル化され、記憶され、再ディスプレイさ
れる。フィルム・フレームのディジタル化、記憶、再デ
ィスプレイの他に、ディジタル・イメージ・プロセッサ
ｌｔ＆はコンピュータ乙Ｏａとの閣で光強度情報の送受
も行なう。更に詳しく述べると、イメージ・プロセッサ
ノロａとディジタル・コンピュータ乙Ｏａの動作はイメ
ージ・プロセッサがコンビュータカらｘ、ｙ座標を受け
、その座標位置での光強度に対応する数値を送シ返すよ
うに力っている。更に。
イメージ・プロセッサは与えられた座標位置での光強度
をディジタル・コンピュータから送られた新しい値に置
き換えることができる。従って、もとの唇の動作曲線（
第弘図）のＸ、Ｙ位置の特定の点を新しい唇の形（第３
図）の対応する点で表わされる新しい位置にシフトまた
は移動するようにできる。上記のことは唇曲線のすべて
の点に対して行なわれるので、第≠図の唇曲線の種々の
点は第３図の唇曲線に対応してシフトされ、新しい唇の
動きが新しい音に合うよう圧される。コンピュータ・グ
ロダラムと構成によシ、シフト量は第１図の一対の標準
曲線、更に詳しくはその間に特定のＸ、Ｙ点がある２つ
の標準曲線を参照して制御される。
本プロセスに一義的に適用されるアルゴリズムによって
定められたように、鼻と首との間の顔面領域画素に対し
て光強度の反復置換を行なって画偉を修正することによ
シ、モニタに再ディスプレイされたとき俳優の口が声の
要求する形状となるようにする。モニタｊ２ａにディス
プレイされた修正済みフレームはカメラｔｏによって記
録されるか、またはビデオ・テープ・レコーダによって
直接ビデオ・テープに記録される。この変更プロセスは
フィルムの対話部分全体が記録されるまでフレーム毎に
繰シ返される。
本発明で使用されるアルゴリズムは命令群に変換してコ
ンピュータに入力、記憶させ、実行させることができる
。前に相違したように、これらのアルがリズムは標準曲
線の情報またはデータを新しい唇の動きのデータとフィ
ルムにある現在の頭と唇の動きのデータに組み合わせる
。
アルゴリズムには（す動き情報に対するフレーム・デー
タの補間、（２）標準曲線から動作曲線の作成、（３）
曲ａｍ断の検出、（４）点ごとの置換、および（５）内
側の口領域の補充が含まれる。
幅、高さ１頭の動きとＸ＝０．Ｙ＝０　（口の中心）が
動きの情報に対して補間される。前述し九測定に関する
操作者の労力を減らすため、このよう表測定は動きが変
るフレームに対してだけ行まわれた。中間フレームに対
する動きは直＃または線形補間によって補間することが
できる。たとえば、閉じたフレームと完全開口フレーム
との間の７４のフレームは／４開口とすることができる
。しかし、経験的に唇と頭の動きは非線形になシがちで
あると考えられてきた。ここで使用されている補間アル
ゴリズムは線形成分と二次成分を組み合わせる。これは
次のように３つの式で中間の値Ｖを計算する。
Ａ＝　ＣＦ−Ｆ／　）／（Ｆ２−Ｆ／　）＋ＱＸ（Ｆ−
Ｆ／　）Ｘ（Ｆ−Ｆ／−ｉ　＞／（＜ｙ２−ｖ／）Ｘ（
Ｆ、２−Ｆ／　））■＝　（Ｖ、２ＸＡ＋Ｖ／ＸＢ）／
（Ａ＋Ｂ）ここでＡ（！−ＢＦｉ３番目の式に使用され
る一時的な値である。■はフレームＦに於ける補間値（
たとえば、高さ、＠、＠の動き）、Ｖ／はフレームＦ／
で与えられた値、ｖ２はフレームＦ２で与えられた値、
Ｑは動きの速匿に関連した加速係数であシ、経験的に０
．６に選ばれる。これらの式によって各フレームに対し
て補間されるデータには下記のものが含まれる。
もとの（変更前の）、上唇の高さ、下唇の高さ、内側の
幅、外側の幅、傾斜の変化、ならびに口の中心のＸ、Ｙ
座標。
希望の新しい言語の（変更後の）、上唇の高さ、下唇の
高さ、内側の幅、ならびに外側の幅。
高さと幅は標準曲線と組み合わされて、関連した目領域
に対する実際の曲線を表わす動作曲線が作られる。
前述したように、標準曲線は操作者が開いた上唇と閉じ
た上唇、下唇、およびあごに対して決定する。もとの外
国語と希望の新しい言語の高さと幅によって対応する開
口と閉口の標準曲線制御点を補間することによシ、前後
の上唇、下唇、およびあごを近似する動作曲線が計算さ
れる。たとえば、希望する新しい言語の上の高さがＯ，
Ｓ＜すなわちｒｏｓ開口）である場合には、上唇の各制
御点のＸ、Ｙ座標は標準開口上唇と標準閉口上唇に対応
する制御点の間の丁度０．　Ｊ″（す力わちｒｏｓ＞と
まる。唇とあごに対する前後の動作曲線が第１図に示す
鼻境界、中心線、および首境界に対する標準曲線を補足
する。
限定された数の制御点によって動作曲線と標準曲線が決
定されるが、制御点の間の中間点または切片は補間によ
って計算することができる。線形補間は良好な近似であ
るが、経済的に我々が知つたことによればいわゆる３次
スプライン補′間が通常の唇曲線の一層良い近似となる
。３次スプライン福間は標準的々数学的技法であるが、
たとえばアデイソン・ウニズリ−・／９ブリッジング社
発行の「アプライド・ニューズリカル・アナリシス」に
詳述されている（Ａｐｐｌｉｓｄ　Ｎｕｍ＠ｒｉｃａｌ
　Ａｎａｌｙｓｉｓ。
／り１０　　、　　ｐａｇｅｓ　４Ａ７’Ａ〜４’Ｊ’
ｌ　、Ａｄｄｌｓｏｎ　Ｗｅｓｌ＊ｙＰｕｂｌｉｓｈｉ
ｎｇ　Ｃｏ、　＋　Ｒ＠ａｄｉｎｇ　、　Ｍａｓｓ　＋
　Ｕ、　Ｓ、　Ａ、）。３次スゲライン補間式は後で本
明細書の一部として含まれ、ｒ　ＣＡＬＣＵＬＡＴＥ　
ＣＵＢＩＣＣ０ＥＦＦ’　Ｓ　Ｊという見出しのコンピ
ュータ・プログラムに示されている。
３火桶間によって決定される曲線切片を使って点ごとの
置換のための垂直座標を見出す。
点ごとの置換は変更の中心的なアルゴリズムである。鼻
と首の境界曲線の間のすべての顔面点の置換が検討され
る。点ごとの置換は第り図に於いてディジタル・コンピ
ュータ乙Ｏａによって行々われる。ディジタル・コンピ
ュータｌ、□ａはディジタル・イメージ・プロセッサ／
６ａに命じてソース座標ｘｌ　、　Ｙ／からディジタル
・コンピュータに強度情報を送らせ、座標ｘ、ｙの行先
点に対する新しい強度情報としてその値を受信させる。
アルがリズムの主要なタスクは置換を考えている各行先
点Ｘ、Ｙの計算と、それから強度情報に対するソース点
座標ｘ’、ｙ’を計算することである。
Ｘに対する行先座標値を計算する７つの方法は口の中心
のＸ＝０からスタートすることである。
次に、Ｘ＝・／　、Ｘ＝・２，Ｘ＝・３、・・のように
Ｘ＝第１の鼻境界点となるまでセットする。
次に、Ｘ＝＋／　、Ｘ＝＋２．Ｘ＝＋３．・・のように
Ｘ＝最後の鼻境界点となるまでセットする。こ′　　　
れによりｅ換用のＸの可能なすべての値が得られる。次
に各Ｘに対してＹ／とＹ２の間のＹの値を次のように計
算する。スタート時のＹ／座標は鼻境界曲線でＸの３次
スプライン切片として計算することができる。ｉｂの値
Ｙ２は首の境界曲線でＸの３次スプラインＹ切片として
計算することができる。Ｙの中間の値は順次／を減算す
ることによって計算することができる。Ｙ＝鼻切片、鼻
切片・７．鼻切片・λ、・・のようにＹが首境界と交わ
るまで行カう。
ソース垂直切片Ｙ／”ｉ計算するため、Ｙ／。
Ｙλ、Ｙ／′およびＹ２’　ｆ次のように計算する。す
彦わち、Ｙの上の境界曲線または動作「後」曲線のＹ切
片としてＹ／ｉ計算する。Ｙの下の境界曲線または動作
「後」曲線のＹ切片としてＹ２を計算する。Ｙ／に対応
する境界曲線または「前」の曲線の切片としてＹ／”ｉ
計算する。そしてＹ２に対応する境界曲線または動作「
前」曲線の切片としてＹ　２／を計算する。
次に下記のような線形補間によ、り　Ｙ／’とＹ２’と
の間のＹ′座標を計算する。
Ｙ′＝Ｙ＋（（Ｙ／−Ｙ／′）ｘ（Ｙ−Ｙ２）＋（Ｙ、
２−Ｙ２′）Ｘ（Ｙ−Ｙ／　））　／（Ｙ、２−Ｙ／　
＞ ソース水平座標Ｘ′の計算は変更前後の行先点のＸ座標
およびＹ座標と口の幅によってきまる。
／）次のように肩、上唇と下唇の間に調整されたＸの福
を計算する。
ａ）　　Ｘが頬ＸＯと口の隅Ｘ／との間にある場合は、
外側の「変更後」幅と外側の「変更前」幅から幅係数Ｘ
Ｗ　？次のように計算する。
肩＝　Ｘ／　Ｘ　（Ｘ−ＸＯ）　Ｘ　＜ＷＯ’−ＷＯ）
／（Ｘ／　−ＸＯ）ｂ）Ｘが口の隅Ｘ／と中心Ｏとの間
にある場合は、内側の「変更後」幅Ｗノと内側の「変更
前」幅Ｗ　／　／からＸＷ′を次のように計算する。
ＸＷ＝　（Ｘ−Ｘｏ　）　Ｘ　（Ｗ／　’　−Ｗ／　）
２）　　Ｙが上唇曲線と下唇曲線との間にある場合は、
ソースＸ座標に対してＸを調整した幅ＸＷを使ってＸ′
を直接求める。
ｘ’　＝　ｘ＋ｘｗ Ｊ）Ｙが上の鼻の境界切片Ｙ／と上唇切片Ｙ２との間に
ある場合は、上唇の曲線の上の距離によってｘｗｆ、補
間する。
Ｘ’＝Ｘ＋ＸＷＸ　（Ｙ／　−Ｙ　）／（Ｙ／　−Ｙ２
　）りＹが下唇切片Ｙ≠とあご切片Ｙｊとの間にある場
合は、下唇曲線の下の距離によってＸＷを補間する。
Ｘ’＝Ｘ＋ＸＷＸ　（Ｙ−１）／（Ｙｊ−Ｙｊ）ｊ）Ｙ
があごと首の間にある場合は、幅調整は使わない。
要約すると、顔下部のすべての点の強度は以下のａ）か
らＣ）に基いて他の点からの強度に置き換えられる。０
置換すべき点のＸ、Ｙ座標、ｂ）標準境界曲線、Ｃ）前
後の高さと前後の幅からの水平調整に基づく動作曲線。
置換された点Ｘ、ＹとソースＸ’　、　Ｙ’との差は減
少し、鼻、中心１首の境界線および頬の境界点で零Ｋｌ
る。このように零に向って次第に減少するため、顔の変
更領域と非変更領域との間の継ぎ目は見えない。
点を置換する順序は任意である。しかし、唇を中心に向
って伸張し、中心からすぼめれば、コンピュータの所要
データ記憶量が少なくなる。
閉じた状態から開いた状態に口を開いたとき、口の中の
点は前のフレームからの強度情報を必要とすることがあ
る。たとえば、歯の構成を復元しなければ彦らカいこと
もある。ディジタル化された完全開口からある範囲の点
の強度情報がディジタル・イメージ・プロセッサ／６ａ
からホスト・コンピュータ６□ｍのメモリに送られてそ
の中に格納される。後続のフレームがディジタル化され
たとき、プログラムで定められ九通シホスト・コンピュ
ータは点強度のいくつかを送って、新たに開いた口の中
の対応する位置で置換される。このような対応する位置
は口の中心に対してすべての点を参照することによって
計算される。転送は中心から操作者の指定した左右の最
大距離に限定される。「変更後」すなわち新しい言語の
上唇曲線と下唇曲線との間の点だけが置換される。
シーケンスのすべてのフレームがディジタル化され、変
更され、フィルムまたはビデオ・チーブに記録された後
、変更されたグラフィック・フレームはレコーダからの
新しい言語の声と組み合わせて、フィルム正量を完成す
ることができる。組み合わせはたとえばサウンド・トラ
ックをフィルムに付加するための通常の手織によって行
危うことができる。
本発明を実行するためのコンピュータ・プログラムは下
記の通シである。
１’ｊＦ’＋Ｓ　呂ｇｇｇ’Ｆ＜ｇ”１Ａ２Ｆ？’ｘ３
　呂ｇ’ｇｓ８１’ｌ’ｌ　ｌ’Ｔ″ｌ　Ｌｖ′ｌ　ｍ
　ｌ’ｎ　ｌ’ｎ　ｌ’ｎ　ｌ’ｌ’１ｊｊｊｊ７ｊｊ
　ｊｊｊ　ＬＡに） ｏｏｏｏｏ００ｏｏｏ口０ｏｏｏｏｏｏ０００ｏＯＯト
のへ０−〜ｎ５いψトの６０−への５い１トのＱＯＮ　
（％Ｉ　（ＩＪ　ｌ’Ｔ’ｌ　ｍ　ｍ　ｌ”ｌ　ｍグ＋
（ｆＩ　Ｆ＋＋’ｎ＋’＋’１ａｊｄｘｊｉｘ７４ｊ　
ｙ−ｒ４ｔ＠ｔ＠Ａ−−ｒ４−＋−４ＳＬ＠−一−５−
ｒ４Ｉ−Ｉ？ｒ４ｒ４−１−ＪＩ １″″ １のの ０ｏＯｏｏｏｏＯＯＯｏ００ｏＯｏｏＯｏＯ臣り舘名愕
刈寓包否２２ｆｆコゴ背Σ２り牙スｍ　ｌ’Ｔ’ｌ　Ｆ
’ｌ　Ｆｌ　ｒｎ　Ｆｌ　ｌ’ｌ’ｌ　ｍ　ｍ　ｍ　ｍ
　ｃｎ　ＦＩ　Ｆｌ　ｔ’ｎ　ｍ　ｍ　α’ｌ　Ｆｌ　
ｍ　　　　Ｈ Ｃ ＋　（ ００ｏｏｏＯｏＯｏｏｏｏＯＯｏｏ００〜の５いリドψ
０’１０＋＋〜ｎ５いリドのωのののｃｏｃｏのののＯ
い色ひＯへへＱＣ０１’ｌ’ｌ　Ｌｖ′ｌ　ｒｎ　（Ｙ
ｌ　ｌ’ｌ”ｌ　ｍ　ＦＩ　Ｆ’ｌ　ｌＴ’ｌ　ｌ’ｌ
’ｌ　ｌ’ｌ”ｌ　ｌ’ｌ”ｌ　（Ｖ’ｌ　ｍ　ｍ　ｍ
　ｒｎ　ｎ０００００ｏｏｏＯｏｏｏｏＱＯｏｏｏ００
００ｏｏ。
Ｏｒ＠　（１４１”１４　Ｌ＋”ｔ”ｃ　＋−のＣｈＯ
ｒ−Ｉ　Ｑｌ　ｌ’ｌ’ｌｊ　ＬＩＮｌ、Ｏｌ−Ｅ　Ｏ
ｔＯＦ−１０Ｊ　ｉ”ｌｊＯＯＯＯＯＯＯＯＯＯＨＡ　
＋−１ｒ＠　ｒ−１ｒ−４Ａ　Ｐ４　Ｆ４−（′４　Ｎ
　ＯＪ　（ＩＪ　（％１ｊｊ　＋ｔａ　＋＋ｒｊｊ７ｊ
ａｊ７ａｊｊｊｊｊｊｊｊｊｊｊｊ０ｏＯｏｏｏｏ００
０ｏＯｏｏ０００ｏｏｏｏＯｏ００゜Ω凋に宕治８菖以
當弘優活詰召飴２２ｊコゴ背胃シＳ雪スａａｊ　＋ｔｊ
　＋ｒ＋ｒＪｊｊｊｊｊｊｊｊｊ、ｊｊｊｊｊｊｊｊｊ
１４８２０　ＲＫ汽正Ｎ ＲＦＡＤ　Ｙ
【図面の簡単な説明】
第１図は本発明の一実施例の各ステップを図式的に示す
ブロック図である。第２図は本発明のプロセスのいくつ
かの初期ステップのもう７つのブロック図であシ、主と
してハードウェアの接続金示している。第３図はサウン
ド・トラックに加えられる第２の言語す々わち新しい言
語の唇形状の拡大図であシ、その上で求める測定値を示
している。第弘図は第３図に非常に似ているが、映画作
品のもとの言語に対応する唇の形状金示す。第５図は第
３図および第≠図の測定値のデータをディジタル形式で
比較する本発明の／ステップを示すもう７つのブロック
図である。第６Ａ図および第６Ｂ因は本発明のプロセス
で使うのに最も適したフレームを選択する際に使うため
のディスプレイを構成するグラフである。第１図は作品
のもとの言語版の俳優の顔のビデオ・ディスプレイであ
シ、またそれを使うことが本発明の一部を構成する標準
曲線の形成方法を示している。第ｇ図は第１図によく似
た拡大図であるが、標準曲線の７つを形成する方法を示
している。第り図は類ディスプレイを訂正する際の最終
ステップを示すブロック図である。 符号の説明 １０・・・マイクロホーン、／２・・・録音機、／４ｔ
・・・カメラ、／Ａ・・・ビデオ・テープ・レコーダ、
７ｇ・・・ビデオ・モニタ、２０・・・コンピュータ、
２．２・・・ディスケット、ｌｌ−２・・・ビデオ・カ
メラ。 ≠≠・・・スクリーン、１１を乙・・・グロジエクタ、
ｌＡｇ・・・コンピュータ、ｊｏ・・・イメージ　プロ
セッサ、ｊ２・・・モニタ、ｊｔ・・・ディスケット、
乙０・・・コンピュータ。

Claims (8)

    【特許請求の範囲】
  1. （１）第１および第２の動く顔ディスプレイがあり、こ
    れらのディスプレイが言語に応じた唇の動きを示し、２
    つのディスプレイの言語が充分に異なつているので唇の
    動きも異なる場合に第１の動く顔ディスプレイを第２の
    動く顔ディスプレイに置き換えることによつて映画作品
    を変更する方法に於いて： 複数の映画フレームにわたつて第２の顔ディスプレイの
    形状を表わすディジタル形式のデータを発生する事、 上記作品の複数の映画フレームにわたつて第１の顔ディ
    スプレイの形状を表わすディジタル形式のデータを発生
    する事、 そして上記両組のデータとプログラムド・ディジタル・
    コンピュータの制御下で上記第１の顔ディスプレイの形
    状を変更することにより、第２の顔ディスプレイの形状
    を実質的に作り出す事、が含まれる事を特徴とする映画
    作品の顔ディスプレイの変更方法。
  2. （２）２つのディスプレイの選択されたフレームの対を
    形成する事、 およびフレーム毎に上記変更を実行する際に使うために
    、上記対の群からデータを得る事、が変更に含まれる特
    許請求の範囲第１項記載の方法。
  3. （３）上記プログラムド・ディジタル・コンピュータは
    ビデオ・モニタに変更後のフレームをディスプレイする
    イメージ・プロセッサを制御する特許請求の範囲第１項
    記載の方法。
  4. （４）上記コンピュータに接続されたイメージ・プロセ
    ッサを設ける事、 上記第２の複数のフレームのフレームに対応する信号を
    上記イメージ・プロセッサに送出する事、上記イメージ
    ・プロセッサの出力をビデオ・モニタに接続する事を含
    み、その結果イメージ・プロセッサに伝送された各フレ
    ームを表わす信号がディジタル化され、記憶され、且つ
    上記モニタに与えられ、 上記変更後のフレームが上記モニタに現われるようにす
    る特許請求の範囲第１項記載の方法。
  5. （５）上記モニタに与えられた各フレームは画素で構成
    され、各画素の強度の大きさが上記コンピュータに記憶
    され、上記画素の位置も上記コンピュータ内に記憶され
    該コンピュータ内でアドレス指定可能であり、そして上
    記コンピュータからの光強度情報が上記イメージ・プロ
    セッサに送られて所望画素の強度を変更させる特許請求
    の範囲第４項記載の方法。
  6. （６）上記第２の複数のフレームの各フレームを一連の
    画素としてディジタル形式で記憶する事、ならびに上記
    変更の一部としてデータの組に従つて選択された画素の
    ディジタル値を変更する事、が含まれる特許請求の範囲
    第１項記載の方法。
  7. （７）音声−画像媒体において、唇の動きに対応する音
    声と同期して、第２のディスプレイを組み合わせる事が
    含まれる特許請求の範囲第１項記載の方法。
  8. （８）上記言語の中の少なくとも１つの言語のフレーム
    の唇形状の点を表わしている離れた点の位置についての
    情報を含むデータを発生する事、ならびに３次スプライ
    ン補間を使つた上記点を通る曲線によつて上記の１つの
    言語の唇形状を確かめる事、 が含まれる特許請求の範囲第１項記載の方法。
JP61068853A 1985-03-29 1986-03-28 映画作品の顔デイスプレイの変更 Expired - Lifetime JPH0721606B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US06/717,843 US4600281A (en) 1985-03-29 1985-03-29 Altering facial displays in cinematic works
US717843 1985-03-29

Publications (2)

Publication Number Publication Date
JPS61226736A true JPS61226736A (ja) 1986-10-08
JPH0721606B2 JPH0721606B2 (ja) 1995-03-08

Family

ID=24883712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP61068853A Expired - Lifetime JPH0721606B2 (ja) 1985-03-29 1986-03-28 映画作品の顔デイスプレイの変更

Country Status (5)

Country Link
US (2) US4600281A (ja)
EP (1) EP0196225B1 (ja)
JP (1) JPH0721606B2 (ja)
CA (1) CA1248627A (ja)
DE (1) DE3687915T2 (ja)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4600281A (en) * 1985-03-29 1986-07-15 Bloomstein Richard W Altering facial displays in cinematic works
US4913539A (en) * 1988-04-04 1990-04-03 New York Institute Of Technology Apparatus and method for lip-synching animation
DE4102895C1 (ja) * 1991-01-31 1992-01-30 Siemens Ag, 8000 Muenchen, De
US5430835A (en) * 1991-02-15 1995-07-04 Sierra On-Line, Inc. Method and means for computer sychronization of actions and sounds
JPH0546743A (ja) * 1991-08-09 1993-02-26 Matsushita Electric Ind Co Ltd 個人識別装置
US5313522A (en) * 1991-08-23 1994-05-17 Slager Robert P Apparatus for generating from an audio signal a moving visual lip image from which a speech content of the signal can be comprehended by a lipreader
JP3068304B2 (ja) * 1992-01-21 2000-07-24 日本電気株式会社 動画像符号化方式および復号化方式
IL101720A (en) * 1992-04-29 1998-09-24 Mali Tech Ltd Needle for syringe or the like
US8821276B2 (en) 1992-05-22 2014-09-02 Bassilic Technologies Llc Image integration, mapping and linking system and methodology
US7137892B2 (en) * 1992-05-22 2006-11-21 Sitrick David H System and methodology for mapping and linking based user image integration
US5553864A (en) * 1992-05-22 1996-09-10 Sitrick; David H. User image integration into audiovisual presentation system and methodology
JPH06168314A (ja) * 1992-11-30 1994-06-14 Matsushita Electric Ind Co Ltd 娯楽装置
US5482048A (en) * 1993-06-30 1996-01-09 University Of Pittsburgh System and method for measuring and quantitating facial movements
US5523791A (en) * 1993-10-12 1996-06-04 Berman; John L. Method and apparatus for applying overlay images
CA2144795A1 (en) * 1994-03-18 1995-09-19 Homer H. Chen Audio visual dubbing system and method
IL109649A (en) * 1994-05-12 1997-03-18 Electro Optics Ind Ltd Movie processing system
US6707484B1 (en) 1994-07-28 2004-03-16 Semiconductor Energy Laboratory Co., Ltd. Information processing system
JP3167865B2 (ja) * 1994-07-28 2001-05-21 株式会社半導体エネルギー研究所 情報処理装置
US6232965B1 (en) 1994-11-30 2001-05-15 California Institute Of Technology Method and apparatus for synthesizing realistic animations of a human speaking using a computer
AU5027796A (en) * 1995-03-07 1996-09-23 Interval Research Corporation System and method for selective recording of information
US5870138A (en) * 1995-03-31 1999-02-09 Hitachi, Ltd. Facial image processing
EP0735510B1 (en) * 1995-03-31 2001-11-28 Hitachi Europe Limited Facial image processing
US6020892A (en) * 1995-04-17 2000-02-01 Dillon; Kelly Process for producing and controlling animated facial representations
US5734794A (en) * 1995-06-22 1998-03-31 White; Tom H. Method and system for voice-activated cell animation
NL1000679C2 (nl) * 1995-06-28 1996-12-31 Arie Van Wieringen Video Film Bewegingseditor/samensteleenheid.
US7109993B2 (en) * 1995-10-08 2006-09-19 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for the automatic computerized audio visual dubbing of movies
AU6998996A (en) 1995-10-08 1997-05-15 Face Imaging Ltd. A method for the automatic computerized audio visual dubbing of movies
US5880788A (en) * 1996-03-25 1999-03-09 Interval Research Corporation Automated synchronization of video image sequences to new soundtracks
US7297856B2 (en) * 1996-07-10 2007-11-20 Sitrick David H System and methodology for coordinating musical communication and display
US5728960A (en) 1996-07-10 1998-03-17 Sitrick; David H. Multi-dimensional transformation systems and display communication architecture for musical compositions
US7989689B2 (en) * 1996-07-10 2011-08-02 Bassilic Technologies Llc Electronic music stand performer subsystems and music communication methodologies
US7098392B2 (en) * 1996-07-10 2006-08-29 Sitrick David H Electronic image visualization system and communication methodologies
US6263507B1 (en) * 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
US5893062A (en) 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
JPH11219446A (ja) * 1998-02-03 1999-08-10 Matsushita Electric Ind Co Ltd 映像音響再生システム
US20070165022A1 (en) * 1998-07-15 2007-07-19 Shmuel Peleg Method and system for the automatic computerized audio visual dubbing of movies
CN1271573C (zh) * 1999-06-24 2006-08-23 皇家菲利浦电子有限公司 后期同步信息流
US7155735B1 (en) * 1999-10-08 2006-12-26 Vulcan Patents Llc System and method for the broadcast dissemination of time-ordered data
US6757682B1 (en) 2000-01-28 2004-06-29 Interval Research Corporation Alerting users to items of current interest
ITCA20000018A1 (it) * 2000-10-10 2002-04-10 Fabrizio Cucca Sistema per la realizzazione di dedica personalizzata incisa su supporti magnetici e/o video preesistenti cd, dvd, dat, minidisc, musica e v
JP4310916B2 (ja) * 2000-11-08 2009-08-12 コニカミノルタホールディングス株式会社 映像表示装置
US7827488B2 (en) 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
US6654018B1 (en) * 2001-03-29 2003-11-25 At&T Corp. Audio-visual selection process for the synthesis of photo-realistic talking-head animations
US7990384B2 (en) * 2003-09-15 2011-08-02 At&T Intellectual Property Ii, L.P. Audio-visual selection process for the synthesis of photo-realistic talking-head animations
US20060031885A1 (en) * 2004-04-30 2006-02-09 Vulcan Inc. Management and non-linear presentation of music-related broadcasted or streamed multimedia content
US20060031879A1 (en) * 2004-04-30 2006-02-09 Vulcan Inc. Management and non-linear presentation of news-related broadcasted or streamed multimedia content
US20060031916A1 (en) * 2004-04-30 2006-02-09 Vulcan Inc. Management and non-linear presentation of broadcasted or streamed multimedia content
US7209577B2 (en) * 2005-07-14 2007-04-24 Logitech Europe S.A. Facial feature-localized and global real-time video morphing
US20070230794A1 (en) * 2006-04-04 2007-10-04 Logitech Europe S.A. Real-time automatic facial feature replacement
US20080115063A1 (en) * 2006-11-13 2008-05-15 Flagpath Venture Vii, Llc Media assembly
FR2951605A1 (fr) * 2009-10-15 2011-04-22 Thomson Licensing Procede pour rajouter un contenu sonore a un contenu video et dispositif mettant en oeuvre le procede
US8826147B2 (en) 2011-05-06 2014-09-02 David H. Sitrick System and methodology for collaboration, with selective display of user input annotations among member computing appliances of a group/team
US9330366B2 (en) 2011-05-06 2016-05-03 David H. Sitrick System and method for collaboration via team and role designation and control and management of annotations
US10402485B2 (en) 2011-05-06 2019-09-03 David H. Sitrick Systems and methodologies providing controlled collaboration among a plurality of users
US8990677B2 (en) 2011-05-06 2015-03-24 David H. Sitrick System and methodology for collaboration utilizing combined display with evolving common shared underlying image
US11611595B2 (en) 2011-05-06 2023-03-21 David H. Sitrick Systems and methodologies providing collaboration among a plurality of computing appliances, utilizing a plurality of areas of memory to store user input as associated with an associated computing appliance providing the input
US8918724B2 (en) 2011-05-06 2014-12-23 David H. Sitrick Systems and methodologies providing controlled voice and data communication among a plurality of computing appliances associated as team members of at least one respective team or of a plurality of teams and sub-teams within the teams
US9224129B2 (en) 2011-05-06 2015-12-29 David H. Sitrick System and methodology for multiple users concurrently working and viewing on a common project
US8918721B2 (en) 2011-05-06 2014-12-23 David H. Sitrick Systems and methodologies providing for collaboration by respective users of a plurality of computing appliances working concurrently on a common project having an associated display
US8875011B2 (en) 2011-05-06 2014-10-28 David H. Sitrick Systems and methodologies providing for collaboration among a plurality of users at a plurality of computing appliances
US8914735B2 (en) 2011-05-06 2014-12-16 David H. Sitrick Systems and methodologies providing collaboration and display among a plurality of users
US8924859B2 (en) 2011-05-06 2014-12-30 David H. Sitrick Systems and methodologies supporting collaboration of users as members of a team, among a plurality of computing appliances
US8918723B2 (en) 2011-05-06 2014-12-23 David H. Sitrick Systems and methodologies comprising a plurality of computing appliances having input apparatus and display apparatus and logically structured as a main team
US8806352B2 (en) 2011-05-06 2014-08-12 David H. Sitrick System for collaboration of a specific image and utilizing selected annotations while viewing and relative to providing a display presentation
US8918722B2 (en) 2011-05-06 2014-12-23 David H. Sitrick System and methodology for collaboration in groups with split screen displays
TW201301148A (zh) * 2011-06-21 2013-01-01 Hon Hai Prec Ind Co Ltd 網頁瀏覽控制系統及方法
US8655152B2 (en) 2012-01-31 2014-02-18 Golden Monkey Entertainment Method and system of presenting foreign films in a native language
US9300994B2 (en) 2012-08-03 2016-03-29 Elwha Llc Methods and systems for viewing dynamically customized audio-visual content
US10237613B2 (en) 2012-08-03 2019-03-19 Elwha Llc Methods and systems for viewing dynamically customized audio-visual content
US10455284B2 (en) 2012-08-31 2019-10-22 Elwha Llc Dynamic customization and monetization of audio-visual content
US20160042766A1 (en) * 2014-08-06 2016-02-11 Echostar Technologies L.L.C. Custom video content

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3510210A (en) * 1967-12-15 1970-05-05 Xerox Corp Computer process character animation
US3662374A (en) * 1970-07-13 1972-05-09 Computer Image Corp Automatic generation of a mouth display and animation of the mouth in response to sound
US3747087A (en) * 1971-06-25 1973-07-17 Computer Image Corp Digitally controlled computer animation generating system
JPS5345120A (en) * 1976-10-05 1978-04-22 Tokyo Hoso:Kk Video special effect device
US4260229A (en) * 1978-01-23 1981-04-07 Bloomstein Richard W Creating visual images of lip movements
FR2447656A1 (fr) * 1979-01-24 1980-08-22 Dainippon Screen Mfg Procece et appareil pour essayer une forme de coiffure en image
US4602286A (en) * 1982-01-15 1986-07-22 Quantel Limited Video processing for composite images
US4642710A (en) * 1985-03-15 1987-02-10 Milton Bradley International, Inc. Animated display controlled by an audio device
US4600281A (en) * 1985-03-29 1986-07-15 Bloomstein Richard W Altering facial displays in cinematic works

Also Published As

Publication number Publication date
US4600281A (en) 1986-07-15
EP0196225A3 (en) 1988-05-25
EP0196225A2 (en) 1986-10-01
EP0196225B1 (en) 1993-03-10
DE3687915D1 (de) 1993-04-15
US4827532A (en) 1989-05-02
CA1248627A (en) 1989-01-10
DE3687915T2 (de) 1993-09-30
JPH0721606B2 (ja) 1995-03-08

Similar Documents

Publication Publication Date Title
JPS61226736A (ja) 映画作品の顔デイスプレイの変更
US6492990B1 (en) Method for the automatic computerized audio visual dubbing of movies
US20070165022A1 (en) Method and system for the automatic computerized audio visual dubbing of movies
US5687259A (en) Aesthetic imaging system
US5734794A (en) Method and system for voice-activated cell animation
US4260229A (en) Creating visual images of lip movements
CN107679497A (zh) 视频面部贴图特效处理方法及生成系统
US7109993B2 (en) Method and system for the automatic computerized audio visual dubbing of movies
US6919892B1 (en) Photo realistic talking head creation system and method
WO1996017323A1 (en) Method and apparatus for synthesizing realistic animations of a human speaking using a computer
US20150334276A1 (en) System and method for displaying an image stream
US10248756B2 (en) Anatomically specific movie driven medical image review
KR19980080319A (ko) 애니메이션 작성장치 및 애니메이션 작성방법
KR102186607B1 (ko) 증강현실을 통한 발레 공연 시스템 및 방법
JPH02199971A (ja) ビデオ処理装置
JP2995745B2 (ja) 動き情報抽出装置
WO2019097264A1 (en) Virtual reality system for surgical training
EP0674315A1 (en) Audio visual dubbing system and method
CN111696185A (zh) 利用静态人脸图像生成动态表情图像序列的方法和装置
JP2002008057A (ja) アニメーション映像合成装置及びその方法
US5986660A (en) Motion capture data system and display
JP2002304638A (ja) 表情アニメーション生成装置および表情アニメーション生成方法
JPH06118349A (ja) 眼鏡装用シミュレーション装置
WO2023241298A1 (zh) 一种视频生成方法、装置、存储介质及电子设备
EP0056507B1 (en) Apparatus and method for creating visual images of lip movements