JP4406423B2 - 画像データストリームをこれに対応する音声データストリームと同期させる方法及び装置 - Google Patents

Description

本発明は、映画、テレビジョン及びその他のマルチメディア製作物の分野に関する。詳しくは、本発明は、映画、テレビジョン、あるいはその他のマルチメディア製作物を構成するメディアを同期させることによりビューイング及び編集を容易に行えるようにする方法に関するものである。

多数のメディアソースの同期は、初期のトーキー映画の時代から映画プロダクション産業を悩ます１つの問題であった。当然、画像を映画フィルムに記録する技術と音を適当な録音媒体に記録する技術とは、互いに異なったものである。従って、この初期の頃から、映像と音声を記録するのに、２つの独立した装置を使用することが普通であった。

その初期の頃は、映像は、写真フィルムの連続ストリップに、一連のフレームとして記録されていた。それに対し、音声は、ワックスシリンダまたはワックスディスクのいずれかの非常に小さい波形の溝として記録されている。ある種の音声はセットに記録されているが、多くの音声は、フィルムの映写を見ながら、記録していた。

投射された映像とそれに対応する音声の同期は、非常におおざっぱなものであった。映像と音声は、そのプログラムにおいて確立された基準点でスタートすることになる。同期が失われたことを発見したときは、その一方又は他方の速度を手で調整していた。しかしながら、このような技術では、非常に貧弱な同期しか得られず、長いプログラムを同期させるには適しておらず、また多数の音声トラックを画像と同期させるには適していない。

最近のスタジオでは、画像は、フィルムまたはビデオテープに種々のフォーマットで記録することができる。音声は、磁気記録テープに、同じく種々のフォーマットで記録される。最終的な製作物または作品をつくるために多数のソース材料トラックを使用するときはいつも、１つまたはそれ以上の画像と１つまたはそれ以上の音声トラックとを同期させることが必要になることがある。

あるシーンの各テイクの始めにカスタマリ・スレートを使用すると、セットに記録された音声とセットに記録された画像とを同期させることが容易になる。このスレートは、ボードの上をたたくバーのように、識別可能な視覚的イベントと同時に、音声記録に鋭くかつ明確な音をつくり出す。さらに、記録中に、カメラ及びオーデイオ記録装置の同期を機械的にまたは電気的にとることにより、対応する長さのフィルムとオーデイオ媒体とを使用するようにできる。その結果、編集またはビューイングのためにこれらソース媒体を同期させるためには、音声トラック中のスレートの音を、ボードの上をたたくバーの画像と整合させればよいだけである。そして次に、再生または編集のため、それら２つの媒体を機械的または電気的に固定するようにすることができる。

セット上またはセット外で記録された多数のトラックの使用を含む、さらに大きな柔軟性を備えるためには、上述したような環境において同期の確立並びにその維持に役立つタイムコードが開発された。よく使用されるタイムコードの１つのタイプは、映画及びテレビジョン・エンジニヤ協会（ＳＭＰＴＥ）によって開発されたもので、これは、フィルムの各フレームにおいて、絶対的な時間基準を指示するため、撮影中にフィルムまたは音声媒体の不使用のマージンに刻印されるものである。ＳＭＰＴＥタイムコードの刻印は、例えばフィルムのマージンの数字として人が読むことができるものとしたり、あるいは、フィルムのマージンのバーコードのような機械が読み取ることができるものとしたりできる。フィルム媒体に使用される他の時間基準は、イーストマン・コダックＫＥＹＫＯＤＥ数である。ＫＥＹＫＯＤＥ数は、製作物のどのフレームも絶対的に識別できるロール及びフレームカウンタとして作用する。これもまた、フィルムマージンに記録されるが、ＫＥＹＫＯＤＥは製造時にフィルムストックに記録される。

再生中の同期は、次のようにとることができる。第１には、全部の媒体を、開始点に手で整合する。再生中、タイムコードを、同期をとる媒体すべてから読み出す。次に、媒体の再生速度を調節して、媒体から読み出したタイムコードを再生の間一致させるようにするためにする。このようなシステムは、標準的なフィードバック技術を使用して、１つを除くすべての媒体の再生速度を、その１つの再生速度に従うようにする。

しかしながら、上述の技術は、現代の電子的な製作及び編集には不適当である。上述したように、現在の技術は、ソースを再生するか編集すべきときごとに、ソース媒体を物理的に整合し同期をとることを必要とする。上記のように、この手順は、手による整合を必要とする。従って、それは遅くて労多く、エラーを招きやすい。さらに、最終的な編集シーケンスの前の製作段階において、多数トラックの音声をカットフィルムと同期させることは、困難である。

また、デジタル化音声とビデオデータを同期をとって表示することができるシステムが、利用可能である。１つのこのようなシステムは、ピータース（Peters）等に付与された米国特許第５,０４５,９５０号に開示されている。しかしながら、このようなシステムは、前に確立されたソース間の同期を引き受けるものである。別のこのようなシステムは、ロックボックスとして一般に知られている。ロックボックスは、ビデオとフィルムとの間の大ざっぱな同期をとる。しかしながら、ロックボックスは、フレーム毎の正確な同期はとらない。なぜならば、それらは、ビデオとフィルムとの間で異なるソース媒体のフレーム速度に依存するからである。

従って、本発明の目的は、現在の製作及びポスト製作の設備において画像と音声を同期させる方法を提供することである。さらに詳細に述べれば、本発明は、製作及びポスト製作のすべての段階において、マルチメディア提示を同期させる方法を提供することである。

本発明の１つの観点により、デジタル化された画像データストリームとデジタル化された音声データとを同期させる方法が提供される。デジタル化された画像データストリームは、画像タイムコードストリームを含み、音声データストリームは、音声タイムコードストリームを含む。本方法は、画像タイムコードストリームと音声タイムコードストリームの内の１つと同期したカウンタとして基準タイムベース信号を確立する段階と、画像タイムコードストリームと音声タイムコードストリームの内の別の１つとを基準タイムベース信号と関連づける段階と、画像タイムコードを含む画像データのデジタル化されたストリーム、音声タイムコードを含む音声データのデジタル化されたストリーム及び基準タイムベースをを、画像データと音声データが一致する時間範囲に渡って同期した１つのトラックグループとして記憶する段階と、を含む。

本発明の他の観点によれば、本方法は、画像データストリームをデジタル化する段階と、音声データストリームをデジタル化する段階と、画像タイムコードストリームをデコードする段階と、音声タイムコードストリームをデコードする段階と、を含むようにできる。

本発明の他の観点によれば、フィルムデイリー及び対応する音声を同期をとって表示する装置を提供する。この装置は、フィルムプロジェクタ、画像タイムコードストリームを発生するためにフィルムプロジェクタに取りつけられた手段と、基準タイムベースを有するデジタル化された音声データを記憶する手段と、画像タイムコードと同期した音声データを再生する画像タイムコードストリームに応答する手段と、を含む。

本発明の他の観点によれば、ネガカッタ装置が提供される。このネガカッタ装置は、開始フレーム番号を決める手段と、媒体の位置の連続的な指示を与える軸及びコーダーと、デジタルワークプリントに指示されたカット部と現在の媒体位置とを比較するデジタル再生システムと、を有する。

本発明は、図面を参照して本発明の実施例の以下の説明を読むことによって、さらによく理解することができる。尚、図面において同じ参照符号は同じ部品を示している。
本発明の目的は、さらに製作作業を行うためにデジタル化される多数の媒体ソースの間に同期を確立することである。これが望ましい１つの状況は、１９９２年７月２７日に出願されたミカエル・ウイズナー（Michael Wissner）の「マルチメディア作品を表し編集する方法及び装置」と題する米国特許出願第０７／９２０,２６０号に記載されている。特に重要なものは、その中に含まれたデータ構造の説明である。

本発明の１つの観点による、多数ソースの間で同期を実現する方法について、図１と共に説明する。この方法を実施するのに適当な装置を、図２と共に以下で説明する。
本発明のこの観点においては、当該技術において知られており，ＡＡＴＯＮ及びＡＲＲＩＦＬＥＸによってその商標の下で製造されたタイムコード及びタイムコード・リーダを利用する。フィルム１０１及びオーディオテープ１０３のようなソース材料は、上述したような一般的なシステムの１つによるタイムコードを含むように記録することができる。タイムコードは、その媒体の各要素とある絶対基準時間との間に正確な時間関係を確立するように、媒体に周期的に記録される。例えば、フィルム１０１の各フレームは、このフレームに関連するタイムコードを有し、またこのフレームに隣接したフィルムの縁部に印刷される。この記録されたタイムコードは、そのフレームが記録された絶対時間を表す。オーディオテープ１０３の記録の間に、フィルム１０１のそれらフレームを表すタイムコードに対応するタイムコードが組み込まれる。従って、フィルム１０１に撮影するのと同時にオーディオ１０３に記録するとき、タイムコードをフィルム１０１に記録する度に同じタイムコードをオーディオテープ１０３に記録する。しかしながら、音声がフィルムとは別に記録されているときでも適当な関係を確立するようにしても良い。この場合、オーディオテープ１０３に記録されたタイムコードが示す絶対時間は、フィルム１０１の絶対時間とは異なることがある。さらに、画像と音声とで異なるフレーム速度を使用したとき、オーディオテープ１０３に記録されたタイムコードの間の時間は、フィルム１０１に記録されたタイムコードの間の時間とは異なることになる。しかしながら、タイムコードは絶対時間を表すから、タイムコードの使用によってフィルム１０１上のフレームに対応するオーディオテープ１０３のどのポイントも識別することが依然として可能である。

後続の処理工程において、画像及び音声の双方は、電子的に記憶するためにデジタル化するようにできる。これらの操作は、互いに独立して、直列にあるいは同時に起きるようにできる。これらの操作は独立しているので、それらは、この例のため、フィルム１０１をまず最初にデジタル化すると仮定して、別々に説明する。しかしながら、一般性は失われず、この同じ操作は、上述した任意のシーケンスによって実行することができる。

フィルム１０１は、タイムコード１０７（これは、例えばフィルムのマージンに予め記録されている）の読み取り及びデコードと同時にデジタル化される。フィルム１０１からデコードされたタイムコードは、次に、基準タイムベース１０９を確立するために使用される。この基準タイムベースは、以下に説明するような同期を実現するために使用される。

フィルム１０１に記録されたそれらタイムコードは、各フレームが記録された絶対時間を表しているので、１テイクの最後のタイムコードと次のテイクの最初のタイムコードとの間には、通常時間ギャップがあることになる。ソース材料は、このような不連続なタイムコードで複数のクリップに分割されている。各クリップの基準タイムベースは、デジタル化されたクリップと共に記憶され、そのクリップの最初のタイム０で始まる本質上周期的な時間情報である。各クリップと共に究極的に記憶されたその情報は、デジタル化ソース、デコードされたタイムコード及び基準タイムベースを含んでいる。基準タイムベースは、本質的にはクリップ内のある１つの場所を位置決めするフレームカウンタまたはフッテージカウンタとして作用する。フィルム１０１の場合、これらの３つのタイプの情報は、１つの画像情報１１１として記憶されている。

上記と同様の処理によって、オーディオテープ１０３は、デジタル化され（１１３）で記憶される（１１５）。フィルム１０１と同様に、オーディオテープ１０３は、その中に記憶されたタイムコードを有している。このタイムコードは、デコードされ（１１７）、デジタル化された音声情報１１５と共に記憶する基準タイムベース（１０９）を確立するために使用される。

画像情報のクリップとオーディオ情報のクリップの始めは、共通の開始タイムコードによって識別され、従って基準タイムベースのタイム「０」を確立する。もし、フィルム１０１及びオーディオテープ１０３が元々同時に記録されていた場合には、対応して記憶された画像及び記憶された音声は、共通の基準のタイムベースを有することによって同期がとられていることになる。

同期化される各ソースと共に記憶された画像タイムコード及び音声タイムコードは、しばしば共通ではないことがある。例えば、もし、１つのタイムコード発生器が画像に使用されそしてクロックが異なって設定された他のタイムコード発生器が音声に使用された場合には、記録されたタイムコードは共通ではない。多数のソースが共通のタイムコードを有しないならば、所望ならばそれらを整合させるためにオフセットを適用する。すなわち、画像に対する基準タイムベースのタイム「０」を１つのタイムコードとし、音声に対する基準タイムベースのそれを異なるタイムコードとすることができる。しかしながら、基準タイムベースのタイム「０」に対するそれらタイムコードが一旦確立されると、この共通の基準タイムベースは、デジタル化されたソースの間での同期を維持する。

上述した同期をとるために適したシステムを、図２を参照して説明する。このシステムは例示としてのみ示したものであり、本発明の原理は、他のハードウエア実現例においても実施することができる。

ここで記述する実施例は、現代のコンピュータ技術に基づいたものである。例えば、このシステムのいくつかの要素は、一般に入手可能なパーソナルコンピュータ・システムに組み込まれている。

このシステムは、中央処理ユニット（ＣＰＵ）２０１によって制御される。ＣＰＵ２０１は、在来の方法でアドレスバス２０３とデータバス２０５を介してシステム内の他の要素と通信する。ＣＰＵ２０１による制御機能の実行を容易にするソフトウエア・プログラムステップ及びその他のデータを含む情報は、リードオンリーメモリ（ＲＯＭ）に記憶するようにできる。ＲＯＭ２０７に記憶されたソフトウエア・プログラムステップ及びデータは、容易には変えることはできない。追加のプログラムステップ及びデータは、ある種の形態の大容量記憶装置２０９、例えば、ハードディスクドライブまたはテープドライブに記憶することができる。ＲＯＭ２０７または大容量記憶装置２０９に記憶されたプログラムステップまたはデータを使用するために、ＣＰＵ２０１は、このようなデータをランダムアクセスメモリ（ＲＡＭ）２１１に転送する。最後にこのシステムは、ユーザＩ／Ｏデバイス２１３を備えている。これらのデバイスは、キーボード、ポインティング・デバイス、モニタ及びプリンタを含むことができるが、それには制限されない。合わさると、このシステムの上述した要素は、１つまたはそれ以上のアドオン・ユーザーＩ／Ｏデバイス２１３を有するパーソナルコンピュータ・システム２１３を構成する。

上述したようなシステムに対して、１つまたはそれ以上の媒体デジタイザ２１７及び対応するタイムコードデコーダ２１９が付加される。本システムと共に使用する各タイプの媒体に適したディジタイザが必要であり、また含まれる媒体ディジタイザと共に使用するに適し、また予期されるどのようなタイムコードフォーマットをデコードするのにも適したタイムコードデコーダが必要である。この実施例で使用できるデジタイザ２１７は、TRUEVISION及びDIGIDESIGNによって製造されるビデオカードを含む。Avid Film Composerは、特にその製作物によって必要とされる追加の機能を得るために変形されたそのようなビデオカードを使用している。AATONまたはARRIFREXによって製造され、一般に使用されているタイムコードデコーダは、タイムコードデコーダ２１９としてのアプリケーションに適当である。

図１に関連して上述したようにデジタル化ソースの同期が一旦実現されると、ある新規な再生技術が本発明の他の観点に従って使用することができる。第１のこのような新規な技術について、図３を参照して説明する。

ディレクタがフィルムに撮られた作品の品質を定期的にチェックしたいとき、一般に、「デイリー」としてよく知られている、前日に撮影されたフィルムのロールを見る、ということに頼ることになる。デイリーは、素早く処理されたものであり、一体的な音声情報を含んでいない。従って、日々の作業の有効な表示を得るには、見ている間、デイリーのロールに対応する音声をそのロールと同期させなくてはならない。

本発明のこの観点によれば、図２に関連して説明したようなパーソナルコンピュータ２１５を使用する。大容量記憶装置２０９は、元のタイムコード及び基準タイムベースを表す情報を含んだ図示したデイリーに対応するデジタル化された音声情報を保持する。ＣＰＵ（図２，２０１）が実行するある種のコンピュータプログラムステップによって表される制御機能は、コンピュータ２１５にデイリーシンクロナイザ３０１の機能を与える。ディレクタがデイリーを見るとき、生の未カットのフィルム３０５を使用して投射された画像３０３を見る。上記したように、フィルム３０５は、別に記録された音声トラックを有していない。それは大容量記憶装置２０９に保持されている音声である。フィルム３０５を上映するプロジェクタ３０７には、タイムコード・リーダ３０９を備え付けることができる。

フィルム３０５から読み取られたタイムコードは、デコードされそしてデイリープレーヤー３０１に送られる。次に、デコードされたタイムコードは基準タイムベースに変換され、そして大容量記憶装置２０９からの対応する音声情報を検索するために使用される。このような音声情報は、プロジェクタ３０７によって投射される画像３０３と同期して、音声再生装置３１１によって再生される。従って、これまでフィルム３０５の投射の前に手で実行しなければならなかった音声と画像との同期は自動的にとられることになる。

別の代替の実施例において、タイムコード・リーダ３０９は、ＬＹＮＸによって製造された２相発生器、２相−タイムコード変換器と置換することができる。この代替構成は、ラン中のプロジェクタと同期し、しかも操作者が設定する任意のタイムコードで始まるタイムコードを生じる。

本発明による同期装置の他の新規な観点は、図４に示すようなネガカッタと関連させて例示する。
フィルムまたはオーディオテープのような媒体４０１が同期ブロック４０３内に通される。同期ブロック４０３は、ＫＥＹＫＯＤＥリーダーを含む。ＫＥＹＫＯＤＥリーダーは、EVERTZ，CINEMA PRODUCTS，AATON，ARRIFLEX及びSKOTELのようなメーカーから入手可能である。ＫＥＹＫＯＤＥは、フィルム媒体４０１上のフレーム番号を指示する基準コードである。しかしながら、ＫＥＹＫＯＤＥは、フィルム４０１には、各１／２フィート（１５ｃｍ）毎にほぼ１回しか記録されない。同期ブロック４０３に現在通されているフィルム４０１の特定の部分に最初のＫＥＹＫＯＤＥが与えられるならば、デジタル再生システム４０７は、軸エンコーダ４０８によって同期ブロック４０３内の媒体４０１の位置に関する連続的な指示を受けるようにすることができる。

デジタル再生システム４０７の他の入力は、デジタルワークプリント４０９である。デジタルワークプリント４０９は、上述した特許出願第０７／９２０，２６０号に記載された方法及び装置を使用して作品をつくるという結果を含む光ディスクが好ましい。デジタルワークプリント４０９に含まれるデータは、デジタル化された画像及び音声情報、各画像クリップ及び音声クリップに関連する元のタイムコード、及び完全な作品に関して上述した特許出願に記載された基準タイムベース情報及び種々のシーケンス情報を含む。この説明した情報を使用することによって、同期ブロック４０３に通された媒体４０１がカットを行う位置に位置付けされたとき、デジタル再生システム４０７は、モニタ４１１上で指示を出したり、あるいはビープトーンを鳴らすような他の手段によってそれを示すのに使用することができる。これが可能な理由は、デジタルワークプリント４０９の各クリップの始めと終わりは、そのクリップに元々関連する各タイムコードによってはっきりと示され、そしてこれらのタイムコードはＫＥＹＫＯＤＥに容易に変換することができ、媒体の特定の部分のフレームと第１のＫＥＹＫＯＤＥとの間の時間が分かるからである。従って、作品のエディタは、転写エラーを起こす傾向がある従来のペーパーカットリストをつくる必要はない。デジタルワークプリントは、ネガカッタに切断すべき正確な場所の情報を与える機能を行う。

以上、本発明についてその特定の実施例に関連して説明した。上述した説明は、当業者に上記の実施例についての変形または変更を示唆するであろう。それらは、本発明の範囲内にあると考慮される。本発明は、上述の説明により制限を受けるものでなく、請求の範囲によってのみ制限される。

図１は、多数の媒体のデジタル化とデジタル化したソースの基準タイムベースの確立とを示すブロック図である。 図２は、図１のデジタル化と同期を実現するのに適したシステムの要素を示すブロック図である。 図３は、ディスプレー非デジタル化ソース媒体に関連するデジタル化ソース媒体の同期的な再生を行う１つのシステムを示すブロック図である。 図４は、本発明の同期技術を用いたネガカッタ・システムのブロック図である。

Claims (3)

1. 第１のタイムコード・ストリームを有する第１のデジタル・メディア・データ・ストリームと、第２のタイムコード・ストリームを有する第２のデジタル・メディア・データ・ストリームとを含む、複数のデジタル・メディア・データ・ストリームを同期させる方法であって、前記第１タイムコード・ストリームが第１の時間分解能を有し、前記第２タイムコード・ストリームが第２の時間分解能を有し、前記方法が、
   周期的な時間情報と共通タイムとを含む基準タイムベースを確立し、
   前記基準タイムベースの共通タイムが前記第１タイムコード・ストリームの開始タイムと一致するように、前記第１タイムコード・ストリームに対し前記基準タイムベースを発生し、
   前記基準タイムベースの共通タイムが前記第２タイムコード・ストリームの開始タイムと一致するように、前記第２タイムコード・ストリームに対し前記基準タイムベースを発生し、
   前記第１デジタル・メディア・データ・ストリームと、前記第１タイムコード・ストリームに対し発生した前記基準タイムベースとをビデオ情報として格納し、前記第２デジタル・メディア・データ・ストリームと、前記第２タイムコード・ストリームに対し発生した前記基準タイムベースとをオーディオ情報として格納して、前記第１デジタル・メディア・データ・ストリームと前記第２デジタル・メディア・データ・ストリームとを同期させるために前記ビデオ情報に含まれる前記基準タイムベースと前記オーディオ情報に含まれる前記基準タイムベースを使用できるようにすること、
   を備えた、方法。
2. 請求項１記載の方法において、前記第１デジタル・メディア・データ・ストリームはビデオ・データであり、前記第２デジタル・メディア・データ・ストリームはオーディオ・データである、方法。
3. 請求項１または２に記載の方法において、前記第１時間分解能は、前記第２時間分解能とは異なる、方法。

Images