JP4103194B2 - 編集システム及び編集方法 - Google Patents
編集システム及び編集方法 Download PDFInfo
- Publication number
- JP4103194B2 JP4103194B2 JP26369098A JP26369098A JP4103194B2 JP 4103194 B2 JP4103194 B2 JP 4103194B2 JP 26369098 A JP26369098 A JP 26369098A JP 26369098 A JP26369098 A JP 26369098A JP 4103194 B2 JP4103194 B2 JP 4103194B2
- Authority
- JP
- Japan
- Prior art keywords
- clip
- layer
- processing
- editing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【発明の属する技術分野】
本発明は、画像と画像を合成し、それに特殊効果等を施して編集処理を行う編集システム及び編集方法に関する。
【0002】
【従来の技術】
近年、ビデオカメラから得られたビデオデータを編集するポストプロダクションの分野においては、素材のデータを記録する記録媒体としてディスクを使用したノンリニア編集システムがある。このノンリニア編集システムにおいて行われる編集処理としては、さまざまな種類の編集処理がある。例えば、複数の素材をつなぎ合わせて所望のビデオプログラムを作成するためのビデオ編集処理や、キー信号によって複数の素材を合成するための合成処理や、素材に対して特殊効果処理を施す特殊効果処理等が存在する。一般に、このビデオ編集処理は編集装置で行われ、合成処理はビデオスイッチャで行われ、特殊効果処理は特殊効果装置において行われる。
【0003】
今日、ディスク状記録媒体のランダムアクセス性の向上によって、複数チャンネルのビデオデータに対して同時にアクセスできるようになり、この結果、複数チャンネルのビデオデータをリアルタイムで処理する編集システムが要望されるようになってきた。例えば、テレビジョン放送のコマーシャル作成用の編集業界や映画プログラム作成用の編集業界等では、数十から数百の素材を使用して編集処理を行うと共に、異なる種類の編集処理を組み合わせて使用することが要望されている。さらに、これらの複数種類の編集処理を何度も繰り返し行うことによって高度でかつ複雑な編集結果データを生成することが要求されてきた。
【0004】
かかる編集処理を実現するために、編集処理の内容を多層からなるレイヤ構造で示すタイムラインを使った編集システムが提案されている。
【0005】
かかる編集システムは、モニタに上記タイムラインを表示することによって編集処理の内容をユーザに対して視覚的に分かりやすいように示すと共に、マウス等のポインティングデバイスを使って編集処理も容易に行うことができるようにしている。
【0006】
【発明が解決しようとする課題】
このような編集システムは、編集処理済みの結果クリップを編集用のクリップとして使用し、再び編集処理することもあった。しかし、かかる編集システムは、タイムラインを完成してそのタイムラインに従って処理されたものでなければ、結果クリップとして取り扱うことができなかった。このため、タイムラインの作成中に所望のクリップが得られても、これを結果クリップとして取り扱うことができず、甚だ不便であった。
【0007】
本発明は、このような実情に鑑みて提案されたものであり、タイムラインの作成中であっても結果クリップを生成し、この結果クリップも編集処理の対象とすることができる編集システム及び編集方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、複数の編集単位となるクリップを編集して編集処理済みの結果クリップを生成する編集システムにおいて、時間を管理しながら編集対象となるクリップに所定処理を施すクリップ処理層を複数有するクリップ処理手段と、上記各クリップ処理層にそれぞれ対応する複数のオブジェクトを有し、上記各オブジェクトをそれぞれ接続して1つの階層構造を形成することで上記各クリップ処理層の階層を決定する階層決定手段と、オブジェクト又はクリップ処理層を指示する指示手段とを備え、上記クリップ処理手段は、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせると共に、上記指示手段により指示されるオブジェクトに対応するクリップ処理層の処理内容を中間結果とし、上記指示手段により指示されたオブジェクトに対応する上記中間結果から結果クリップを生成して出力することを特徴とする。
【0009】
また、本発明は、複数の編集単位となるクリップを編集して編集処理済みの結果クリップを生成する編集方法において、複数のクリップ処理層が時間を管理しながら編集対象となるクリップに所定処理を施すクリップ処理ステップと、上記各クリップ処理層にそれぞれ対応する複数のオブジェクトを有し、上記各オブジェクトをそれぞれ接続して1つの階層構造を形成することで上記各クリップ処理層の階層を決定する階層決定ステップとを有し、上記クリップ処理ステップでは、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせると共に、指示手段により指示されるオブジェクトに対応するクリップ処理層の処理内容を中間結果とし、上記指示手段により指示されたオブジェクトに対応する上記中間結果から結果クリップを生成して出力することを特徴とする。
【0010】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【0011】
1.編集システムの全体構成
本発明は、例えば図1に示す構成の編集システム1に適用される。編集システム1は、当該システム全体をコントロールするワークステーション2を備えている。ワークステーション2は、CPU(中央処理ユニット)や各種処理回路、或いはフロッピーディスクドライブやハードディスクドライブ等を備える本体2Aと、当該本体2Aに接続されるディスプレイ2B、キーボード2C、マウス2D及びペン・タブレット2Eとを有している。このようなワークステーション2は、編集のためのアプリケーション・ソフトウェアがハードディスクドライブに予めインストールされており、オペレーティングシステムの基で当該アプリケーション・ソフトウェアを動作させることにより編集用のコンピュータとして起動する。
【0012】
このアプリケーション・ソフトウェアを動作させたときには、ディスプレイ2B上にGUI(グラフィカル・ユーザ・インターフェイス)のためのグラフィック表示が表示されるようになされており、上述したペン・タブレット2Eやマウス2Dを使用して、当該ディスプレイ2Bに表示される所望のグラフィック表示を選択すれば、所望の編集コマンドをこのワークステーション2に対して入力し得る。また編集に係わる各種数値データ等も、キーボード2Cを介してこのワークステーション2に対して入力し得る。
【0013】
なお、このワークステーション2は、編集コマンドや各種数値データがユーザの操作により入力されると、その編集コマンドや各種数値データに応じた制御データを後述するデバイスコントローラ3に出力するようになされており、これによりデバイスコントローラ3を介してこの編集システム1を構成する各機器を制御し得る。但し、ビデオディスクレコーダ5に関しては、デバイスコントローラ3を介さずとも、一部の機能を直接制御することができる。
【0014】
またこのワークステーション2には、そのデバイスコントローラ3を介してビデオデータが入力され、編集素材の画像や編集後の画像等をディスプレイ2Bに表示し得る。
【0015】
デバイスコントローラ3は、ワークステーション2からの制御データを受けて、実際に各機器を制御する制御装置である。このデバイスコントローラ3に対しては、ダイアル操作子やスライド操作子等を有した専用コントローラ4が接続されており、これによりこの編集システム1ではワークステーション2のキーボード2Cやマウス2D或いはペン・タブレット2Eでは入力し得ないような漸次変化する制御データも入力し得る。
【0016】
デバイスコントローラ3は、ワークステーション2や専用コントローラ4からの制御データを受け、その制御データに対応する機器を制御する。例えばビデオディスクレコーダ5に対しては、デバイスコントローラ3は、素材の再生や編集後の素材の記録を指示する。この指示を受けたビデオディスクレコーダ5は、その指示に応じて、内部のディスク状記録媒体に記録されている所望素材のビデオデータやオーディオデータを再生して出力したり、或いは編集されたビデオデータやオーディオデータを当該ディスク状記録媒体に記録する。
【0017】
同様に、ビデオテープレコーダ(VTR)6に対しても、デバイスコントローラ3は、素材の再生を指示する。この指示を受けたビデオテープレコーダ6は、その指示に応じて、内部のビデオテープに記録されている所望素材のビデオデータやオーディオデータを再生して出力する。なお、この編集システム1の場合には、ビデオテープレコーダ6に記録されているビデオデータは一旦ビデオディスクレコーダ5にダウンロードされてから素材のビデオデータとして扱われる。
【0018】
デバイスコントローラ3は、スイッチャ7に対しては、ビデオディスクレコーダ5、ビデオテープレコーダ6又はビデオカメラ8から出力されるビデオデータの選択を指示する。この指示を受けたスイッチャ7は、その指示に応じて、入力される所望素材のビデオデータを選択してディジタルマルチエフェクタ9に出力したり、デバイスコントローラ3を介してワークステーション2に出力したり、或いは入力される所望素材のビデオデータを順次選択してつなぎ合わせたり、編集したビデオデータをモニタ10に出力して表示させたり、その編集したビデオデータをビデオディスクレコーダ5に戻して記録させたりする。
【0019】
デバイスコントローラ3は、ディジタルマルチエフェクタ9に対しては、各種エフェクト処理を指示する。この指示を受けたディジタルマルチエフェクタ9は、その指示に応じて、入力される所望素材のビデオデータに対して、モザイク処理や3次元的な画像変換処理等の特殊効果処理やトランジションエフェクト等のエフェクト処理、或いは画像合成処理等を施し、その結果得られるビデオデータを再びスイッチャ7に戻してワークステーション2やモニタ10或いはビデオディスクレコーダ5等に出力する。
【0020】
デバイスコントローラ3は、オーディオミキサ11に対しては、ビデオディスクレコーダ5やビデオテープレコーダ6から出力されるオーディオデータの編集を指示する。オーディオミキサ11は、その指示に応じて、所望のオーディオ素材を合成処理(ミキシング)し、その合成処理されたオーディオデータを再びビデオディスクレコーダ5に戻して記録させる。
【0021】
かくしてこのような構成を有する編集システム1では、ワークステーション2を介して所望の編集コマンドを入力することにより、ビデオディスクレコーダ5やビデオテープレコーダ6に記録されている多種多様な複数の素材のビデオデータを使用して、高度でかつ複雑な所望のビデオデータを容易に作成することができる。これにより従来のようにユーザが編集システムを構成する各機器を直接操作しなくても、ワークステーション2を操作するだけで各種編集を行うことができる。
【0022】
2.ワークステーションの構成
この項では、編集システム1の中心的存在であるワークステーション2の構成について説明する。図2に示すように、ワークステーション2は、コマンドデータやビデオデータを伝送するためのシステムバス20、ワークステーション2の全体を制御するCPU21、デバイスコントローラ3より供給されるビデオデータS1に対して画像処理等を行うビデオプロセッサ22、ディスプレイ2Bに表示されるビデオデータやGUIのためのグラフィック表示を管理する表示コントローラ23、ローカルハードディスクドライブ(ローカルHDD)24Aを制御するためのHDDインターフェイス24、フロッピーディスクドライブ(FDD)25Aを制御するためのFDDインターフェイス25、キーボード2C、マウス2D及びペン。タブレット2E等のポインティングデバイスからのコマンドに基づいて制御コマンドを生成するポインティングデバイスインターフェイス26、デバイスコントローラ3に対して制御データS2を送出するためのソフトウェアドライバを備えた外部インターフェイス27を有している。
【0023】
システムバス20は、ワークステーション2内部でビデオデータやコマンドデータ、或いはアドレスデータ等の伝送を行うためのバスであり、ビデオデータを伝送するための画像データバス20Aと、コマンドデータやアドレスデータを伝送するためのコマンドデータバス20Bとからなる。
【0024】
画像データバス20Aには、CPU21、ビデオプロセッサ22、表示コントローラ23、HDDインターフェイス24及びFDDインターフェイス25がそれぞれ接続されている。当該CPU21、ビデオプロセッサ22、表示コントローラ23、HDDインターフェイス24及びFDDインターフェイス25はこの画像データバス20Aを介してビデオデータの伝送を行う。
【0025】
一方、コマンドデータバス20Bには、CPU21、ビデオプロセッサ22、表示コントローラ23、HDDインターフェイス24、FDDインターフェイス25、ポインティングデバイスインターフェイス26及び外部インターフェイス27がそれぞれ接続されており(すなわちワークステーション2内部の全てのブロックが接続されている)、当該コマンドデータバス20Bを介してコマンドデータやアドレスデータの伝送を行う。
【0026】
CPU21は、ワークステーション2全体の制御を行うブロックであり、ワークステーション2のオペレーティングシステムが格納されているROM21Aと、アップロードされたアプリケーション・ソフトウェアやデータベース等が格納されるRAM21Bとを有している。ワークステーション2を起動する場合には、CPU21はROM21Aに記憶されているオペレーティングシステムに基づいて動作することにより起動する。またアプリケーション・ソフトウェアをこの起動中のオペレーティングシステムの下で起動する場合には、CPU21はまずハードディスクドライブ24Aのハードディスクに記録されているアプリケーション・ソフトウェアを読み出してRAM21Bにアップロードし、その後、当該アプリケーション・ソフトウェアを実行して起動する。
【0027】
なお、アプリケーション・ソフトウェアは機能毎に分割されてモジュール化されており、後述するように大きく分けて、素材のつなぎ合わせ等を行うための編集モジュールと、素材の重ね合わせ等といった合成処理を行うための合成モジュールと、素材の3次元的な画像変換等といった特殊効果処理を行うための特殊効果モジュールと、これらモジュールの起動やモジュール間のデータの受け渡し等を管理する制御モジュールとによって構成されている。すなわちこのシステムの場合には、アプリケーション・ソフトウェアを起動したときには、まず制御モジュールが起動し、ユーザより編集指示が入力されると、その制御モジュールの管理の下で対応するモジュール(編集モジュール、合成モジュール又は特殊効果モジュール)を適宜起動して、ユーザより指示された編集を行う。
【0028】
ビデオプロセッサ22は、ワークステーション2に入力されるSDI(Serial Digital Interface)規格のビデオデータS1を受け取り、当該ビデオデータS1に対してデータ変換を施すと共に、その変換されたビデオデータを一時的にバッファリングするためのブロックである。具体的には、ビデオプロセッサ22は、当該ビデオプロセッサ22の全体を制御するプロセッサコントローラ22Aと、受け取ったビデオデータS1のペイロード部からコンポジットビデオ信号を抽出し、かつ当該コンポジットビデオ信号をディジタルのコンポーネントビデオデータに変換するデータ変換部22Bと、データ変換部22Bから送出される数フレーム分のビデオデータを一時的に記憶するフレームメモリ22Cとによって構成される。
【0029】
プロセッサコントローラ22Aは、データ変換部22Bに対して制御信号を送出することにより当該データ変換蔀22Bのデータ変換動作を制御すると共に、当該データ変換部22BにビデオデータSlからタイムコードを抽出させる。またプロセッサコントローラ22Aは、フレームメモリ22Cに対して制御信号を送出することにより当該フレームメモリ22Cのリード/ライトタイミング及びリード/ライトアドレスを制御する。なお、リードタイミングに関しては、プロセッサコントローラ22Aは、表示コントローラ23に送出するタイムコードとビデオデータ(フレームデータ)とが対応するようにフレームメモリ22Cのリードタイミングを制御する。
【0030】
データ変換部22Bは、プロセッサコントローラ22Aからの制御信号に基づいてコンポジットビデオ信号をディジタルのコンポーネントビデオデータに変換する。なお、タイムコードはこの変換過程において抽出される。この変換により得られたビデオデータは上述したようにフレームメモリ22Cに送出され、また抽出されたタイムコードはプロセッサコントローラ22Aに送出される。
【0031】
フレームメモリ22Cは、データ変換部22Bから供給されるビデオデータを一時的に記憶する。このフレームメモリ22Cのリード/ライトタイミングは、上述したようにプロセッサコントローラ22Aによって制御される。このフレームメモリ22Cは少なくとも2個のフレームメモリから構成され、少なくとも2フレーム分のビデオデータを記憶し得る。
【0032】
このフレームメモリ22Cに記憶されたビデオデータは、プロセッサコントローラ22Aの読み出し制御に基づいて読み出される。その際、フレームメモリ22Cに記憶されたビデオデータの全画素を読み出すのではなく、所定の間隔で間引いて読み出すことにより画像サイズを原画像よりも小さくする。このようにして画像サイズが小さく変換されたビデオデータは、素材又は編集結果の確認用としてディスプレイ2Bの所定表示エリアに表示されるため、画像データバス20Aを介して表示コントローラ23に送出される。
【0033】
表示コントローラ23は、ディスプレイ2Bに表示されるデータを制御するための制御ブロックである。表示コントローラ23はメモリコントローラ23AとVRAM(ビデオ・ランダム・アクセス・メモリ)23Bとを有している。メモリコントローラ23Aはワークステーション2の内部同期に従ってVRAM23Bのリード/ライトタイミングを制御する。このVRAM23Bには、ビデオプロセッサ22のフレームメモリ22Cから送出されたビデオデータ及びCPU21によって生成されるイメージデータが、メモリコントローラ23Aからのタイミング制御信号に基づいて記憶される。このVRAM23Bに記憶されたビデオデータやイメージデータは、ワークステーション2の内部同期に基づいたメモリコントローラ23Aからのタイミング制御信号に基づいて読み出され、ディスプレイ2Bに表示される。
【0034】
この場合、イメージデータによるグラフィック表示がGUIのためのグラフィック表示となる。なお、CPU21からVRAM23Bに送出さるイメージデータは、例えばウィンドウやカーソル、或いはスクロールバーやデバイスを示すアイコン等のイメージデータである。
【0035】
かくしてこのワークステーション2においては、これらのイメージデータやビデオデータをディスプレイ2Bに表示することにより、当該ディスプレイ2Bにユーザ操作のためのGUIや素材又は編集結果の画像を表示する。HDDインターフェイス24は、ワークステーション2内部に設けられたローカルハードディスクドライブ24Aと通信するためのインターフェイスブロックである。このHDDインターフェイス24とハードディスクドライブ24Aとは、SCSl( Small Computer System Interface)の伝送フォーマットに基づいて通信を行う。
【0036】
ハードディスクドライブ24Aには、このワークステーション2で起動するアプリケーション・ソフトウェアがインストールされており、当該アプリケーション・ソフトウェアを実行する場合には、このハードディスクドライブ24Aから読み出されてCPU21のRAM21Bにアップロードされる。またこのアプリケーション・ソフトウェアを終了する際には、RAM21Bに記憶されている編集オペレーションによって生成された各種情報(例えば編集素材に関するデータベースの情報等)は、このハードディスクドライブ24Aを介してハードディスクにダウンロードされる。
【0037】
FDDインターフェイス25は、ワークステーション2内部に設けられたフロッピーディスクドライブ25Aと通信するためのインターフェイスブロックである。このFDDインターフェイス25とフロッピーディスクドライブ25Aとは、SCSIの伝送フォーマットに基づいて通信を行う。
【0038】
ポインティングデバイスインターフェイス26は、ワークステーション2に接続されたキーボード2C、マウス2D及びペン・タブレット2Eからの情報を受信するインターフェイスブロックである。ポインティングデバイスインターフェイス26はキーボード2Cに設けられたボタンからの入力情報を受け取り、受け取った入力情報をデコードしてCPU21に送出する。同様に、ポインティングデバイスインターフェイス26は、マウス2Dに設けられた2次元ロータリーエンコーダの検出情報と、マウス2Dに設けられた左右のボタンのクリック情報(すなわちボタン押下による選択指定情報)とを当該マウス2Dから受け取り、受け取ったそれらの情報をデコードしてCIPU21に送出する。同様に、ポインティングデバイスインターフェイス26は、ペン・タブレット2Eからの2次元の位置データを受け取り、受け取ったその位置データをデコードしてCPU21に送出する。このようなポインティングデバイスインターフェイス26からの情報に基づいて、CPU21は、ディスプレイ2Bに表示されるGUIのうちいずれのコマンドボタンが指示されたか認識し得ると共に、キーボード2Cより入力された各種データを認識し得、それらに対応する制御を行うことができる。
【0039】
外部インターフェイス27は、ワークステーション2の外部に接続されたデバイスコントローラ3と通信するためのブロックである。外部インターフェイス27はCPU21で生成された再生コマンドや記録コマンド等の各種制御コマンドを所定の通信プロトコルのデータに変換するドライバを有しており、当該ドライバを介して制御コマンドデータS2をデバイスコントローラ3に送出する。
【0040】
3.編集システムにおける編集の原理
この項では、編集システム1における編集の原理について以下に順を追って説明する。
【0041】
(3−1)編集用のアプリケーション・ソフトウェアの基本構成
まず始めにこの項では、ワークステーション2において用意されている編集用のアプリケーション・ソフトウェアの基本構成について説明する。図3に示すように、この編集システム1においては、機能毎にモジュール化された編集用のアプリケーション・ソフトウェアがワークステーション2に用意されている。このモジュール化されたアプリケーション・ソフトウェアは、大きく分けて、素材のつなぎ合わせ処理等の編集処理を行う編集モジュールEMと、素材の重ね合わせ処理等の合成処理を行う合成モジュールCMと、素材に対する特殊効果処理を行う特殊効果モジュールSMと、これら機能毎にモジュール化された編集モジュールEM、合成モジュールCM及び特殊効果モジュールSMの起動等を管理する制御モジュールCNTMとによって構成される。このような構成を有するアプリケーション・ソフトウェアは、ハードディスクドライブ24AからRAM21Bにアップロードされると、まず制御モジュールCNTMが起動し、その制御モジュールCNTMの管理の下で、各モジュールEM、CM及びSMがそれぞれユーザからの指示に応じて適宜起動する。
【0042】
クリップデータベースCDBは、ビデオディスクレコーダ5及びRAM21Bによって構成され、素材のビデオデータや編集に関する各種データを記憶している。各モジュールEM、CM及びSMは、ユーザより指定された素材をクリップデータベースCDBから読み出し、上述したスイッチャ7やディジタルマルチエフェクタ9等のハードウェアを使用しながら、その素材に対してユーザの指示に応じた編集を行い、その結果得られる編集された後の素材をクリップデータベースCDBに登録する。また各モジュールEM、CM及びSMは、編集に使用した各種パラメータ等の編集に関するデータもクリップデータベースCDBに登録する。なお、クリップデータベースCDBとしては、主に素材のビデオデータをビデオディスクレコーダ5に記憶し、編集に関する各種データをRAM21Bに記憶する。
【0043】
(3−2)クリップの定義
本発明による編集システム1では各素材はクリップと呼ばれる単位で扱われる。この項では、このクリップについて定義する。本発明による編集システム1では、ビデオ動画データの1シーケンスをクリップビデオデータと定義し、そのクリップビデオデータがどのようにして生成されたものであるか管理するデータをクリップ管理データと定義し、さらにこれらのクリップビデオデータとクリップ管理データからなるデータをクリップと定義する。また本発明による編集システム1では、ソースビデオデータから単に切り出すことにより生成された素材を素材クリップ(MC:Material Clip)と呼び、その素材クリップを編集することにより生成された素材を結果クリップ(FC:Fat Clip)と呼ぶ。
【0044】
本発明による編集システム1では、素材クリップMCや結果クリップFCからなる複数のクリップを、クリップ間の関係に基づいた階層構造によって管理する。この様子を図4に示す例を参照しながら、以下に説明する。
【0045】
図4に示す例では、結果クリップFC−008は、素材クリップMC−001、素材クリップMC−002及び素材クリップMC−003の3つの素材クリップを合成することによって生成されたクリップである。すなわち、結果クリップFC−008と、素材クリップMC−001、素材クリップMC−002及び素材クリップMC−003との関係は、上下関係になっている。このような上下関係にある場合、素材クリップMC−001、素材クリップMC−002及び素材クリップMC−003は結果クリップFC−008の配下にあることからそれぞれ下位クリップと呼ばれ、逆に結果クリップFC−008はこれら下位クリップを統括して生成されたものであることから上位クリップと呼ばれる。
【0046】
同様に、結果クリップFC−009は、素材クリップMC−004に対して特殊効果を施すことによって生成されたクリップである。このため素材クリップMC−004は結果クリップFC−009の下位クリップとなり、逆に結果クリップFC−009は素材クリップMC−004の上位クリップとなる。
【0047】
結果クリップFC−010は、結果クリップFC−008と結果クリップFC−009とを編集する(この場合、例えばワイプ等によってつなぎ合わせる)ことによって生成された結果クリップである。このため結果クリップFC−008及び結果クリップFC−009はそれぞれ結果クリップFC−010の下位クリップとなり、結果クリップFC−010は結果クリップFC−008及び結果クリップFC−009の上位クリップとなる。
【0048】
このように各クリップ間には上下関係があり、この編集システム1では、クリップデータベースCDBにおいてこのクリップ間の上下関係を基に当該クリップを階層構造で管理する。なお、何ら編集処理に使用されない素材クリップは他のクリップと関係し合っていないが、そのような素材クリップはリンク先がないものとして管理される。またここで示した例は、あくまで一例であってクリップ間の上下関係としてはその他の組み合わせも当然存在する。
【0049】
(3−3)合成処理の概念
続いてこの項では、合成モジュールCMで行う合成処理の概念について説明する。図4に示した結果クリップFC−008のビデオイメージは、素材クリップMC−001、素材クリップMC−002及び素材クリップMC−003のビデオイメージを合成処理(すなわちコンポジット処理)することによって生成される。この合成処理の概念を図5及び図6に示す。図5は、3つの素材クリップMC−001、MC−002及びMC−003のビデオイメージを合成する様子を示しており、図6は、合成処理によって生成される結果クリップFC−008のビデオイメージを表している。
【0050】
本発明による編集システム1においては、複数のクリップの合成を行う場合、各クリップを1つのレイヤ(層)とみなし、そのレイヤを重ねることにより合成処理を行う。図5に示す例では、第1のレイヤL1として素材クリップMC−003を指定し、第2のレイヤL2として素材クリップMC−002を指定し、第3のレイヤL3として素材クリップMC−001を指定している。各レイヤL1、L2及びL3に割り当てられた素材クリップを合成する場合には、レイヤL1を最下層としてその上に順次各レイヤL2、L3を重ねて行くことにより行われる。すなわち第1のレイヤL1として指定された素材クリップMC−003のビデオイメージ(例えば背景を表すイメージ)の上に、第2のレイヤL2として指定された素材クリップMC−002のビデオイメージ(例えば人物を表すイメージ)を重ね合わせて合成し、さらにその合成したビデオイメージの上に第3のレイヤL3として指定された素材クリップMC−001のビデオイメージ(例えばキャラクタを表すイメージ)を重ね合わせて合成する。このような合成処理により、図6に示すような3つの素材が重なり合ったようなビデオイメージの結果クリップFC−008を生成することができる。
【0051】
なお、この図5に示す例では、3つのレイヤL1〜L3にそれぞれ割り当てられた素材クリツブMC−003、MC−002及びMC−001を合成する例を示したが、本発明による編集システム1では、レイヤの数は特に限定されるものではない。
【0052】
4.GUI表示
各モジュールを起動したときにワークステーション2のディスプレイ2Bに表示されるGUI画面について説明する。
【0053】
(4−1)メインウィンドウの構成
ディスプレイ2Bには、図7に示すように、メインウィンドウ30が表示される。
上記メインウィンドウ30は、編集に必要な機能をメニュー表示したメニュー(Menu)ウィンドウ31と、使用頻度の高い機能のメニューのみを表示したツールバー(Tool Bar)ウィンドウ32と、ビンツリー(Bin Tree)ウィンドウ33を有し、さらに、必要に応じて、ビン(Bin)ウィンドウ34,ランコントロール(Run Control)ウィンドウ35,素材クリップMC等の画像を編集前にプレビューして確認するためのプレビュー(Preview)ウィンドウ36,結果クリップFCを作成するためのエディッタ(Editor)ウィンドウ40とを有する。
【0054】
メニューウィンドウ31は、画像の編集処理に必要な全ての機能のメニューを有し、例えば新規に結果クリップFCを作成するためのニュー(New)メニュー、作成終了した結果クリップFCに名前を付けて保存するためのセイブ(Save)メニュー、中間結果を生成するためのインターリム・メイク(Interim Make)メニュー等を有する。
【0055】
ビンツリーウィンドウ33は、ビンウィンドウ34の中に入っている素材クリップMC,結果クリップFC等がどのような場所に入っているかをツリー構造によって示すものである。
【0056】
ビンウィンドウ34の中には、カット編集等に使用される様々な画像の素材クリップMC、既にある程度編集された結果クリップFC、画像を加工処理等するためのオブジェクトが入っている。
【0057】
ランコントロールウィンドウ35は、現在の再生時刻であるカレントタイムを示す後述するカレントバーの位置を移動させるものである。なお、この詳細な説明については後述する。
【0058】
プレビューウィンドウ36は、図示しないプレビューボタン、ビューボタン、オールプレビューボタン又はオールビューボタンを操作したときに、素材クリップMC又は結果クリップFCのビデオデータによる画像を表示するエリアである。このような表示エリアを設けたことにより、編集作業をしながら素材クリップMC又は編集の結果生成された結果クリップFCのビデオイメージを確認することができる。
【0059】
(4−2)エディッタウィンドウの構成
エディッタウィンドウ40は、結果クリップFCを取り扱う、換言すると結果クリップを生成するものである。エディッタウィンドウ40は、図8に示すように、現在の時刻等を表示するカレントタイム(Current Time)エリア41、編集開始点や編集終了点の時刻を表示するインアウトタイム(In Out Time)エリア42、スケールセレクト(Scale Select)エリア43、コ・タイムライン(Co Timeline)44、タイムスケール(Time Scale)エリア45、各オブジェクトの時間的位置を表示編集するタイムライン(Time Line)46、データの流れを示すオブジェクトが表示されるオブジェクト(Object)エリア47とを有する。
【0060】
カレントタイムエリア41には、現在の時刻であるカレントタイム(例えば「00:00:01:02」:0時間0分1秒2フレーム)が表示される。なお、このカレントタイムは、タイムライン46上でカレントタイムバー51が位置する時刻である。カレントタイムバー51の位置は、上述したランコントロールウィンドウ35を用いて変更することができる。
【0061】
ランコントロールウィンドウ35は、図9に示すように、10個のGUI表示されたボタンによって構成される。各ボタンは、それぞれクリックされることによって以下のようにカレントバーの位置を移動させる機能を有する。
【0062】
トップ(Top)ボタン201は、先頭の結果クリップFCにカレントタイムバー51を移動させる。プレビアス・キーフレーム(Previous KF)ボタン202は、現在のカレントタイムバー51が示す時刻の直前のキーフレームKFに、カレントタイムバー51を移動させる。プレビアス・フレーム(Previous Frame)ボタン203は、現在のカレントタイムバー51が示す時刻の直前のフレームにカレントタイムバー51を移動させる。ストップボタン204は、即時にカレントタイムバー51の動きを停止させる。ラン(Run)ボタン205は、1倍速でカレントタイムバー51を動かす。ネクストフレーム(Next Frame)ボタン206は、現在のカレントタイムバー51が示す時刻の直後のフレームにカレントタイムバー51を移動させる。ネクストキーフレーム(Next KF)ボタン207は、現在のカレントタイムバー51が示す時刻の直後のキーフレームにカレントタイムバー51を移動させる。ゴーツー(Goto)ボタン208は、指定されるキーフレーム番号のキーフレームKF、又は指定される時刻にカレントタイムバー51を移動させる。エンド(End)ボタン209は、最後の結果クリップFCの終わりの部分にカレントタイムバー51を移動させる。クリエイト・キーフレーム(Create KF)ボタン210は、現在のカレントタイムバー51が示す位置(時刻)に新しいキーフレームKFを作成する。これにより、クリップの制御とキーフレームKFに関連する制御を行うことができる。
【0063】
インアウトタイムエリア42は、編集開始点たるイン点の時刻(例えば「00:00:01:02」)と、編集終了点たるアウト点の時刻(例えば「00:00:01:22」)が表示される。イン点とアウト点は、選択状態すなわち編集処理の対象となっている素材クリップMC又は結果クリップFCの先頭と終点を示す。なお、タイムライン46上の各レイヤLにおいて、イン点からアウト点までの範囲を「セル」という。
【0064】
スケールセレクトエリア43は、タイムライン46の時間方向の大きさ(スケール)を設定するものであり、図8に示すように、タイムライン46上の1フレームの大きさを設定する「Frame」、1秒間の大きさを設定する「Second」、1分間の大きさを設定する「Min」とがある。「Frame」は、4つのチェックボックスを有し、左から順に、単位時間1フレーム,2フレーム,5フレーム,10フレームを意味する。「Second」は、5つのチェックボックスを有し、左から順に、単位時間1秒,2秒,5秒,10秒,20秒を意味する。「Min」は、4つのチェックボックスを有し、左から順に、単位時間1分,2分,5分,10分を意味する。
【0065】
ここで、図10に示すタイムスケールの表を用いて、単位時間当たりの表示ステップについて説明する。
例えば図8に示すように、「Frame」の単位時間1フレームのチェックボックスがチェックされると、ビデオデータのレイヤLにはサムネイルピクチャ(Thumbnail Picture)が1フレーム毎に表示され、表示される単位ステップ(Show Time Step)は5フレームになる。サムネイルピクチャとは、画像の素材クリップMCがあるレイヤLに設定されている場合において当該レイヤに表示される簡易画像をいう。例えば図8に示すレイヤL3に表示されている画像が該当する。なお、サムネイルピクチャの横対縦の比は4対3であり、例えばタイムライン46の各レイヤの幅が30ピクセルの場合には、サムネイルピクチャは40×30ピクセルの縮小画像となる。このとき、タイムスケールエリア45では、「00:00:01:00」の次に「00:00:01:05」が表示されていることから、5フレーム単位で表示されている。同様に図10によると、例えば「Second」の単位時間2秒のチェックボックスがチェックされると、ビデオデータのレイヤLにはサムネイルピクチャが60フレーム毎に表示され、表示される単位ステップは10秒になる。
【0066】
コ・タイムライン44は、タイムライン46によって指定した編集内容を表示したものである。この場合、タイムライン46においては、画面の制約上、全ての編集内容を一度に全部表示することができないので、このコ・タイムライン44においてその編集内容を縮小したグラフィックイメージを表示することにより、全体としてどのような編集内容を指定しているのかを容易に把握し得るようになされている。例えばタイムライン46においていくつかの素材クリップMCを合成するような編集内容を指定した場合には、その編集内容に合わせて、各レイヤに指定されたクリップを示す棒状グラフィックイメージがそれぞれ重なったようなグラフィックイメージがコ・タイムラインに表示される。
【0067】
これによりユーザはこの表示を見て、指定されている編集内容の全貌を把握し得ると共に、その内容がいくつかのクリップの合成処理であることを容易に把握し得る。
【0068】
タイムスケールエリア45には、プレビューエリア45aとインアウトエリア45bとがあり、上述した単位ステップ当たりの時間が表示される。プレビューエリア45aには、図示しないプレビューボタンを操作したとき、プレビューの対象画像のビデオデータの範囲を示す青色のバーが表示される。インアウトエリア45bには、編集開始点から編集終了点までの範囲を示す黄色のバーが表示される。
【0069】
タイムライン46は、合成処理を行う編集対象のクリップを各レイヤに対して指定するためのエリアである。この編集システム1においては、その1つ1つに合成処理の素材となるクリップを指定することができる。なお、このタイムライン46としては表示範囲が限られており、一度に全てのレイヤLを表示することができない。しかしながらこのタイムライン46の右端に表示されているスクロールボタンを操作することにより、タイムライン46を上下方向にスクロールさせることができるので、これによって所望のレイヤを表示させることができるようになっている。このタイムライン46においては、各レイヤの1つ1つに合成処理の素材となるクリップが対応する。
【0070】
オブジェクトエリア47には、タイムライン46を構成する各レイヤの接続状態を示すオブジェクト52が表示される。各オブジェクト52は、各レイヤに対応して1つずつ存在する。
【0071】
このオブジェクト52は、ビンウィンドウ34からドラッグ・アンド・ドロップによりオブジェクトエリア47に貼り付けられる。オブジェクト52は、垂直方向においてはタイムライン46の行単位(各レイヤ単位)に位置し、水平方向においては自由に位置することができる。
【0072】
5.操作方法
(5−1)エディッタウィンドウの起動
図7に示すビンウィンドウ34には、上述したように、複数の素材クリップMCや結果クリップFCが入っている。ユーザが結果クリップFCをダブルクリックすると、当該結果クリップFCを編集するためのエディッタウィンドウ40が表示される。また、タイムライン46の各レイヤ上のいずれかのセル(クリップ)をダブルクリックしても、当該クリップを編集するためのエディッタウィンドウ40が表示される。
【0073】
なお、新たに結果クリップFCを生成する場合は、ビンウィンドウ34に空の結果クリップFCを予め作成しておく必要がある。以下の説明では、空の結果クリップFCのエディッタウィンドウ40を用いて、結果クリップFCの実体を作成する場合について説明する。
【0074】
(5−2)タイムラインの作成
上記エディッタウィンドウ40が起動すると、上述の図7に示すように、空のタイムライン46及びオブジェクトエリア47が表示される。
【0075】
ユーザは、ビンウィンドウ34の中から所望の素材クリップMC(又は結果クリップFCやオブジェクト等)をクリックすることにより、当該素材クリップMCを選択する。このような処理を行うと、素材クリップMCのセルが表示される。そして、これをドラッグ・アンド・ドロップにより所望の位置に置けば、その位置にレイヤが形成され、当該レイヤに対して素材クリップMCが設定される。なお、素材クリップMCは、垂直方向ではレイヤ単位で、水平方向ではフレーム単位で設定される。
【0076】
また、タイムライン46にセルを設定した後、当該セルをドラッグして水平方向のみに移動させることもできる。さらに、セルのイン点やアウト点をドラッグ・アンド・ドロップして、その設定位置を変更することもできる。
【0077】
なお、クリップを示すセルの長さは、そのクリップのデュレーション(クリップの始まりから終わりまでの時間)に対応した長さになっている。また、各セルの中には、クリップ名又はキー処理名を示す文字が表示されるようになされており、これによりどのクリップ又はキー処理が設定された一目で分かるようになっている。
【0078】
(5−3)オブジェクトの作成
ユーザは、ビンウィンドウ34の中から所望のオブジェクトをクリックすることにより、当該オブジェクトを選択する。そして、これをドラッグ・アンド・ドロップによりオブジェクトエリア47の所望の位置に置けば、オブジェクトが設定される。このとき、オブジェクトは、垂直方向においてはレイヤ単位で設定される。すなわち、オブジェクトは、各レイヤの水平線上に設定される。
【0079】
なお、オブジェクトは、オブジェクトエリア47に設定された後であっても、ドラッグすることによって移動することができる。かくして、オブジェクトエリア47に、複数のオブジェクトを設定することができる。
【0080】
オブジェクトエリア47に複数のオブジェクトを設定すると、次に、各オブジェクトを結線する必要がある。
【0081】
ここで、図11に示すように、オブジェクト52は、オブジェクトボディ53に入力用コネクタ54(54a,54b)、ビュースイッチ55(55a,55b)、出力用コネクタ56を備え、入力用コネクタ54にビデオデータ又はパラメータが入力する入力ライン57(57a,57b)が接続され、出力用コネクタ56に出力用ライン58が接続されて構成される。なお、オブジェクト52は、各入力用コネクタ54のうち主要なものを、詳しくは後述するように、主要入力用コネクタとして取り扱っている。
【0082】
出力用コネクタ56をクリックすると、当該出力用コネクタ56を起点とする配線モードに移行する。そして、他のオブジェクト52の入力用コネクタ54をクリックすると、これらのコネクタ間で結線され、配線モードが終了する。なお、ここでは、出力用コネクタ56を起点として結線する場合について説明したが、入力用コネクタ54を起点とする場合も同様にして結線することができる。
【0083】
このようにして結線されたオブジェクト52には、ビデオデータやパラメータ等がオブジェクトボディ53の下方から入力される。そして、オブジェクト52は、上記ビデオデータやパラメータ等をオブジェクトボディ53の右方から出力する。なお、入力用ライン57及び出力用ライン58の色は、信号の種類によって異なっている。例えば、ビデオデータ入出力ラインは青色、キーの入出力ラインは赤色、ビデオデータとキーの入出力ラインマゼンダ色、パラメータの入出力ラインは緑色である。
【0084】
また、例えばビュースイッチ55bをクリックすると、図12に示すように、入力用コネクタ54b及びこれに接続している入力用ライン57bが消える。但し、単に、入力用ライン57bが表示されなくなるだけで、入力用ライン57bを介して接続されている他のオブジェクトとの関係がなくなるわけではない。これにより、多くのオブジェクト52があるときは、ビュースイッチ55をクリックすることによって、オブジェクト構成を簡易に表示することができる。
【0085】
図13は、オブジェクトボディ53に多くの入力用ライン57及び出力用ライン58が接続されているときのオブジェクト52を示す図である。
上記オブジェクト52は、図示しない他のオブジェクトと入力用ライン57a〜57c,57eを介して接続されている。なお、ビュースイッチ55dがクリックされていることから、入力用コネクタ54dと接続している入力用ラインは存在しているものの、その入力用ラインは表示されていない。さらに、上記オブジェクト52は、4つの出力用コネクタ56a,56b,56c,56dを有し、これらのそれぞれに出力用ライン58a,58b,58c,58dが接続されている。
【0086】
(5−4)信号のプロパティ
また、入力用コネクタ54がダブルクリックされると、当該入力用コネクタ54に接続される入力用ライン57の信号のダイアログボックスが表示される。例えば図11に示すオブジェクト52において、入力用コネクタ54aがダブルクリックされると、図14に示すように、入力用コネクタ54aに入力される信号のダイアログボックス60が表示される。
【0087】
上記ダイアログボックス60は、入力用コネクタ54aに入力される信号がビデオデータであることを示すビデオ(Video)チェックボックス61と、それがキーであることを示すキー(Key)ボックス62と、ビデオ信号及びキーであることを示すビデオ・アンド・キー(Video and Key)チェックボックス63とを有する。上記ダイアログボックス60は、3つのチェックボックスのうちいずれか1つにチェック印を付すことによって、入力用コネクタ54aに入力される信号の種類を明示し、図14の場合、上記入力用ライン57の信号はビデオデータであることを示している。
【0088】
但し、上記ダイアログボックス60が開いているときに、他のチェックボックス、例えばキーチェックボックスにクリックしてチェック印を付してもよい。これにより、入力用ライン57の信号はキー信号に変更される。
【0089】
また、ダイアログボックス60は、入力用コネクタ54aに入力される信号がパラメータの時はそのパラメータの内容を示すことがあり、例えば図15に示すように、3次元パラメータである「3D Transform」を表示することもある。
【0090】
また、オブジェクト52のオブジェクトボディ53がダブルクリックされると、図16に示すように、当該オブジェクト52のプロパティを示すオブジェクト・ダイアログボックス70が表示される。
【0091】
オブジェクト・ダイアログボックス70は、当該オブジェクト52の名前、入力用コネクタ54及び出力用コネクタ56の一覧、キーフレームに入らないパラメータの表示及び設定を行うためのものである。上記オブジェクト・ダイアログボックス70は、具体的には図16に示すように、入力用コネクタ54に入力される信号として「Layer1」,「BackGround」,「3D」,「Parameter」のスイッチボックスを示し、出力用コネクタ56から出力される信号として「Layered」,「Parameter」のスイッチボックスを表示している。スイッチボックスをクリックしてチェック印を取ると、そのスイッチボックスに対応する入力用コネクタ54に信号が入力されないようになる。なお、再び上記スイッチボックスをクリックしてチェック印を付けると、上記入力用コネクタ54に信号が入力されるようになる。
【0092】
また、オブジェクト・ダイアログボックス70は、バイパス(Bypass)スイッチボックス71を有する。バイパススイッチボックス71は、上記オブジェクト51の上述した主要入力用コネクタ54から入力される信号をそのまま出力(バイパス)するか否かの切り替えを行うものである。すなわち、オブジェクト52は、バイパススイッチボックス71がチェックされると、上記主要入力用コネクタ54に入力される信号をそのまま外部に出力するようになっている。
【0093】
6.結果クリップFCの生成
(6−1)文字の映像化
つぎに、図17に示す簡単な構成のタイムライン46及びオブジェクトを用いて、文字を映像化する結果クリップFCを生成する場合について説明する。
上記タイムライン46は、レイヤL1とレイヤL2とによって構成される。レイヤL1は、文字データからその文字の画像を生成するレイヤである。レイヤL2は、所定の文字データを所定の時刻に出力するレイヤであり、ここでは3つのキーフレームKFを有する。ここでは、キーフレームKF1は「今日は」、キーフレームKF2は「天気が」、キーフレームKF3は「よい。」の文字データである。
【0094】
また、各レイヤL1,L2に対応して、オブジェクトが設けられている。第1のオブジェクト71は、レイヤL2に対応し、キーフレームKF1〜KF3による所定の時刻になると「今日は」,「天気が」「よい。」の文字データを、それぞれ出力用コネクタを介して第2のオブジェクト72に供給する。第2のオブジェクト72は、レイヤL1に対応し、上記文字データに基づいて、順次その文字の画像を生成して出力する。これにより、「今日は天気がよい。」という画像(テロップ)が生成される。
【0095】
以上のように、タイムラインと当該タイムラインの各レイヤに対応するオブジェクトとを用いることによって、タイムラインに従って画像の時間管理を行うことができ、オブジェクトの接続関係によって各レイヤの接続関係を容易に認識することができ、ユーザは容易に編集作業を行うことができる。
【0096】
(6−2)中間結果の生成
上述したエディッタウィンドウ40は、タイムラインやオブジェクトを用いて編集処理を行って、最終のオブジェクトから出力される編集結果を結果クリップFCとして出力する。タイムライン46がレイヤの多層構造となり、それに伴ってオブジェクトの数が非常に大きくなると、オブジェクトの途中の段階でどのような画像が生成されているのか確認する必要が生じる。そこで、途中のオブジェクトであっても、その中間結果を生成して画像を確認することができるようになっている。
【0097】
ここで、図18に示すように、タイムライン46及びオブジェクトが構成されている場合を例に挙げて説明する。
タイムライン46において、レイヤL5は、”Take12”という名前のカット画像のレイヤである。レイヤL4は、画像の動きから3次元パラメータを生成するレイヤである。なお、ここでは、オブジェクト82の中間結果の生成について説明するため、他のレイヤについては記載を省略する。一方、オブジェクト81は、レイヤL5に対応するものであり、”Take12”の画像をオブジェクト82に供給する。オブジェクト82は、供給される画像に基づいてその画像の動きを示す3次元パラメータを生成して出力する。
【0098】
ここで、中間結果を生成すべく、オブジェクト82をクリックし、さらに、図7に示すメニューウィンドウ31の中からインターリム・メイク・メニューを選択すると、オブジェクト82がアイコン化される。オブジェクト82がアイコン化されると、図19に示すように、レイヤL4,L5のクリップが真っ黒になり、オブジェクト82は編集することができなくなる。なお、中間結果によって生成されたものが画像である場合は、アイコン化されたオブジェクト82の内容をプレビュー等することにより、オブジェクト82の出力内容を確認することができる。
【0099】
さらに、オブジェクト82を選択(クリック)した状態でメニューウィンドウ31の中から”Save As(名前を付けて保存)”を選択すると、上記オブジェクト82の内容が保存され、オブジェクト82の出力内容の結果クリップFCが生成される。
【0100】
そして、中間結果を破棄して再度編集作業を行うときは、上記オブジェクト82を選択し、さらに、メニューウィンドウの中からアン・メイク(UnMake)メニューを選択すればよい。このとき、中間結果が破棄され、オブジェクト82以降のオブジェクトについての編集処理が可能になる。
【0101】
(6−3)ユーザ定義による結果クリップFCの生成
また、単に中間結果を生成するのではなく、途中のオブジェクトの出力を結果クリップFCとして生成することもできる。
【0102】
ここで、図20に示すように、タイムライン46及びオブジェクトが構成されている場合を例に挙げて説明する。
タイムライン46において、レイヤL6は、”Take12”という名前のカット画像のレイヤである。レイヤL5は、キーフレームKF1,KF2,KF3のタイミングで画像の色に変化を与えるレイヤである。なお、他のレイヤについては記載を省略する。一方、オブジェクト83は、レイヤL6に対応するものであり、”Take12”の画像をオブジェクト84に供給する。オブジェクト84は、供給される画像に対して、上記各キーフレームKFのタイミングに従って、色に変化を与えて出力する。
【0103】
そして、オブジェクト84又はレイヤL5のクリップを選択した状態でメニューウィンドウ31の中から”Save As”を選択すると、タイムラインを持ったイフェクトとして結果クリップFCを生成することができる。このようにして生成された結果クリップFCは、ビンウィンドウ34のなかに現れ、他の結果クリップFCを生成するために再利用することができるようになる。
【0104】
(6−4)その他の例
以下、タイムライン46及びオブジェクトエリア47に配置されるオブジェクトの構成の一例を示し、その内容について説明する。
【0105】
図21に、メイン画像にタイトル画像を乗せる場合における、タイムライン46及びオブジェクトエリア47に配置されたオブジェクトの一例要の部構成図を示す。
タイムライン46は、レイヤL1からレイヤL4までの4つのレイヤによって構成される。レイヤL4は、画像”XXX”のビデオデータのレイヤである。レイヤL3は、上記画像”XXX”に表示されるタイトル画像”ZZZ”の文字データを示すレイヤである。レイヤL2は、合成処理を行うレイヤであり、ここでは、画像”XXX”にタイトル画像”ZZZ”を合成する。レイヤL1は、出力を示すレイヤである。
【0106】
オブジェクトエリア47には、各レイヤに対応したオブジェクト101〜104が設けられている。オブジェクト101は、レイヤL4の真横に設けられ、当該レイヤL4に対応している。オブジェクト102は、レイヤL3の真横に設けられ、当該レイヤL3に対応している。オブジェクト103は、レイヤL2の水平線上に設けられ当該レイヤL2に対応していると共に、オブジェクト101,102からのラインと接続している。オブジェクト104は、レイヤL4の水平線上に設けられ当該レイヤL4に対応していると共に、オブジェクト103からのラインと接続している。
【0107】
そして、オブジェクト101は、時刻「00:01:00」になると、画像”XXX”のビデオデータを出力する。オブジェクト102は、時刻「00:01:10」になると、タイトル画像”ZZZ”の文字データを出力する。オブジェクト103は、オブジェクト101からのビデオデータを出力すると共に、キーフレームKF1(時刻「00:01:40」),KF2(時刻「00:02:50」),KF3(時刻「00:03:15」)のタイミングで”ZZZ”の文字データを合成して出力する。オブジェクト104は、オブジェクト103からのビデオデータを外部に出力する。
【0108】
このように、タイムライン46は各レイヤLの時間を管理し、各オブジェクトは各レイヤLの接続関係を構成することによって、レイヤLの順番に関係なく、柔軟にデータの加工処理を行うことができる。
【0109】
図22に、メイン画像にタイトル画像を乗せてそのタイトル画像をモーションキャプチャーで動かす場合における、タイムライン46及び各オブジェクトの要部構成図を示す。
【0110】
タイムライン46は、レイヤL1〜レイヤL6までの6つのレイヤLによって構成される。レイヤL6は、物体の動きを検出してその動きのパラメータを出力するモーション・キャプチャー(Motion Capture)のレイヤである。レイヤL3は、入力される3次元のパラメータに基づいて入力画像を移動する3Dトランスフォーム(3D Transform )のレイヤである。なお、レイヤL1,L2は、上述した図21に示すレイヤL1,L2と同じである。レイヤL4,L5は、それぞれ図21に示すレイヤL3,L4と同じである。
【0111】
オブジェクトエリア47には、各レイヤL6〜L1にそれぞれ対応したオブジェクト105〜110が設けられている。オブジェクト105は、ある画像の動きをとらえてその動きを示す3次元パラメータを出力するものである。オブジェクト106は、メイン画像”XXX”のビデオデータを出力する。オブジェクト107は、タイトル画像”ZZZ”の文字データを出力する。オブジェクト108は、オブジェクト105及びオブジェクト107の出力ラインに接続されている。オブジェクト109は、オブジェクト106及びオブジェクト108の出力ラインに接続されている。オブジェクト110は、オブジェクト109の出力ラインに接続され、このラインからの画像を外部に出力する。
【0112】
そして、オブジェクト108は、オブジェクト105からの3次元パラメータに基づいて、オブジェクト107からのタイトル画像”ZZZ”を動かして、この動きのあるタイトル画像をオブジェクト109に供給する。オブジェクト109は、オブジェクト106から供給される画像”XXX”を出力すると共に、キーフレームKF1,KF2,KF3のタイミングになると、オブジェクト108からのタイトル画像を合成してオブジェクト110に供給する。オブジェクト110は、オブジェクト109からの画像を外部に出力する。
【0113】
このように、メイン画像に単なるタイトル画像を合成するだけでなく、動きのあるタイトル画像を容易に合成することができる。
【0114】
図23に、メイン画像にタイトル画像を乗せて当該タイトル画像をモーションキャプチャーと3Dで動かす場合における、タイムライン46及び各オブジェクトの要部構成図を示す。
【0115】
タイムライン46は、レイヤL1〜レイヤL7までの7つのレイヤLによって構成される。レイヤL7は、任意の物体が動いていることを示すレイヤである。なお、レイヤL1〜L6は、図22に示すレイヤL1〜L6と同じである。
【0116】
オブジェクトエリア47には、各レイヤL7〜L1にそれぞれ対応したオブジェクト111〜117が設けられている。オブジェクト111は、3次元パラメータを出力する。オブジェクト112は、オブジェクト111の出力ラインに接続されている。オブジェクト113は、メイン画像”XXX”のビデオデータを出力する。オブジェクト114は、タイトル画像”ZZZ”の文字データを出力する。オブジェクト115は、オブジェクト112及びオブジェクト114の出力ラインに接続されている。オブジェクト116は、オブジェクト112及びオブジェクト115の出力ラインに接続されている。オブジェクト117は、オブジェクト116の出力ラインに接続され、このラインからの画像を外部に出力する。
【0117】
そして、オブジェクト112は、オブジェクト111からの任意の物体の動きに基づいて、3次元パラメータを出力する。オブジェクト115は、オブジェクト112からの3次元パラメータに基づいてオブジェクト114からのタイトル画像”ZZZ”を動かして、この動きのあるタイトル画像をオブジェクト116に供給する。オブジェクト116は、オブジェクト113から供給される画像”XXX”を出力すると共に、キーフレームKF1,KF2,KF3のタイミングになると、オブジェクト115からのタイトル画像を合成してオブジェクト117に供給する。オブジェクト117は、オブジェクト116からの画像を外部に出力する。
【0118】
このように、ある任意の物体の動きと共にメイン画像に合成されるタイトル画像を動かすことができる。
【0119】
図24に、図23と同様の機能を有するタイムライン46及び各オブジェクトの要部構成図を示す。具体的には図23において、オブジェクト115のビュースイッチ115aをクリックすることによってオブジェクト114及びレイヤL4を消去し、さらに、オブジェクト116のビュースイッチ116aをクリックすることによってオブジェクト113及びレイヤL5を消去している。
【0120】
したがって、タイムライン46は、レイヤL1〜L5の5つのレイヤLによって構成されている。
【0121】
このように、所定のビュースイッチをクリックすることによって、当該ビュースイッチに対応する入力用コネクタに、入力されるライン以下のオブジェクト及びレイヤLを消去して、簡易な表示を行っている。
【0122】
図25に、6面体を表示する場合における、タイムライン46及び各オブジェクトの要部構成図を示す。
【0123】
タイムライン46は、レイヤL1〜L18までも18個のレイヤLによって構成されている。レイヤL18は、立方体の全体の動きを示すグローブ・ムーブ(Global Move)のレイヤである。レイヤL15〜L17は、立方体の各面のパラメータを示すキューブ(Cube)のレイヤである。レイヤL14は、立方体の一面である画像”Video Side-1”を示すビデオデータのレイヤである。レイヤL13は、3次元パラメータに基づいて画像を動かす3Dトランスフォーム(3D Transform)のレイヤである。また、レイヤL12,L11、レイヤL10,レイヤL9、レイヤL8,L7、レイヤL6,L5、レイヤL4,L3は、上述したレイヤL14,L13と同様である。レイヤL2は、画像の合成を示すコンバイン(Combine)のレイヤである。レイヤL1は、出力処理を行うアウトプット(Output)のレイヤである。
【0124】
オブジェクトエリア47には、図25に示すように、各レイヤL18〜L1にそれぞれ対応したオブジェクト118〜133が設けられている。なお、レイヤL115〜L17には、オブジェクト119が対応している。
【0125】
オブジェクト118は、レイヤL18に対応し、延滞の動きを示すパラメータを出力する。オブジェクト119は、レイヤL15,L16,L17に対応し、オブジェクト118からのパラメータに基づいて、立方体の6面のそれぞれについてのパラメータを出力する。オブジェクト120は、レイヤL14に対応し、6面体の1面のビデオデータを出力する。オブジェクト121は、オブジェクト120からのビデオデータ及びオブジェクト119からの2つのパラメータに基づいて、上記6面体の1面を動かして、このビデオデータを出力する。また、オブジェクト122,123、オブジェクト124,125、オブジェクト126,127,オブジェクト128,129、オブジェクト130,131は、それぞれ上述したオブジェクト120,121と同様の処理をする。オブジェクト132は、レイヤL2に対応し、オブジェクト121,123,125,127,129,131からの各6面体のビデオデータを合成して出力する。オブジェクト133は、レイヤL1に対応し、オブジェクト132からの動く立方体の画像を外部に出力する。
【0126】
このように、タイトル画像のみならず、各画像に動きを与えてこれらを合成して出力することができる。
【0127】
図26に、画面の全部又は一部を所定の色に付するペイント機能を有する場合における、タイムライン46及び各オブジェクトの要部構成図を示す。
【0128】
タイムライン46は、レイヤL1〜L4までの4つのレイヤLによって構成されている。レイヤL4は、上述したモーション・キャプチャーのレイヤである。レイヤL3は、背景の画像であるバックグランドビデオ(Background Video)のレイヤである。レイヤL2は、画像に所定の色を付するペイント(Paint)のレイヤである。レイヤL1は、アウトプットのレイヤである。
【0129】
オブジェクトエリア47には、レイヤL4〜L1にそれそれ対応したオブジェクト134〜137が設けられている。オブジェクト134は、レイヤL4に対応し、物体の動きを示すパラメータを出力する。オブジェクト135は、レイヤL3に対応し、背景となる画像のビデオデータを出力する。オブジェクト136は、レイヤL2に対応し、オブジェクト135からの背景画像に対して、オブジェクト134からのパラメータに基づいて色の変化が動くようにする処理をする。オブジェクト137は、レイヤL1に対応し、オブジェクト136からの色が変化する背景画像を外部に出力する。
【0130】
このように、物体だけでなく、色の変化等を与えることができる。
【0131】
図27に、3次元データを生成する場合におけるタイムライン46及び各オブジェクトの要部構成図を示す。
【0132】
タイムライン46は、レイヤL1〜L3までの3つのレイヤLによって構成されている。レイヤL3は、生成すべき3次元パラメータの元となる、移動物体のビデオデータを示すソースビデオ(Source Video)のレイヤである。レイヤL2は、移動物体のビデオデータから3次元パラメータを生成するモーション・キャップチャ・パラメータ(Motion Capture Parameter)のレイヤである。レイヤL1は、アウトプットのレイヤである。
【0133】
オブジェクトエリア47には、レイヤL3〜L1にそれそれ対応したオブジェクト138〜140が設けられている。オブジェクト138は、移動物体のビデオデータを出力する。オブジェクト139は、オブジェクト138からのビデオデータに基づいて移動物体の3次元パラメータを生成して出力する。オブジェクト140は、オブジェクト139からの3次元パラメータを外部に出力する。
【0134】
このように、タイムライン46及びオブジェクト138〜140の構成によって、3次元パラメータを生成することができる。
【0135】
以上詳細に説明したように、本発明を適用した編集システム1は、タイムラインによってデータやパラメータの時間管理を行い、オブジェクトによってタイムラインを構成する各レイヤの接続関係を示すことによって、複雑で手間のかかる編集作業を容易に行うことができる。
【0136】
このとき、途中のオブジェクトが出力する中間結果を生成したり、ユーザ定義による結果クリップFCを生成することができ、従来より容易に編集作業を行うことができる。
【0137】
また、一部のオブジェクトを消去することによって視覚的に編集処理の内容を容易に把握することができ、また、オブジェクトのプロパティを表示するようにして、オブジェクトに対して入出力する信号の設定も容易に行うことができる。
【0138】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計の変更等をすることができ、例えばメインウィンドウ30やエディッタウィンドウ40の構成は図7及び図8に示す構成に限定されるものではないのは勿論である。
【0139】
【発明の効果】
本発明に係る編集システム及び編集方法によれば、各クリップ処理層の時間管理を行うとともに、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせ、最上位の階層のクリップ処理層から出力される所定処理済みのクリップを結果クリップとして出力するあたり、指示手段により指示されるオブジェクトに対応するクリップ処理層の処理内容を中間結果とし、上記指示手段により指示されたオブジェクトに対応する上記中間結果から結果クリップを生成して出力するので、タイムラインの作成中であっても結果クリップを生成し、この結果クリップを編集処理の対象とすることができる。
【図面の簡単な説明】
【図1】本発明を適用した編集システムの構成を示すブロック図である。
【図2】上記編集システムの主要構成であるワークステーションの内部構成を示すブロック図である。
【図3】上記編集システムが有する各モジュール及びクリップデータベースの構成図である。
【図4】クリップの階層的管理を説明するための図である。
【図5】合成処理の内容を説明するための図である。
【図6】合成処理によって生成されるビデオイメージを説明するための図である。
【図7】上記ワークステーションのディスプレイに表示されるメニューウィンドウを説明するための図である。
【図8】上記メニューウィンドウ内のエディッタウィンドウを説明するための図である。
【図9】エディッタウィンドウに表示されるカレントタイムバーを調整する機能を有するランコントロールウィンドウを説明する図である。
【図10】単位時間当たりの表示ステップについて説明するためのタイムスケールの図である。
【図11】エディッタウィンドウ内のオブジェクトエリアに設けられるオブジェクトの構成を説明するための図である。
【図12】上記オブジェクトの構成を説明するための図である。
【図13】上記オブジェクトの構成を説明するための図である。
【図14】入力用コネクタに入力される信号のダイアログボックスを説明するための図である。
【図15】入力用コネクタに入力される信号がパラメータである場合のダイアログボックスを説明するための図である。
【図16】オブジェクトのプロパティを示すオブジェクト・ダイアログボックスを説明するための図である。
【図17】タイムラインとオブジェクトの構成の一例を示す図である。
【図18】オブジェクトの中間結果の生成を説明するために用いられるタイムラインとオブジェクトの構成を示す図である。
【図19】オブジェクトの中間結果の生成を説明するために用いられるタイムラインとオブジェクトの構成を示す図である。
【図20】ユーザ定義による結果クリップの生成を説明するために用いられるタイムラインとオブジェクトの構成を示す図である。
【図21】ビデオにタイトルを載せる場合のタイムライン及びオブジェクトの構成を示す図である。
【図22】メイン画像にタイトル画像を乗せてそのタイトル画像をモーションキャプチャーで動かす場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図23】メイン画像にタイトル画像を乗せて当該タイトル画像をモーションキャプチャーと3Dで動かす場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図24】メイン画像にタイトル画像を乗せて当該タイトル画像をモーションキャプチャーと3Dで動かす場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図25】6面体を表示する場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図26】画面の全部又は一部を所定の色に付するペイント機能を有する場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図27】3次元データを生成する場合におけるタイムライン及び各オブジェクトの要部構成図である。
【符号の説明】
1 編集システム、2 ワークステーション、30 メニューウィンドウ、40 エディッタウィンドウ、46 タイムライン、47 オブジェクトエリア
Claims (4)
- 複数の編集単位となるクリップを編集して編集処理済みの結果クリップを生成する編集システムにおいて、
時間を管理しながら編集対象となるクリップに所定処理を施すクリップ処理層を複数有するクリップ処理手段と、
上記各クリップ処理層にそれぞれ対応する複数のオブジェクトを有し、上記各オブジェクトをそれぞれ接続して1つの階層構造を形成することで上記各クリップ処理層の階層を決定する階層決定手段と、
オブジェクト又はクリップ処理層を指示する指示手段とを備え、
上記クリップ処理手段は、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせると共に、上記指示手段により指示されるオブジェクトに対応するクリップ処理層の処理内容を中間結果とし、上記指示手段により指示されたオブジェクトに対応する上記中間結果から結果クリップを生成して出力することを特徴とする編集システム。 - 上記各クリップ処理層は、出力された結果クリップを編集対象となるクリップとして所定処理を施すことを特徴とする請求項1記載の編集システム。
- 複数の編集単位となるクリップを編集して編集処理済みの結果クリップを生成する編集方法において、
複数のクリップ処理層が時間を管理しながら編集対象となるクリップに所定処理を施すクリップ処理ステップと、
上記各クリップ処理層にそれぞれ対応する複数のオブジェクトを有し、上記各オブジェクトをそれぞれ接続して1つの階層構造を形成することで上記各クリップ処理層の階層を決定する階層決定ステップと、
を有し、
上記クリップ処理ステップでは、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせると共に、指示手段により指示されるオブジェクトに対応するクリップ処理層の処理内容を中間結果とし、上記指示手段により指示されたオブジェクトに対応する上記中間結果から結果クリップを生成して出力することを特徴とする編集方法。 - 上記クリップ処理ステップにおいて、上記各クリップ処理層は、出力された結果クリップを編集対象となるクリップとして所定処理を施すことを特徴とする請求項3記載の編集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26369098A JP4103194B2 (ja) | 1998-09-17 | 1998-09-17 | 編集システム及び編集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26369098A JP4103194B2 (ja) | 1998-09-17 | 1998-09-17 | 編集システム及び編集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000100131A JP2000100131A (ja) | 2000-04-07 |
JP4103194B2 true JP4103194B2 (ja) | 2008-06-18 |
Family
ID=17392993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26369098A Expired - Fee Related JP4103194B2 (ja) | 1998-09-17 | 1998-09-17 | 編集システム及び編集方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4103194B2 (ja) |
-
1998
- 1998-09-17 JP JP26369098A patent/JP4103194B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000100131A (ja) | 2000-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4103192B2 (ja) | 編集システム及び編集方法 | |
US20180307400A1 (en) | Broadcast control | |
JP4536164B2 (ja) | 編集装置及び編集方法 | |
US7769270B2 (en) | Editing system and control method thereof | |
US6400378B1 (en) | Home movie maker | |
US8560951B1 (en) | System and method for real time video production and distribution | |
EP1033718B1 (en) | Motion picture information displaying method and apparatus | |
KR101186731B1 (ko) | 영상 소재의 관리 장치 및 방법, 및 기록 매체 | |
JP4168334B2 (ja) | 編集装置及び編集方法 | |
JP2005006229A (ja) | 編集装置及び編集方法 | |
JP4142382B2 (ja) | コンテンツ作成システム及びコンテンツ作成方法 | |
JP4229199B2 (ja) | 編集装置及び編集方法 | |
JP4103196B2 (ja) | 編集システム及び編集方法 | |
JP4103197B2 (ja) | 編集システム及び編集方法 | |
JP4103194B2 (ja) | 編集システム及び編集方法 | |
JP4103193B2 (ja) | 編集システム及び編集方法 | |
JP4103195B2 (ja) | 編集システム及び編集方法 | |
JP4588126B2 (ja) | 編集システム及び編集方法 | |
JP4042080B2 (ja) | 編集装置 | |
JP4355166B2 (ja) | マクロ記述ファイル処理プログラム、マクロ記述ファイル処理装置およびマクロ記述ファイル処理方法 | |
JP4172525B2 (ja) | 編集装置及び編集方法 | |
JP2007317352A (ja) | 編集装置及び編集方法 | |
JP2000122772A (ja) | 編集装置及び編集方法 | |
JP2005051545A (ja) | 編集システム | |
JP2006054911A (ja) | 編集用ソフトウエア及びクリツプ編集方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080317 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |