JP4103192B2

JP4103192B2 - 編集システム及び編集方法

Info

Publication number: JP4103192B2
Application number: JP26368898A
Authority: JP
Inventors: 敦今井; 且明守分; 健志河村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-09-17
Filing date: 1998-09-17
Publication date: 2008-06-18
Anticipated expiration: 2018-09-17
Also published as: GB9921837D0; JP2000100129A; DE19944746A1; GB2341969B; US6744968B1; GB2341969A; DE19944746B4

Description

【０００１】
【発明の属する技術分野】
本発明は、画像と画像を合成し、それに特殊効果等を施して編集処理を行う編集システム及び編集方法に関する。
【０００２】
【従来の技術】
近年、ビデオカメラから得られたビデオデータを編集するポストプロダクションの分野においては、素材のデータを記録する記録媒体としてディスクを使用したノンリニア編集システムがある。このノンリニア編集システムにおいて行われる編集処理としては、さまざまな種類の編集処理がある。例えば、複数の素材をつなぎ合わせて所望のビデオプログラムを作成するためのビデオ編集処理や、キー信号によって複数の素材を合成するための合成処理や、素材に対して特殊効果処理を施す特殊効果処理等が存在する。一般に、このビデオ編集処理は編集装置で行われ、合成処理はビデオスイッチャで行われ、特殊効果処理は特殊効果装置において行われる。
【０００３】
今日、ディスク状記録媒体のランダムアクセス性の向上によって、複数チャンネルのビデオデータに対して同時にアクセスできるようになり、この結果、複数チャンネルのビデオデータをリアルタイムで処理する編集システムが要望されるようになってきた。例えば、テレビジョン放送のコマーシャル作成用の編集業界や映画プログラム作成用の編集業界等では、数十から数百の素材を使用して編集処理を行うと共に、異なる種類の編集処理を組み合わせて使用することが要望されている。さらに、これらの複数種類の編集処理を何度も繰り返し行うことによって高度でかつ複雑な編集結果データを生成することが要求されてきた。
【０００４】
かかる編集処理を実現するために、編集処理の内容を多層からなるレイヤ構造で示すタイムラインを使った編集システムが提案されている。
【０００５】
かかる編集システムは、モニタに上記タイムラインを表示することによって編集処理の内容をユーザに対して視覚的に分かりやすいように示すと共に、マウス等のポインティングデバイスを使って編集処理も容易に行うことができるようにしている。
【０００６】
【発明が解決しようとする課題】
このような従来からの編集システムでは、タイムラインはデータの値を制御することはあってもデータの流れを制御することができなかった。すなわち、レイヤ毎に処理する内容が決まっていたため、レイヤ毎で単に所定の値に制御する処理が実行されるだけで、各レイヤ毎にどのような処理を組み合わせて実行をするという編集を行うことができず、編集の自由度が低かった。
【０００７】
また、全体的な処理は、レイヤの下層から上層の順に又は上層から下層の順に行われていたため、レイヤの構成によって処理の内容が限定されていた。さらに、編集処理が複雑になるに従って、ユーザはその処理の内容を容易に把握することができないようになっていた。
【０００８】
本発明は、このような実情に鑑みて提案されたものであり、編集処理の自由度を高くし、かつ、編集処理の内容を視覚的に容易に把握することができる編集システム及び編集方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、複数の編集単位となるクリップを編集して編集処理済みの結果クリップを生成する編集システムにおいて、時間を管理しながらクリップに所定処理を施すクリップ処理層を複数有するクリップ処理手段と、上記各クリップ処理層にそれぞれ対応する複数のオブジェクトを有し、上記各オブジェクトをそれぞれ接続して１つの階層構造を形成することで上記各クリップ処理層の階層を決定する階層決定手段と、上記クリップ処理手段による処理内容をタイムラインとして表示手段に表示させ、上記階層決定手段により形成される階層構造をオブジェクト間で結線することによって上記表示手段に表示させる表示制御手段とを備え、上記表示制御手段は、タイムラインの各レイヤに対して少なくとも素材クリップ・合成処理・出力のそれぞれに対応する各オブジェクトの１つを設定し、タイムラインのレイヤ単位に各オブジェクトを位置させて上記表示手段に表示させ、上記クリップ処理手段は、各クリップ処理層の時間管理を行うとともに、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせ、最上位の階層のクリップ処理層から出力される所定処理済みのクリップを結果クリップとして出力することを特徴とする。
【００１０】
また、本発明は、複数の編集単位となるクリップを編集して編集処理済みの結果クリップを生成する編集方法において、複数のクリップ処理層が時間を管理しながらクリップに所定処理を施すクリップ処理ステップと、上記各クリップ処理層にそれぞれ対応する複数のオブジェクトを有し、上記各オブジェクトをそれぞれ接続して１つの階層構造を形成することで上記各クリップ処理層の階層を決定する階層決定ステップと、上記クリップ処理ステップにおける処理内容をタイムラインとして表示手段に表示させ、上記階層決定ステップにおいて形成される階層構造をオブジェクト間で結線することによって上記表示手段に表示させる表示制御ステップとを有し、上記表示制御ステップでは、タイムラインの各レイヤに対して少なくとも素材クリップ・合成処理・出力のそれぞれに対応する各オブジェクトの１つを設定し、タイムラインのレイヤ単位に各オブジェクトを位置させて上記表示手段に表示させ、上記クリップ処理ステップでは、各クリップ処理層の時間管理を行うとともに、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせ、最上位の階層のクリップ処理層から出力される所定処理済みのクリップを結果クリップとして出力することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１２】
１．編集システムの全体構成
本発明は、例えば図１に示す構成の編集システム１に適用される。編集システム１は、当該システム全体をコントロールするワークステーション２を備えている。ワークステーション２は、ＣＰＵ（中央処理ユニット）や各種処理回路、或いはフロッピーディスクドライブやハードディスクドライブ等を備える本体２Ａと、当該本体２Ａに接続されるディスプレイ２Ｂ、キーボード２Ｃ、マウス２Ｄ及びペン・タブレット２Ｅとを有している。このようなワークステーション２は、編集のためのアプリケーション・ソフトウェアがハードディスクドライブに予めインストールされており、オペレーティングシステムの基で当該アプリケーション・ソフトウェアを動作させることにより編集用のコンピュータとして起動する。
【００１３】
このアプリケーション・ソフトウェアを動作させたときには、ディスプレイ２Ｂ上にＧＵＩ（グラフィカル・ユーザ・インターフェイス）のためのグラフィック表示が表示されるようになされており、上述したペン・タブレット２Ｅやマウス２Ｄを使用して、当該ディスプレイ２Ｂに表示される所望のグラフィック表示を選択すれば、所望の編集コマンドをこのワークステーション２に対して入力し得る。また編集に係わる各種数値データ等も、キーボード２Ｃを介してこのワークステーション２に対して入力し得る。
【００１４】
なお、このワークステーション２は、編集コマンドや各種数値データがユーザの操作により入力されると、その編集コマンドや各種数値データに応じた制御データを後述するデバイスコントローラ３に出力するようになされており、これによりデバイスコントローラ３を介してこの編集システム１を構成する各機器を制御し得る。但し、ビデオディスクレコーダ５に関しては、デバイスコントローラ３を介さずとも、一部の機能を直接制御することができる。
【００１５】
またこのワークステーション２には、そのデバイスコントローラ３を介してビデオデータが入力され、編集素材の画像や編集後の画像等をディスプレイ２Ｂに表示し得る。
【００１６】
デバイスコントローラ３は、ワークステーション２からの制御データを受けて、実際に各機器を制御する制御装置である。このデバイスコントローラ３に対しては、ダイアル操作子やスライド操作子等を有した専用コントローラ４が接続されており、これによりこの編集システム１ではワークステーション２のキーボード２Ｃやマウス２Ｄ或いはペン・タブレット２Ｅでは入力し得ないような漸次変化する制御データも入力し得る。
【００１７】
デバイスコントローラ３は、ワークステーション２や専用コントローラ４からの制御データを受け、その制御データに対応する機器を制御する。例えばビデオディスクレコーダ５に対しては、デバイスコントローラ３は、素材の再生や編集後の素材の記録を指示する。この指示を受けたビデオディスクレコーダ５は、その指示に応じて、内部のディスク状記録媒体に記録されている所望素材のビデオデータやオーディオデータを再生して出力したり、或いは編集されたビデオデータやオーディオデータを当該ディスク状記録媒体に記録する。
【００１８】
同様に、ビデオテープレコーダ（ＶＴＲ）６に対しても、デバイスコントローラ３は、素材の再生を指示する。この指示を受けたビデオテープレコーダ６は、その指示に応じて、内部のビデオテープに記録されている所望素材のビデオデータやオーディオデータを再生して出力する。なお、この編集システム１の場合には、ビデオテープレコーダ６に記録されているビデオデータは一旦ビデオディスクレコーダ５にダウンロードされてから素材のビデオデータとして扱われる。
【００１９】
デバイスコントローラ３は、スイッチャ７に対しては、ビデオディスクレコーダ５、ビデオテープレコーダ６又はビデオカメラ８から出力されるビデオデータの選択を指示する。この指示を受けたスイッチャ７は、その指示に応じて、入力される所望素材のビデオデータを選択してディジタルマルチエフェクタ９に出力したり、デバイスコントローラ３を介してワークステーション２に出力したり、或いは入力される所望素材のビデオデータを順次選択してつなぎ合わせたり、編集したビデオデータをモニタ１０に出力して表示させたり、その編集したビデオデータをビデオディスクレコーダ５に戻して記録させたりする。
【００２０】
デバイスコントローラ３は、ディジタルマルチエフェクタ９に対しては、各種エフェクト処理を指示する。この指示を受けたディジタルマルチエフェクタ９は、その指示に応じて、入力される所望素材のビデオデータに対して、モザイク処理や３次元的な画像変換処理等の特殊効果処理やトランジションエフェクト等のエフェクト処理、或いは画像合成処理等を施し、その結果得られるビデオデータを再びスイッチャ７に戻してワークステーション２やモニタ１０或いはビデオディスクレコーダ５等に出力する。
【００２１】
デバイスコントローラ３は、オーディオミキサ１１に対しては、ビデオディスクレコーダ５やビデオテープレコーダ６から出力されるオーディオデータの編集を指示する。オーディオミキサ１１は、その指示に応じて、所望のオーディオ素材を合成処理（ミキシング）し、その合成処理されたオーディオデータを再びビデオディスクレコーダ５に戻して記録させる。
【００２２】
かくしてこのような構成を有する編集システム１では、ワークステーション２を介して所望の編集コマンドを入力することにより、ビデオディスクレコーダ５やビデオテープレコーダ６に記録されている多種多様な複数の素材のビデオデータを使用して、高度でかつ複雑な所望のビデオデータを容易に作成することができる。これにより従来のようにユーザが編集システムを構成する各機器を直接操作しなくても、ワークステーション２を操作するだけで各種編集を行うことができる。
【００２３】
２．ワークステーションの構成
この項では、編集システム１の中心的存在であるワークステーション２の構成について説明する。図２に示すように、ワークステーション２は、コマンドデータやビデオデータを伝送するためのシステムバス２０、ワークステーション２の全体を制御するＣＰＵ２１、デバイスコントローラ３より供給されるビデオデータＳ１に対して画像処理等を行うビデオプロセッサ２２、ディスプレイ２Ｂに表示されるビデオデータやＧＵＩのためのグラフィック表示を管理する表示コントローラ２３、ローカルハードディスクドライブ（ローカルＨＤＤ）２４Ａを制御するためのＨＤＤインターフェイス２４、フロッピーディスクドライブ（ＦＤＤ）２５Ａを制御するためのＦＤＤインターフェイス２５、キーボード２Ｃ、マウス２Ｄ及びペン。タブレット２Ｅ等のポインティングデバイスからのコマンドに基づいて制御コマンドを生成するポインティングデバイスインターフェイス２６、デバイスコントローラ３に対して制御データＳ２を送出するためのソフトウェアドライバを備えた外部インターフェイス２７を有している。
【００２４】
システムバス２０は、ワークステーション２内部でビデオデータやコマンドデータ、或いはアドレスデータ等の伝送を行うためのバスであり、ビデオデータを伝送するための画像データバス２０Ａと、コマンドデータやアドレスデータを伝送するためのコマンドデータバス２０Ｂとからなる。
【００２５】
画像データバス２０Ａには、ＣＰＵ２１、ビデオプロセッサ２２、表示コントローラ２３、ＨＤＤインターフェイス２４及びＦＤＤインターフェイス２５がそれぞれ接続されている。当該ＣＰＵ２１、ビデオプロセッサ２２、表示コントローラ２３、ＨＤＤインターフェイス２４及びＦＤＤインターフェイス２５はこの画像データバス２０Ａを介してビデオデータの伝送を行う。
【００２６】
一方、コマンドデータバス２０Ｂには、ＣＰＵ２１、ビデオプロセッサ２２、表示コントローラ２３、ＨＤＤインターフェイス２４、ＦＤＤインターフェイス２５、ポインティングデバイスインターフェイス２６及び外部インターフェイス２７がそれぞれ接続されており（すなわちワークステーション２内部の全てのブロックが接続されている）、当該コマンドデータバス２０Ｂを介してコマンドデータやアドレスデータの伝送を行う。
【００２７】
ＣＰＵ２１は、ワークステーション２全体の制御を行うブロックであり、ワークステーション２のオペレーティングシステムが格納されているＲＯＭ２１Ａと、アップロードされたアプリケーション・ソフトウェアやデータベース等が格納されるＲＡＭ２１Ｂとを有している。ワークステーション２を起動する場合には、ＣＰＵ２１はＲＯＭ２１Ａに記憶されているオペレーティングシステムに基づいて動作することにより起動する。またアプリケーション・ソフトウェアをこの起動中のオペレーティングシステムの下で起動する場合には、ＣＰＵ２１はまずハードディスクドライブ２４Ａのハードディスクに記録されているアプリケーション・ソフトウェアを読み出してＲＡＭ２１Ｂにアップロードし、その後、当該アプリケーション・ソフトウェアを実行して起動する。
【００２８】
なお、アプリケーション・ソフトウェアは機能毎に分割されてモジュール化されており、後述するように大きく分けて、素材のつなぎ合わせ等を行うための編集モジュールと、素材の重ね合わせ等といった合成処理を行うための合成モジュールと、素材の３次元的な画像変換等といった特殊効果処理を行うための特殊効果モジュールと、これらモジュールの起動やモジュール間のデータの受け渡し等を管理する制御モジュールとによって構成されている。すなわちこのシステムの場合には、アプリケーション・ソフトウェアを起動したときには、まず制御モジュールが起動し、ユーザより編集指示が入力されると、その制御モジュールの管理の下で対応するモジュール（編集モジュール、合成モジュール又は特殊効果モジュール）を適宜起動して、ユーザより指示された編集を行う。
【００２９】
ビデオプロセッサ２２は、ワークステーション２に入力されるＳＤＩ（Serial Digital Interface）規格のビデオデータＳ１を受け取り、当該ビデオデータＳ１に対してデータ変換を施すと共に、その変換されたビデオデータを一時的にバッファリングするためのブロックである。具体的には、ビデオプロセッサ２２は、当該ビデオプロセッサ２２の全体を制御するプロセッサコントローラ２２Ａと、受け取ったビデオデータＳ１のペイロード部からコンポジットビデオ信号を抽出し、かつ当該コンポジットビデオ信号をディジタルのコンポーネントビデオデータに変換するデータ変換部２２Ｂと、データ変換部２２Ｂから送出される数フレーム分のビデオデータを一時的に記憶するフレームメモリ２２Ｃとによって構成される。
【００３０】
プロセッサコントローラ２２Ａは、データ変換部２２Ｂに対して制御信号を送出することにより当該データ変換蔀２２Ｂのデータ変換動作を制御すると共に、当該データ変換部２２ＢにビデオデータＳｌからタイムコードを抽出させる。またプロセッサコントローラ２２Ａは、フレームメモリ２２Ｃに対して制御信号を送出することにより当該フレームメモリ２２Ｃのリード／ライトタイミング及びリード／ライトアドレスを制御する。なお、リードタイミングに関しては、プロセッサコントローラ２２Ａは、表示コントローラ２３に送出するタイムコードとビデオデータ（フレームデータ）とが対応するようにフレームメモリ２２Ｃのリードタイミングを制御する。
【００３１】
データ変換部２２Ｂは、プロセッサコントローラ２２Ａからの制御信号に基づいてコンポジットビデオ信号をディジタルのコンポーネントビデオデータに変換する。なお、タイムコードはこの変換過程において抽出される。この変換により得られたビデオデータは上述したようにフレームメモリ２２Ｃに送出され、また抽出されたタイムコードはプロセッサコントローラ２２Ａに送出される。
【００３２】
フレームメモリ２２Ｃは、データ変換部２２Ｂから供給されるビデオデータを一時的に記憶する。このフレームメモリ２２Ｃのリード／ライトタイミングは、上述したようにプロセッサコントローラ２２Ａによって制御される。このフレームメモリ２２Ｃは少なくとも２個のフレームメモリから構成され、少なくとも２フレーム分のビデオデータを記憶し得る。
【００３３】
このフレームメモリ２２Ｃに記憶されたビデオデータは、プロセッサコントローラ２２Ａの読み出し制御に基づいて読み出される。その際、フレームメモリ２２Ｃに記憶されたビデオデータの全画素を読み出すのではなく、所定の間隔で間引いて読み出すことにより画像サイズを原画像よりも小さくする。このようにして画像サイズが小さく変換されたビデオデータは、素材又は編集結果の確認用としてディスプレイ２Ｂの所定表示エリアに表示されるため、画像データバス２０Ａを介して表示コントローラ２３に送出される。
【００３４】
表示コントローラ２３は、ディスプレイ２Ｂに表示されるデータを制御するための制御ブロックである。表示コントローラ２３はメモリコントローラ２３ＡとＶＲＡＭ（ビデオ・ランダム・アクセス・メモリ）２３Ｂとを有している。メモリコントローラ２３Ａはワークステーション２の内部同期に従ってＶＲＡＭ２３Ｂのリード／ライトタイミングを制御する。このＶＲＡＭ２３Ｂには、ビデオプロセッサ２２のフレームメモリ２２Ｃから送出されたビデオデータ及びＣＰＵ２１によって生成されるイメージデータが、メモリコントローラ２３Ａからのタイミング制御信号に基づいて記憶される。このＶＲＡＭ２３Ｂに記憶されたビデオデータやイメージデータは、ワークステーション２の内部同期に基づいたメモリコントローラ２３Ａからのタイミング制御信号に基づいて読み出され、ディスプレイ２Ｂに表示される。
【００３５】
この場合、イメージデータによるグラフィック表示がＧＵＩのためのグラフィック表示となる。なお、ＣＰＵ２１からＶＲＡＭ２３Ｂに送出さるイメージデータは、例えばウィンドウやカーソル、或いはスクロールバーやデバイスを示すアイコン等のイメージデータである。
【００３６】
かくしてこのワークステーション２においては、これらのイメージデータやビデオデータをディスプレイ２Ｂに表示することにより、当該ディスプレイ２Ｂにユーザ操作のためのＧＵＩや素材又は編集結果の画像を表示する。ＨＤＤインターフェイス２４は、ワークステーション２内部に設けられたローカルハードディスクドライブ２４Ａと通信するためのインターフェイスブロックである。このＨＤＤインターフェイス２４とハードディスクドライブ２４Ａとは、ＳＣＳｌ（ Small Computer System Interface）の伝送フォーマットに基づいて通信を行う。
【００３７】
ハードディスクドライブ２４Ａには、このワークステーション２で起動するアプリケーション・ソフトウェアがインストールされており、当該アプリケーション・ソフトウェアを実行する場合には、このハードディスクドライブ２４Ａから読み出されてＣＰＵ２１のＲＡＭ２１Ｂにアップロードされる。またこのアプリケーション・ソフトウェアを終了する際には、ＲＡＭ２１Ｂに記憶されている編集オペレーションによって生成された各種情報（例えば編集素材に関するデータベースの情報等）は、このハードディスクドライブ２４Ａを介してハードディスクにダウンロードされる。
【００３８】
ＦＤＤインターフェイス２５は、ワークステーション２内部に設けられたフロッピーディスクドライブ２５Ａと通信するためのインターフェイスブロックである。このＦＤＤインターフェイス２５とフロッピーディスクドライブ２５Ａとは、ＳＣＳＩの伝送フォーマットに基づいて通信を行う。
【００３９】
ポインティングデバイスインターフェイス２６は、ワークステーション２に接続されたキーボード２Ｃ、マウス２Ｄ及びペン・タブレット２Ｅからの情報を受信するインターフェイスブロックである。ポインティングデバイスインターフェイス２６はキーボード２Ｃに設けられたボタンからの入力情報を受け取り、受け取った入力情報をデコードしてＣＰＵ２１に送出する。同様に、ポインティングデバイスインターフェイス２６は、マウス２Ｄに設けられた２次元ロータリーエンコーダの検出情報と、マウス２Ｄに設けられた左右のボタンのクリック情報（すなわちボタン押下による選択指定情報）とを当該マウス２Ｄから受け取り、受け取ったそれらの情報をデコードしてＣＩＰＵ２１に送出する。同様に、ポインティングデバイスインターフェイス２６は、ペン・タブレット２Ｅからの２次元の位置データを受け取り、受け取ったその位置データをデコードしてＣＰＵ２１に送出する。このようなポインティングデバイスインターフェイス２６からの情報に基づいて、ＣＰＵ２１は、ディスプレイ２Ｂに表示されるＧＵＩのうちいずれのコマンドボタンが指示されたか認識し得ると共に、キーボード２Ｃより入力された各種データを認識し得、それらに対応する制御を行うことができる。
【００４０】
外部インターフェイス２７は、ワークステーション２の外部に接続されたデバイスコントローラ３と通信するためのブロックである。外部インターフェイス２７はＣＰＵ２１で生成された再生コマンドや記録コマンド等の各種制御コマンドを所定の通信プロトコルのデータに変換するドライバを有しており、当該ドライバを介して制御コマンドデータＳ２をデバイスコントローラ３に送出する。
【００４１】
３．編集システムにおける編集の原理
この項では、編集システム１における編集の原理について以下に順を追って説明する。
【００４２】
（３−１）編集用のアプリケーション・ソフトウェアの基本構成
まず始めにこの項では、ワークステーション２において用意されている編集用のアプリケーション・ソフトウェアの基本構成について説明する。図３に示すように、この編集システム１においては、機能毎にモジュール化された編集用のアプリケーション・ソフトウェアがワークステーション２に用意されている。このモジュール化されたアプリケーション・ソフトウェアは、大きく分けて、素材のつなぎ合わせ処理等の編集処理を行う編集モジュールＥＭと、素材の重ね合わせ処理等の合成処理を行う合成モジュールＣＭと、素材に対する特殊効果処理を行う特殊効果モジュールＳＭと、これら機能毎にモジュール化された編集モジュールＥＭ、合成モジュールＣＭ及び特殊効果モジュールＳＭの起動等を管理する制御モジュールＣＮＴＭとによって構成される。このような構成を有するアプリケーション・ソフトウェアは、ハードディスクドライブ２４ＡからＲＡＭ２１Ｂにアップロードされると、まず制御モジュールＣＮＴＭが起動し、その制御モジュールＣＮＴＭの管理の下で、各モジュールＥＭ、ＣＭ及びＳＭがそれぞれユーザからの指示に応じて適宜起動する。
【００４３】
クリップデータベースＣＤＢは、ビデオディスクレコーダ５及びＲＡＭ２１Ｂによって構成され、素材のビデオデータや編集に関する各種データを記憶している。各モジュールＥＭ、ＣＭ及びＳＭは、ユーザより指定された素材をクリップデータベースＣＤＢから読み出し、上述したスイッチャ７やディジタルマルチエフェクタ９等のハードウェアを使用しながら、その素材に対してユーザの指示に応じた編集を行い、その結果得られる編集された後の素材をクリップデータベースＣＤＢに登録する。また各モジュールＥＭ、ＣＭ及びＳＭは、編集に使用した各種パラメータ等の編集に関するデータもクリップデータベースＣＤＢに登録する。なお、クリップデータベースＣＤＢとしては、主に素材のビデオデータをビデオディスクレコーダ５に記憶し、編集に関する各種データをＲＡＭ２１Ｂに記憶する。
【００４４】
（３−２）クリップの定義
本発明による編集システム１では各素材はクリップと呼ばれる単位で扱われる。この項では、このクリップについて定義する。本発明による編集システム１では、ビデオ動画データの１シーケンスをクリップビデオデータと定義し、そのクリップビデオデータがどのようにして生成されたものであるか管理するデータをクリップ管理データと定義し、さらにこれらのクリップビデオデータとクリップ管理データからなるデータをクリップと定義する。また本発明による編集システム１では、ソースビデオデータから単に切り出すことにより生成された素材を素材クリップ（ＭＣ：Material Clip）と呼び、その素材クリップを編集することにより生成された素材を結果クリップ（ＦＣ：Fat Clip）と呼ぶ。
【００４５】
本発明による編集システム１では、素材クリップＭＣや結果クリップＦＣからなる複数のクリップを、クリップ間の関係に基づいた階層構造によって管理する。この様子を図４に示す例を参照しながら、以下に説明する。
【００４６】
図４に示す例では、結果クリップＦＣ−００８は、素材クリップＭＣ−００１、素材クリップＭＣ−００２及び素材クリップＭＣ−００３の３つの素材クリップを合成することによって生成されたクリップである。すなわち、結果クリップＦＣ−００８と、素材クリップＭＣ−００１、素材クリップＭＣ−００２及び素材クリップＭＣ−００３との関係は、上下関係になっている。このような上下関係にある場合、素材クリップＭＣ−００１、素材クリップＭＣ−００２及び素材クリップＭＣ−００３は結果クリップＦＣ−００８の配下にあることからそれぞれ下位クリップと呼ばれ、逆に結果クリップＦＣ−００８はこれら下位クリップを統括して生成されたものであることから上位クリップと呼ばれる。
【００４７】
同様に、結果クリップＦＣ−００９は、素材クリップＭＣ−００４に対して特殊効果を施すことによって生成されたクリップである。このため素材クリップＭＣ−００４は結果クリップＦＣ−００９の下位クリップとなり、逆に結果クリップＦＣ−００９は素材クリップＭＣ−００４の上位クリップとなる。
【００４８】
結果クリップＦＣ−０１０は、結果クリップＦＣ−００８と結果クリップＦＣ−００９とを編集する（この場合、例えばワイプ等によってつなぎ合わせる）ことによって生成された結果クリップである。このため結果クリップＦＣ−００８及び結果クリップＦＣ−００９はそれぞれ結果クリップＦＣ−０１０の下位クリップとなり、結果クリップＦＣ−０１０は結果クリップＦＣ−００８及び結果クリップＦＣ−００９の上位クリップとなる。
【００４９】
このように各クリップ間には上下関係があり、この編集システム１では、クリップデータベースＣＤＢにおいてこのクリップ間の上下関係を基に当該クリップを階層構造で管理する。なお、何ら編集処理に使用されない素材クリップは他のクリップと関係し合っていないが、そのような素材クリップはリンク先がないものとして管理される。またここで示した例は、あくまで一例であってクリップ間の上下関係としてはその他の組み合わせも当然存在する。
【００５０】
（３−３）合成処理の概念
続いてこの項では、合成モジュールＣＭで行う合成処理の概念について説明する。図４に示した結果クリップＦＣ−００８のビデオイメージは、素材クリップＭＣ−００１、素材クリップＭＣ−００２及び素材クリップＭＣ−００３のビデオイメージを合成処理（すなわちコンポジット処理）することによって生成される。この合成処理の概念を図５及び図６に示す。図５は、３つの素材クリップＭＣ−００１、ＭＣ−００２及びＭＣ−００３のビデオイメージを合成する様子を示しており、図６は、合成処理によって生成される結果クリップＦＣ−００８のビデオイメージを表している。
【００５１】
本発明による編集システム１においては、複数のクリップの合成を行う場合、各クリップを１つのレイヤ（層）とみなし、そのレイヤを重ねることにより合成処理を行う。図５に示す例では、第１のレイヤＬ１として素材クリップＭＣ−００３を指定し、第２のレイヤＬ２として素材クリップＭＣ−００２を指定し、第３のレイヤＬ３として素材クリップＭＣ−００１を指定している。各レイヤＬ１、Ｌ２及びＬ３に割り当てられた素材クリップを合成する場合には、レイヤＬ１を最下層としてその上に順次各レイヤＬ２、Ｌ３を重ねて行くことにより行われる。すなわち第１のレイヤＬ１として指定された素材クリップＭＣ−００３のビデオイメージ（例えば背景を表すイメージ）の上に、第２のレイヤＬ２として指定された素材クリップＭＣ−００２のビデオイメージ（例えば人物を表すイメージ）を重ね合わせて合成し、さらにその合成したビデオイメージの上に第３のレイヤＬ３として指定された素材クリップＭＣ−００１のビデオイメージ（例えばキャラクタを表すイメージ）を重ね合わせて合成する。このような合成処理により、図６に示すような３つの素材が重なり合ったようなビデオイメージの結果クリップＦＣ−００８を生成することができる。
【００５２】
なお、この図５に示す例では、３つのレイヤＬ１〜Ｌ３にそれぞれ割り当てられた素材クリツブＭＣ−００３、ＭＣ−００２及びＭＣ−００１を合成する例を示したが、本発明による編集システム１では、レイヤの数は特に限定されるものではない。
【００５３】
４．ＧＵＩ表示
各モジュールを起動したときにワークステーション２のディスプレイ２Ｂに表示されるＧＵＩ画面について説明する。
【００５４】
（４−１）メインウィンドウの構成
ディスプレイ２Ｂには、図７に示すように、メインウィンドウ３０が表示される。
上記メインウィンドウ３０は、編集に必要な機能をメニュー表示したメニュー（Menu）ウィンドウ３１と、使用頻度の高い機能のメニューのみを表示したツールバー（Tool Bar）ウィンドウ３２と、ビンツリー（Bin Tree）ウィンドウ３３を有し、さらに、必要に応じて、ビン（Bin）ウィンドウ３４，ランコントロール（Run Control）ウィンドウ３５，素材クリップＭＣ等の画像を編集前にプレビューして確認するためのプレビュー（Preview）ウィンドウ３６，結果クリップＦＣを作成するためのエディッタ（Editor）ウィンドウ４０とを有する。
【００５５】
メニューウィンドウ３１は、画像の編集処理に必要な全ての機能のメニューを有し、例えば新規に結果クリップＦＣを作成するためのニュー（New）メニュー、作成終了した結果クリップＦＣに名前を付けて保存するためのセイブ（Save）メニュー、中間結果を生成するためのインターリム・メイク（Interim Make）メニュー等を有する。
【００５６】
ビンツリーウィンドウ３３は、ビンウィンドウ３４の中に入っている素材クリップＭＣ，結果クリップＦＣ等がどのような場所に入っているかをツリー構造によって示すものである。
【００５７】
ビンウィンドウ３４の中には、カット編集等に使用される様々な画像の素材クリップＭＣ、既にある程度編集された結果クリップＦＣ、画像を加工処理等するためのオブジェクトが入っている。
【００５８】
ランコントロールウィンドウ３５は、現在の再生時刻であるカレントタイムを示す後述するカレントバーの位置を移動させるものである。なお、この詳細な説明については後述する。
【００５９】
プレビューウィンドウ３６は、図示しないプレビューボタン、ビューボタン、オールプレビューボタン又はオールビューボタンを操作したときに、素材クリップＭＣ又は結果クリップＦＣのビデオデータによる画像を表示するエリアである。このような表示エリアを設けたことにより、編集作業をしながら素材クリップＭＣ又は編集の結果生成された結果クリップＦＣのビデオイメージを確認することができる。
【００６０】
（４−２）エディッタウィンドウの構成
エディッタウィンドウ４０は、結果クリップＦＣを取り扱う、換言すると結果クリップを生成するものである。エディッタウィンドウ４０は、図８に示すように、現在の時刻等を表示するカレントタイム（Current Time）エリア４１、編集開始点や編集終了点の時刻を表示するインアウトタイム（In Out Time）エリア４２、スケールセレクト（Scale Select）エリア４３、コ・タイムライン（Co Timeline）４４、タイムスケール（Time Scale）エリア４５、各オブジェクトの時間的位置を表示編集するタイムライン（Time Line）４６、データの流れを示すオブジェクトが表示されるオブジェクト（Object）エリア４７とを有する。
【００６１】
カレントタイムエリア４１には、現在の時刻であるカレントタイム（例えば「00:00:01:02」：０時間０分１秒２フレーム）が表示される。なお、このカレントタイムは、タイムライン４６上でカレントタイムバー５１が位置する時刻である。カレントタイムバー５１の位置は、上述したランコントロールウィンドウ３５を用いて変更することができる。
【００６２】
ランコントロールウィンドウ３５は、図９に示すように、１０個のＧＵＩ表示されたボタンによって構成される。各ボタンは、それぞれクリックされることによって以下のようにカレントバーの位置を移動させる機能を有する。
【００６３】
トップ（Top）ボタン２０１は、先頭の結果クリップＦＣにカレントタイムバー５１を移動させる。プレビアス・キーフレーム（Previous KF）ボタン２０２は、現在のカレントタイムバー５１が示す時刻の直前のキーフレームＫＦに、カレントタイムバー５１を移動させる。プレビアス・フレーム（Previous Frame）ボタン２０３は、現在のカレントタイムバー５１が示す時刻の直前のフレームにカレントタイムバー５１を移動させる。ストップボタン２０４は、即時にカレントタイムバー５１の動きを停止させる。ラン（Run）ボタン２０５は、１倍速でカレントタイムバー５１を動かす。ネクストフレーム（Next Frame）ボタン２０６は、現在のカレントタイムバー５１が示す時刻の直後のフレームにカレントタイムバー５１を移動させる。ネクストキーフレーム（Next KF）ボタン２０７は、現在のカレントタイムバー５１が示す時刻の直後のキーフレームにカレントタイムバー５１を移動させる。ゴーツー（Goto）ボタン２０８は、指定されるキーフレーム番号のキーフレームＫＦ、又は指定される時刻にカレントタイムバー５１を移動させる。エンド（End）ボタン２０９は、最後の結果クリップＦＣの終わりの部分にカレントタイムバー５１を移動させる。クリエイト・キーフレーム（Create KF）ボタン２１０は、現在のカレントタイムバー５１が示す位置（時刻）に新しいキーフレームＫＦを作成する。これにより、クリップの制御とキーフレームＫＦに関連する制御を行うことができる。
【００６４】
インアウトタイムエリア４２は、編集開始点たるイン点の時刻（例えば「00:00:01:02」）と、編集終了点たるアウト点の時刻（例えば「00:00:01:22」）が表示される。イン点とアウト点は、選択状態すなわち編集処理の対象となっている素材クリップＭＣ又は結果クリップＦＣの先頭と終点を示す。なお、タイムライン４６上の各レイヤＬにおいて、イン点からアウト点までの範囲を「セル」という。
【００６５】
スケールセレクトエリア４３は、タイムライン４６の時間方向の大きさ（スケール）を設定するものであり、図８に示すように、タイムライン４６上の１フレームの大きさを設定する「Frame」、１秒間の大きさを設定する「Second」、１分間の大きさを設定する「Min」とがある。「Frame」は、４つのチェックボックスを有し、左から順に、単位時間１フレーム，２フレーム，５フレーム，１０フレームを意味する。「Second」は、５つのチェックボックスを有し、左から順に、単位時間１秒，２秒，５秒，１０秒，２０秒を意味する。「Min」は、４つのチェックボックスを有し、左から順に、単位時間１分，２分，５分，１０分を意味する。
【００６６】
ここで、図１０に示すタイムスケールの表を用いて、単位時間当たりの表示ステップについて説明する。
例えば図８に示すように、「Frame」の単位時間１フレームのチェックボックスがチェックされると、ビデオデータのレイヤＬにはサムネイルピクチャ（Thumbnail Picture）が１フレーム毎に表示され、表示される単位ステップ（Show Time Step）は５フレームになる。サムネイルピクチャとは、画像の素材クリップＭＣがあるレイヤＬに設定されている場合において当該レイヤに表示される簡易画像をいう。例えば図８に示すレイヤＬ３に表示されている画像が該当する。なお、サムネイルピクチャの横対縦の比は４対３であり、例えばタイムライン４６の各レイヤの幅が３０ピクセルの場合には、サムネイルピクチャは４０×３０ピクセルの縮小画像となる。このとき、タイムスケールエリア４５では、「00:00:01:00」の次に「00:00:01:05」が表示されていることから、５フレーム単位で表示されている。同様に図１０によると、例えば「Second」の単位時間２秒のチェックボックスがチェックされると、ビデオデータのレイヤＬにはサムネイルピクチャが６０フレーム毎に表示され、表示される単位ステップは１０秒になる。
【００６７】
コ・タイムライン４４は、タイムライン４６によって指定した編集内容を表示したものである。この場合、タイムライン４６においては、画面の制約上、全ての編集内容を一度に全部表示することができないので、このコ・タイムライン４４においてその編集内容を縮小したグラフィックイメージを表示することにより、全体としてどのような編集内容を指定しているのかを容易に把握し得るようになされている。例えばタイムライン４６においていくつかの素材クリップＭＣを合成するような編集内容を指定した場合には、その編集内容に合わせて、各レイヤに指定されたクリップを示す棒状グラフィックイメージがそれぞれ重なったようなグラフィックイメージがコ・タイムラインに表示される。
【００６８】
これによりユーザはこの表示を見て、指定されている編集内容の全貌を把握し得ると共に、その内容がいくつかのクリップの合成処理であることを容易に把握し得る。
【００６９】
タイムスケールエリア４５には、プレビューエリア４５ａとインアウトエリア４５ｂとがあり、上述した単位ステップ当たりの時間が表示される。プレビューエリア４５ａには、図示しないプレビューボタンを操作したとき、プレビューの対象画像のビデオデータの範囲を示す青色のバーが表示される。インアウトエリア４５ｂには、編集開始点から編集終了点までの範囲を示す黄色のバーが表示される。
【００７０】
タイムライン４６は、合成処理を行う編集対象のクリップを各レイヤに対して指定するためのエリアである。この編集システム１においては、その１つ１つに合成処理の素材となるクリップを指定することができる。なお、このタイムライン４６としては表示範囲が限られており、一度に全てのレイヤＬを表示することができない。しかしながらこのタイムライン４６の右端に表示されているスクロールボタンを操作することにより、タイムライン４６を上下方向にスクロールさせることができるので、これによって所望のレイヤを表示させることができるようになっている。このタイムライン４６においては、各レイヤの１つ１つに合成処理の素材となるクリップが対応する。
【００７１】
オブジェクトエリア４７には、タイムライン４６を構成する各レイヤの接続状態を示すオブジェクト５２が表示される。各オブジェクト５２は、各レイヤに対応して１つずつ存在する。
【００７２】
このオブジェクト５２は、ビンウィンドウ３４からドラッグ・アンド・ドロップによりオブジェクトエリア４７に貼り付けられる。オブジェクト５２は、垂直方向においてはタイムライン４６の行単位（各レイヤ単位）に位置し、水平方向においては自由に位置することができる。
【００７３】
５．操作方法
（５−１）エディッタウィンドウの起動
図７に示すビンウィンドウ３４には、上述したように、複数の素材クリップＭＣや結果クリップＦＣが入っている。ユーザが結果クリップＦＣをダブルクリックすると、当該結果クリップＦＣを編集するためのエディッタウィンドウ４０が表示される。また、タイムライン４６の各レイヤ上のいずれかのセル（クリップ）をダブルクリックしても、当該クリップを編集するためのエディッタウィンドウ４０が表示される。
【００７４】
なお、新たに結果クリップＦＣを生成する場合は、ビンウィンドウ３４に空の結果クリップＦＣを予め作成しておく必要がある。以下の説明では、空の結果クリップＦＣのエディッタウィンドウ４０を用いて、結果クリップＦＣの実体を作成する場合について説明する。
【００７５】
（５−２）タイムラインの作成
上記エディッタウィンドウ４０が起動すると、上述の図７に示すように、空のタイムライン４６及びオブジェクトエリア４７が表示される。
【００７６】
ユーザは、ビンウィンドウ３４の中から所望の素材クリップＭＣ（又は結果クリップＦＣやオブジェクト等）をクリックすることにより、当該素材クリップＭＣを選択する。このような処理を行うと、素材クリップＭＣのセルが表示される。そして、これをドラッグ・アンド・ドロップにより所望の位置に置けば、その位置にレイヤが形成され、当該レイヤに対して素材クリップＭＣが設定される。なお、素材クリップＭＣは、垂直方向ではレイヤ単位で、水平方向ではフレーム単位で設定される。
【００７７】
また、タイムライン４６にセルを設定した後、当該セルをドラッグして水平方向のみに移動させることもできる。さらに、セルのイン点やアウト点をドラッグ・アンド・ドロップして、その設定位置を変更することもできる。
【００７８】
なお、クリップを示すセルの長さは、そのクリップのデュレーション（クリップの始まりから終わりまでの時間）に対応した長さになっている。また、各セルの中には、クリップ名又はキー処理名を示す文字が表示されるようになされており、これによりどのクリップ又はキー処理が設定された一目で分かるようになっている。
【００７９】
（５−３）オブジェクトの作成
ユーザは、ビンウィンドウ３４の中から所望のオブジェクトをクリックすることにより、当該オブジェクトを選択する。そして、これをドラッグ・アンド・ドロップによりオブジェクトエリア４７の所望の位置に置けば、オブジェクトが設定される。このとき、オブジェクトは、垂直方向においてはレイヤ単位で設定される。すなわち、オブジェクトは、各レイヤの水平線上に設定される。
【００８０】
なお、オブジェクトは、オブジェクトエリア４７に設定された後であっても、ドラッグすることによって移動することができる。かくして、オブジェクトエリア４７に、複数のオブジェクトを設定することができる。
【００８１】
オブジェクトエリア４７に複数のオブジェクトを設定すると、次に、各オブジェクトを結線する必要がある。
【００８２】
ここで、図１１に示すように、オブジェクト５２は、オブジェクトボディ５３に入力用コネクタ５４（５４ａ，５４ｂ）、ビュースイッチ５５（５５ａ，５５ｂ）、出力用コネクタ５６を備え、入力用コネクタ５４にビデオデータ又はパラメータが入力する入力ライン５７（５７ａ，５７ｂ）が接続され、出力用コネクタ５６に出力用ライン５８が接続されて構成される。なお、オブジェクト５２は、各入力用コネクタ５４のうち主要なものを、詳しくは後述するように、主要入力用コネクタとして取り扱っている。
【００８３】
出力用コネクタ５６をクリックすると、当該出力用コネクタ５６を起点とする配線モードに移行する。そして、他のオブジェクト５２の入力用コネクタ５４をクリックすると、これらのコネクタ間で結線され、配線モードが終了する。なお、ここでは、出力用コネクタ５６を起点として結線する場合について説明したが、入力用コネクタ５４を起点とする場合も同様にして結線することができる。
【００８４】
このようにして結線されたオブジェクト５２には、ビデオデータやパラメータ等がオブジェクトボディ５３の下方から入力される。そして、オブジェクト５２は、上記ビデオデータやパラメータ等をオブジェクトボディ５３の右方から出力する。なお、入力用ライン５７及び出力用ライン５８の色は、信号の種類によって異なっている。例えば、ビデオデータ入出力ラインは青色、キーの入出力ラインは赤色、ビデオデータとキーの入出力ラインマゼンダ色、パラメータの入出力ラインは緑色である。
【００８５】
また、例えばビュースイッチ５５ｂをクリックすると、図１２に示すように、入力用コネクタ５４ｂ及びこれに接続している入力用ライン５７ｂが消える。但し、単に、入力用ライン５７ｂが表示されなくなるだけで、入力用ライン５７ｂを介して接続されている他のオブジェクトとの関係がなくなるわけではない。これにより、多くのオブジェクト５２があるときは、ビュースイッチ５５をクリックすることによって、オブジェクト構成を簡易に表示することができる。
【００８６】
図１３は、オブジェクトボディ５３に多くの入力用ライン５７及び出力用ライン５８が接続されているときのオブジェクト５２を示す図である。
上記オブジェクト５２は、図示しない他のオブジェクトと入力用ライン５７ａ〜５７ｃ，５７ｅを介して接続されている。なお、ビュースイッチ５５ｄがクリックされていることから、入力用コネクタ５４ｄと接続している入力用ラインは存在しているものの、その入力用ラインは表示されていない。さらに、上記オブジェクト５２は、４つの出力用コネクタ５６ａ，５６ｂ，５６ｃ，５６ｄを有し、これらのそれぞれに出力用ライン５８ａ，５８ｂ，５８ｃ，５８ｄが接続されている。
【００８７】
（５−４）信号のプロパティ
また、入力用コネクタ５４がダブルクリックされると、当該入力用コネクタ５４に接続される入力用ライン５７の信号のダイアログボックスが表示される。例えば図１１に示すオブジェクト５２において、入力用コネクタ５４ａがダブルクリックされると、図１４に示すように、入力用コネクタ５４ａに入力される信号のダイアログボックス６０が表示される。
【００８８】
上記ダイアログボックス６０は、入力用コネクタ５４ａに入力される信号がビデオデータであることを示すビデオ（Video）チェックボックス６１と、それがキーであることを示すキー（Key）ボックス６２と、ビデオ信号及びキーであることを示すビデオ・アンド・キー（Video and Key）チェックボックス６３とを有する。上記ダイアログボックス６０は、３つのチェックボックスのうちいずれか１つにチェック印を付すことによって、入力用コネクタ５４ａに入力される信号の種類を明示し、図１４の場合、上記入力用ライン５７の信号はビデオデータであることを示している。
【００８９】
但し、上記ダイアログボックス６０が開いているときに、他のチェックボックス、例えばキーチェックボックスにクリックしてチェック印を付してもよい。これにより、入力用ライン５７の信号はキー信号に変更される。
【００９０】
また、ダイアログボックス６０は、入力用コネクタ５４ａに入力される信号がパラメータの時はそのパラメータの内容を示すことがあり、例えば図１５に示すように、３次元パラメータである「3D Transform」を表示することもある。
【００９１】
また、オブジェクト５２のオブジェクトボディ５３がダブルクリックされると、図１６に示すように、当該オブジェクト５２のプロパティを示すオブジェクト・ダイアログボックス７０が表示される。
【００９２】
オブジェクト・ダイアログボックス７０は、当該オブジェクト５２の名前、入力用コネクタ５４及び出力用コネクタ５６の一覧、キーフレームに入らないパラメータの表示及び設定を行うためのものである。上記オブジェクト・ダイアログボックス７０は、具体的には図１６に示すように、入力用コネクタ５４に入力される信号として「Layer1」，「BackGround」，「3D」，「Parameter」のスイッチボックスを示し、出力用コネクタ５６から出力される信号として「Layered」，「Parameter」のスイッチボックスを表示している。スイッチボックスをクリックしてチェック印を取ると、そのスイッチボックスに対応する入力用コネクタ５４に信号が入力されないようになる。なお、再び上記スイッチボックスをクリックしてチェック印を付けると、上記入力用コネクタ５４に信号が入力されるようになる。
【００９３】
また、オブジェクト・ダイアログボックス７０は、バイパス（Bypass）スイッチボックス７１を有する。バイパススイッチボックス７１は、上記オブジェクト５１の上述した主要入力用コネクタ５４から入力される信号をそのまま出力（バイパス）するか否かの切り替えを行うものである。すなわち、オブジェクト５２は、バイパススイッチボックス７１がチェックされると、上記主要入力用コネクタ５４に入力される信号をそのまま外部に出力するようになっている。
【００９４】
６．結果クリップＦＣの生成
（６−１）文字の映像化
つぎに、図１７に示す簡単な構成のタイムライン４６及びオブジェクトを用いて、文字を映像化する結果クリップＦＣを生成する場合について説明する。
上記タイムライン４６は、レイヤＬ１とレイヤＬ２とによって構成される。レイヤＬ１は、文字データからその文字の画像を生成するレイヤである。レイヤＬ２は、所定の文字データを所定の時刻に出力するレイヤであり、ここでは３つのキーフレームＫＦを有する。ここでは、キーフレームＫＦ１は「今日は」、キーフレームＫＦ２は「天気が」、キーフレームＫＦ３は「よい。」の文字データである。
【００９５】
また、各レイヤＬ１，Ｌ２に対応して、オブジェクトが設けられている。第１のオブジェクト７１は、レイヤＬ２に対応し、キーフレームＫＦ１〜ＫＦ３による所定の時刻になると「今日は」，「天気が」「よい。」の文字データを、それぞれ出力用コネクタを介して第２のオブジェクト７２に供給する。第２のオブジェクト７２は、レイヤＬ１に対応し、上記文字データに基づいて、順次その文字の画像を生成して出力する。これにより、「今日は天気がよい。」という画像（テロップ）が生成される。
【００９６】
以上のように、タイムラインと当該タイムラインの各レイヤに対応するオブジェクトとを用いることによって、タイムラインに従って画像の時間管理を行うことができ、オブジェクトの接続関係によって各レイヤの接続関係を容易に認識することができ、ユーザは容易に編集作業を行うことができる。
【００９７】
（６−２）中間結果の生成
上述したエディッタウィンドウ４０は、タイムラインやオブジェクトを用いて編集処理を行って、最終のオブジェクトから出力される編集結果を結果クリップＦＣとして出力する。タイムライン４６がレイヤの多層構造となり、それに伴ってオブジェクトの数が非常に大きくなると、オブジェクトの途中の段階でどのような画像が生成されているのか確認する必要が生じる。そこで、途中のオブジェクトであっても、その中間結果を生成して画像を確認することができるようになっている。
【００９８】
ここで、図１８に示すように、タイムライン４６及びオブジェクトが構成されている場合を例に挙げて説明する。
タイムライン４６において、レイヤＬ５は、”Take12”という名前のカット画像のレイヤである。レイヤＬ４は、画像の動きから３次元パラメータを生成するレイヤである。なお、ここでは、オブジェクト８２の中間結果の生成について説明するため、他のレイヤについては記載を省略する。一方、オブジェクト８１は、レイヤＬ５に対応するものであり、”Take12”の画像をオブジェクト８２に供給する。オブジェクト８２は、供給される画像に基づいてその画像の動きを示す３次元パラメータを生成して出力する。
【００９９】
ここで、中間結果を生成すべく、オブジェクト８２をクリックし、さらに、図７に示すメニューウィンドウ３１の中からインターリム・メイク・メニューを選択すると、オブジェクト８２がアイコン化される。オブジェクト８２がアイコン化されると、図１９に示すように、レイヤＬ４，Ｌ５のクリップが真っ黒になり、オブジェクト８２は編集することができなくなる。なお、中間結果によって生成されたものが画像である場合は、アイコン化されたオブジェクト８２の内容をプレビュー等することにより、オブジェクト８２の出力内容を確認することができる。
【０１００】
さらに、オブジェクト８２を選択（クリック）した状態でメニューウィンドウ３１の中から”Save As（名前を付けて保存）”を選択すると、上記オブジェクト８２の内容が保存され、オブジェクト８２の出力内容の結果クリップＦＣが生成される。
【０１０１】
そして、中間結果を破棄して再度編集作業を行うときは、上記オブジェクト８２を選択し、さらに、メニューウィンドウの中からアン・メイク（UnMake）メニューを選択すればよい。このとき、中間結果が破棄され、オブジェクト８２以降のオブジェクトについての編集処理が可能になる。
【０１０２】
（６−３）ユーザ定義による結果クリップＦＣの生成
また、単に中間結果を生成するのではなく、途中のオブジェクトの出力を結果クリップＦＣとして生成することもできる。
【０１０３】
ここで、図２０に示すように、タイムライン４６及びオブジェクトが構成されている場合を例に挙げて説明する。
タイムライン４６において、レイヤＬ６は、”Take12”という名前のカット画像のレイヤである。レイヤＬ５は、キーフレームＫＦ１，ＫＦ２，ＫＦ３のタイミングで画像の色に変化を与えるレイヤである。なお、他のレイヤについては記載を省略する。一方、オブジェクト８３は、レイヤＬ６に対応するものであり、”Take12”の画像をオブジェクト８４に供給する。オブジェクト８４は、供給される画像に対して、上記各キーフレームＫＦのタイミングに従って、色に変化を与えて出力する。
【０１０４】
そして、オブジェクト８４又はレイヤＬ５のクリップを選択した状態でメニューウィンドウ３１の中から”Save As”を選択すると、タイムラインを持ったイフェクトとして結果クリップＦＣを生成することができる。このようにして生成された結果クリップＦＣは、ビンウィンドウ３４のなかに現れ、他の結果クリップＦＣを生成するために再利用することができるようになる。
【０１０５】
（６−４）その他の例
以下、タイムライン４６及びオブジェクトエリア４７に配置されるオブジェクトの構成の一例を示し、その内容について説明する。
【０１０６】
図２１に、メイン画像にタイトル画像を乗せる場合における、タイムライン４６及びオブジェクトエリア４７に配置されたオブジェクトの一例要の部構成図を示す。
タイムライン４６は、レイヤＬ１からレイヤＬ４までの４つのレイヤによって構成される。レイヤＬ４は、画像”ＸＸＸ”のビデオデータのレイヤである。レイヤＬ３は、上記画像”ＸＸＸ”に表示されるタイトル画像”ＺＺＺ”の文字データを示すレイヤである。レイヤＬ２は、合成処理を行うレイヤであり、ここでは、画像”ＸＸＸ”にタイトル画像”ＺＺＺ”を合成する。レイヤＬ１は、出力を示すレイヤである。
【０１０７】
オブジェクトエリア４７には、各レイヤに対応したオブジェクト１０１〜１０４が設けられている。オブジェクト１０１は、レイヤＬ４の真横に設けられ、当該レイヤＬ４に対応している。オブジェクト１０２は、レイヤＬ３の真横に設けられ、当該レイヤＬ３に対応している。オブジェクト１０３は、レイヤＬ２の水平線上に設けられ当該レイヤＬ２に対応していると共に、オブジェクト１０１，１０２からのラインと接続している。オブジェクト１０４は、レイヤＬ４の水平線上に設けられ当該レイヤＬ４に対応していると共に、オブジェクト１０３からのラインと接続している。
【０１０８】
そして、オブジェクト１０１は、時刻「00:01:00」になると、画像”ＸＸＸ”のビデオデータを出力する。オブジェクト１０２は、時刻「00:01:10」になると、タイトル画像”ＺＺＺ”の文字データを出力する。オブジェクト１０３は、オブジェクト１０１からのビデオデータを出力すると共に、キーフレームＫＦ１（時刻「00:01:40」），ＫＦ２（時刻「00:02:50」），ＫＦ３（時刻「00:03:15」）のタイミングで”ＺＺＺ”の文字データを合成して出力する。オブジェクト１０４は、オブジェクト１０３からのビデオデータを外部に出力する。
【０１０９】
このように、タイムライン４６は各レイヤＬの時間を管理し、各オブジェクトは各レイヤＬの接続関係を構成することによって、レイヤＬの順番に関係なく、柔軟にデータの加工処理を行うことができる。
【０１１０】
図２２に、メイン画像にタイトル画像を乗せてそのタイトル画像をモーションキャプチャーで動かす場合における、タイムライン４６及び各オブジェクトの要部構成図を示す。
【０１１１】
タイムライン４６は、レイヤＬ１〜レイヤＬ６までの６つのレイヤＬによって構成される。レイヤＬ６は、物体の動きを検出してその動きのパラメータを出力するモーション・キャプチャー（Motion Capture）のレイヤである。レイヤＬ３は、入力される３次元のパラメータに基づいて入力画像を移動する３Ｄトランスフォーム（3D Transform ）のレイヤである。なお、レイヤＬ１，Ｌ２は、上述した図２１に示すレイヤＬ１，Ｌ２と同じである。レイヤＬ４，Ｌ５は、それぞれ図２１に示すレイヤＬ３，Ｌ４と同じである。
【０１１２】
オブジェクトエリア４７には、各レイヤＬ６〜Ｌ１にそれぞれ対応したオブジェクト１０５〜１１０が設けられている。オブジェクト１０５は、ある画像の動きをとらえてその動きを示す３次元パラメータを出力するものである。オブジェクト１０６は、メイン画像”ＸＸＸ”のビデオデータを出力する。オブジェクト１０７は、タイトル画像”ＺＺＺ”の文字データを出力する。オブジェクト１０８は、オブジェクト１０５及びオブジェクト１０７の出力ラインに接続されている。オブジェクト１０９は、オブジェクト１０６及びオブジェクト１０８の出力ラインに接続されている。オブジェクト１１０は、オブジェクト１０９の出力ラインに接続され、このラインからの画像を外部に出力する。
【０１１３】
そして、オブジェクト１０８は、オブジェクト１０５からの３次元パラメータに基づいて、オブジェクト１０７からのタイトル画像”ＺＺＺ”を動かして、この動きのあるタイトル画像をオブジェクト１０９に供給する。オブジェクト１０９は、オブジェクト１０６から供給される画像”ＸＸＸ”を出力すると共に、キーフレームＫＦ１，ＫＦ２，ＫＦ３のタイミングになると、オブジェクト１０８からのタイトル画像を合成してオブジェクト１１０に供給する。オブジェクト１１０は、オブジェクト１０９からの画像を外部に出力する。
【０１１４】
このように、メイン画像に単なるタイトル画像を合成するだけでなく、動きのあるタイトル画像を容易に合成することができる。
【０１１５】
図２３に、メイン画像にタイトル画像を乗せて当該タイトル画像をモーションキャプチャーと３Ｄで動かす場合における、タイムライン４６及び各オブジェクトの要部構成図を示す。
【０１１６】
タイムライン４６は、レイヤＬ１〜レイヤＬ７までの７つのレイヤＬによって構成される。レイヤＬ７は、任意の物体が動いていることを示すレイヤである。なお、レイヤＬ１〜Ｌ６は、図２２に示すレイヤＬ１〜Ｌ６と同じである。
【０１１７】
オブジェクトエリア４７には、各レイヤＬ７〜Ｌ１にそれぞれ対応したオブジェクト１１１〜１１７が設けられている。オブジェクト１１１は、３次元パラメータを出力する。オブジェクト１１２は、オブジェクト１１１の出力ラインに接続されている。オブジェクト１１３は、メイン画像”ＸＸＸ”のビデオデータを出力する。オブジェクト１１４は、タイトル画像”ＺＺＺ”の文字データを出力する。オブジェクト１１５は、オブジェクト１１２及びオブジェクト１１４の出力ラインに接続されている。オブジェクト１１６は、オブジェクト１１２及びオブジェクト１１５の出力ラインに接続されている。オブジェクト１１７は、オブジェクト１１６の出力ラインに接続され、このラインからの画像を外部に出力する。
【０１１８】
そして、オブジェクト１１２は、オブジェクト１１１からの任意の物体の動きに基づいて、３次元パラメータを出力する。オブジェクト１１５は、オブジェクト１１２からの３次元パラメータに基づいてオブジェクト１１４からのタイトル画像”ＺＺＺ”を動かして、この動きのあるタイトル画像をオブジェクト１１６に供給する。オブジェクト１１６は、オブジェクト１１３から供給される画像”ＸＸＸ”を出力すると共に、キーフレームＫＦ１，ＫＦ２，ＫＦ３のタイミングになると、オブジェクト１１５からのタイトル画像を合成してオブジェクト１１７に供給する。オブジェクト１１７は、オブジェクト１１６からの画像を外部に出力する。
【０１１９】
このように、ある任意の物体の動きと共にメイン画像に合成されるタイトル画像を動かすことができる。
【０１２０】
図２４に、図２３と同様の機能を有するタイムライン４６及び各オブジェクトの要部構成図を示す。具体的には図２３において、オブジェクト１１５のビュースイッチ１１５ａをクリックすることによってオブジェクト１１４及びレイヤＬ４を消去し、さらに、オブジェクト１１６のビュースイッチ１１６ａをクリックすることによってオブジェクト１１３及びレイヤＬ５を消去している。
【０１２１】
したがって、タイムライン４６は、レイヤＬ１〜Ｌ５の５つのレイヤＬによって構成されている。
【０１２２】
このように、所定のビュースイッチをクリックすることによって、当該ビュースイッチに対応する入力用コネクタに、入力されるライン以下のオブジェクト及びレイヤＬを消去して、簡易な表示を行っている。
【０１２３】
図２５に、６面体を表示する場合における、タイムライン４６及び各オブジェクトの要部構成図を示す。
【０１２４】
タイムライン４６は、レイヤＬ１〜Ｌ１８までも１８個のレイヤＬによって構成されている。レイヤＬ１８は、立方体の全体の動きを示すグローブ・ムーブ（Global Move）のレイヤである。レイヤＬ１５〜Ｌ１７は、立方体の各面のパラメータを示すキューブ（Cube）のレイヤである。レイヤＬ１４は、立方体の一面である画像”Video Side-1”を示すビデオデータのレイヤである。レイヤＬ１３は、３次元パラメータに基づいて画像を動かす３Ｄトランスフォーム（3D Transform）のレイヤである。また、レイヤＬ１２，Ｌ１１、レイヤＬ１０，レイヤＬ９、レイヤＬ８，Ｌ７、レイヤＬ６，Ｌ５、レイヤＬ４，Ｌ３は、上述したレイヤＬ１４，Ｌ１３と同様である。レイヤＬ２は、画像の合成を示すコンバイン（Combine）のレイヤである。レイヤＬ１は、出力処理を行うアウトプット（Output）のレイヤである。
【０１２５】
オブジェクトエリア４７には、図２５に示すように、各レイヤＬ１８〜Ｌ１にそれぞれ対応したオブジェクト１１８〜１３３が設けられている。なお、レイヤＬ１１５〜Ｌ１７には、オブジェクト１１９が対応している。
【０１２６】
オブジェクト１１８は、レイヤＬ１８に対応し、延滞の動きを示すパラメータを出力する。オブジェクト１１９は、レイヤＬ１５，Ｌ１６，Ｌ１７に対応し、オブジェクト１１８からのパラメータに基づいて、立方体の６面のそれぞれについてのパラメータを出力する。オブジェクト１２０は、レイヤＬ１４に対応し、６面体の１面のビデオデータを出力する。オブジェクト１２１は、オブジェクト１２０からのビデオデータ及びオブジェクト１１９からの２つのパラメータに基づいて、上記６面体の１面を動かして、このビデオデータを出力する。また、オブジェクト１２２，１２３、オブジェクト１２４，１２５、オブジェクト１２６，１２７，オブジェクト１２８，１２９、オブジェクト１３０，１３１は、それぞれ上述したオブジェクト１２０，１２１と同様の処理をする。オブジェクト１３２は、レイヤＬ２に対応し、オブジェクト１２１，１２３，１２５，１２７，１２９，１３１からの各６面体のビデオデータを合成して出力する。オブジェクト１３３は、レイヤＬ１に対応し、オブジェクト１３２からの動く立方体の画像を外部に出力する。
【０１２７】
このように、タイトル画像のみならず、各画像に動きを与えてこれらを合成して出力することができる。
【０１２８】
図２６に、画面の全部又は一部を所定の色に付するペイント機能を有する場合における、タイムライン４６及び各オブジェクトの要部構成図を示す。
【０１２９】
タイムライン４６は、レイヤＬ１〜Ｌ４までの４つのレイヤＬによって構成されている。レイヤＬ４は、上述したモーション・キャプチャーのレイヤである。レイヤＬ３は、背景の画像であるバックグランドビデオ（Background Video）のレイヤである。レイヤＬ２は、画像に所定の色を付するペイント（Paint）のレイヤである。レイヤＬ１は、アウトプットのレイヤである。
【０１３０】
オブジェクトエリア４７には、レイヤＬ４〜Ｌ１にそれそれ対応したオブジェクト１３４〜１３７が設けられている。オブジェクト１３４は、レイヤＬ４に対応し、物体の動きを示すパラメータを出力する。オブジェクト１３５は、レイヤＬ３に対応し、背景となる画像のビデオデータを出力する。オブジェクト１３６は、レイヤＬ２に対応し、オブジェクト１３５からの背景画像に対して、オブジェクト１３４からのパラメータに基づいて色の変化が動くようにする処理をする。オブジェクト１３７は、レイヤＬ１に対応し、オブジェクト１３６からの色が変化する背景画像を外部に出力する。
【０１３１】
このように、物体だけでなく、色の変化等を与えることができる。
【０１３２】
図２７に、３次元データを生成する場合におけるタイムライン４６及び各オブジェクトの要部構成図を示す。
【０１３３】
タイムライン４６は、レイヤＬ１〜Ｌ３までの３つのレイヤＬによって構成されている。レイヤＬ３は、生成すべき３次元パラメータの元となる、移動物体のビデオデータを示すソースビデオ（Source Video）のレイヤである。レイヤＬ２は、移動物体のビデオデータから３次元パラメータを生成するモーション・キャップチャ・パラメータ（Motion Capture Parameter）のレイヤである。レイヤＬ１は、アウトプットのレイヤである。
【０１３４】
オブジェクトエリア４７には、レイヤＬ３〜Ｌ１にそれそれ対応したオブジェクト１３８〜１４０が設けられている。オブジェクト１３８は、移動物体のビデオデータを出力する。オブジェクト１３９は、オブジェクト１３８からのビデオデータに基づいて移動物体の３次元パラメータを生成して出力する。オブジェクト１４０は、オブジェクト１３９からの３次元パラメータを外部に出力する。
【０１３５】
このように、タイムライン４６及びオブジェクト１３８〜１４０の構成によって、３次元パラメータを生成することができる。
【０１３６】
以上詳細に説明したように、本発明を適用した編集システム１は、タイムラインによってデータやパラメータの時間管理を行い、オブジェクトによってタイムラインを構成する各レイヤの接続関係を示すことによって、複雑で手間のかかる編集作業を容易に行うことができる。
【０１３７】
このとき、途中のオブジェクトが出力する中間結果を生成したり、ユーザ定義による結果クリップＦＣを生成することができ、従来より容易に編集作業を行うことができる。
【０１３８】
また、一部のオブジェクトを消去することによって視覚的に編集処理の内容を容易に把握することができ、また、オブジェクトのプロパティを表示するようにして、オブジェクトに対して入出力する信号の設定も容易に行うことができる。
【０１３９】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計の変更等をすることができ、例えばメインウィンドウ３０やエディッタウィンドウ４０の構成は図７及び図８の構成に限定されるものではないのは勿論である。
【０１４０】
【発明の効果】
本発明に係る編集システム及び編集方法によれば、タイムラインの各レイヤに対して少なくとも素材クリップ・合成処理・出力のそれぞれに対応する各オブジェクトの１つを設定し、タイムラインのレイヤ単位に各オブジェクトを位置させて表示手段に表示させ、各クリップ処理層の時間管理を行うとともに、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせ、最上位の階層のクリップ処理層から出力される所定処理済みのクリップを結果クリップとして出力することによって、編集処理の自由度を高くし、かつ、編集処理の内容を視覚的に容易に把握することができる。
【図面の簡単な説明】
【図１】本発明を適用した編集システムの構成を示すブロック図である。
【図２】上記編集システムの主要構成であるワークステーションの内部構成を示すブロック図である。
【図３】上記編集システムが有する各モジュール及びクリップデータベースの構成図である。
【図４】クリップの階層的管理を説明するための図である。
【図５】合成処理の内容を説明するための図である。
【図６】合成処理によって生成されるビデオイメージを説明するための図である。
【図７】上記ワークステーションのディスプレイに表示されるメニューウィンドウを説明するための図である。
【図８】上記メニューウィンドウ内のエディッタウィンドウを説明するための図である。
【図９】エディッタウィンドウに表示されるカレントタイムバーを調整する機能を有するランコントロールウィンドウを説明する図である。
【図１０】単位時間当たりの表示ステップについて説明するためのタイムスケールの図である。
【図１１】エディッタウィンドウ内のオブジェクトエリアに設けられるオブジェクトの構成を説明するための図である。
【図１２】上記オブジェクトの構成を説明するための図である。
【図１３】上記オブジェクトの構成を説明するための図である。
【図１４】入力用コネクタに入力される信号のダイアログボックスを説明するための図である。
【図１５】入力用コネクタに入力される信号がパラメータである場合のダイアログボックスを説明するための図である。
【図１６】オブジェクトのプロパティを示すオブジェクト・ダイアログボックスを説明するための図である。
【図１７】タイムラインとオブジェクトの構成の一例を示す図である。
【図１８】オブジェクトの中間結果の生成を説明するために用いられるタイムラインとオブジェクトの構成を示す図である。
【図１９】オブジェクトの中間結果の生成を説明するために用いられるタイムラインとオブジェクトの構成を示す図である。
【図２０】ユーザ定義による結果クリップの生成を説明するために用いられるタイムラインとオブジェクトの構成を示す図である。
【図２１】ビデオにタイトルをのせる場合のタイムライン及びオブジェクトの構成を示す図である。
【図２２】メイン画像にタイトル画像を乗せてそのタイトル画像をモーションキャプチャーで動かす場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図２３】メイン画像にタイトル画像を乗せて当該タイトル画像をモーションキャプチャーと３Ｄで動かす場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図２４】メイン画像にタイトル画像を乗せて当該タイトル画像をモーションキャプチャーと３Ｄで動かす場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図２５】６面体を表示する場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図２６】画面の全部又は一部を所定の色に付するペイント機能を有する場合におけるタイムライン及び各オブジェクトの要部構成図である。
【図２７】３次元データを生成する場合におけるタイムライン及び各オブジェクトの要部構成図である。
【符号の説明】
１編集システム、２ワークステーション、３０メニューウィンドウ、４０エディッタウィンドウ、４６タイムライン、４７オブジェクトエリア

Claims

複数の編集単位となるクリップを編集して編集処理済みの結果クリップを生成する編集システムにおいて、
時間を管理しながらクリップに所定処理を施すクリップ処理層を複数有するクリップ処理手段と、
上記各クリップ処理層にそれぞれ対応する複数のオブジェクトを有し、上記各オブジェクトをそれぞれ接続して１つの階層構造を形成することで上記各クリップ処理層の階層を決定する階層決定手段と、
上記クリップ処理手段による処理内容をタイムラインとして表示手段に表示させ、上記階層決定手段により形成される階層構造をオブジェクト間で結線することによって上記表示手段に表示させる表示制御手段と
を備え、
上記表示制御手段は、タイムラインの各レイヤに対して少なくとも素材クリップ・合成処理・出力のそれぞれに対応する各オブジェクトの１つを設定し、タイムラインのレイヤ単位に各オブジェクトを位置させて上記表示手段に表示させ、
上記クリップ処理手段は、各クリップ処理層の時間管理を行うとともに、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせ、最上位の階層のクリップ処理層から出力される所定処理済みのクリップを結果クリップとして出力することを特徴とする編集システム。
上記表示制御手段は、各クリップ処理層の処理対象に応じて、各オブジェクト間の結線の色を変えて上記表示手段に表示させることを特徴とする請求項１記載の編集システム。
複数の編集単位となるクリップを編集して編集処理済みの結果クリップを生成する編集方法において、
複数のクリップ処理層が時間を管理しながらクリップに所定処理を施すクリップ処理ステップと、
上記各クリップ処理層にそれぞれ対応する複数のオブジェクトを有し、上記各オブジェクトをそれぞれ接続して１つの階層構造を形成することで上記各クリップ処理層の階層を決定する階層決定ステップと、
上記クリップ処理ステップにおける処理内容をタイムラインとして表示手段に表示させ、上記階層決定ステップにおいて形成される階層構造をオブジェクト間で結線することによって上記表示手段に表示させる表示制御ステップと
を有し、
上記表示制御ステップでは、タイムラインの各レイヤに対して少なくとも素材クリップ・合成処理・出力のそれぞれに対応する各オブジェクトの１つを設定し、タイムラインのレイヤ単位に各オブジェクトを位置させて上記表示手段に表示させ、
上記クリップ処理ステップでは、各クリップ処理層の時間管理を行うとともに、一のクリップ処理層による所定処理済みのクリップを当該一のクリップ層よりも上位の階層にあるクリップ処理層に所定処理を行わせ、最上位の階層のクリップ処理層から出力される所定処理済みのクリップを結果クリップとして出力することを特徴とする編集方法。
上記表示制御ステップでは、各クリップ処理層の処理対象に応じて、各オブジェクト間の結線の色を変えて上記表示手段に表示させることを特徴とする請求項３記載の編集方法。