JP3918246B2

JP3918246B2 - Image processing method and apparatus

Info

Publication number: JP3918246B2
Application number: JP25637997A
Authority: JP
Inventors: 英弘平瀬
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-09-20
Filing date: 1997-09-22
Publication date: 2007-05-23
Anticipated expiration: 2017-09-22
Also published as: JPH10150631A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法および装置に関し、特に、素材クリップの識別子を含むファットクリップを生成することで、修正された結果クリップに関連する他の結果クリップの作業情報に対応する処理を再実行して、その結果クリップを自動的に再生成するようにした、画像処理方法および装置に関する。
【０００２】
ビデオカメラから得られたビデオデータを編集するポストプロダクションの分野において、ディスクを記録媒体として使用したノンリニア編集システムが提案されている。このノンリニア編集システムにおいて行われる編集処理として、さまざまな種類の編集処理が存在している。例えば、複数の素材をつなぎ合わせて所望のビデオプログラムを作成するためのビデオ編集処理、キー信号によって複数の素材を合成するための合成処理、あるいは素材に対して特殊効果処理を施す特殊効果処理等が存在する。一般的に、このうちのビデオ編集処理は編集装置で行われ、合成処理はビデオスイッチャで行われ、特殊効果処理は特殊効果装置において行われている。
【０００３】
近年のディスク媒体のランダムアクセス性の向上によって、複数チャンネルに対して同時にアクセスすることが可能になり、その結果、複数チャンネルのビデオデータをリアルタイムで処理する編集処理が要望されるようになってきた。例えば、テレビジョン放送のためのコマーシャル作成用の編集業界や映画プログラム作成用の編集業界等では、数十から数百の素材を使用して編集処理を行うとともに、異なる種類の編集処理を組合わせて使用することが要望されている。さらに、これらの複数種類の編集処理を何度も繰り返し行うことによって、高度で且つ複雑な編集結果データを生成することが要求されるようになってきた。
【０００４】
このような高度で複雑な編集結果データを作成するためには、数十から数百の素材を管理するとともに、編集処理の履歴を記憶しておく必要がある。
【０００５】
【発明が解決しようとする課題】
しかし、従来の編集システムは、このような多数の素材を管理するための装置および編集履歴を記憶するための装置を備えておらず、その結果、編集操作が煩雑なものとなっていた。具体的には、どの素材を、どの編集処理を使用して編集結果ビデオデータが作成されたかという情報を、編集オペレータが記憶しておくことは不可能であるので、従来の編集システムでは、編集作業を行う毎に編集オペレータが、そのような情報を紙に書き込んで管理していた。また、その複数の編集結果ビデオデータから、さらに新しい編集結果ビデオデータを生成するような編集処理を何度も繰り返すような複雑な編集処理を行った場合には、最終の編集結果ビデオデータが、どの素材から作成されたかを示す編集履歴情報が膨大なデータ量になり、編集オペレータが紙に書き込んで管理することさえも不可能であった。
【０００６】
そのため、一度作成された編集結果ビデオデータに変更を加えたい場合には、さらに編集作業が煩雑になり、時間がかかってしまうという課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、複数の素材を編集作業に最適になるように管理することによって、編集作業の簡略化および高速化を実現しようとするものである。
【０００８】
【課題を解決するための手段】
請求項１に記載の画像処理方法は、モジュール毎に、所定の素材クリップに対して、編集、合成、または特殊効果のうちの少なくとも１つの処理を行って、結果クリップを生成するときの作業情報、および作業情報に対応して生成した結果クリップ、および結果クリップを生成するのに使用した素材クリップに関する情報を含むファットクリップであって、素材クリップとして他のファットクリップが使用された場合には、素材クリップとしての他のファットクリップの情報を含むファットクリップを生成する生成ステップと、第１のファットクリップが修正されたとき、第１のファットクリップに関連する第２のファットクリップを検索し、第２のファットクリップの作業情報に対応する処理を再実行して、第２のファットクリップの結果クリップを再度生成する再実行ステップとを備えることを特徴とする。
【０００９】
請求項６に記載の画像処理装置は、モジュール毎に、所定の素材クリップに対して、編集、合成、または特殊効果のうちの少なくとも１つの処理を行って、結果クリップを生成するときの作業情報、および作業情報に対応して生成した結果クリップ、および結果クリップを生成するのに使用した素材クリップに関する情報を含むファットクリップであって、素材クリップとして他のファットクリップが使用された場合には、素材クリップとしての他のファットクリップの情報を含むファットクリップを生成する生成手段と、第１のファットクリップが修正されたとき、第１のファットクリップに関連する第２のファットクリップを検索し、第２のファットクリップの作業情報に対応する処理を再実行して、第２のファットクリップの結果クリップを再度生成する再実行手段とを備えることを特徴とする。
【００１０】
請求項１に記載の画像処理方法および請求項６に記載の画像処理装置においては、作業情報、結果クリップ、素材クリップに関する情報を含むファットクリップが生成される。このファットクリップには、他のファットクリップが素材クリップとして使用された場合には、素材クリップとして使用された他のファットクリップの情報が含まれる。第１のファットクリップが修正されたとき、第２のファットクリップが検索され、その作業情報を再実行して第２のファットクリップの結果クリップが再生成される。
【００１１】
【発明の実施の形態】
以下に本発明の実施例を説明するが、特許請求の範囲に記載の発明の各手段またはステップと以下の実施例との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施例（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００１２】
請求項１に記載の画像処理方法は、モジュール毎に、所定の素材クリップに対して、編集、合成、または特殊効果のうちの少なくとも１つの処理を行って、結果クリップを生成するときの作業情報、および作業情報に対応して生成した結果クリップ、および結果クリップを生成するのに使用した素材クリップに関する情報を含むファットクリップであって、素材クリップとして他のファットクリップが使用された場合には、素材クリップとしての他のファットクリップの情報を含むファットクリップを生成する生成ステップ（例えば図８のステップＳ５２）と、第１のファットクリップが修正されたとき、第１のファットクリップに関連する第２のファットクリップを検索し、第２のファットクリップの作業情報に対応する処理を再実行して、第２のファットクリップの結果クリップを再度生成する再実行ステップ（例えば図８のステップＳ５８）とを備えることを特徴とする。
【００１３】
請求項４に記載の画像処理方法は、所定のモジュールにおいて、所定のファットクリップが選択されたとき、そのファットクリップを生成したモジュールを読み出す読み出しステップ（例えば図８のステップＳ５６）をさらに備えることを特徴とする。
【００１４】
請求項５に記載の画像処理方法は、第２のファットクリップに対して、第１のファットクリップと関係しない第３のファットクリップから識別するための識別記号（例えば識別子）を付与する識別ステップ（例えば図８のステップＳ５４）をさらに備えることを特徴とする。
【００１５】
請求項６に記載の画像処理装置は、モジュール毎に、所定の素材クリップに対して、編集、合成、または特殊効果のうちの少なくとも１つの処理を行って、結果クリップを生成するときの作業情報、および作業情報に対応して生成した結果クリップ、および結果クリップを生成するのに使用した素材クリップに関する情報を含むファットクリップであって、素材クリップとして他のファットクリップが使用された場合には、素材クリップとしての他のファットクリップの情報を含むファットクリップを生成する生成手段（例えば図８のステップＳ５２）と、第１のファットクリップが修正されたとき、第１のファットクリップに関連する第２のファットクリップを検索し、第２のファットクリップの作業情報に対応する処理を再実行して、第２のファットクリップの結果クリップを再度生成する再実行手段（例えば図８のステップＳ５８）とを備えることを特徴とする。
【００１６】
図１は、本発明の画像処理方法を適用するシステムの構成例を示している。ワークステーション１には、キーボード２、マウス３、パッド４などが接続されており、適宜、必要な指令を入力することができるようになされている。ディスプレイ５には、ワークステーション１から所定の文字や画像などが、適宜、表示されるようになされている。ジョグ・フェーダコントローラ６は、ディバイスコントローラ兼フレームバッファ７に対して、ユーザの操作に対応して漸次変化する制御信号を出力するようになされている。
【００１７】
スイッチャ８は、ビデオディスクレコーダ１２、ビデオテープレコーダ（ＶＴＲ）１３、またはビデオカメラ１４からの入力を適宜選択し、ディバイスコントローラ兼フレームバッファ７に出力し、記憶させるようになされている。また、スイッチャ８は、ディジタルマルチイフェクタ９，１０に対して、所定の画像データを供給し、イフェクト処理を施させるようになされている。スイッチャ８は、ディバイスコントローラ兼フレームバッファ７より読み出されたデータをモニタ１５に出力し、表示させるようになされている。オーディオミキサ１１は、ビデオディスクレコーダ１２より供給されたオーディオデータをミキシングし、ビデオディスクレコーダ１２またはＶＴＲ１３に出力するようになされている。
【００１８】
図２は、ワークステーション１に記憶されている編集のためのプログラムの基本的な構成を表している。各種の編集処理を行うモジュールは、編集モジュールＥＭ、合成モジュールＣＭ、および特殊効果モジュールＳＭに、それぞれ分割されている。これらの編集モジュールＥＭ、合成モジュールＣＭ、および特殊効果モジュールＳＭは、モジュール制御部ＭＣにより起動され、それぞれのＧＵＩをモニタ１５に出力し、表示させるようになされている。ユーザは、そのＧＵＩに対応して、対話的に、編集、合成、特殊効果作業を行うことになる。
【００１９】
また、これらのモジュールは、ユーザが対話的に入力した作業を、エディットツリー記憶部ＴＭのファットクリップ（FatClip）に書き込むようになされている。各モジュールは、ファットクリップに書き込まれた作業情報に基づいて、ビデオディスクレコーダ１２、ＶＴＲ１３、ビデオカメラ１４などを適宜制御し、その出力に対してソフトウエア的な処理を行い、編集、合成、特殊効果を行った結果としての結果クリップを生成する。
【００２０】
モジュール制御部ＭＣは、エディットツリー記憶部ＴＭのファットクリップの階層的な構造を読み取り、ユーザが指定したファットクリップを作成したモジュールを起動して、そのファットクリップを変更させる。また、ファットクリップに記憶されている作業情報に対応する再実行が行われる際、エディットツリーに対応するエディットツリーリストの記述の順番に各モジュールを起動し、各階層における結果クリップを生成させ、さらに最終的な結果クリップを生成させる。
【００２１】
エディットツリー記憶部ＴＭでは、階層的な編集、合成、特殊効果作業のすべての階層にわたる作業情報をモジュール毎にファットクリップに記憶する。このファットクリップは、作業に応じて動的に生成され、階層的な構造に結合される。従って、すべての階層的な編集、合成、特殊効果作業を記憶することができる。また、モジュールの処理の順番を任意に決定することも可能である。
【００２２】
ファットクリップは、次のようなデータを有している。
（１）そのファットクリップを作成した編集、合成、特殊効果のモジュールを示す識別子。
（２）そのファットクリップの素材となる素材クリップの識別子。
（３）編集、合成、特殊効果のモジュールで、ユーザが作成した作業情報（編集データ、合成のパラメータ、特殊効果のパラメータ）。
（４）そのファットクリップによる編集、合成、特殊効果作業の結果クリップの識別子。
【００２３】
結果クリップの識別子は、作業の結果クリップが実際に作成された場合においてのみ有効な識別子とされるが、まだ結果クリップが作成されていない場合、あるいは作成したが、その後、さらに変更作業が加えられ、結果クリップが無効となった場合には、無効の識別子に修正される。すなわち、結果クリップが有効であるか否かは、その識別子から判定することができるようになされている。
【００２４】
図３は、図２のエディットツリー記憶部ＴＭに示したファットクリップＸ，Ｙ，Ｚのファットクリップの内容を表している。この例の場合、ファットクリップＸは、素材クリップＭＣ₂₁乃至ＭＣ₂₃を合成処理することで、結果クリップＣ_Xを生成したとき、これに対応して生成されたものであるので、このファットクリップを作成したモジュールを示す識別子として、合成モジュールの識別子ＩＤＣＭを記憶している。また、このファットクリップの素材となるクリップの識別子として、素材クリップＭＣ₂₁乃至ＭＣ₂₃のＩＤであるＩＤＭＣ₂₁乃至ＩＤＭＣ₂₃が記憶されているとともに、ユーザが作成した作業情報として、合成のパラメータが記憶されている。さらに、結果クリップＣ_Xの識別子として、ＩＤＣ_Xが記憶されている。
【００２５】
ファットクリップＹは、素材クリップＭＣ₃₁乃至ＭＣ₃₄を特殊効果モジュールにより処理して、結果クリップＣ_Yを生成したとき生成されたものであるので、このファットクリップを作成したモジュールを示す識別子として、特殊効果モジュールの識別子ＩＤＳＭを記憶している。また、このファットクリップの素材となるクリップの識別子として、素材クリップＭＣ₃₁乃至ＭＣ₃₄のＩＤであるＩＤＭＣ₃₁乃至ＩＤＭＣ₃₄が記憶されている。ユーザが作成した作業情報としては、特殊効果のパラメータが記憶され、結果クリップの識別子としては、結果クリップＣ_YのＩＤであるＩＤＣ_Yが記憶されている。
【００２６】
ファットクリップＺは、ファットクリップＸの結果クリップＣ_XとファットクリップＹの結果クリップＣ_Yを編集して、結果クリップＣ_Zを生成したとき、この作業に対応して生成されたものである。このファットクリップＺには、このファットクリップを作成したモジュールを示す識別子として、編集モジュールの識別子ＩＤＥＭが記憶され、このファットクリップの素材となるクリップの識別子として、ファットクリップＸとファットクリップＹの識別子であるＩＤＦＣ_X，ＩＤＦＣ_Yが記憶されている。また、編集モジュールＥＭにより、結果クリップＣ_Xと結果クリップＣ_Yをワイプ（Wipe）する編集データが、作業情報として記憶されている。さらに、このファットクリップによる作業結果の結果クリップの識別子として、結果クリップＣ_Zの識別子であるＩＤＣ_Zが記憶されている。
【００２７】
なお、図３においては、簡単のために、ファットクリップＸ乃至ファットクリップＺを、それぞれ合成モジュールＣＭ、特殊効果モジュールＳＭ、または編集モジュールＥＭに対応させるようにしたが、これらのファットクリップは、これら３つのモジュールのうちの２つ以上の複合的処理に対応して、生成することができる。
【００２８】
次に、図１の実施の形態の動作について、図４のフローチャートを参照して説明する。なお、この図４の処理は、ワークステーション１の内蔵するＣＰＵ（図示せず）により実行される。この編集システムを起動させると、最初にステップＳ１において、トップメニューがモニタ１５に表示される。このトップメニューは、Editor（編集モジュール）,Composite（合成モジュール）,Effect（特殊効果モジュール）,Library（ライブラリモジュール）,System（システムモジュール）の５個のエディタの項目で構成されている。モニタ１５に、このトップメニューが表示されると、ステップＳ２において、所定のメニューがユーザにより選択されるまで待機し、５個のメニューのうちのいずれかが選択されると、その選択が、Editor,Composite,Effect,Library,Systemのいずれであるかが、ステップＳ３，Ｓ５，Ｓ７，Ｓ９，Ｓ１１で、それぞれ判定される。そして、そのいずれかであることが判定されたとき、それぞれ、ステップＳ４，Ｓ６，Ｓ８，Ｓ１０またはＳ１２に進み、選択に対応する編集モジュールモード、合成モジュールモード、特殊効果モジュールモード、ライブラリモジュールモード、またはシステムモジュールモードが設定される。
【００２９】
例えば、ステップＳ４の編集モジュールモードが設定されると、図５のフローチャートに示す処理が実行される。すなわち、最初にステップＳ２１において、モニタ１５に、編集モジュールモードのＧＵＩが表示される。ユーザは、このＧＵＩの表示を見て、新規の編集を行う（ファットクリップを新規に作成する）のか、既に行われた編集を修正する（既に作成されているファットクリップを修正する）のかを入力する。新規の編集を行うとの入力がなされた場合においては、ステップＳ２３に進み、ファットクリップを新たに作成する処理が実行される。これに対して、既に行われた編集を修正する旨の入力がなされた場合においては、ステップＳ２４に進み、その指定された（修正する）編集に対応するファットクリップが読み出される。そしてステップＳ２５において、編集処理が実行される。
【００３０】
また、図４のステップＳ６の合成モジュールモードが設定されると、図６のフローチャートに示す処理が実行される。ステップＳ３１においては、合成モジュールモードのＧＵＩがモニタ１５に表示される。ユーザは、モニタ１５のＧＵＩの表示を見て、新たな合成処理を行うのか、既に行った合成処理の修正処理を行うのかを入力する。ステップＳ３２において、新たな合成処理を行うとの入力がなされたと判定された場合においては、ステップＳ３３に進み、新たなファットクリップが作成される。ステップＳ３２において、既に行われた合成処理を修正する旨の入力がなされたと判定された場合においては、ステップＳ３４に進み、指定された（修正する）合成処理に対応するファットクリップを読み出す処理が実行される。そして、ステップＳ３５において、合成処理が実行される。
【００３１】
同様に、図４のステップＳ８の特殊効果モジュールモードが設定されると、図７のフローチャートに示す処理が実行される。最初に、ステップＳ４１において、特殊効果モジュールモードのＧＵＩがモニタ１５に表示される。ユーザは、このＧＵＩの表示を見て、新規の特殊効果処理を行うのか、既に行われた特殊効果処理を修正するのかを入力する。ステップＳ４２において、新規の特殊効果処理を行う旨が入力されたと判定された場合においては、ステップＳ４３に進み、ファットクリップが新たに作成される。これに対して、ステップＳ４２において、既に作成されている特殊効果処理を修正する旨の入力がなされたと判定された場合においては、ステップＳ４４に進み、指定された（修正する）特殊効果処理に対応するファットクリップを読み出す処理が実行される。そして、ステップＳ４５に進み、特殊効果処理が実行される。
【００３２】
図５のステップＳ２５における編集処理の詳細は、図８のフローチャートに示されている。
【００３３】
なお、図示は省略するが、図６のステップＳ３５と図７のステップＳ４５の処理も、図８における編集処理が、合成処理または特殊効果処理となる他、図８に示す場合と同様の処理となる。
【００３４】
図８においては、最初にステップＳ５１において、編集処理に対応する入力が、ユーザによりなされたか否かが判定され、そのような処理に対応する入力がなされたと判定された場合、ステップＳ５２に進み、入力に対応する編集データが、新たに生成されたファットクリップ、または既に生成され、読み出されたファットクリップに、適宜書き込まれる。また、このとき、入力に対応して所定の画像がモニタ１５に表示されるとともに、入力に対応する（作業情報に対応する）エディットツリーが適宜作成され、エディットツリー記憶部ＴＭに記憶される。すなわち、これによりユーザが、キーボード２、マウス３、パッド４、ジョグ・フェーダコントローラ６などを適宜操作して、所定の編集入力を行うと、それに対応するファットクリップとエディットツリーが自動的に作成、または修正される。また、このとき、修正のなされたファットクリップの識別子は、無効の識別子に変更される。
【００３５】
次に、ステップＳ５３に進み、現在修正しているファットクリップより上位のファットクリップが存在するか否かが判定され、上位のファットクリップが存在すると判定された場合においてはステップＳ５４に進み、ステップＳ５２で修正されたファットクリップの結果クリップを素材クリップとするファットクリップ、あるいはそのファットクリップをさらに素材クリップとするファットクリップなど（関連するファットクリップ）は、その識別子が無効の識別子に変更される。これにより、例えば、所定の階層的構造の所定の結果クリップ（その時点においてエディットツリーの一番上の結果クリップ）を生成した状態において、それより下位のファットクリップを修正する作業が行われた場合においては、それより上位のファットクリップ（関連するファットクリップ）の結果クリップ（関連する結果クリップ）の識別子が無効の識別子に変更される。
【００３６】
ステップＳ５３において、上位のファットクリップが存在しないと判定された場合においては、ステップＳ５４の処理はスキップされる。
【００３７】
例えば、図９に示すように、エディットツリーが作成されているものとする。このエディットツリーにおいては、素材クリップＭＣ_G1，ＭＣ_G2によりファットクリップＭＣ−Ｇが生成されており、ファットクリップＦＣ−Ｅは、素材クリップＭＣ_E1，ＭＣ_E2とファットクリップＦＣ−Ｇを素材クリップとしている。ファットクリップＦＣ−Ｃの素材クリップは、素材クリップＭＣ_C1とファットクリップＦＣ−Ｅとされている。
【００３８】
ファットクリップＦＣ−Ｆは、素材クリップＭＣ_F1乃至ＭＣ_F3を素材クリップとし、ファットクリップＦＣ−Ｄは、ファットクリップＦＣ−Ｅ，ＦＣ−Ｆの他、素材クリップＭＣ_D1，ＭＣ_D2を素材クリップとしている。ファットクリップＦＣ−Ｂは、素材クリップＭＣ_B1の他、ファットクリップＦＣ−Ｃ，ＦＣ−Ｄを素材クリップとし、ファットクリップＦＣ−Ａは、ファットクリップＦＣ−Ｂと素材クリップＭＣ_B1を素材クリップとしている。
【００３９】
特に修正を加えない場合においては、生成された各ファットクリップの識別子は、すべて有効の識別子とされている。しかしながら、例えば、ファットクリップＦＣ−Ｅを変更すると、このファットクリップＦＣ−Ｅと、これを素材クリップとするファットクリップＦＣ−Ｃ，ＦＣ−Ｄ、このファットクリップＦＣ−Ｃ，ＦＣ−Ｄを素材クリップとするファットクリップＦＣ−Ｂ、さらにファットクリップＦＣ−Ｂを素材クリップとするファットクリップＦＣ−Ａの識別子は、関連する（上位の）ファットクリップの識別子であるので、それぞれ無効の識別子に変更される。
【００４０】
図８のステップＳ５１において、編集処理が入力されていないと判定された場合、ステップＳ５５に進み、表示中のクリップが選択されたか否かが判定される。表示中のクリップが選択されたとステップＳ５５において判定された場合においては、ステップＳ５６に進み、対応するモードのモジュールを起動する処理が実行される。
【００４１】
ステップＳ５６の対応するモードのモジュールを起動する処理の詳細は、図１０のフローチャートに示されている。同図に示すように、対応するモードのモジュールの起動処理においては、最初にステップＳ７１において、選択されたクリップのファットクリップの識別子が、モジュール制御部ＭＣに通知される。そして、ステップＳ７２において、モジュール制御部ＭＣは、通知を受けた識別子のファットクリップ内のモジュール識別子を読み取る。さらに、ステップＳ７３において、モジュール制御部ＭＣは、読み取ったモジュール識別子に対応するモジュールを起動する処理を実行する。
【００４２】
例えば、図１１に示すように、図３に示すファットクリップＺに対応する画像がモニタ１５に表示されている状態（編集モジュールＥＭのモードの状態）において、結果クリップＣ_Xと結果クリップＣ_Yにより構成されている結果クリップＣ_Zのうち、結果クリップＣ_Xを変更する場合、ユーザは、マウス３を操作して、カーソルを結果クリップＣ_X上に移動し、マウス３をダブルクリックして表示中のクリップ選択を指令する。このとき、選択された結果クリップＣ_Xに対応するファットクリップＸのモジュール（合成モジュールＣＭ）が読み出され、対応する画像が、図１２に示すようにモニタ１５上に表示される。従って、ユーザは、この図１２に示す状態（ファットクリップＸに対応する合成モジュールＣＭのモードの状態）からファットクリップＸを適宜修正する入力を直ちに開始することができる。この入力に対する処理は、上述した図８のステップＳ５１，Ｓ５２，Ｓ５３，Ｓ５４により行われる。
【００４３】
なお、図１１の表示例の左下に表示されているトップメニューのボタンEditorを操作すると、編集モジュールが呼び出され、その下のボタンCompositeを操作すると、合成モジュールが呼び出され、さらにその下のボタンEffectを操作すると、特殊効果モジュールが呼び出される。ボタンLibraryは、ワークステーション１に接続されているＶＴＲ１３やビデオディスクレコーダ１２を制御し、通常のクリップ（ファットクリップではないクリップ）を作成するとき、あるいは作成したクリップをリストアップするとき（ブラウズメニューを読み出すとき）操作される。ボタンSystemは、システム全体の設定を行うとき操作される。ボタンLibraryが操作されたとき、ライブラリーモジュールが動作し、ボタンSystemが操作されたとき、システムモジュールが動作する。
【００４４】
図１１のトップメニューの右側のブラウズメニューにおけるボタンList,Picture,Free Formは、使用することができるクリップをリスト表示する場合の表示形式を選択するとき操作されるボタンである。例えばクリップの名称などを文字でリスト表示する場合は、ボタンListが操作され、クリップの最初の１フレームを縮小してタイル状に配置表示する場合は、ボタンPictureが操作される。ボタンFree Formは、自由な形式で表示させるとき操作される。ボタンViewは、ブラウザにあるクリップを直接動画像表示するとき操作される。
【００４５】
図１１の表示例の右側のボタンPreviewは、選択したクリップを動画像表示するとき操作される。但し、このボタンPreviewを操作したとき、ファットクリップの再実行処理は行われない（再実行処理については後述する）。このボタンを操作したとき表示される動画像は、最終結果としての動画像と異なる場合があるが、ボタンを操作するとすぐに表示が開始されるため、編集過程において、クリップの長さをチェックしたい場合に使用される。
【００４６】
ボタンViewは、選択したクリップを動画像表示するとき操作される。このボタンを操作したとき、ボタンPreview操作したときと異なり、再実行処理が実行される。このボタンを操作した後、表示が行われるまでに時間がかかるが、このボタンを操作した場合においては、最終結果としての画像を見ることができる。
【００４７】
ボタンAll Previewは、クリップを選択せずとも、編集中の最初から最後までのクリップを動画像表示させるとき操作される。全編集過程の結果を再実行させて表示したい場合には、ボタンAll Viewが操作される。
【００４８】
ボタンBrowserは、編集に使用することの可能なクリップをリストアップするためのブラウズメニュー（図１１のトップメニューの右側に表示されているメニュー）を表示するとき操作される。このトップメニューの右側のブラウズメニューの位置には、別のメニューが表示される場合があるので、任意のタイミングにおいて、ここにブラウズメニューを表示させることができるように、ボタンBrowserが設けられている。
【００４９】
ボタンBrowserの下の表示00：00：00：00は、カレントカーソルの位置する時刻を時、分、秒、フレーム数で表している。モニタ１５には、このカレントカーソルが位置する時刻（横軸上の位置）における静止画像が表示される。
【００５０】
図１２のトップメニューの右側に表示されているBorder,x,y,T,Bは、合成方法やパラメータの値を表している。その右側のグラフ表示の位置において、パラメータを各フレーム毎に変更することができるようになっている。
【００５１】
図８のステップＳ５５において、表示中のクリップ選択の指令が入力されていないと判定された場合、ステップＳ５７に進み、再実行指令が入力されたか否かが判定される。この再実行指令は、例えば、図９のエディットツリー上のファットクリップＦＣ−Ｅを変更した後、その変更を、ワークステーション１に内蔵されているハードディスクに登録する（セーブする）指令を入力したとき、入力されたと判定される。この他、上述したボタンViewまたはAll Viewが操作された場合においても、この再実行指令が入力されたものと判定される。再実行指令が入力されたと判定された場合、ステップＳ５８に進み、再実行処理が実行される。この再実行処理の詳細は、図１３のフローチャートに示されている。
【００５２】
再実行処理においては、最初にステップＳ８１において、エディットツリーの一番上のファットクリップの識別子（以下、簡単に、ファットクリップとも称する）がスタックにプッシュされる。例えば、図９の例においては、ファットクリップＦＣ−Ａがスタック上に書き込まれる。次にステップＳ８２に進み、スタックが空か否かが判定される。いまの場合、ステップＳ８１において、スタックにエディットツリーの一番上のファットクリップが書き込まれているので、スタックは空ではない。従って、ＮＯの判定が行われ、ステップＳ８３に進む。ステップＳ８３においては、スタックから１つのファットクリップがポップされ、そのファットクリップの結果クリップが有効であるか否かが判定される。図９の例の場合、ファットクリップＦＣ−Ａの結果クリップは無効とされているので、ＮＯの判定が行われ、ステップＳ８４に進む。
【００５３】
ステップＳ８４においては、ステップＳ８３で取り出されたファットクリップの素材クリップが全て普通のクリップ（ファットクリップではないクリップ）であるか、または有効な結果クリップを持つファットクリップであるかが判定される。図９の例の場合、ファットクリップＦＣ−Ａの素材クリップは、ファットクリップＦＣ−Ｂであり、その結果クリップは、無効とされている。そこで、この場合、ＮＯの判定が行われ、ステップＳ８６に進む。
【００５４】
ステップＳ８６においては、スタックに現在のファットクリップであるファットクリップＦＣ−Ａがプッシュされる。また、ステップＳ８７において、ステップＳ８４で無効な結果クリップを有するファットクリップとして判定されたファットクリップＦＣ−Ｂが書き込まれる。
【００５５】
次に、ステップＳ８２に戻り、スタックが空であるか否かが判定される。いまの場合、空ではないので、ステップＳ８３に進み、スタックからファットクリップＦＣ−Ｂ（最新のファットクリップ）が取り出され、その結果クリップが有効であるか否かが判定される。ファットクリップＦＣ−Ｂの結果クリップは無効であるから、ステップＳ８４に進み、ファットクリップＦＣ−Ｂの素材クリップであるファットクリップＦＣ−Ｃが有効な結果クリップを有するファットクリップであるか否かが判定される。ファットクリップＦＣ−Ｃは、無効の結果クリップを有するので、ステップＳ８６に進み、スタックに現在のファットクリップＦＣ−Ｂがプッシュされるとともに、ステップＳ８７において、無効な結果クリップを有するファットクリップＦＣ−Ｃがプッシュされる。
【００５６】
再び、ステップＳ８２からステップＳ８３に進み、スタックから例えばファットクリップＦＣ−Ｃが取り出され、そのファットクリップが有効な結果クリップを有するか否かが判定される。ファットクリップＦＣ−Ｃは、無効な結果クリップを有するため、ＮＯの判定が行われ、ステップＳ８４に進む。ステップＳ８４においては、ファットクリップＦＣ−Ｃの素材クリップＦＣ−Ｅが有効な結果クリップを有するファットクリップであるか否かが判定される。ファットクリップＦＣ−Ｅは、無効の結果クリップを有するので、ＮＯの判定が行われ、ステップＳ８６，Ｓ８７において、スタックにファットクリップＦＣ−Ｃ，ＦＣ−Ｅがプッシュされる。
【００５７】
再び、ステップＳ８２からステップＳ８３に進み、スタックから１つのファットクリップＦＣ−Ｅが取り出され、そのファットクリップの結果クリップが有効であるか否かが判定される。ファットクリップＦＣ−Ｅは、無効の結果クリップを有するため、ステップＳ８４に進み、ファットクリップＦＣ−Ｅの素材クリップが全て普通のクリップ、または有効な結果クリップを有するファットクリップであるか否かが判定される。ファットクリップＦＣ−Ｅの素材クリップは、素材クリップＭＣ_E1，ＭＣ_E2と有効な結果クリップを有するファットクリップＦＣ−Ｇであるから、この場合、ＹＥＳの判定が行われ、ステップＳ８５に進む。
【００５８】
ステップＳ８５においては、ファットクリップＦＣ−Ｅの作業情報に対応して、素材クリップＭＣ_E1，ＭＣ_E2およびファットクリップＦＣ−Ｇに対して、編集処理が行われ、結果クリップが再生成される。
【００５９】
そして、ステップＳ８２からステップＳ８３に戻り、スタックからファットクリップＦＣ−Ｃが取り出され、その結果クリップが有効であるか否かが判定される。ファットクリップＦＣ−Ｃの結果クリップは無効であるから、ステップＳ８４に進み、ファットクリップＦＣ−Ｃの素材クリップが全て普通のクリップもしくは有効な結果クリップを有するファットクリップであるか否かが判定される。ファットクリップＦＣ−Ｃの素材クリップは、素材クリップＭＣ_C1と有効な結果クリップを有するファットクリップＦＣ−Ｅであるから、ＹＥＳの判定が行われ、ステップＳ８５において、ファットクリップＦＣ−Ｃの作業情報に対応して、素材クリップＭＣ_C1とファットクリップＦＣ−Ｅ（その結果クリップ）に対して、編集処理が行われ、結果クリップが再生成される。
【００６０】
再び、ステップＳ８２からステップＳ８３に進み、スタックからファットクリップＦＣ−Ｂが取り出される。その結果クリップは無効であるから、ステップＳ８４に進み、ファットクリップＦＣ−Ｂの素材クリップが全て普通の素材クリップと有効な結果クリップを有するファットクリップであるか否かが判定される。ファットクリップＦＣ−Ｂは、無効のファットクリップＦＣ−Ｄを素材クリップとして有するので、ＮＯの判定が行われ、ステップＳ８６，Ｓ８７において、ファットクリップＦＣ−Ｂ，ＦＣ−Ｄがスタックにプッシュされる。
【００６１】
ステップＳ８２からステップＳ８３に進み、スタックからファットクリップＦＣ−Ｄが取り出される。このファットクリップＦＣ−Ｄは、無効の結果クリップを有するので、ステップＳ８４に進み、その素材クリップが全て有効であるか否かが判定される。ファットクリップＦＣ−Ｄの素材クリップは、素材クリップＭＣ_D1，ＭＣ_D2とファットクリップＦＣ−Ｅ，ＦＣ−Ｆであり、このファットクリップＦＣ−Ｅ，ＦＣ−Ｆは、いずれも有効の結果クリップを有するので、ステップＳ８４において、ＹＥＳの判定が行われ、ステップＳ８５に進む。そして、ステップＳ８５において、ファットクリップＦＣ−Ｄの作業情報に対応して、素材クリップＭＣ_D1，ＭＣ_D2並びにファットクリップＦＣ−Ｅ，ＦＣ−Ｆに対して、編集処理が行われ、結果クリップが再生成される。
【００６２】
再び、ステップＳ８２を介してステップＳ８３に進み、スタックからファットクリップＦＣ−Ｂが取り出され、その結果クリップが有効であるか否かが判定される。ファットクリップＦＣ−Ｂの結果クリップは無効であるから、ステップＳ８４に進み、その素材クリップは全て有効であるか否かが判定される。ファットクリップＦＣ−Ｂの素材クリップＭＣ_B1とファットクリップＦＣ−Ｃ，ＦＣ−Ｄは全て有効であるから、ステップＳ８４においてＹＥＳの判定が行われ、ステップＳ８５において、ファットクリップＦＣ−Ｂの作業情報に対応して、素材クリップＭＣ_B1およびファットクリップＦＣ−Ｃ，ＦＣ−Ｄに対して、編集処理が行われ、結果クリップが再生成される。
【００６３】
さらに、ステップＳ８２からステップＳ８３に進み、ファットクリップＦＣ−Ａが取り出され、その結果クリップは無効であるから、ステップＳ８４に進み、ファットクリップＦＣ−Ａの素材クリップは、全て有効であるか否かが判定される。ファットクリップＦＣ−Ａの素材クリップとしてのファットクリップＦＣ−Ｂは、有効な結果クリップを有するので、ステップＳ８５に進み、ファットクリップＦＣ−Ａの作業情報に対応して、素材クリップとしてのファットクリップＦＣ−Ｂに対して、編集処理が行われ、結果クリップが再生成される。
【００６４】
そして、ステップＳ８２に戻り、スタックが空であるか否かが判定される。全ての再実行処理が終了しているので、ここで、ＹＥＳの判定が行われ、再実行処理が終了する。
【００６５】
なお、ステップＳ８３において、スタックから取り出されたファットクリップの結果クリップが有効であると判定された場合においては、ステップＳ８２に戻る。例えば、エディットツリーの一番上のファットクリップが有効である場合、ステップＳ８１でスタックにプッシュされたファットクリップが、ステップＳ８３において、有効な結果クリップを有すると判定され、ステップＳ８２に戻る。そして、ステップＳ８２において、スタックが空であると判定され、直ちに処理が終了される。このように、エディットツリーの一番上のファットクリップが有効な結果クリップを有する場合においては、再実行処理は実質的に実行されないことになる。
【００６６】
図１４は、以上の図１３のフローチャートの処理をまとめたものである。同図に示すように、エディットツリーの一番上のファットクリップＦＣ−Ａのモジュールは、その結果クリップが無効であるとき、ファットクリップＦＣ−Ｂのモジュールに対し、結果クリップの転送を要求し、ファットクリップＦＣ−Ｂのモジュールが、さらにファットクリップＦＣ−Ｃのモジュールに、結果クリップの転送を要求する。そして、ファットクリップＦＣ−Ｃのモジュールが、ファットクリップＦＣ−Ｅのモジュールに、さらにファットクリップＦＣ−Ｅのモジュールが、ファットクリップＦＣ−Ｇのモジュールに、結果クリップの転送を要求する。ファットクリップＦＣ−Ｇの結果クリップは有効とされているため、この結果クリップがファットクリップＦＣ−Ｅのモジュールに転送される。ファットクリップＦＣ−Ｅのモジュールは、この結果クリップと他の素材クリップとを元にして結果クリップを再生成し、これをファットクリップＦＣ−Ｃのモジュールに転送する。ファットクリップＦＣ−Ｃのモジュールは、この結果クリップと他の素材クリップから結果クリップを作成し、ファットクリップＦＣ−Ｂのモジュールに転送する。
【００６７】
ファットクリップＦＣ−Ｂのモジュールは、他方の素材クリップとしてのファットクリップＦＣ−Ｄのモジュールに対し、結果クリップの転送を要求する。ファットクリップＦＣ−Ｄのモジュールは、さらにファットクリップＦＣ−Ｅのモジュールに対して、結果クリップの転送を要求する。ファットクリップＦＣ−Ｅの結果クリップは、再生成され、有効とされているため、ファットクリップＦＣ−Ｄのモジュールに直ちに転送される。
【００６８】
ファットクリップＦＣ−Ｄのモジュールは、さらに他のファットクリップＦＣ−Ｆのモジュールに、結果クリップの転送を要求する。ファットクリップＦＣ−Ｆの結果クリップは有効であるため、直ちにファットクリップＦＣ−Ｄのモジュールに転送される。
【００６９】
ファットクリップＦＣ−Ｄのモジュールは、ファットクリップＦＣ−ＥのモジュールとファットクリップＦＣ−Ｆのモジュールから転送された結果クリップと他の素材クリップを元に、結果クリップを再生成し、これを上位のファットクリップＦＣ−Ｂのモジュールに転送する。ファットクリップＦＣ−Ｂのモジュールは、ファットクリップＦＣ−Ｄの結果クリップと他の素材クリップを元に結果クリップを再生成し、ファットクリップＦＣ−Ａのモジュールに転送する。ファットクリップＦＣ−Ａのモジュールは、ファットクリップＦＣ−Ｂの結果クリップを元に結果クリップを再生成する。
【００７０】
以上のようにして、ファットクリップＦＣ−Ｅの修正が行われた場合、その結果クリップと、それより上位のファットクリップの結果クリップの識別子は直ちに無効とされるが、その後、ファットクリップＦＣ−Ｅのセーブなどを指令したとき、その時点において、再実行処理が自動的に実行される。
【００７１】
修正処理が行われたとき、再実行処理を直ちに開始するようにすることも可能であるが、再実行処理には若干の時間を必要とするので、修正時においては、識別子の変更（関連するファットクリップの検索）だけを行うようにするのが好ましい。
【００７２】
【発明の効果】
以上の如く、請求項１に記載の画像処理方法および請求項６に記載の画像処理装置によれば、素材クリップとしての他のファットクリップの情報を保持するようにしたので、異なるモジュール間において、階層的なファットクリップの管理が可能となり、下位の階層においてファットクリップが修正されたとき、それに対応する上位のファットクリップを自動的に再生成することが可能となる。従って、迅速かつ簡単に編集処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の画像処理方法を適用するシステムの構成例を示す図である。
【図２】図１のワークステーション内の画像処理のためのプログラムの構成を説明する図である。
【図３】図２のエディットツリー記憶部のファットクリップの構成を説明する図である。
【図４】図１の実施の形態の動作を説明するフローチャートである。
【図５】図４のステップＳ４の処理の詳細を説明するフローチャートである。
【図６】図４のステップＳ６の処理の詳細を説明するフローチャートである。
【図７】図４のステップＳ８の処理の詳細を説明するフローチャートである。
【図８】図５のステップＳ２５の処理の詳細を説明するフローチャートである。
【図９】図８のステップＳ５３とＳ５４の処理を説明する図である。
【図１０】図８のステップＳ５６の処理の詳細を説明するフローチャートである。
【図１１】図８のステップＳ５５の処理を説明する図である。
【図１２】図８のステップＳ５６の処理を説明する図である。
【図１３】図８のステップＳ５８の処理の詳細を説明するフローチャートである。
【図１４】図１３の処理を説明するタイミングチャートである。
【図１５】従来の画像処理方法を説明するフローチャートである。
【符号の説明】
１ワークステーション，２キーボード，３マウス，４パッド，５ディスプレイ，６ジョグ・フェーダコントローラ，７ディバイスコントローラ兼フレームバッファ，８スイッチャ，９，１０ディジタルマルチイフェクタ，１１オーディオミキサ，１２ビデオディスクレコーダ，１３ＶＴＲ，１４ビデオカメラ，１５モニタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method and apparatus, and more particularly to re-execute processing corresponding to work information of other result clips related to a corrected result clip by generating a fat clip including an identifier of a material clip. As a result, the present invention relates to an image processing method and apparatus that automatically regenerates a clip.
[0002]
In the field of post-production for editing video data obtained from a video camera, a nonlinear editing system using a disk as a recording medium has been proposed. Various types of editing processing exist as editing processing performed in this nonlinear editing system. For example, video editing processing to create a desired video program by connecting multiple materials, composition processing to combine multiple materials with key signals, or special effect processing to apply special effect processing to materials Exists. In general, video editing processing is performed by an editing device, composition processing is performed by a video switcher, and special effect processing is performed by a special effect device.
[0003]
Due to recent improvements in random accessibility of disk media, it has become possible to access multiple channels simultaneously, and as a result, editing processing that processes video data of multiple channels in real time has come to be desired. . For example, in the editing industry for creating commercials for television broadcasting, the editing industry for creating movie programs, etc., editing processes are performed using tens to hundreds of materials, and different types of editing processes are combined. To be used. Furthermore, it has been required to generate sophisticated and complicated editing result data by repeatedly performing these plural types of editing processes.
[0004]
In order to create such advanced and complicated editing result data, it is necessary to manage several tens to several hundreds of materials and store a history of editing processing.
[0005]
[Problems to be solved by the invention]
However, the conventional editing system does not include a device for managing such a large number of materials and a device for storing an editing history, and as a result, the editing operation is complicated. Specifically, since it is impossible for an editing operator to store information about which material was used and which editing process was used to create the editing result video data, in the conventional editing system, editing is not possible. Each time an operation is performed, an editing operator writes such information on paper and manages it. In addition, when a complicated editing process is performed such that a new editing result video data is generated many times from the plurality of editing result video data, the final editing result video data is The editing history information indicating which material was created has become a huge amount of data, and it was impossible even for the editing operator to write it on paper and manage it.
[0006]
For this reason, when it is desired to change the editing result video data once created, there is a problem that the editing work becomes more complicated and takes time.
[0007]
The present invention has been made in view of such circumstances, and intends to achieve simplification and speedup of editing work by managing a plurality of materials so as to be optimal for editing work.
[0008]
[Means for Solving the Problems]
The image processing method according to claim 1, wherein for each module, work information when a result clip is generated by performing at least one of editing, composition, and special effects on a predetermined material clip. , And a result clip generated corresponding to the work information, and a fat clip including information on the material clip used to generate the result clip, and when another fat clip is used as the material clip, A generating step for generating a fat clip including information of another fat clip as a material clip; and when the first fat clip is modified, a second fat clip related to the first fat clip is searched, Re-execute processing corresponding to the work information of the second fat clip, and result of the second fat clip Characterized in that it comprises a re-execution step of generating a lip again.
[0009]
The image processing apparatus according to claim 6, wherein for each module, work information when a result clip is generated by performing at least one of editing, synthesis, and special effects on a predetermined material clip. , And a result clip generated corresponding to the work information, and a fat clip including information on the material clip used to generate the result clip, and when another fat clip is used as the material clip, Generating means for generating a fat clip including information on another fat clip as a material clip; and when the first fat clip is modified, a second fat clip related to the first fat clip is searched, The process corresponding to the work information of the second fat clip is re-executed and the result clip of the second fat clip is re-executed. Characterized in that it comprises a rerun means for generating an up again.
[0010]
In the image processing method according to the first aspect and the image processing apparatus according to the sixth aspect, a fat clip including information regarding work information, a result clip, and a material clip is generated. When another fat clip is used as a material clip, the fat clip includes information on another fat clip used as the material clip. When the first fat clip is modified, the second fat clip is searched, the work information is re-executed, and the result clip of the second fat clip is regenerated.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Examples of the present invention will be described below, but in order to clarify the correspondence between each means or step of the invention described in the claims and the following examples, in parentheses after each means, The features of the present invention will be described by adding corresponding examples (however, examples). However, of course, this description does not mean that each means is limited to the description.
[0012]
The image processing method according to claim 1, wherein for each module, work information when a result clip is generated by performing at least one of editing, composition, and special effects on a predetermined material clip. , And a result clip generated corresponding to the work information, and a fat clip including information on the material clip used to generate the result clip, and when another fat clip is used as the material clip, A generation step (for example, step S52 in FIG. 8) for generating a fat clip including information on another fat clip as a material clip, and a second associated with the first fat clip when the first fat clip is modified The fat clip is searched, and the process corresponding to the work information of the second fat clip is re-executed. Further comprising a re-execution step (for example, step S58 in FIG. 8) to generate the result clip of the second fat clip again characterized.
[0013]
The image processing method according to claim 4 further includes a reading step (for example, step S56 in FIG. 8) of reading a module that generated the fat clip when the predetermined fat clip is selected in the predetermined module. Features.
[0014]
An image processing method according to claim 5, wherein an identification symbol (for example, an identifier) for identifying the second fat clip from a third fat clip not related to the first fat clip is provided. For example, step S54 in FIG. 8 is further provided.
[0015]
The image processing apparatus according to claim 6, wherein for each module, work information when a result clip is generated by performing at least one of editing, synthesis, and special effects on a predetermined material clip. , And a result clip generated corresponding to the work information, and a fat clip including information on the material clip used to generate the result clip, and when another fat clip is used as the material clip, Generation means (for example, step S52 in FIG. 8) that generates information about another fat clip as a material clip, and a second associated with the first fat clip when the first fat clip is modified. The second fat clip is searched, the processing corresponding to the work information of the second fat clip is re-executed, and the first To the re-executing means for generating a result clip of fat clip again (for example, step S58 in FIG. 8) comprising: a.
[0016]
FIG. 1 shows a configuration example of a system to which an image processing method of the present invention is applied. The workstation 1 is connected with a keyboard 2, a mouse 3, a pad 4, and the like so that necessary commands can be input as appropriate. On the display 5, predetermined characters and images from the workstation 1 are appropriately displayed. The jog / fader controller 6 is configured to output a control signal that gradually changes in response to a user operation to the device controller / frame buffer 7.
[0017]
The switcher 8 appropriately selects an input from the video disk recorder 12, video tape recorder (VTR) 13, or video camera 14, and outputs to the device controller / frame buffer 7 for storage. In addition, the switcher 8 supplies predetermined image data to the digital multi-effectors 9 and 10 to perform an effect process. The switcher 8 outputs the data read from the device controller / frame buffer 7 to the monitor 15 for display. The audio mixer 11 mixes the audio data supplied from the video disk recorder 12 and outputs it to the video disk recorder 12 or the VTR 13.
[0018]
FIG. 2 shows a basic configuration of an editing program stored in the workstation 1. Modules that perform various editing processes are divided into an editing module EM, a synthesis module CM, and a special effect module SM, respectively. The editing module EM, the synthesis module CM, and the special effect module SM are activated by the module control unit MC, and each GUI is output to the monitor 15 for display. The user interactively performs editing, composition, and special effect work corresponding to the GUI.
[0019]
In addition, these modules are configured to write work input interactively by the user into a fat clip (FatClip) of the edit tree storage unit TM. Each module controls the video disc recorder 12, VTR 13, video camera 14 and the like as appropriate based on the work information written in the fat clip, performs software processing on the output, and edits, composes, and specials Generate a result clip as a result of performing the effect.
[0020]
The module control unit MC reads the hierarchical structure of the fat clip in the edit tree storage unit TM, activates the module that created the fat clip specified by the user, and changes the fat clip. When re-execution corresponding to the work information stored in the fat clip is performed, each module is activated in the order of description in the edit tree list corresponding to the edit tree, and a result clip in each hierarchy is generated. Generate the final result clip.
[0021]
The edit tree storage unit TM stores work information for all modules of hierarchical editing, composition, and special effect work in a fat clip for each module. The fat clip is dynamically generated according to the work and combined into a hierarchical structure. Accordingly, all hierarchical editing, composition, and special effect operations can be stored. It is also possible to arbitrarily determine the order of module processing.
[0022]
The fat clip has the following data.
(1) An identifier indicating the editing, synthesis, and special effect module that created the fat clip.
(2) An identifier of a material clip that is a material of the fat clip.
(3) Work information created by the user in the edit, composition, and special effect modules (edit data, composition parameters, and special effect parameters).
(4) An identifier of a clip as a result of editing, synthesis, and special effect work by the fat clip.
[0023]
The result clip identifier is valid only when the result clip is actually created. However, if the result clip has not been created or has been created, further changes are made. When the result clip becomes invalid, it is corrected to an invalid identifier. That is, whether or not the result clip is valid can be determined from its identifier.
[0024]
FIG. 3 shows the contents of the fat clips X, Y, and Z shown in the edit tree storage unit TM of FIG. In this example, the fat clip X is the material clip MC. _{twenty one} To MC _{twenty three} Result clip C _X Is generated in correspondence with this, and the identifier IDCM of the synthesis module is stored as an identifier indicating the module that created this fat clip. In addition, the material clip MC is used as the identifier of the clip that is the material of this fat clip. _{twenty one} To MC _{twenty three} IDMC which is the ID of _{twenty one} To IDMC _{twenty three} Is stored, and a synthesis parameter is stored as work information created by the user. In addition, the result clip C _X IDC as ID _X Is remembered.
[0025]
Fat clip Y is material clip MC ₃₁ To MC ₃₄ Result clip C _Y Therefore, the special effect module identifier IDSM is stored as an identifier indicating the module that created the fat clip. In addition, the material clip MC is used as the identifier of the clip that is the material of this fat clip. ₃₁ To MC ₃₄ IDMC which is the ID of ₃₁ To IDMC ₃₄ Is remembered. As the work information created by the user, special effect parameters are stored, and as a result clip identifier, the result clip C _Y IDC that is the ID of _Y Is remembered.
[0026]
Fat clip Z is the result clip C of fat clip X _X And fat clip Y result clip C _Y Edit the result clip C _Z Is generated corresponding to this work. In this fat clip Z, an identifier IDEM of an editing module is stored as an identifier indicating the module that created the fat clip. The identifier of the fat clip X and the fat clip Y is used as an identifier of a clip that is a material of the fat clip. IDFC _X , IDFC _Y Is remembered. In addition, the result module C _X And result clip C _Y Editing data for wiping is stored as work information. Further, the result clip C is used as an identifier of the result clip of the work result by the fat clip. _Z IDC which is the identifier of _Z Is remembered.
[0027]
In FIG. 3, for the sake of simplicity, the fat clips X to Z are made to correspond to the synthesis module CM, the special effect module SM, or the editing module EM, respectively. It can be generated corresponding to the complex processing of two or more of the three modules.
[0028]
Next, the operation of the embodiment of FIG. 1 will be described with reference to the flowchart of FIG. Note that the processing of FIG. 4 is executed by a CPU (not shown) built in the workstation 1. When this editing system is activated, a top menu is first displayed on the monitor 15 in step S1. This top menu is composed of five editor items: Editor (editing module), Composite (compositing module), Effect (special effect module), Library (library module), and System (system module). When this top menu is displayed on the monitor 15, in step S2, it waits until a predetermined menu is selected by the user, and when any of the five menus is selected, the selection is made by Editor, Which of Composite, Effect, Library, and System is determined in steps S3, S5, S7, S9, and S11, respectively. Then, when it is determined that any one of them, the process proceeds to step S4, S6, S8, S10 or S12, respectively, and the edit module mode, the synthesis module mode, the special effect module mode, the library module mode corresponding to the selection, Or the system module mode is set.
[0029]
For example, when the edit module mode in step S4 is set, the process shown in the flowchart of FIG. 5 is executed. That is, first, in step S21, the GUI of the edit module mode is displayed on the monitor 15. The user sees this GUI display and inputs whether to perform a new edit (create a new fat clip) or modify an existing edit (modify an already created fat clip) To do. When an input for performing a new edit is made, the process proceeds to step S23, and a process for creating a new fat clip is executed. On the other hand, when an input for correcting the editing that has already been performed is made, the process proceeds to step S24, and a fat clip corresponding to the specified (corrected) editing is read. In step S25, an editing process is executed.
[0030]
When the synthesis module mode in step S6 in FIG. 4 is set, the process shown in the flowchart in FIG. 6 is executed. In step S31, the GUI of the synthesis module mode is displayed on the monitor 15. The user views the GUI display on the monitor 15 and inputs whether to perform a new synthesis process or to correct a synthesis process that has already been performed. If it is determined in step S32 that an input for performing a new composition process has been made, the process proceeds to step S33, and a new fat clip is created. If it is determined in step S32 that an input for correcting the already performed combining process has been made, the process proceeds to step S34 to execute a process of reading a fat clip corresponding to the specified (correcting) combining process. Is done. In step S35, a composition process is executed.
[0031]
Similarly, when the special effect module mode in step S8 of FIG. 4 is set, the processing shown in the flowchart of FIG. 7 is executed. First, in step S41, the special effect module mode GUI is displayed on the monitor 15. The user sees this GUI display and inputs whether to perform a new special effect process or to correct a special effect process that has already been performed. If it is determined in step S42 that a new special effect process has been input, the process proceeds to step S43, and a fat clip is newly created. On the other hand, if it is determined in step S42 that input has been made to correct the special effect process that has already been created, the process proceeds to step S44 and corresponds to the specified (corrected) special effect process. Processing to read the fat clip to be performed is executed. Then, the process proceeds to step S45, and special effect processing is executed.
[0032]
Details of the editing process in step S25 of FIG. 5 are shown in the flowchart of FIG.
[0033]
Although illustration is omitted, the processing in step S35 in FIG. 6 and step S45 in FIG. 7 is also similar to the processing shown in FIG. 8 except that the editing processing in FIG. 8 is combined processing or special effect processing. Become.
[0034]
In FIG. 8, it is first determined in step S51 whether or not an input corresponding to the editing process has been made by the user. If it is determined that an input corresponding to such a process has been made, the process proceeds to step S52. Edit data corresponding to the input is appropriately written in a newly generated fat clip or a fat clip that has already been generated and read out. At this time, a predetermined image is displayed on the monitor 15 corresponding to the input, and an edit tree corresponding to the input (corresponding to the work information) is appropriately created and stored in the edit tree storage unit TM. That is, when the user performs a predetermined editing input by appropriately operating the keyboard 2, mouse 3, pad 4, jog / fader controller 6 and the like, the corresponding fat clip and edit tree are automatically created. Or corrected. At this time, the identifier of the corrected fat clip is changed to an invalid identifier.
[0035]
Next, the process proceeds to step S53, where it is determined whether or not a fat clip higher than the currently corrected fat clip exists. If it is determined that a higher fat clip exists, the process proceeds to step S54, and step S52 is performed. As a result of the fat clip corrected in the above, a fat clip that uses a clip as a material clip, or a fat clip that further uses the fat clip as a material clip (related fat clip) is changed to an invalid identifier. Thus, for example, in a state where a predetermined result clip having a predetermined hierarchical structure (the result clip at the top of the edit tree at that time) is generated, an operation to correct a lower fat clip is performed. In, the identifier of the result clip (related result clip) of the upper fat clip (related fat clip) is changed to an invalid identifier.
[0036]
If it is determined in step S53 that there is no upper fat clip, the process in step S54 is skipped.
[0037]
For example, assume that an edit tree has been created as shown in FIG. In this edit tree, the material clip MC _G1 , MC _G2 The fat clip MC-G is generated by the above, and the fat clip FC-E is the material clip MC. _E1 , MC _E2 The fat clip FC-G is used as the material clip. Fat clip FC-C material clip is material clip MC _C1 And Fat Clip FC-E.
[0038]
Fat clip FC-F is a material clip MC _F1 To MC _F3 The fat clip FC-D is the fat clip FC-E, FC-F, and the material clip MC. _D1 , MC _D2 Is a material clip. Fat clip FC-B is a material clip MC _B1 In addition, fat clips FC-C and FC-D are used as material clips, and fat clip FC-A includes fat clip FC-B and material clip MC. _B1 Is a material clip.
[0039]
When no particular modification is made, the identifiers of the generated fat clips are all valid identifiers. However, for example, when the fat clip FC-E is changed, the fat clip FC-E, the fat clips FC-C and FC-D using the fat clip FC-E, and the fat clips FC-C and FC-D as the material clips. Since the fat clip FC-B and the fat clip FC-A having the fat clip FC-B as the material clip are the identifiers of the related (higher) fat clips, they are changed to invalid identifiers. .
[0040]
If it is determined in step S51 in FIG. 8 that the editing process has not been input, the process proceeds to step S55, and it is determined whether or not the clip being displayed has been selected. If it is determined in step S55 that the clip being displayed has been selected, the process proceeds to step S56, and processing for starting the module in the corresponding mode is executed.
[0041]
Details of the processing for starting the module in the corresponding mode in step S56 are shown in the flowchart of FIG. As shown in the figure, in the activation process of the module in the corresponding mode, first, in step S71, the fat clip identifier of the selected clip is notified to the module control unit MC. In step S72, the module control unit MC reads the module identifier in the fat clip of the received identifier. Furthermore, in step S73, the module control unit MC executes a process of starting the module corresponding to the read module identifier.
[0042]
For example, as shown in FIG. 11, in the state where the image corresponding to the fat clip Z shown in FIG. 3 is displayed on the monitor 15 (the mode state of the editing module EM), the result clip C _X And result clip C _Y Result clip C composed of _Z Result clip C _X When changing the user, the user operates the mouse 3 to move the cursor to the result clip C. _X Move up and double click the mouse 3 to command the selection of the clip being displayed. At this time, the selected result clip C _X The fat clip X module (synthesizing module CM) corresponding to is read, and the corresponding image is displayed on the monitor 15 as shown in FIG. Accordingly, the user can immediately start input for appropriately correcting the fat clip X from the state shown in FIG. 12 (the state of the mode of the synthesis module CM corresponding to the fat clip X). Processing for this input is performed by steps S51, S52, S53, and S54 of FIG. 8 described above.
[0043]
When the top menu button Editor displayed in the lower left of the display example of FIG. 11 is operated, the editing module is called. When the lower button Composite is operated, the compositing module is called, and further, the button Effect below is clicked. When operated, the special effect module is called. The button Library controls the VTR 13 and the video disk recorder 12 connected to the workstation 1 to create a normal clip (a clip that is not a fat clip) or to list the created clip (browse menu is displayed). Operated when reading). The button System is operated when setting the entire system. When the button Library is operated, the library module operates. When the button System is operated, the system module operates.
[0044]
Buttons List, Picture, and Free Form in the browse menu on the right side of the top menu in FIG. 11 are buttons that are operated when selecting a display format when displaying a list of clips that can be used. For example, when a clip name or the like is displayed as a list, the button List is operated. When the first frame of the clip is reduced and displayed in a tiled manner, the button Picture is operated. The button Free Form is operated when displaying in free format. The button View is operated when a clip in the browser is directly displayed as a moving image.
[0045]
The button Preview on the right side of the display example in FIG. 11 is operated when displaying the selected clip as a moving image. However, when this button Preview is operated, the fat clip re-execution process is not performed (the re-execution process will be described later). The moving image displayed when this button is operated may be different from the final moving image, but the display starts as soon as the button is operated, so we want to check the clip length during the editing process. Used when.
[0046]
The button View is operated when displaying the selected clip as a moving image. When this button is operated, re-execution processing is executed, unlike when the button Preview operation is performed. After this button is operated, it takes time until display is performed, but when this button is operated, an image as a final result can be viewed.
[0047]
The button All Preview is operated to display a moving image from the first clip to the last clip being edited without selecting a clip. The button All View is operated to display the result of the entire editing process again.
[0048]
The button Browser is operated when displaying a browse menu (a menu displayed on the right side of the top menu in FIG. 11) for listing clips that can be used for editing. Since another menu may be displayed at the position of the browse menu on the right side of the top menu, a button Browser is provided so that the browse menu can be displayed here at an arbitrary timing.
[0049]
The display 00:00:00 under the button Browser represents the time at which the current cursor is located in hours, minutes, seconds, and the number of frames. On the monitor 15, a still image at the time (position on the horizontal axis) where the current cursor is located is displayed.
[0050]
Border, x, y, T, and B displayed on the right side of the top menu in FIG. 12 represent a synthesis method and parameter values. At the graph display position on the right side, the parameter can be changed for each frame.
[0051]
If it is determined in step S55 in FIG. 8 that a command for selecting a clip being displayed has not been input, the process proceeds to step S57 to determine whether a re-execution command has been input. This re-execution command is, for example, when a fat clip FC-E on the edit tree in FIG. 9 has been changed and then the change is registered (saved) in the hard disk built in the workstation 1 , It is determined that it has been input. In addition, even when the above-described button View or All View is operated, it is determined that the re-execution command is input. If it is determined that a re-execution command has been input, the process proceeds to step S58, and re-execution processing is executed. Details of this re-execution process are shown in the flowchart of FIG.
[0052]
In the re-execution process, first, in step S81, the identifier of the top fat clip in the edit tree (hereinafter simply referred to as a fat clip) is pushed onto the stack. For example, in the example of FIG. 9, the fat clip FC-A is written on the stack. Next, proceeding to step S82, it is determined whether or not the stack is empty. In this case, since the fat clip at the top of the edit tree is written in the stack in step S81, the stack is not empty. Accordingly, a determination of NO is made and the process proceeds to step S83. In step S83, one fat clip is popped from the stack, and it is determined whether the result clip of the fat clip is valid. In the case of the example of FIG. 9, since the result clip of the fat clip FC-A is invalid, NO is determined and the process proceeds to step S84.
[0053]
In step S84, it is determined whether the material clips of the fat clip extracted in step S83 are all normal clips (clips that are not fat clips) or fat clips having valid result clips. In the example of FIG. 9, the material clip of the fat clip FC-A is the fat clip FC-B, and as a result, the clip is invalidated. Therefore, in this case, a NO determination is made and the process proceeds to step S86.
[0054]
In step S86, the current fat clip FC-A is pushed onto the stack. In step S87, the fat clip FC-B determined as the fat clip having the invalid result clip in step S84 is written.
[0055]
Next, returning to step S82, it is determined whether or not the stack is empty. In this case, since it is not empty, the process proceeds to step S83, where a fat clip FC-B (latest fat clip) is extracted from the stack, and as a result, it is determined whether or not the clip is valid. Since the result clip of the fat clip FC-B is invalid, the process proceeds to step S84 to determine whether or not the fat clip FC-C, which is the material clip of the fat clip FC-B, is a fat clip having a valid result clip. Is done. Since the fat clip FC-C has an invalid result clip, the process proceeds to step S86, where the current fat clip FC-B is pushed onto the stack, and in step S87, the fat clip FC-C having an invalid result clip. Is pushed.
[0056]
Again, the process proceeds from step S82 to step S83, where, for example, a fat clip FC-C is extracted from the stack, and it is determined whether or not the fat clip has a valid result clip. Since the fat clip FC-C has an invalid result clip, NO is determined and the process proceeds to step S84. In step S84, it is determined whether or not the material clip FC-E of the fat clip FC-C is a fat clip having a valid result clip. Since the fat clip FC-E has an invalid result clip, NO is determined, and the fat clips FC-C and FC-E are pushed onto the stack in steps S86 and S87.
[0057]
Again, the process proceeds from step S82 to step S83, where one fat clip FC-E is extracted from the stack, and it is determined whether or not the result clip of the fat clip is valid. Since the fat clip FC-E has an invalid result clip, the process proceeds to step S84, and it is determined whether all the material clips of the fat clip FC-E are normal clips or fat clips having valid result clips. Is done. Fat clip FC-E material clip is material clip MC _E1 , MC _E2 In this case, a YES determination is made and the process proceeds to step S85.
[0058]
In step S85, the material clip MC corresponding to the work information of the fat clip FC-E. _E1 , MC _E2 Then, the editing process is performed on the fat clip FC-G, and the result clip is regenerated.
[0059]
Then, the process returns from step S82 to step S83, the fat clip FC-C is taken out from the stack, and as a result, it is determined whether or not the clip is valid. Since the result clip of the fat clip FC-C is invalid, the process proceeds to step S84, and it is determined whether or not all the material clips of the fat clip FC-C are normal clips or fat clips having valid result clips. . Fat clip FC-C material clip is material clip MC _C1 Since the fat clip FC-E has a valid result clip, a YES determination is made, and in step S85, the material clip MC corresponding to the work information of the fat clip FC-C is determined. _C1 And the fat clip FC-E (result clip) are subjected to an editing process, and the result clip is regenerated.
[0060]
Again, the process proceeds from step S82 to step S83, and the fat clip FC-B is taken out of the stack. As a result, since the clip is invalid, the process proceeds to step S84, where it is determined whether or not all the material clips of the fat clip FC-B are normal material clips and valid result clips. Since the fat clip FC-B has an invalid fat clip FC-D as a material clip, NO is determined, and the fat clips FC-B and FC-D are pushed onto the stack in steps S86 and S87.
[0061]
Proceeding from step S82 to step S83, the fat clip FC-D is taken out of the stack. Since the fat clip FC-D has an invalid result clip, the process advances to step S84 to determine whether or not all the material clips are valid. Fat clip FC-D material clip is material clip MC _D1 , MC _D2 And the fat clips FC-E and FC-F. Since the fat clips FC-E and FC-F both have valid result clips, YES is determined in step S84, and the process proceeds to step S85. . In step S85, corresponding to the work information of the fat clip FC-D, the material clip MC _D1 , MC _D2 In addition, editing processing is performed on the fat clips FC-E and FC-F, and a result clip is regenerated.
[0062]
Again, the process proceeds to step S83 via step S82, and the fat clip FC-B is extracted from the stack, and as a result, it is determined whether or not the clip is valid. Since the result clip of the fat clip FC-B is invalid, the process proceeds to step S84, and it is determined whether or not all the material clips are valid. Fat clip FC-B material clip MC _B1 Since the fat clips FC-C and FC-D are all valid, a determination of YES is made in step S84, and in step S85, the material clip MC corresponding to the work information of the fat clip FC-B is determined. _B1 The fat clips FC-C and FC-D are subjected to an editing process, and the result clip is regenerated.
[0063]
Further, the process proceeds from step S82 to step S83, and the fat clip FC-A is taken out. As a result, the clip is invalid. The process proceeds to step S84, and whether or not all the material clips of the fat clip FC-A are valid. Is determined. Since the fat clip FC-B as the material clip of the fat clip FC-A has a valid result clip, the process proceeds to step S85, and the fat clip FC as the material clip corresponds to the work information of the fat clip FC-A. Editing processing is performed on -B, and the result clip is regenerated.
[0064]
Then, the process returns to step S82 to determine whether or not the stack is empty. Since all the re-execution processes have been completed, a determination of YES is made here, and the re-execution process ends.
[0065]
If it is determined in step S83 that the fat clip taken out of the stack is valid, the process returns to step S82. For example, when the fat clip at the top of the edit tree is valid, it is determined that the fat clip pushed onto the stack in step S81 has a valid result clip in step S83, and the process returns to step S82. In step S82, it is determined that the stack is empty, and the process is immediately terminated. As described above, when the fat clip at the top of the edit tree has a valid result clip, the re-execution process is not substantially executed.
[0066]
FIG. 14 summarizes the processing of the flowchart of FIG. As shown in the figure, the fat clip FC-A module at the top of the edit tree requests the fat clip FC-B module to transfer the result clip when the result clip is invalid. The module of the fat clip FC-B further requests the fat clip FC-C module to transfer the result clip. Then, the fat clip FC-C module requests the fat clip FC-E module, and the fat clip FC-E module requests the fat clip FC-G module to transfer the result clip. Since the result clip of the fat clip FC-G is valid, this result clip is transferred to the module of the fat clip FC-E. The module of the fat clip FC-E regenerates the result clip based on the result clip and other material clips, and transfers this to the module of the fat clip FC-C. The fat clip FC-C module creates a result clip from the result clip and other material clips, and transfers the result clip to the fat clip FC-B module.
[0067]
The module of the fat clip FC-B requests the module of the fat clip FC-D as the other material clip to transfer the result clip. The module of the fat clip FC-D further requests the module of the fat clip FC-E to transfer the result clip. Since the result clip of the fat clip FC-E is regenerated and validated, it is immediately transferred to the module of the fat clip FC-D.
[0068]
The module of the fat clip FC-D requests another fat clip FC-F module to transfer the result clip. Since the result clip of the fat clip FC-F is valid, it is immediately transferred to the module of the fat clip FC-D.
[0069]
The fat clip FC-D module regenerates the result clip based on the result clip transferred from the fat clip FC-E module and the fat clip FC-F module and other material clips, Transfer to Fat Clip FC-B module. The module of the fat clip FC-B regenerates the result clip based on the result clip of the fat clip FC-D and other material clips, and transfers the result clip to the module of the fat clip FC-A. The module of the fat clip FC-A regenerates the result clip based on the result clip of the fat clip FC-B.
[0070]
As described above, when the fat clip FC-E is corrected, the identifier of the result clip and the result clip of the higher-order fat clip is immediately invalidated, but thereafter the fat clip FC-E. When a command such as saving is instructed, the re-execution process is automatically executed at that time.
[0071]
It is possible to start the re-execution process immediately when the correction process is performed. However, since the re-execution process requires some time, the identifier change (related It is preferable to perform only the search for fat clips.
[0072]
【The invention's effect】
As described above, according to the image processing method according to claim 1 and the image processing apparatus according to claim 6, since information on other fat clips as material clips is held, between different modules, Hierarchical fat clips can be managed, and when a fat clip is modified in a lower hierarchy, an upper fat clip corresponding to the fat clip can be automatically regenerated. Therefore, the editing process can be performed quickly and easily.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of a system to which an image processing method of the present invention is applied.
FIG. 2 is a diagram for explaining a configuration of a program for image processing in the workstation of FIG. 1;
3 is a diagram for explaining the configuration of a fat clip in the edit tree storage unit in FIG. 2; FIG.
FIG. 4 is a flowchart for explaining the operation of the embodiment of FIG. 1;
FIG. 5 is a flowchart illustrating details of the process in step S4 of FIG.
6 is a flowchart for explaining details of a process in step S6 of FIG. 4;
FIG. 7 is a flowchart illustrating details of the process in step S8 of FIG.
FIG. 8 is a flowchart illustrating details of the process in step S25 of FIG.
FIG. 9 is a diagram for explaining the processing of steps S53 and S54 of FIG.
FIG. 10 is a flowchart illustrating details of the process in step S56 of FIG.
FIG. 11 is a diagram for explaining the processing in step S55 of FIG.
FIG. 12 is a diagram for explaining the processing in step S56 of FIG.
FIG. 13 is a flowchart illustrating details of the process in step S58 of FIG.
FIG. 14 is a timing chart illustrating the process of FIG.
FIG. 15 is a flowchart illustrating a conventional image processing method.
[Explanation of symbols]
1 workstation, 2 keyboard, 3 mouse, 4 pad, 5 display, 6 jog / fader controller, 7 device controller and frame buffer, 8 switcher, 9, 10 digital multi-effector, 11 audio mixer, 12 video disc recorder, 13 VTR, 14 video camera, 15 monitor

Claims

For each module, at least one of editing, compositing, or special effects is performed on a predetermined material clip, and the work information when generating a result clip and the work information are generated corresponding to the work information. A fat clip including information regarding the result clip and the material clip used to generate the result clip, and when another fat clip is used as the material clip, Generating a fat clip including information on the fat clip of
When the first fat clip is modified, the second fat clip related to the first fat clip is searched, the process corresponding to the work information of the second fat clip is re-executed, and An image processing method comprising: a re-execution step of generating again a result clip of the second fat clip.

The image processing method according to claim 1, wherein the generating step writes an identifier of another fat clip as the material clip in the fat clip.

The image processing method according to claim 1, wherein the generating step further writes an identifier of the module that generated the fat clip in the fat clip.

The image processing method according to claim 1, further comprising a reading step of reading out the module that generated the fat clip when a predetermined fat clip is selected in the predetermined module.

The identification step of adding an identification symbol for identifying the second fat clip from a third fat clip that is not related to the first fat clip. Image processing method.

For each module, at least one of editing, compositing, or special effects is performed on a predetermined material clip, and the work information when generating a result clip and the work information are generated corresponding to the work information. A fat clip including information regarding the result clip and the material clip used to generate the result clip, and when another fat clip is used as the material clip, Generating means for generating a fat clip including information on the fat clip of
When the first fat clip is modified, the second fat clip related to the first fat clip is searched, the process corresponding to the work information of the second fat clip is re-executed, and An image processing apparatus comprising: a re-execution unit that re-generates a result clip of the second fat clip.