JP4282583B2

JP4282583B2 - 動画編集装置及び方法

Info

Publication number: JP4282583B2
Application number: JP2004315379A
Authority: JP
Inventors: 貴則山田; 康洋中村; 伸男楠本
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2004-10-29
Filing date: 2004-10-29
Publication date: 2009-06-24
Anticipated expiration: 2024-10-29
Also published as: JP2006129124A

Description

本発明は、動画編集装置及び方法、より詳細には、任意の形式の動画データに含まれる任意のターゲットを追跡してトリミング処理を行うための動画編集装置及びその方法に関する。

動画データ中から任意の物体（ターゲット）の周辺の矩形領域を切り出す映像編集技術として、ターゲットとなる物体を追跡することによって、トリミング領域を決める方法がある。一般に、ターゲットを追跡する方法として参照画像を用いてマッチングを行うことにより行うが、この方法は入力画像サイズが大きくなると計算量が爆発的に増えてしまうという欠点がある。

これを解決するため、例えば、特許文献１には、参照画像とのマッチングを、画像全域にわたってマッチングを計算するのではなく、操作者により指定された大きさの、対象物体付近の画像ブロックとのみマッチングを行うようにしたものが開示されている。

図１０は、従来の手法による物体追跡の過程を示す図である。この手法では、まず、追跡する物体の静止画像を操作者の手で指定し、図１０（Ａ）に示すように、その領域を特定の大きさのブロックを格子状に分割する。そしてブロックの周辺領域においてマッチングを行い、特徴的なブロック、すなわち周辺領域のブロックとの類似度の低いブロックを選択する。図１０（Ｂ）に選択されたブロックの例を示す。

次に、参照画像中のブロックに含まれる画像と、他時刻の画像中の周辺領域のマッチングを行い、移動ベクトルを計算する。各ブロックの移動ベクトルは図１０（Ｃ）に示すようになる。しかし、この移動ベクトルは実際に物体が移動した場合のベクトルとは誤差があるため、物体移動がアフィン変換モデルで表現できると仮定し、アフィンパラメータを推定することで物体移動を推定し、物体を追跡する。図１０（Ｄ）はアフィンパラメータを推定して物体位置推定を行った後のブロック位置を示す。
特開２０００−１３２６９１号公報

しかしながら、上記特許文献１に記載の発明によれば、マッチングの計算量を軽減するが、それでもたとえば携帯端末のようなパフォーマンスの低いプラットフォームで使うには処理負荷が大きい。また、参照画像を指定する方法では、トリミングを行う対象物体が動画中で入れ替わったり変化したりする場合に対応するのは困難である。

本発明は、上述のごとき実情に鑑みてなされたものであり、動画データに含まれる複数の画像に対してトリミング領域を容易に指定できるようにすると共に、複数の画像に指定されたトリミング領域間を補間してトリミング処理を行えるようにすること、を目的としてなされたものである。すなわち、補間を行う際の計算量を少なくすることで前者の課題を解決し、参照画像を用いないことで後者の課題を解決することをその目的とする。

上記課題を解決するために、本発明の第１の技術手段は、任意の形式の動画データを編集するための動画編集装置であって、動画データを圧縮／伸張する動画圧縮伸張手段と、該動画圧縮伸張手段により伸張した動画データを表示する表示手段と、該表示手段に動画データを表示させながら、該動画データに含まれる複数の画像に対して、ユーザによる再生，停止，一時停止の操作入力を受け付け、停止中又は一時停止中において前記表示手段に表示される画像上でユーザがトリミング領域を指定するための操作入力手段と、該操作入力手段により前記複数の画像に指定されたトリミング領域間を補間するための複数の補間パターンを有するトリミング処理手段と、該トリミング処理手段によるトリミング処理後の動画データを記憶する記憶手段とを備え、前記トリミング処理手段は、前記複数の画像に指定されたトリミング領域間の時間及びその補間フレームの生成時間に基づいて算出される移動予測ベクトルと、前記動画圧縮伸張手段により伸張される前の前記動画データから取得される動きベクトルとの差分が閾値未満か否かを判定し、前記差分が閾値以上であると判定した場合、前記複数の補間パターンの中から、前記操作入力手段によりユーザが選択した補間パターンを用いて前記トリミング領域間を補間し、前記差分が閾値未満であると判定した場合、前記動きベクトルを用いて、前記トリミング領域間を補間することを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記表示手段は、トリミング処理前の動画データ，トリミング処理後の動画データのプレビューデータ，前記操作入力手段によるユーザインターフェイスを表示することを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記記憶手段は、前記トリミング処理前の動画データ及び前記トリミング処理後の動画データを記憶することを特徴としたものである。

第４の技術手段は、任意の形式の動画データを編集するための動画編集装置による動画編集方法であって、前記動画編集装置が、動画データを圧縮／伸張する動画圧縮伸張ステップと、該動画圧縮伸張ステップにて伸張した動画データを表示する表示ステップと、該表示ステップにて動画データを表示させながら、該動画データに含まれる複数の画像に対して、ユーザによる再生，停止，一時停止の操作入力を受け付け、停止中又は一時停止中において前記表示ステップにて表示される画像上でユーザがトリミング領域を指定する操作入力ステップと、該操作入力ステップにて前記複数の画像に指定されたトリミング領域間を補間するトリミング処理ステップと、該トリミング処理ステップにおけるトリミング処理後の動画データを記憶する記憶ステップとを備え、前記トリミング処理ステップは、前記複数の画像に指定されたトリミング領域間の時間及びその補間フレームの生成時間に基づいて算出される移動予測ベクトルと、前記動画圧縮伸張手段により伸張される前の前記動画データから取得される動きベクトルとの差分が閾値未満か否かを判定し、前記差分が閾値以上であると判定した場合、複数の補間パターンの中から、前記操作入力ステップにてユーザが選択した補間パターンを用いて前記トリミング領域間を補間し、前記差分が閾値未満であると判定した場合、前記動きベクトルを用いて、前記トリミング領域間を補間することを特徴としたものである。

本発明によれば、動画データに含まれる複数の画像に対してトリミング領域を容易に指定できるようにすると共に、複数の画像に指定されたトリミング領域間を補間してトリミング処理を行えるために、パターンマッチングなどの比較的計算負荷の高い処理を行わずにすみ、携帯電話のようなパフォーマンスの低いプラットフォームでも編集が可能となる。また、参照画像を用いないために、トリミングを行う対象物体が動画中で入れ替わったり変化したりする場合にも対応が可能となる。

本発明による動画編集装置の実施形態の一例を図１乃至図９に基づいて以下に説明する。
図１は、本発明の一実施形態に係る動画編集装置の構成例を示すブロック図で、図中、１０は動画編集装置で、該動画編集装置１０は、操作入力部（以下、ＧＵＩ部）１１、動作管理部１２、動画圧縮伸張部１３、トリミング処理部１４、表示部１８、記憶部１９を備えている。この動画編集装置は動画再生装置としての役割も果たす。尚、本発明の動画編集装置１０は、動画データを記録、再生する機能を備えた携帯端末などに好適に適用することができる。

動画圧縮伸張部１３は、記憶部１９から動画データ２０を取得し、復号（伸張）して表示部１８へ送信する。記憶部１９から取得した動画データが音声など画像以外のデータを含む場合はそれらを分離する処理を行う。また、動画圧縮伸張部１３は、伸張された動画データを符号化（圧縮）して記憶部１９に格納する。トリミング処理部１４は、動画圧縮伸張部１３により伸張された動画データのトリミング処理を行うための手段で、領域決定部１５、トリミングデータ記憶部１６、トリミング画像生成部１７から構成される。

図２は、領域決定部１５の構成例を示すブロック図で、領域決定部１５は、動きベクトル解析部１５１、フレーム間隔解析部１５２、領域補間部１５３を含むものとする。また、図３は、トリミングデータ記憶部１６の構成例を示すブロック図で、トリミングデータ記憶部１６は、後述する図４に示すトリミング情報１６１、トリミングされた動画データ１６２を格納し、記憶部１９の記憶領域の一部であってもよい。領域決定部１５は、ＧＵＩ部１１より入力される情報をトリミング情報１６１としてトリミングデータ記憶部１６に格納する。また、領域決定部１５は、トリミング情報１６１と、動画データより得られる動きベクトル情報に基づいて、動画データ中の物体を追跡しながらトリミング領域の補間を行う。

トリミング画像生成部１７は、領域決定部１５で決定されたトリミング領域の画像データをトリミングデータ記憶部１６のバッファに書き込む。表示部１８は、動画圧縮伸張部１３において復号された（トリミング前の）動画データ、トリミングされた（トリミング後の）動画データ（プレビューデータ）、ＧＵＩなどを表示するためのＬＣＤなどのディスプレイである。

記憶部１９は、圧縮された状態の動画データ２０を保持するための記録媒体であって、例えば、磁気ディスクや半導体メモリなどで構成される。また、ＧＵＩ部１１は、各種の操作入力を行うためにユーザインタフェースであって、トリミングを行うためのツール群を有する。また、ＧＵＩ部１１は、トリミング処理前の動画の再生、一時停止、停止、シークバーによる再生位置指定などの操作入力を可能とし、一時停止中または停止中において表示部１８に表示される画像に対してトリミング領域の指定や、補間パターンの指定を行うための手段を備える。動作管理部１２は、ＧＵＩ部１１、動画圧縮伸張部１３、トリミング処理部１４、表示部１８を統括的に処理するための制御／管理部である。

ここで、トリミング処理部１４は、動画データ２０に含まれる複数の画像（フレーム）に指定されたトリミング領域間を補間するための補間パターンを、ユーザにより任意に編集できるようにしたり、新規登録することができるようにしてもよい。これらの補間パターンはトリミングデータ記憶部１６などに予め登録されていてもよいし、トリミング領域を手動で編集している最中に作成したパターンを登録できるようにしてもよい。

図４は、図３に示したトリミング情報１６１の構成例を示す図で、トリミング情報１６１は、切り出し画像サイズ１６１２、トリミングの開始・終了時刻１６１３を保持し、また、対象ファイル名１６１１を記述しておく。トリミング領域を示す情報として、指定されたフレームの再生開始時刻からの時間ｔｎ、トリミング領域を示す代表座標Ｘｎ、前に指定されたトリミング領域との間の補間パターンＰｎの３つをまとめて記述しておく。尚、トリミングの先頭フレームの場合、補間パターンは指定されない。すなわち、補間パターンＰ１は指定されない。本例では、トリミング領域を示す代表座標として、指定領域の左上端座標を用いることとしている。

図５は、図１に示した動画編集装置１０の動作例を説明するためのフロー図である。ここでは主にＧＵＩを用いてトリミング領域を指定するシーケンスについて説明する。最初に、操作者は、動画編集装置１０に対してトリミング元となる動画ファイルを指定し（ステップＳ１）、動画編集装置１０は、指定された動画ファイルの情報を記憶部１９から取得し（ステップＳ２）、取得した動画ファイルを動画圧縮伸張部１３に読み込んで、その動画ファイルの再生時間、符号化方式などの情報を取得する（ステップＳ３）。以降、操作者からの操作指示をＧＵＩ部１１で受け付けることにより、動画の再生、停止、一時停止、指定時間からの再生などを行えるものとする。

次に、操作者は、動画の再生などを行いながら、動画編集装置１０に対してトリミングの開始時刻と終了時刻を指定する（ステップＳ４）。この操作を行わない場合は動画の先頭フレームから終端フレームまでをトリミング期間とする。動画編集装置１０は、トリミングの開始時刻と終了時刻が指定されたら、最初のトリミングフレームを復号して表示部１８に表示する（ステップＳ５）。

次に、操作者は、動画編集装置１０に対して切り出す画像の（トリミング）サイズを指定する（ステップＳ６）。これは、数値で指定する方法や、ＱＣＩＦ，ＣＩＦ，ＱＶＧＡなど、あらかじめ指定されたものから選択する方法をとることができる。また、表示部１８にトリミングするターゲット（対象）が表示されているならば、ＧＵＩ部１１に用意された領域選択ツールを用いて画像領域を選択することで指定することもできる。

次に、操作者は、表示部１８に表示されているフレーム（画像）において、トリミング領域を指定する（ステップＳ７）。トリミング領域は、ターゲットとなる物体などの中心座標を領域選択ツールで選択することで指定することができる。指定された領域が画像の領域の外部に及ぶ場合には、内部に収まるように適宜補正することとする。ここで、操作者によってトリミング領域を指定されたフレーム数を示すパラメータをＭとし、このパラメータＭを１に初期化する（ステップＳ８）。これ以降、パラメータＭは操作者がトリミング領域を指定する毎にインクリメントされる。

次に、操作者は、動画編集装置１０により動画を再生し（ステップＳ９）、トリミング領域を指定するフレームを探す。これは、適当な時間間隔で指定してもよいし、ターゲットが移動方向や速度を変えたときに指定するなどするとよい。

操作者は、表示部１８に表示されるフレーム（画像）を一時停止するかどうかを判断し（ステップＳ１０）、トリミング領域を指定したいフレームが表示されたら一旦一時停止させ（ＹＥＳの場合）、そのフレームに対してＧＵＩ部１１の領域選択ツールによりトリミング領域を指定する（ステップＳ１１）。動画編集装置１０はパラメータＭを１だけインクリメントする（ステップＳ１２）。

次に、動画編集装置１０は、前回指定されたトリミング領域と今回指定されたトリミング領域の間をどのように補間するか、すなわちターゲットがどのように移動したのかを示す補間パターンのリストを表示部１８に表示させ、操作者はこの補間パターンリストから所望の補間パターンを選択する（ステップＳ１３）。動画編集装置１０は、操作者により選択された補間パターンにより、実際にどのようにトリミング領域間が補間されるのかをプレビュー表示し（ステップＳ１４）、操作者は、このプレビュー表示に基づいて、選択した補間パターンでよいかどうかを判断し（ステップＳ１５）、選択した補間パターンでよければ（ＹＥＳの場合）、動画編集装置１０は、指定されたトリミング領域の左上端座標、時間、補間パターンなどをトリミング情報として保存する（ステップＳ１６）。また、上記ステップＳ１５において、選択した補間パターンでよくない、修正等を行いたい場合（ＮＯの場合）、ステップＳ１３に戻り処理を繰り返す。

次に、操作者は、トリミング領域を継続して指定するかどうかを判断し（ステップＳ１７）、継続して指定する場合（ＹＥＳの場合）、動画の再生を再開し（ステップＳ１８）、ステップＳ１０に戻り処理を繰り返す。また、上記ステップＳ１７において、継続して指定しない場合（ＮＯの場合）、そのフレームをトリミング終了時刻であるものとし、トリミング処理を行う（ステップＳ１９）。

また、上記ステップＳ１０において、操作者は表示部１８に表示されるフレームを一時停止しない場合（ＮＯの場合）、動画編集装置１０は、動画の再生中に指定されたトリミング期間の最後のフレームに達したかどうかを判断し（ステップＳ２０）、最後のトリミングフレームに達していない場合（ＮＯの場合）、ステップＳ１０に戻り処理を繰り返す。また、上記ステップＳ２０において、最後のトリミングフレームに達した場合（ＹＥＳの場合）、そこで一時停止し、パラメータＭを１だけインクリメントし（ステップＳ２１）、操作者は最終フレームのトリミング領域を指定し（ステップＳ２２）、補間パターンを選択し（ステップＳ２３）、選択された補間パターンにより、実際にどのようにトリミング領域間が補間されるのかをプレビュー表示する（ステップＳ２４）。

操作者は、上記プレビュー表示に基づいて、選択した補間パターンでよいかどうかを判断し（ステップＳ２５）、選択した補間パターンでよければ（ＹＥＳの場合）、動画編集装置１０は、指定されたトリミング領域の左上端座標、時間、補間パターンなどをトリミング情報として保存し、トリミング処理を行う（ステップＳ１９）。また、上記ステップＳ２５において、選択した補間パターンでよくない、修正等を行いたい場合（ＮＯの場合）、ステップＳ２３に戻り処理を繰り返す。

本実施形態では、動画の再生と一時停止を繰り返しながら領域指定する方法を挙げたが、必ずしも時系列どおりに指定する必要はなく、シークバーを用いるなどして任意の位置に指定することもできる。ただし、すでに補間パターンが決まっている時刻範囲内に領域を指定した場合、補間パターンの再設定が必要となる。

図６は、トリミング領域を指定したときの補間パターンをイメージ化した状態を示す図で、図中、２１はｍ−１番目に指定されたトリミング領域、２２はトリミング領域間の補間パターン（トリミング領域の移動方向）、２３はｍ番目に指定されたトリミング領域、２４はｍ＋１番目に指定されたトリミング領域、２５はｍ＋２番目に指定されたトリミング領域を示す。

図７は、直線的に補間する場合の補間パターンのイメージを示す図で、図中、３１はｍ番目に指定されたトリミング領域、３２はトリミング領域間の補間パターン、３３はｍ＋１番目に指定されたトリミング領域を示す。本例は、ｍ番目に指定されたトリミング領域と、ｍ＋１番目に指定されたトリミング領域との間を補間パターン３２で補間している。

図８は、図１に示した動画編集装置１０の他の動作例を説明するためのフロー図である。ここでは図５に示した過程において指定されたトリミング情報１６１に基づいて補間を行うシーケンスについて説明する。尚、本例では指定されたトリミング領域間を直線的に補間する場合を代表例として説明する。また、図９は、指定された２フレーム間における補間処理の一例を示す図である。図９（Ａ）は指定された２フレーム間の時間Ｔと画像フレーム生成時間ΔＴの関係を示す図である。図９（Ｂ）は予測されるトリミング領域を示す図で、図中、４１はｍ番目に指定されたトリミング領域、４２は行動予測ベクトルＵにより予測されるトリミング領域、４３は動きベクトルによる行動予測ベクトルＶｍにより予測されるトリミング領域、４４はｍ＋１番目に指定されたトリミング領域を示す。ここで、トリミング処理は、トリミング領域を指定された２つのフレーム間の補間をすることを１単位とし、これを指定されたフレーム数−１回（Ｍ−１回）繰り返す。

図９（Ａ）に２フレーム間の時間Ｔと画像フレームデータ生成時間ΔＴを示し、図９（Ｂ）に２フレーム間で指定領域がどのように移動したかを示すベクトル（Ｘ，Ｙ）を示すものとする。

図８において、まず、動画編集装置１０は、２フレーム分のトリミング情報１６１を読み込み（ステップＳ３１）、座標（Ｘ，Ｙ）、２フレーム間のフレーム数Ｎ、時間Ｔを計算する（ステップＳ３２）。１フレーム分の画像データを読み込み（ステップＳ３３）、画像フレームデータ生成時間ΔＴを算出し（ステップＳ３４）、１フレームの移動予測ベクトルＵを計算する（ステップＳ３５）。この移動予測ベクトルＵの計算は下記の式（１）で行う。

Ｕ＝ΔＴ／Ｔ（Ｘ，Ｙ）・・・式（１）

しかし、上記移動予測ベクトルＵのみを領域補間に用いると、ターゲットが等速で動いた場合を除いて、移動量に誤差が生じる。そこで、動画符号化に用いられている動きベクトルを利用してこの誤差を小さくする。今日利用されている動画像圧縮方式（ＭＰＥＧ−４、Ｈ．２６３など）では、多くの場合動きベクトルを用いており、これを利用することができる。しかし、この動きベクトルは、あくまでも画像の類似度の高さから算出されたものであり、必ずしも物体の移動方向を示しているとは限らないため、これが信頼できるときのみ用いることとする。

指定されたトリミング領域に含まれるマクロブロックの動きベクトルの平均値、あるいは指定されたトリミング領域の中心付近のマクロブロックの動きベクトルの平均値をＶとし、−Ｖをターゲットの移動量の候補値Ｖｍとする。ただし、動きベクトルは必ずしもターゲットの動作方向、動作量を示すものではないので、移動予測ベクトルＵに近い値である場合のみ、これを信頼できる値であるものとして用い、そうでなければ用いない。これは、

｜Ｖｍ−Ｕ｜＜ｋ・・・式（２）
但し、ｋは閾値

が成立するかどうかで判断する（ステップＳ３６）。

上記ステップＳ３６において、動きベクトルによる移動予測ベクトルＶｍとＵの差の絶対値が閾値ｋ未満の場合（ＹＥＳの場合）、すなわち、動きベクトルによる移動予測ベクトルＶｍを用いる場合、補間するトリミング領域は前のトリミング領域からＶｍ移動した領域とする（ステップＳ３７）。また、動きベクトルによる移動予測ベクトルＶｍとＵの差の絶対値が閾値ｋ以上の場合（ＮＯの場合）、すなわち、動きベクトルによる移動予測ベクトルＶｍを用いない場合、前のトリミング領域から、上記Ｕ移動した領域を補間領域とする（ステップＳ３８）。ただし、Ｕの積算により移動すると仮定した場合のトリミング領域からの距離が一定値以上である場合にＵを用いることとする。

次に、動画編集装置１０は、補間領域が決定したら、その補間領域の画像データを表示部１８のバッファに書き込み、表示部１８でプレビュー表示させたり、動画圧縮伸張部１３に渡し、ここで符号化してファイルとして記憶部１９に格納する（ステップＳ３９）。

次に、動画編集装置１０は、指定されたフレームまでの補間が完了したかどうかを判断し（ステップＳ４０）、補間が完了している場合（ＹＥＳの場合）、トリミング終了時刻に達したかどうかを判断する（ステップＳ４１）。また、上記ステップＳ４０において、補間が完了していない場合（ＮＯの場合）、ステップＳ３３に戻り処理を繰り返す。

また、上記ステップＳ４１において、トリミング終了時刻に達した場合（ＹＥＳの場合）、そのまま終了し、トリミング終了時刻に達していない場合（ＮＯの場合）、ステップＳ３１に戻り処理を繰り返す。

以上が指定された２フレーム間でトリミングを行う方法であり、ステップＳ３１からステップＳ４１のステップをＭ−１回繰り返し、動画全体のトリミングを行う。

以上、本発明の動画編集装置における各機能を中心に各実施形態を説明してきたが、本発明は、動画編集装置における各ステップを実行する方法としても説明したように動画編集方法としての形態もとることができる。また、この動画編集装置として機能させるためのプログラムとしての形態も、また、そのプログラムを記録した記録媒体としての形態も可能である。

本発明の一実施形態に係る動画編集装置の構成例を示すブロック図である。領域決定部の構成例を示すブロック図である。トリミングデータ記憶部の構成例を示すブロック図である。図３に示したトリミング情報の構成例を示す図である。図１に示した動画編集装置の動作例を説明するためのフロー図である。トリミング領域を指定したときの補間パターンをイメージ化した状態を示す図である。直線的に補間する場合の補間パターンのイメージを示す図である。図１に示した動画編集装置の他の動作例を説明するためのフロー図である。指定された２フレーム間における補間処理の一例を示す図である。従来の手法による物体追跡の過程を示す図である。

符号の説明

１０…動画編集装置、１１…操作入力部（ＧＵＩ部）、１２…動作管理部、１３…動画圧縮伸張部、１４…トリミング処理部、１５…領域決定部、１５１…動きベクトル解析部、１５２…フレーム間隔解析部、１５３…領域補間部、１６…トリミングデータ記憶部、１６１…トリミング情報、１６２…トリミングされた動画データ、１６１１…対象ファイル名、１６１２…切り出し画像サイズ、１６１３…トリミング開始・終了時刻、１７…トリミング画像生成部、１８…表示部、１９…記憶部、２０…動画ファイル、２１…ｍ−１番目に指定されたトリミング領域、２２，３２…補間パターン、２３，３１，４１…ｍ番目に指定されたトリミング領域、２４，３３，４４…ｍ＋１番目に指定されたトリミング領域、２５…ｍ＋２番目に指定されたトリミング領域、４２…移動予測ベクトルＵにより予測されるトリミング領域、４３…動きベクトルによる移動予測ベクトルＶｍにより予測されるトリミング領域。

Claims

任意の形式の動画データを編集するための動画編集装置であって、
動画データを圧縮／伸張する動画圧縮伸張手段と、
該動画圧縮伸張手段により伸張した動画データを表示する表示手段と、
該表示手段に動画データを表示させながら、該動画データに含まれる複数の画像に対して、ユーザによる再生，停止，一時停止の操作入力を受け付け、停止中又は一時停止中において前記表示手段に表示される画像上でトリミング領域をユーザが指定するための操作入力手段と、
該操作入力手段により前記複数の画像に指定されたトリミング領域間を補間するための複数の補間パターンを有するトリミング処理手段と、
該トリミング処理手段によるトリミング処理後の動画データを記憶する記憶手段とを備え、
前記トリミング処理手段は、前記複数の画像に指定されたトリミング領域間の時間及びその補間フレームの生成時間に基づいて算出される移動予測ベクトルと、前記動画圧縮伸張手段により伸張される前の前記動画データから取得される動きベクトルとの差分が閾値未満か否かを判定し、
前記差分が閾値以上であると判定した場合、前記複数の補間パターンの中から、前記操作入力手段によりユーザが選択した補間パターンを用いて前記トリミング領域間を補間し、前記差分が閾値未満であると判定した場合、前記動きベクトルを用いて、前記トリミング領域間を補間することを特徴とする動画編集装置。
前記表示手段は、トリミング処理前の動画データ，トリミング処理後の動画データのプレビューデータ，前記操作入力手段によるユーザインターフェイスを表示することを特徴とする請求項１に記載の動画編集装置。
前記記憶手段は、前記トリミング処理前の動画データ及び前記トリミング処理後の動画データを記憶することを特徴とする請求項２に記載の動画編集装置。
任意の形式の動画データを編集するための動画編集装置による動画編集方法であって、
前記動画編集装置が、動画データを圧縮／伸張する動画圧縮伸張ステップと、
該動画圧縮伸張ステップにて伸張した動画データを表示する表示ステップと、
該表示ステップにて動画データを表示させながら、該動画データに含まれる複数の画像に対して、ユーザによる再生，停止，一時停止の操作入力を受け付け、停止中又は一時停止中において前記表示ステップにて表示される画像上でトリミング領域をユーザが指定する操作入力ステップと、
該操作入力ステップにて前記複数の画像に指定されたトリミング領域間を補間するトリミング処理ステップと、
該トリミング処理ステップにおけるトリミング処理後の動画データを記憶する記憶ステップとを備え、
前記トリミング処理ステップは、前記複数の画像に指定されたトリミング領域間の時間及びその補間フレームの生成時間に基づいて算出される移動予測ベクトルと、前記動画圧縮伸張手段により伸張される前の前記動画データから取得される動きベクトルとの差分が閾値未満か否かを判定し、
前記差分が閾値以上であると判定した場合、複数の補間パターンの中から、前記操作入力ステップにてユーザが選択した補間パターンを用いて前記トリミング領域間を補間し、前記差分が閾値未満であると判定した場合、前記動きベクトルを用いて、前記トリミング領域間を補間することを特徴とする動画編集方法。