JP4329603B2

JP4329603B2 - 動画編集装置及び動画編集方法

Info

Publication number: JP4329603B2
Application number: JP2004119437A
Authority: JP
Inventors: 三代子柴田; 太郎志潟; 貴裕荒木; 崇也小野; 幸子佐々木; 洋志清水
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-04-14
Filing date: 2004-04-14
Publication date: 2009-09-09
Anticipated expiration: 2024-04-14
Also published as: JP2005303840A

Description

本発明は、動画を検索し、編集する動画編集装置及び動画編集方法に関する。

放送局等における番組制作時に行われる放映データの制作過程において、放映データを構成する素材を検索する作業は欠かせない作業である。従来における素材の検索方法は、素材に関する情報、例えば、ファイル名、制作年月日、出演者名、記録媒体保管位置などといった情報を記憶媒体等に記憶させ、記憶させた情報に基づいて放映データを構成する素材を検索し、検索された候補から各々の情報や映像を再生して内容を確認し、採用する素材を決定していた。そして、このような作業を素材数分順次繰り返して素材を収集し、収集した素材を必要であれば編集して繋げ、放映データを制作していた。

これに対し、特許文献１の方法では、検索対象となる映像毎に映像を代表する少なくとも１枚の画像データを索引情報として保持しておき、ディスプレイ装置にこのデータを一覧表示することにより、ユーザの検索を支援している。この方法によれば、映像を一つずつ再生しなくても、代表画像を参照することにより映像の内容を把握することができる。

特開平８−２４９３９４号公報

しかしながら、上記特許文献１に記載の方法では、複数の素材検索をする場合、前後関係を考慮していないため各々が独立した動画となってしまう。したがって、各々の素材に相互に関連性を持たせた動画を制作する場合、特に、放映データを構成する素材の検索作業では、人間の記憶に頼る部分が大きく、適切な前後関係や全体のバランスを十分考慮して検索することはできない。

本発明はこのような課題に鑑みてなされたものであり、動画データを構成する各シーンに採用する素材の選択を支援し、編集効率を上げることができる動画編集装置及び動画編集方法を提供することを目的とする。

上述した目的を達成するために、本発明は、時系列に並べられた複数のシーンに採用する動画データを選択する動画編集装置において、上記動画データと、当該動画データの特徴量、代表画像を含む関連情報とが蓄積された動画情報蓄積手段と、検索対象シーンに採用される動画データの検索条件として上記特徴量の類似性を評価する関連シーンを入力する動画検索条件入力手段と、上記動画検索条件入力手段にて入力された検索対象シーンの検索条件に基づいて当該検索対象シーンの採用候補である動画データの関連情報を上記動画情報蓄積手段から取得し、上記採用候補の動画データの特徴量と上記関連シーンとして選択された動画データの特徴量との類似性の評価値に基づいて上記採用候補の動画データの優先度を付与する動画検索手段と、上記検索対象シーンの採用候補の代表画像が上記優先度の順に表示される画像選択欄と、上記画像選択欄にて選択された各シーンの代表画像が時系列に表示されるシーン画像欄とを表示する画像表示手段とを備え、上記動画検索手段は、上記関連シーンの動画データが選択されていない場合、上記関連シーンの採用候補のうち最も優先度が高い動画データの特徴量と類似性を評価し、上記検索対象シーンの動画データが選択されると、当該動画データの特徴量と上記関連シーンの採用候補の動画データの特徴量との類似性の評価値に基づいて上記関連シーンの採用候補の動画データの優先度を付与することを特徴としている。

また、本発明は、時系列に並べられた複数のシーンに採用する動画データを選択する動画編集方法において、上記動画データと、当該動画データの特徴量、代表画像を含む関連情報とを蓄積手段に蓄積する動画情報蓄積工程と、検索対象シーンに採用される動画データの検索条件として上記特徴量の類似性を評価する関連シーンを入力する動画検索条件入力工程と、上記動画検索条件入力工程にて入力された検索対象シーンの検索条件に基づいて当該検索対象シーンの採用候補である動画データの関連情報を上記蓄積手段から取得し、上記採用候補の動画データの特徴量と上記関連シーンとして選択された動画データの特徴量との類似性の評価値に基づいて上記採用候補の動画データの優先度を付与する動画検索工程と、上記検索対象シーンの採用候補の代表画像が上記優先度の順に表示される画像選択欄と、上記画像選択欄にて選択された各シーンの代表画像が時系列に表示されるシーン画像欄とを表示する画像表示工程とを有し、上記動画検索工程では、上記関連シーンの動画データが選択されていない場合、上記関連シーンの採用候補のうち最も優先度が高い動画データの特徴量と類似性を評価し、上記検索対象シーンの動画データが選択されると、当該動画データの特徴量と上記関連シーンの採用候補の動画データの特徴量との類似性の評価値に基づいて上記関連シーンの採用候補の動画データの優先度を付与することを特徴としている。

本発明に係る動画編集装置及び動画編集方法によれば、シーンに採用される素材の候補が所定のシーンの素材との類似性に応じて自動的に並び替えられるので、制作者は編集上選ばれる可能性が高い素材を瞬時に判断することができ、編集効率を上げることができる。

本発明の具体例として示す動画編集装置及び動画編集方法は、時系列に並べられたシーンに採用する素材に優先度を付与し、ユーザの選択を支援する。ここで、素材は、独立した動画データであっても、情報で識別される任意の区間の動画データであってもよい。

図１は、本実施形態における動画編集装置１０を示すブロック図である。この動画編集装置１０は、複数のシーンに採用する動画の検索条件を入力する検索条件入力部１１と、検索条件に基づいて動画記憶部１３を参照し、複数のシーンに採用する動画を検索する検索部１２と、検索された動画の代表画像（サムネイル）を表示する検索結果出力部１４とを備えている。

検索条件入力部１１は、ＧＵＩ（Graphical User Interface）等の入出力インタフェースなどを備え、マウス、キーボード等を用いてシーンに採用する素材の検索条件を入力し、検索を指示する。

検索部１２は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）などから構成され、上記検索条件入力部１１により入力された検索条件に基づき、素材を検索する。そして、時系列の並びを保持したまま素材の検索結果をＧＵＩ等の入出力インタフェースを用いて通知する。

動画記憶部１３は、ＨＤＤ（Hard Disc Drive）等の大容量記録媒体などから構成されたデータベースであって、素材に関連する情報を記憶している。また、素材の動画データは、例えばＡｐｐｌｅ社が開発したソウトウェアＱｕｉｃｋＴｉｍｅ（商標）で使用されるＭＯＶ形式などにより、全てのクライアントが見られるファイルを代理するｐｒｏｘｙファイルとして保存している。素材の関連情報は、例えば、画像特徴量、素材の名称、素材記憶位置情報、検索キー、記録媒体保管位置、素材の代表画像、過去の採用回数などである。

画像特徴量は、特微量抽出装置などにより、後述する動画データのＲ成分、Ｇ成分、Ｂ成分、音声データの音声、音量などに基づくパラメータで表され、そのパラメータに基づいて他の素材との類似性が評価される。素材の名称は、素材の内容や素材の撮像日などに基づいて登録され、素材記録位置情報は、記録媒体識別情報、ファイル名、素材が記録されたタイムコード（Start/End）などとして登録される。検索キーは、制作年月日・出演者名・キーワードなどの素材内容を示す情報として登録される。記録媒体保管位置は、素材が記録された記録媒体の保管場所であって、例えば、素材を決定した後、その素材が動画記憶部１３に記憶されていない場合、この保管位置情報に基づいて保管された素材を取得することができる。素材の代表画像は、関連情報で識別される素材の静止画であり、素材内容を端的に示すことが好ましい。過去の採用回数は、シーンに採用する素材として決定された回数であって、決定されるとインクリメントされる。これらの関連情報の登録は、自動又は手動のいずれかで行われる。

検索結果出力部１４は、ＧＵＩ等の入出力インタフェースを備え、検索結果を時系列に表示する。時系列に並べられたシーンに採用する素材の候補が複数ある場合は、素材選択ＧＵＩに基づくウィンドウを表示し、ユーザが選択できるようにする。また、後述する類似性に応じて素材の表示順を制御する。そして、決定された素材の素材リストを出力する。

ここで、ＧＵＩに基づくウィンドウは、例えば、ＬＣＤ（Liquid Crystal Display）に代表されるディスプレイ装置に表示される。

次に、図２のフローチャートを参照し、本実施形態における動画編集装置の全体的な動作について説明する。先ず、動画検索装置を起動させると（ステップＳ２−１）、検索条件入力部１１は、複数のシーンが時系列に並べられた動画データにおいて各シーンに採用する素材の検索条件を入力するＧＵＩに基づくウィンドウを表示する（ステップＳ２−２）。ユーザが検索条件を入力して検索実行を指示すると、検索部１２は、検索条件入力部１１からの検索条件に基づいて動画記憶部１３に蓄積されている情報を参照し素材を取得する。そして、取得した素材に優先度を付与し、その検索結果を検索結果出力部１４に通知する（ステップＳ２−３）。検索結果出力部１４は、検索部１３から通知された素材の検索結果に基づいて素材の代表画像を時系列に並べて表示する（ステップＳ２−４）。ユーザは、検索結果に基づいてシーンに採用する素材を選択及び決定し、素材リストを出力させる。（ステップＳ２−５）。

以下、上記ステップＳ２−１〜Ｓ２−５について詳細に説明する。

ステップＳ２−１の動画検索装置起動ステップでは、例えば、図３に示すような動画データ入力用のＧＵＩに基づくウィンドウ３０が表示される。動画データ入力ＧＵＩに基づくウィンドウ３０は、動画データの名称及び時間情報を入力する動画データ情報入力欄３１と、入力した情報を記憶させる動画データ設定実行ボタン３２とを有している。動画データ情報入力欄３１は、これから制作する動画データの名前を入力する名前欄３１ａと、動画データにおけるタイムラインの始点及び終点のタイムコードをそれぞれ入力するＳｔａｒｔ欄３１ｂ及びＥｎｄ欄３１ｃからなっている。タイムラインは、制作する動画データの時間を直線上に表したものである。

動画データ情報入力欄３１の入力後、動画データ設定実行ボタン３２を押すことにより、ステップＳ２−２の検索条件入力ステップに進む。なお、図３に示すタイムラインのＳｔａｒｔ欄３１ｂ及びＥｎｄ欄３１ｃでは、１時間の動画データを制作することを指定しているが、このＳｔａｒｔ欄３１ｂ及びＥｎｄ欄３１ｃに放映予定の時刻（タイムコード）を入力するようにしてもよい。

次に、ステップＳ２−２の検索条件入力ステップについて、図４に示すフローチャートを参照し説明する。

図３に示す動画データ情報入力欄３１の入力後、動画データ設定実行ボタン３２が押されると、例えば、図５に示すような検索条件入力ＧＵＩに基づくウィンドウ５０が表示される（ステップＳ４−１）。素材検索条件入力ＧＵＩに基づくウィンドウ５０は、シーンに採用する素材の検索条件を入力する検索条件入力欄５１と、複数のシーンが時系列に並べられているタイムライン５２と、タイムライン５２にシーンを追加又は削除するシーンメニュー５３と、検索条件入力欄５１に入力された各シーンの素材の検索条件を実行する検索実行ボタン５４とを有している。

検索条件入力欄５１は、例えば、素材の関連情報として入力するキーワード欄５１ａ、出演者欄５１ｂ、場所欄５１ｃ、制作年月日欄５１ｄ、関連シーン欄５１ｅ、音楽欄５１ｆ、時間帯欄５１ｇ、季節欄５１ｈ、Ｔｉｍｅ欄５１ｉからなっている。タイムライン５２は、図３に示したタイムラインのＳｔａｒｔ欄３１ｂ及びＥｎｄ欄３１ｃの入力により決定されたものである。

次に、シーンの追加（ステップＳ４−２）について説明する。シーンは、動画データを構成し、時系列に並べられた素材を挿入する区間である。シーンの追加は、例えば、シーンを追加したいタイムライン５２の領域にマウスポインタを移動し、右クリックによりシーンメニュー５３を表示して行われる。シーンメニュー５３で追加を選択すると、図６に示すようなシーン設定ＧＵＩに基づくウィンドウ６０が表示される。

シーン設定ＧＵＩに基づくウィンドウ６０は、シーン名欄６１ａ、Ｓｔａｒｔ欄６１ｂ及びＥｎｄ欄６１ｃからなるシーン情報入力欄６１と、シーン情報入力欄６１にて入力されたシーンを追加するシーン追加実行ボタン６２とを有する。シーン情報入力欄６１のＳｔａｒｔ欄６１ｂ及びＥｎｄ欄６１ｃには、ステップＳ２−１にて入力された動画データ入力ＧＵＩに基づくウィンドウ３０のＳｔａｒｔ欄３１ｂ及びＥｎｄ欄３１ｃにより指定されたタイムライン上の時間を入力することができる。そして、図６のシーン追加実行ボタン６２をクリックすることでシーンが追加される。なお、入力されたＳｔａｒｔ欄６１ｂ及びＥｎｄ欄６１ｃの時間は、検索条件入力欄５１のＴｉｍｅ欄５１ｉに表示される。

また、シーンの削除は、例えば、削除したいシーンのタイムライン５２の領域にマウスポインタを移動し、右クリックによりシーンメニュー５３を表示させ、削除を選択することにより行われる。

ユーザは、例えば、図７に示すような素材検索条件入力ＧＵＩに基づくウィンドウ７０の検索条件入力欄７１に素材の検索条件を入力する（ステップＳ４−３）。図７の例では、タイムライン７２において図中斜線で表されたＳｃｅｎｅ００７の検索条件を入力する場合を示している。所望のシーンの検索条件を入力するためには、タイムライン７２上のシーンにマウスポインタを移動させ、所望のシーンの検索条件を表示させる。なお、図７では、タイムライン７２上の選択されたシーンを斜線で表していると説明したが、斜線で表されていなくても視覚的に表示形態を異ならせればよい。

検索条件入力欄７１は、キーワード欄７１ａ、出演者欄７１ｂ、場所欄７１ｃ、制作年月日欄７１ｄ、関連シーン欄７１ｅ、音楽欄７１ｆ、時間帯欄７１ｇ、季節欄７１ｈ及びＴｉｍｅ欄７１ｉからなっており、ユーザが所望のシーンを想定して検索条件を入力することができる。関連シーン欄７１ｅの関連シ−ンについては後述するが検索結果出力後にこの検索条件に合致した候補から選択したことにより、素材の優先度に影響を及ぼすシーンである。ここでは、Ｓｃｅｎｅ００６及びＳｃｅｎｅ００８における素材の優先度を例えば後述する類似度の評価値に基づいて付与し、素材の並べ替えを行うことを設定している。また、Ｔｉｍｅ欄７１ｉには、ステップＳ４−２にて設定されたＳｃｅｎｅ００７のＳｔａｒｔ時間及びＥｎｄ時間が表示される。

また、さらにシーンを追加したい場合は、追加したいタイムライン７２の領域にマウスポインタを移動し、例えば右クリックによりシーンメニュー７３を表示させ、ステップＳ４−２の処理を行う。

検索するシーンについて素材の検索条件を入力した後、検索実行ボタン７４をクリックし、検索実行を指示する（ステップＳ４−６）。ここで、入力された検索条件は、図８に示すようにタイムラインにおけるシーンの順番を保持して検索部１２のＲＡＭ等に記憶される（ステップＳ４−７）。図８は、検索条件入力欄５１に入力された各シーンに対応する開始時間、終了時間、キーワード等がテーブル化されたものである。検索は、図８に示す検索条件の配列からタイムラインの時系列順に条件を取得して行われる。

次に、ステップＳ２−３の検索処理について図９に示すフローチャートを参照し説明する。先ず、検索の開始を示す検索トリガの有無が判断される（ステップＳ９−１）。検索トリガがない場合、検索結果出力ステップ（ステップＳ２−４）に進む。検索トリガがある場合、図８に示す検索条件の配列からタイムラインの時系列順のシーン毎に条件を取得する（ステップＳ９−２）。そして、ステップＳ９−２にて取得した検索対象シーンの条件に合致する素材を動画記憶部１３に記憶された素材の関連情報を参照し、取得する（ステップＳ９−３）。ここで、検索対象シーンにおいて取得される素材は、検索条件を満たし、且つタイムラインで指定されているタイムコードの長さ以上のものであることが好ましい。素材の検索結果は、例えば、図１０（ａ）に示すように図８に示す検索条件の配列からタイムラインの時系列順に条件が合致した素材が並べられ、アドレスが付される。そして、例えば、図１０（ａ）に示すように時系列順に取得された各シーンの素材の先頭アドレスを図１０（ｂ）に示す結果枠に格納する（ステップＳ９−４）。

ここで、シーンに複数の素材が取得された場合、連続した複数シーンの映像の流れが視覚的に自然になるように、例えば、色の分布・輝度を元にした背景の特徴などの画像特徴量の類似性に基づいて素材の優先度を付与し、その優先度に基づいて素材を並べて表示する。また、例えば、過去の採用回数などに基づいて素材の優先度を付与してもよい。

類似性は、例えば、動画データのＲＧＢの各信号成分の平均値及び標準偏差、及び音声データの最初から最後までの音程の平均値及び標準偏差、並びに音量の平均値及び標準偏差を用いて算出された評価値に基づいて判断される。なお、動画データのＲＧＢの各信号成分は、例えば、先頭フレームなどの特徴的なフレームに対するものであることが好ましい。

次にこの評価値の算出方法について説明する。先ず、一方の動画データのＲＧＢの各信号成分の平均値（Ａｖｇ_１）と他方の動画データのＲＧＢの各信号成分の平均値（Ａｖｇ_２）との差（Ａｖｇ_１−Ａｖｇ_２）を算出する。また、一方の動画データのＲＧＢの各信号成分の標準偏差（Ｄｉｆ_１）と他方の動画データのＲＧＢの各信号成分の標準偏差（Ｄｉｆ_２）と差（Ｄｉｆ_１−Ｄｉｆ_２）も算出する。

また、音声データについても同様に、音声データの最初から最後までの音程及び音量の平均値及び標準偏差をそれぞれ算出する。そして、適当な重み付け（Ｗ_ａｖｇ,Ｗ_ｄｉｆ）を行った後、その和を取り要素の類似度（Ｓｍｌ）を算出する。

このようにして、映像信号におけるＲ成分の類似度Ｓｍｌ_ｒ、Ｇ成分の類似度Ｓｍｌ_ｇ、Ｂ成分の類似度Ｓｍｌ_ｂ及び音声信号における音程Ｓｍｌ_int、音量Ｓｍｌ_volについての全ての要素に対して類似度を算出する。そして、それぞれ要素の類似度の和を取り、これを類似性の評価値Ｓｍｌ_ｓｕｍとする。式は以下の通りである。

Ｓｍｌ＝（Ａｖｇ_１−Ａｖｇ_２）Ｗ_ａｖｇ＋（Ｄｉｆ_１−Ｄｉｆ_２）Ｗ_ｄｉｆ（１）
Ｓｍｌ_ｓｕｍ＝Ｓｍｌ_ｒ＋Ｓｍｌ_ｇ＋Ｓｍｌ_ｂ＋Ｓｍｌ_int＋Ｓｍｌ_vol （２）
上記（１）式及び（２）式により求められた類似性の評価値に基づいて、シーンに採用する候補に優先度が付与される。

例えば、シーンに採用する素材の優先度を前のシーンに基づいて付与することができる。図１０（ａ）に示すような素材が検索された場合において、例えば、Ｓｃｅｎｅ００６のアドレス０１００及び０１０１の素材に優先度を付与する場合、Ｓｃｅｎｅ００６のアドレス０１００及び０１０１の素材は、前のシーンであるＳｃｅｎｅ００５（図示せず）の素材のうち最も優先度が高い素材と類似性の評価値が計算され、その評価値が高い順に優先度が付与される。また、Ｓｃｅｎｅ００７のアドレス０１０２から０１０７までの素材の優先度を付与する場合、Ｓｃｅｎｅ００７のアドレス０１０２から０１０７までの素材は、前のシーンであるＳｃｅｎｅ００６の素材のうち最も先度が高い素材と類似性の評価値が計算され、その評価値が高い順に優先度が付与される。なお、類似性を比較する前のシーンが存在しないＳｃｅｎｅ００１（図示せず）などの優先度は、過去の採用回数などに基づいて付与する。

また、ステップＳ２−５のシーンに採用する素材を選択及び決定する際に、再検索する場合にも優先度が付与される。再検索された素材は、例えば、隣接するシーンの素材との類似性に基づいて優先度が付与される。したがって、ユーザは、再検索された優先度の高い素材を選択することにより、映像や音声の流れを壊すことなく、自然な流れを有する動画を制作することができる。

図１１は、素材が選択又は決定されたシーンに基づいて再検索する場合における、１つのシーンを検索する単数シーン検索及び複数のシーンを検索する複数シーン検索を示す。

図１１（ａ）は、ＳｃｅｎｅＤの素材の優先度を付与する単数シーン検索である。ここで、ＳｃｅｎｅＣ及びＳｃｅｎｅＥの素材は、既に選択又は決定されているものとする。ＳｃｅｎｅＤの素材の優先度は、ＳｃｅｎｅＣの素材との類似性の評価値とＳｃｅｎｅＥの素材との類似性の評価値との和、又は適当な重み付けされた和により付与される。

このように、選択又は決定された素材との類似性に基づいて優先度が付与されるため、ユーザは、再検索された優先度が高い素材を選択することにより、選択又は決定された素材と映像や音声の流れを壊さずにいられる。

なお、ＳｃｅｎｅＣ及びＳｃｅｎｅＥにおける類似性の比較対象を既に選択又は決定された素材としたが、選択又は決定がされていない場合は、ＳｃｅｎｅＣ及びＳｃｅｎｅＥの各シーンにおける最も優先度が高い素材をそれぞれの比較対象としてもよい。

また、図１１（ｂ）は、ＳｃｅｎｅＢ、ＳｃｅｎｅＤ及びＳｃｅｎｅＦの素材の優先度を付与する複数シーン検索である。ここで、ＳｃｅｎｅＡ及びＳｃｅｎｅＧの素材は、既に選択又は決定されている。すなわち、この複数シーン検索では、ＳｃｅｎｅＢ、ＳｃｅｎｅＤ及びＳｃｅｎｅＦの素材の優先度を、既に決定又は選択されたＳｃｅｎｅＡ及びＳｃｅｎｅＧの素材との類似性に基づいて付与するものである。

ＳｃｅｎｅＢの素材の優先度は、ＳｃｅｎｅＡの素材とＳｃｅｎｅＤにおける最も優先度が高い素材との類似性に基づいて付与される。また、ＳｃｅｎｅＤの素材の優先度は、ＳｃｅｎｅＢにおける最も優先度が高い素材とＳｃｅｎｅＦにおける最も優先度が高い素材との類似性に基づいて付与される。また、ＳｃｅｎｅＦの素材の優先度は、ＳｃｅｎｅＤにおける最も優先度が高い素材とＳｃｅｎｅＧの素材との類似性に基づいて付与される。また、各シーンにおける素材の優先度は、単数シーン検索と同様に、例えば、各比較対象シーンの素材との類似性の評価値との和、又は適当な重み付けされた和により付与される。例えば、ＳｃｅｎｅＢにおける素材の優先度は、既に決定又は選択されたＳｃｅｎｅＡの素材との類似性の評価値と、ＳｃｅｎｅＤにおける素材との類似性の評価値との和、又は適当な重み付けされた和によって付与される。

このように、複数のシーンを再検索する場合であっても、既に選択又は決定された素材との類似性及び再検索されるシーンの素材との類似性に基づいて優先度が付与されるため、ユーザは、再検索された優先度が高い素材を選択することにより、選択又は決定された素材と映像や音声の流れを壊さずにいられる。

なお、ＳｃｅｎｅＡ及びＳｃｅｎｅＧにおける類似性の比較対象は、既に決定された素材としたが、選択又は決定がされていない場合は、ＳｃｅｎｅＡ及びＳｃｅｎｅＧの各シーンにおける最も優先度が高い素材をそれぞれの比較対象としてもよい。

上述の単数シーン検索及び複数シーン検索は、後述する決定操作により素材が決定されていないシーンの素材に優先度を付与することとしたが、新たにシーンを追加し素材を取得する場合、すなわち、ステップＳ２−２の検索条件入力ステップから再度行い、優先度を付与する場合にも適用される。

このような検索処理（ステップ２−３）によれば、ユーザは、検索結果における順位の高い素材を選択することにより、映像や音声の流れが視覚的に自然な動画データを制作することができる。

次に、ステップＳ２−４の検索結果出力及びステップＳ２−５の素材リスト出力について、図１２に示すフローチャート及び図１３に示す素材検索結果ＧＵＩに基づくウィンドウを参照し説明する。

ステップＳ２−３の検索処理終了後、例えば、図１３に示すような素材検索結果ＧＵＩに基づくウィンドウ１３０が表示される（ステップＳ１２−１）。素材検索結果ＧＵＩに基づくウィンドウ１３０は、検索条件欄１３１と、タイムライン１３２と、素材選択欄１３３と、素材リスト出力ボタン１３４とを有している。

検索条件欄１３１は、ステップＳ２−２にて入力されたキーワード欄１３１ａと、出演者欄１３１ｂと、場所欄１３１ｃと、制作年月日欄１３１ｄと、関連シーン欄１３１ｅと、音楽欄１３１ｆと、時間帯欄１３１ｇと、季節欄１３１ｈと、Ｔｉｍｅ欄１３１Ｉとからなっており、タイムライン１３２にて選択されたシーンに対する検索条件が表示される。

タイムライン１３２は、タイムライン欄１３２ａと、シーン名欄１３２ｂと、シーン素材欄１３２ｃとからなっている。

素材選択欄１３３には、検索された素材が複数ある場合、素材の代表画像が優先度の高い順に並べて表示される。

素材リスト出力ボタン１３４は、ユーザ操作によりタイムライン１３２の各シーン領域に表示された素材のリストの出力を指示するものである。

ステップＳ１２−２において、ユーザは、素材の選択又は決定を行うシーンをタイムライン１３２のシーン領域、例えばシーン名欄１３２ｂ又はシーン素材欄１３２ｃにマウスポインタを移動し、ダブルクリックなどにより選択する。そして、素材選択欄１３３にステップＳ１２−２で選択したシーンの素材を表示させる。このとき、素材は、上述した類似性の高い順番で並べられている。ユーザは、素材選択欄１３３に表示された素材のサムネイルから所望の素材にマウスポインタを移動して例えばダブルクリックなどにより素材を選択する。そして、選択した素材を決定する場合は、シーンメニュー１３６にて決定する（ステップＳ１２−３）。

図１３に示す例において、検索条件欄１３１には、シーン名欄１３２ｂにて選択されたＳｃｅｎｅ００７の検索条件が表示され、シーン素材欄１３３ｃのＳｃｅｎｅ００７には、素材選択欄１３３にて選択されたｅｌｅｐｈａｎｔ０００５が表示されている。そして、ｅｌｅｐｈａｎｔ００５がシーンメニュー１３６により決定されると、素材検索結果ＧＵＩに基づくウィンドウ１３０は、例えばＳｃｅｎｅ００９のように、決定された素材を判別できるように視覚的に表示形態を異ならせている。これを図１３中では、背景を斜線で表して示している。

ステップＳ１２−３において、素材を選択した際、関連シーン欄１３１ｅに入力されたシーンがある場合、その関連シーンの素材が選択された素材との類似性が高い順に並び替えられる（ステップＳ１２−４）。

優先順位の並べ替えは、関連シーンを影響シーンとして、その影響シーンにおける素材選択欄１３３の素材を、選択されたシーンの素材との類似性の高い順にサムネイルを並び替えるものである。この並び替えは、上記（１）式及び（２）式により求められた評価値に応じて優先度が付与されることにより行われる。

図１４に示すようにＳｃｅｎｅＢの関連シーンとしてＳｃｅｎｅＤ及びＳｃｅｎｅＥが設定された場合、ＳｃｅｎｅＢに採用する素材の決定に対して、ＳｃｅｎｅＤ及びＳｃｅｎｅＥの素材は、決定された素材との類似性に基づいて優先度が付与され、並びかえられる。なお、素材の優先度が一致した場合は、その一致した素材を、例えば、過去の採用回数の高い順に並べてもよい。また、関連シーンにおいて、採用する素材が決定されたシーンについては、並び替えが行われない。

図１３の例では、Ｓｃｅｎｅ００７の素材の選択において、Ｓｃｅｎｅ００６及びＳｃｅｎｅ００８が関連シーンとして入力されていることから、Ｓｃｅｎｅ００６及びＳｃｅｎｅ００８の素材は、Ｓｃｅｎｅ００７の素材ｅｌｅｐｈａｎｔ００５との類似性に基づいて優先度が付与され、その優先度順に素材選択欄１３３の素材が並び替えられる。

なお、シーン素材欄１３２ｃには、素材選択欄１３３においてユーザが選択した素材が表示されるが、関連シーンにおけるシーン素材欄１３２ｃには、最も優先度が高い素材を表示するようにしてもよい。

このように、素材の選択により関連シーンの素材の優先度が付与されることにより、関連シーンの素材選択欄１３３には、選択された素材との類似性が高い順番に素材を表示させることができる。したがって、ユーザは、素材選択欄の素材の並びを参照することにより、容易に選択された素材と類似性の判断ができ、シーンに採用する素材の決定操作の効率を上げることができる。

ステップＳ１２−５では、素材を選択するシーンを変更するか否かが判断される。シーンを変更する場合、上述したステップＳ１２−２〜ステップＳ１２−４の処理をする。

所望のシーンに採用する素材を選択した後、素材リスト出力ボタン１３４をクリックすることにより、選択状態の素材は決定状態となる。そして、図１５に示すような素材リストが出力され、編集が終了する（ステップＳ１２−６）。なお、その際、各検索条件に対して採用された動画データの情報を動画記憶部１３から取得して素材リストに付帯し、ＲＡＭ等に記憶する。そして、決定された素材の過去の採用回数がインクリメントされる。

図１５は、検索条件入力欄５１に入力された各シーンに対応する開始時間、終了時間、キーワード等に対して、採用が決定された素材の素材名、記録媒体識別情報、ファイル名、記憶された素材の始点、終点等をテーブル化した素材リストである。このテーブルに基づいて各シーン毎に素材をタイムコードの長さにするなどの本格的な編集を行う。

また、ステップＳ１２−３において、ユーザによる素材の選択・決定を支援するために素材の再生を行うことができる。例えば、図１３において、タイムライン再生ボタン１３５によりタイムラインの任意の部分を再生することができ、シーンメニュー１３６及び素材再生ボタン１３７によりシーン単位の再生をすることができる。これにより、ユーザは検索された素材を確認することができ、素材決定の効率を上げることができる。

また、その際、図１６に示すような再生ＧＵＩに基づくウィンドウ１６０を表示させ、再生情報入力欄１６１のＳｔａｒｔ欄１６１ａ及びＥｎｄ欄１６１ｂにより指定し、再生実行ボタン１６２をクリックすることにより任意の区間の動画を再生することができる。

なお、再生情報入力欄１６１のＳｔａｒｔ欄１６１ａ及びＥｎｄ欄１６１ｂのタイムコードを変更することにより、シーンの設定時間に収まるように編集してもよい。例えば、図１５において、ｅｌｅｐｈａｎｔ００７の素材は、指定されているシーンの時間以上の長さであるから、Ｓｔａｒｔ欄１６１ａ及びＥｎｄ欄１６１ｂにＳｃｅｎｅ００７の時間である２分間の動画データ区間を設定すればよい。

以上、本発明によれば、シーンに採用する素材の優先順位が自動に並べ替えられるので、制作者は採用する素材を瞬時に判断することができ、完成イメージや映像の流れを崩さずに動画データを制作することができる。また、検索条件、検索結果を時系列に並べて表示することにより、制作者が理想としている動画データにより近い完成イメージで制作することができる。

動画編集装置における全体構成を示すブロック図である。動画編集装置における全体動作を説明するフローチャートである。動画データ入力ＧＵＩに基づくウィンドウを示す図である。動画編集装置における検索条件入力動作を説明するフローチャートである。検索条件入力ＧＵＩに基づくウィンドウを示す図である。シーン設定ＧＵＩに基づくウィンドウを示す図である。素材検索条件入力ＧＵＩに基づくウィンドウを示す図である。動画編集装置における検索条件の記憶を説明する図である。動画編集装置における検索処理を説明するフローチャートである。動画編集装置における検索結果の出力を説明する図である。動画編集装置における検索動作を説明する図である。動画編集装置における素材決定動作を説明するフローチャートである。素材検索結果ＧＵＩに基づくウィンドウを示す図である。動画編集装置における並び替え動作を説明する図である動画編集装置における素材リスト出力を説明する図である。再生ＧＵＩに基づくウィンドウを示す図である。

符号の説明

１０動画編集装置、１１検索条件入力部、１２検索部、１３動画記憶部、１４検索結果出力部、３０動画データ入力ＧＵＩに基づくウィンドウ、３１動画データ情報入力欄、３２動画データ設定実行ボタン、５０素材検索条件入力ＧＵＩに基づくウィンドウ、５１検索条件入力欄、５２タイムライン、５３シーンメニュー、５４検索実行ボタン、６０シーン設定ＧＵＩに基づくウィンドウ、６１シーン情報入力欄、６２シーン追加実行ボタン、７０素材検索条件入力ＧＵＩに基づくウィンドウ、７１検索条件入力欄、７２タイムライン、７３シーンメニュー、７４検索実行ボタン、１３０素材検索結果ＧＵＩに基づくウィンドウ、１３１検索条件欄、１３２タイムライン、１３３素材選択欄、１３４素材リスト出力ボタン、１３５タイムライン再生ボタン、１３６シーンメニュー、１３７素材再生ボタン、１６０再生ＧＵＩに基づくウィンドウ、１６１再生情報入力欄、１６２再生実行ボタン

Claims

時系列に並べられた複数のシーンに採用する動画データを選択する動画編集装置において、
上記動画データと、当該動画データの特徴量、代表画像を含む関連情報とが蓄積された動画情報蓄積手段と、
検索対象シーンに採用される動画データの検索条件として上記特徴量の類似性を評価する関連シーンを入力する動画検索条件入力手段と、
上記動画検索条件入力手段にて入力された検索対象シーンの検索条件に基づいて当該検索対象シーンの採用候補である動画データの関連情報を上記動画情報蓄積手段から取得し、上記採用候補の動画データの特徴量と上記関連シーンに選択された動画データの特徴量との類似性の評価値に基づいて上記採用候補の動画データの優先度を付与する動画検索手段と、
上記検索対象シーンの採用候補の代表画像が上記優先度の順に表示される画像選択欄と、上記画像選択欄にて選択された各シーンの代表画像が時系列に表示されるシーン画像欄とを表示する画像表示手段とを備え、
上記動画検索手段は、上記関連シーンの動画データが選択されていない場合、上記関連シーンの採用候補のうち最も優先度が高い動画データの特徴量と類似性を評価し、上記検索対象シーンの動画データが選択されると、当該動画データの特徴量と上記関連シーンの採用候補の動画データの特徴量との類似性の評価値に基づいて上記関連シーンの採用候補の動画データの優先度を付与する動画編集装置。
上記関連シーンは、上記検索対象シーンの前後のシーンである請求項１記載の動画編集装置。
上記特徴量は、動画データのＲＧＢ成分であり、
上記動画検索手段は、上記ＲＧＢ成分の平均値及び標準偏差に基づいて上記類似性の評価値を算出する請求項１記載の動画編集装置。
上記関連情報は、動画の名称、動画記憶位置情報、検索キー、記録媒体保管位置、素材の代表画及び過去の採用回数をさらに含む請求項１記載の動画編集装置。
時系列に並べられた複数のシーンに採用する動画データを選択する動画編集方法において、
上記動画データと、当該動画データの特徴量、代表画像を含む関連情報とを蓄積手段に蓄積する動画情報蓄積工程と、
検索対象シーンに採用される動画データの検索条件として上記特徴量の類似性を評価する関連シーンを入力する動画検索条件入力工程と、
上記動画検索条件入力工程にて入力された検索対象シーンの検索条件に基づいて当該検索対象シーンの採用候補である動画データの関連情報を上記蓄積手段から取得し、上記採用候補の動画データの特徴量と上記関連シーンとして選択された動画データの特徴量との類似性の評価値に基づいて上記採用候補の動画データの優先度を付与する動画検索工程と、
上記検索対象シーンの採用候補の代表画像が上記優先度の順に表示される画像選択欄と、上記画像選択欄にて選択された各シーンの代表画像が時系列に表示されるシーン画像欄とを表示する画像表示工程とを有し、
上記動画検索工程では、上記関連シーンの動画データが選択されていない場合、上記関連シーンの採用候補のうち最も優先度が高い動画データの特徴量と類似性を評価し、上記検索対象シーンの動画データが選択されると、当該動画データの特徴量と上記関連シーンの採用候補の動画データの特徴量との類似性の評価値に基づいて上記関連シーンの採用候補の動画データの優先度を付与する動画編集方法。
上記関連シーンは、上記検索対象シーンの前後のシーンである請求項５記載の動画編集方法。
上記特徴量は、動画データのＲＧＢ成分であり、
上記動画検索工程では、上記ＲＧＢ成分の平均値及び標準偏差に基づいて上記類似性の評価値を算出する請求項５記載の動画編集方法。
上記関連情報は、動画の名称、動画記憶位置情報、検索キー、記録媒体保管位置、素材の代表画及び過去の採用回数をさらに含む請求項５記載の動画編集方法。