JP4765732B2

JP4765732B2 - 動画編集装置

Info

Publication number: JP4765732B2
Application number: JP2006105072A
Authority: JP
Inventors: 淳入江; えりな瀧川; 善久湊; 直輝前田; 楡子松原
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2006-04-06
Filing date: 2006-04-06
Publication date: 2011-09-07
Anticipated expiration: 2026-04-06
Also published as: US20070237360A1; JP2007281858A; CN101051389B; CN101051389A; US8204312B2

Description

本発明は、動画から所望のシーンを抽出するための技術に関する。

ＨＤＤやＤＶＤなどの大容量記録媒体の登場により、色々な場面の動画データを手軽に撮り（録り）ためておくことが可能になった。しかし、多数の若しくは長時間の動画データの中から所望のシーンを探し出したり、動画データを編集・整理したりするのは容易ではない。例えば、特定の人物が写っているシーンを抽出（カット編集）する場合、一般的な動画編集装置では、ユーザがスライダー等を操作しながら特定の人物が写るシーンを探し出し、切り出す最初のフレームと最後のフレームとを指定しなければならない。このような作業は素人には難しく、また非常に手間がかかる。そこで従来より、動画の検索や編集を容易化する技術が望まれていた。

なお、この種の技術としては、所定フレーム間隔おきに顔検出を実行し、新たな顔が検出されると、その顔について時間軸を遡る方向と時間軸に沿う方向の両方向に顔追跡を実行する方法が提案されている（特許文献１参照）。また、シーンの区間、キーフレーム、重要度、キーフレームの画像特徴量などを含むシーン特徴情報を動画データに関連付けておくことで、動画のダイジェスト再生や検索に役立てる方法も提案されている（特許文献２参照）。
特開２００５−９９９５３号公報特開２０００−２９９８２９号公報

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、簡単な操作で望みの人物が写っているシーンを動画の中から抽出することのできる技術を提供することにある。

上記目的を達成するために本発明は、以下の構成を採用する。

本発明の動画編集装置は、動画を表示可能な表示手段と、ユーザの指示に基づいて抽出対象とする人物を決定する抽出対象決定手段と、前記抽出対象とする人物の顔を追跡することによって、抽出元の動画の中で前記人物が写っているシーンを特定するシーン特定手段と、前記シーン特定手段により特定されたシーンを含む部分動画を、前記抽出元の動画から抽出する部分動画抽出手段と、を備える。

この構成によれば、ユーザの指示を契機として、抽出対象とする人物の決定、その人物が写っているシーンの特定、及び、そのシーンを含む部分動画の抽出が自動で行われる。

ユーザに対して要求する指示の種類、及び、実際に入力されたユーザの指示から抽出対象とする人物を決定する方法は、種々考えられる。

例えば、前記抽出対象決定手段は、前記表示手段に表示された画像上の任意の位置をユーザに指定させ、その指定位置に基づき前記画像から抽出対象とする人物を選ぶとよい。もし前記指定位置に人物が存在していたら、前記抽出対象決定手段は、前記指定位置に存在する人物を前記抽出対象とする人物として選べばよい。前記指定位置に人物が存在して
いなかったら、前記抽出対象決定手段は、前記指定位置に近い順に所定数の人物を前記抽出対象とする人物として選べばよい。所定数はユーザにより変更可能であってもよい。

この構成によれば、表示画像に写る所望の人物の辺りを指し示すという極めて簡単かつ直感的な操作だけで、自動的にその人物が抽出対象として選ばれる。

また、前記抽出対象決定手段は、前記表示手段に表示された動画の任意のフレームをユーザに指定させ、その指定されたフレームの画像から抽出対象とする人物を選ぶようにしてもよい。もし前記指定されたフレームの画像に複数の人物が含まれている場合には、それらの人物の中から所定の特徴量に基づいて抽出対象とする人物を選べばよい。

この構成によれば、動画を閲覧中に所望の人物が写っているフレームを指し示すという極めて簡単かつ直感的な操作だけで、自動的に抽出対象とすべき人物が設定される。

また、複数の人物が予め関連付けられており、前記抽出対象決定手段は、前記画像から選ばれた人物に加え、その人物に関連付けられている人物をも、抽出対象とする人物として決定するようにしてもよい。人物同士の関連付けは、ユーザにより設定可能であるとよい。

この構成によれば、関連付けされた複数の人物の中の一人を表示画面上で指定するだけで、自動的に複数の人物全員が抽出対象として決定される。よって、家族で一緒に写っている動画を抽出するとか、友人グループや同僚グループの動画を抽出するといった編集を非常に簡単に実現できる。

前記抽出対象決定手段は、複数の顔をリスト表示し、それら複数の顔の中から抽出対象とする人物をユーザに指定させることも好ましい。ここで、動画の再生中にその動画に含まれている顔を自動的に検出することによって、リスト表示すべき複数の顔を取得してもよいし、前記表示手段に表示された画像内の顔をユーザに指定させることによって、リスト表示すべき複数の顔を取得してもよい。

この構成によれば、現在表示されている画像には写っていない人物（例えば、前のシーンに登場していた人物とか、別の動画に写っていた人物など）をも抽出対象として指定できるようになる。

前記抽出元の動画は、前記表示手段に表示中の動画であってもよいし、記憶手段に格納されている１又は複数の動画であってもよい。

前記部分動画抽出手段は、前記シーン特定手段によって特定された２つのシーンの間の時間間隔がしきい値より短い場合に、それら２つのシーンを１つの部分動画に含めることが好ましい。また、前記部分動画抽出手段は、前記シーン特定手段によって特定された２つのシーンの画像に相関がある場合に、それら２つのシーンを１つの部分動画に含めるようにしてもよい。

この構成によれば、抽出対象が短時間だけフレームアウトした場合や、抽出対象が写るシーンの途中に他のシーン（ＣＭ含む）が挿入されていた場合や、顔の追跡において一時的に顔を見失った場合などに、部分動画が細切れに分断されてしまうことを防ぐことができ、利便性が向上する。

本発明は、上記手段の少なくとも一部を有する動画編集装置として捉えてもよいし、また、本発明は、上記処理の少なくとも一部を含む動画編集方法、または、かかる方法を実
現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

例えば、本発明に係る動画編集方法は、動画を表示可能な表示手段を備えた動画編集装置が、ユーザの指示に基づいて抽出対象とする人物を決定し、前記抽出対象とする人物の顔を追跡することによって、抽出元の動画の中で前記人物が写っているシーンを特定し、前記特定されたシーンを含む部分動画を、前記抽出元の動画から抽出する動画編集方法である。

また、本発明に係るプログラムは、動画を表示可能な表示手段を備えた動画編集装置に、ユーザの指示に基づいて抽出対象とする人物を決定処理と、前記抽出対象とする人物の顔を追跡することによって、抽出元の動画の中で前記人物が写っているシーンを特定する処理と、前記特定されたシーンを含む部分動画を、前記抽出元の動画から抽出する処理と、を実行させるプログラムである。

本発明によれば、簡単な操作で望みの人物が写っているシーンを動画の中から抽出することができる。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

＜装置構成＞
図１は、本発明の実施形態に係る動画編集装置の機能構成を示すブロック図である。

動画編集装置は、図１に示すように、表示部１０、入力部１１、抽出対象決定部１２、シーン特定部１３、動画編集部１４、抽出元動画記憶部１５、設定記憶部１６、部分動画記憶部１７を備えている。この動画編集装置は典型的には演算処理装置（ＣＰＵ）、主記憶装置（メモリ）、補助記憶装置（ハードディスクなど）、ディスプレイ、入力装置（マウスなど）を備えた汎用のコンピュータと、このコンピュータで動作するソフトウエア（プログラム）から構成可能である。図１に示す機能要素は、演算処理装置がソフトウエア（プログラム）を実行し、必要に応じて主記憶装置、補助記憶装置、ディスプレイ、入力装置などのハードウエア資源を制御することで実現される。ただし、これらの機能要素を専用のチップで構成しても構わない。

この動画編集装置は、動画のカット編集を行うための装置である。編集対象となる動画（抽出元の動画）は、複製可能なデータであれば、ビデオカメラ等で撮影したものでも、放送番組等を録画したものであってもよい。

抽出元の動画は抽出元動画記憶部１５に格納されている。そして、この動画から抽出された部分動画は部分動画記憶部１７に格納される。抽出元動画記憶部１５と部分動画記憶部１７はそれぞれ不揮発性の記憶装置であればよく、例えば、ハードディスク（ＨＤＤ）やＤＶＤなどを利用可能である。なお、設定記憶部１６は動画編集処理で利用される各種設定データを記憶する部分であり、これも不揮発性の記憶装置で構成可能である。各記憶部１５、１６、１７は単一のハードウエアで構成してもよいし、別体のハードウエアで構成してもよい。

表示部１０は、記憶部からの動画の読み込み、動画の再生、ユーザインターフェイスの生成、ディスプレイへの表示出力などを担う機能である。また、入力部１１は、ユーザが
動画編集装置に指示を入力するための機能であり、例えば、キーボードとポインティングデバイス（マウス、タッチパッド、タッチパネル、視線入力装置など）から構成される。

抽出対象決定部１２、シーン特定部１３、動画編集部１４のそれぞれの機能及び処理については、以下の動作例に沿って説明する。

＜第１動作例＞
ユーザが入力部１１を用いて抽出元とする動画を指定すると、表示部１０が、その動画を抽出元動画記憶部１５から順次読み込み、デコード処理などの動画再生に必要な処理を施して、ディスプレイに表示する（図２（ａ）参照）。そして、動画の再生開始に伴い、抽出対象決定部１２がユーザからの入力の監視を開始する。

ここで、図２（ｂ）に示すように、ユーザが入力部１１を用いて表示画像上の一点（若しくは領域）を指定すると、以下に述べる自動抽出処理が開始される。なお、自動抽出処理開始後は、動画の再生を停止しても構わない。

まず、抽出対象決定部１２が、ユーザによって指定された点若しくは領域（以下、「指定位置」という。）に基づいて、抽出対象とする人物を決定する。ここでは顔検出処理を利用して抽出対象の決定を行う。具体的には、指定位置を中心とする所定の顔検出範囲の中で顔検出を実行し、指定位置で顔が検出された場合はその人物を抽出対象として選び、指定位置に顔が存在しない場合は指定位置の最も近くで検出された顔の持ち主を抽出対象として選ぶ（図２（ｃ）参照）。顔検出範囲内で顔が検出されなかった場合には、エラーを返すか、範囲を広げて再度顔検出を実行すればよい。なお、顔検出範囲は画像全体でも構わない。

顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、（２）顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、（３）クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、（４）肌の色に近い領域を検出し、その領域を顔として検出する手法、（５）ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。

抽出対象が決定したら、シーン特定部１３が、その人物の顔を追跡する（顔トラッキング処理）。ここでは、顔検出に用いられた画像を開始フレームとして、時間軸の順方向と逆方向のそれぞれに顔トラッキング処理が実行される。

顔トラッキング処理における同一顔の推定には、既存のどのような技術が適用されてもよい。例えば、（１）フレーム間の相関を利用し、前フレームにおける顔の位置を基準として現フレームにおける同一顔を推定する手法、（２）複数のフレームの処理結果から顔の動きベクトルを求め、その動きベクトルから現フレームにおける同一顔を推定する手法、（３）顔認識技術を利用して、顔画像から抽出される特徴量の類似度に基づき同一顔を推定する手法、などがある。もちろんこれらを組み合わせることも好ましい。組み合わせに関しては、複数の手法から総合的に一つの解を導いてもよいし（並列的な組み合わせ）、手法を切り替えるようにしてもよい（直列的な組み合わせ）。並列的な組み合わせとしては、例えば、複数の手法それぞれの解（推定結果）の中から最も信頼性の高い解を選択するやり方がある。直列的な組み合わせとしては、例えば、ある一つの手法で顔の追跡に失敗した場合に他の手法で再試行するやり方とか、高精度だが処理負荷の大きい手法と高精度ではないが処理負荷の小さい手法とを切り替えるやり方などがある。なお、全てのフレームについて顔トラッキング処理を実行する必要はなく、抽出対象の位置変動が小さい
ときなどは数フレームおきに顔トラッキング処理を実行しても構わない。

シーン特定部１３は、時間軸の逆方向の顔トラッキング処理において抽出対象を見失った時点、及び、時間軸の順方向の顔トラッキング処理において抽出対象を見失った時点を、それぞれ「シーン開始点」「シーン終了点」に設定する（図２（ｄ）参照）。これにより、抽出対象とする人物が写っているシーンが特定される。

動画編集部１４は、シーン特定部１３により特定されたシーン（つまり、シーン開始点とシーン終了点の間のシーン）を抽出元の動画から抽出する。この抽出された部分動画は、部分動画記憶部１７に格納される。なお、部分動画を作成する際に、シーン開始点の前及びシーン終了点の後にそれぞれ所定フレーム数のマージンを付加してもよい。

以上述べた処理によれば、画面上の一点（若しくは一領域）を指定するというユーザの指示を契機（トリガ）として、抽出対象とする人物の決定、その人物が写っているシーンの開始点及び終了点の決定（シーン検索）、並びに、そのシーンを含む部分動画の抽出（カット編集）が自動で行われる。よって、極めて簡単かつ直感的な操作で望みの人物が写っているシーンを抽出することが可能となる。

また、抽出対象の決定にあたり、その探索範囲をユーザによる指定位置及びその近傍に限定したことから、処理の簡単化及び高速化を図ることができる。これは、画像中に多数の人物が写っている場合などに特に有利である。

なお、シーン特定部１３が、顔トラッキング処理において抽出対象を見失った後も、動画の最初のフレーム若しくは最後のフレームに至るまで処理を続行し、抽出対象が登場する全てのシーンを動画全体の中から特定するようにしてもよい。複数のシーンが特定されたら、動画編集部１４が、シーンごとに部分動画を作成してもよいし、複数のシーンをまとめて１つの部分動画としてもよい（この処理については第５動作例で詳しく述べる。）。

＜第２動作例＞
第１動作例では、ユーザの指定位置に基づき抽出対象を決定したのに対し、第２動作例では、ユーザの指定したフレームから抽出対象を自動的に選択する構成を採用する。その他の点は第１動作例と同様である。

動画の再生中、ユーザは入力部１１を用いてフレームを指定することができる。フレームの指定は、例えば、表示画像若しくはユーザインターフェイス上の所定のボタンの押下、マウスボタンやキーの押下などにより行わせればよい。

抽出対象決定部１２は、ユーザによって指定されたフレームの画像から顔を検出する。もし一つの顔しか検出されなかったら、その顔の人物を抽出対象に決定する。複数の顔が検出された場合には、所定の特徴量に基づいて抽出対象を絞り込む。

抽出対象の絞り込みに用いられる特徴量としては、例えば、顔の位置、顔の大きさ、顔の向き、顔部分の画像のボケ量、目の開き度合、視線の方向などがある。これらは、「写りの良さ」を反映する特徴量である。つまり、顔が画像の中心にあるほど、顔が所定の大きさに近いほど、顔が正面を向いているほど、ボケ量が小さいほど、目が開いているほど、視線が正面を向いているほど、それぞれ写りが良好であるといえる。ユーザが指定したフレームではユーザが抽出を望む人物ほど写りが良い慨然性が高い。よって、「写りの良さ」を反映する特徴量に基づき抽出対象を決定することで、ユーザの意図した人物を正確に絞り込むことができる。いずれか１つの特徴量から写りの良さを評価してもよいし、複
数の特徴量の組み合わせから写りの良さを総合評価してもよい。複数の特徴量を組み合わせると、絞り込みの精度を向上することができる。

以上述べた処理によっても第１動作例と同様の作用効果を得ることができる。

＜第３動作例＞
第３動作例では、設定記憶部１６に設定されている関連付け情報に基づいて、抽出対象決定部１２が関連付けされた複数の人物を抽出対象として選び出す。その他の点は第１動作例若しくは第２動作例と同様である。

関連付け情報は、２以上の人物を関連付けるための情報であって、少なくとも各人物の顔を定義する顔定義情報を含んでいる。顔定義情報は、顔照合（顔認識）に利用される情報であり、具体的には顔画像から抽出された特徴量から構成される。関連付け情報は、例えば、関連付ける人物それぞれの顔画像をユーザに選択させ、選択された各人の顔画像から顔定義情報を作成し、それらを組にして設定記憶部１６に格納することで設定可能である。関連付け情報の設定は以下に述べる自動抽出処理の前に予め行われているものとする。

図３は第３動作例を示している。動画の再生中、ユーザが入力部１１を用いて指示を入力すると（図３（ａ）参照）、その指示に基づいて表示中の画像から抽出対象が選ばれる（図３（ｂ）参照）。この処理は第１動作例若しくは第２動作例のものと同様である。図３（ｂ）の例では、Ｘが抽出対象として選ばれている。

続いて、抽出対象決定部１２は、画像から選ばれた抽出対象Ｘの顔画像から特徴量を抽出し、設定記憶部１６に設定されている個々の関連付け情報の顔定義情報と比較することによって、同一の顔を含む関連付け情報がないか照合する（図３（ｃ）参照）。同一の顔を含む関連付け情報が発見されたら、抽出対象決定部１２は、その関連付け情報にて関連付けされている他の人物を抽出対象に加える。図３（ｄ）の例では、Ｘに関連付けられているＹが抽出対象に追加されている。

シーン特定部１３は第１動作例と同様に顔トラッキング処理を行って、動画の中からＸ、Ｙが登場するシーンを特定する。このとき、ＸとＹの両方が登場するシーンのみを選ぶか、ＸとＹの少なくとも一方が登場するシーンを選ぶかは、ユーザにより設定可能であるとよい。以降の処理は第１動作例と同様である。

＜第４動作例＞
第１、第２動作例では表示画像中から抽出対象を指定する方法を説明した。しかしこの方法では、再生中のフレームに含まれていない人物は指定できないので、例えば「少し前のシーンに写っていた人物を抽出したい」というようなニーズに対応できない。そこで、第４動作例では表示画像からでなく、顔画像リストからユーザに抽出対象を指定させる方法を採用する。

顔画像リストは、設定記憶部１６に格納されている。顔画像リストへの顔画像の登録は、装置が自動で行ってもよいし、ユーザが手動で行ってもよい。装置による自動登録の一例を挙げると、動画の再生と並行して、所定数のフレームごとに顔検出を実行し、新しい
顔を検出したらその顔を顔画像リストに登録する方法がある。動画の再生が進むに従い、登場人物がリストアップされていくので、前のシーンに登場した人物を後から指定することが可能になる。ユーザによる手動登録の場合は、表示画像の中からユーザに顔を指定させ、その顔を登録すればよい。例えば、動画を閲覧しながら、気になる人物が登場するたびにその顔を登録していく、という使い方が可能である。

図４は顔画像リストの表示例を示している。抽出対象決定部１２は、動画再生中に顔画像リストの中から人物が指定されると、その人物を抽出対象に決定する。このとき第３動作例のように、顔画像リストで指定された人物に関連付けされている人物を追加の抽出対象として選んでもよい。以降の処理は上記動作例と同様である。なお、再生中のフレームに抽出対象の顔が含まれていないときは、時間軸の逆方向や順方向に顔探索を実行し、抽出対象が現れるフレームを発見し、そのフレームから顔トラッキング処理を開始すればよい。

＜第５動作例＞
第５動作例は、シーン特定部１３によって抽出対象の登場シーンが２つ以上特定された場合に実行される処理である。

シーンが頻繁に切り替わったり、ＣＭをまたぐ場合などは、短時間のうちに抽出対象がフレームイン／アウトを繰り返すことがある。また、撮影時の手ブレや被写体の激しい動きなどによっても、同様のことが起こりうる。また、実際には抽出対象がフレームアウトしていない場合でも、顔トラッキング処理のミスによって一時的に顔を見失い、一続きであるべきシーンを２つのシーンと誤解してしまうこともある。このような場合に、シーン特定部１３によって特定されたシーンごとに別個の部分動画を作成すると、細切れの部分動画が多数作成される結果となり、好ましくない。

そこで、第５動作例では、動画編集部１４が２以上のシーンをまとめて部分動画を作成する。具体的には、図５に示すように、時間的に隣り合う２つのシーンＡ，Ｂの間の時間間隔Ｔａｂ（前のシーンの終了点と後のシーンの開始点の間の時間若しくはフレーム数）が、しきい値Ｔｔｈよりも短い場合に、それら２つのシーンＡ，Ｂを同じ部分動画に含める。しきい値Ｔｔｈは設定記憶部１６に予め設定されているものとする。

このとき、動画編集部１４は、２つのシーンＡ，Ｂの間の部分（つまり、抽出対象が登場していない部分）を、部分動画に含めてもよいし、含めなくてもよい。これも設定で変えられるようにするとよい。また、時間間隔Ｔａｂの長さに応じて、２つのシーンＡ，Ｂの間の部分を部分動画に含めるか否かを切り換えられるようにすることも好ましい。例えば、Ｔａｂが極めて短い場合（数フレーム程度）には手ブレや顔トラッキング処理のミスである可能性が高いので、２つのシーンＡ，Ｂの間の部分も残したほうがよいだろうし、逆にＴａｂが長い場合には別のシーンやＣＭが挿入されている可能性が高いので、２つのシーンＡ，Ｂの間の部分は不要であることが多いと考えられる。

この構成によれば、抽出対象が短時間だけフレームアウトした場合や、抽出対象が写るシーンの途中に他のシーン（ＣＭ含む）が挿入されていた場合や、顔の追跡において一時的に顔を見失った場合などでも、部分動画が細切れに分断されてしまうことを防ぐことができ、利便性が向上する。また、いわゆるＣＭ抜き編集にも応用可能である。

＜変形例＞
上述した実施形態の構成及び動作例は本発明の一具体例を例示するものにすぎない。本発明の範囲はこれらに限られることなく、その技術的思想の範囲内で種々の変形が可能である。以下、好ましい変形例を例示する。なお、上記動作例及び下記変形例は可能な限り
適宜組み合わせることが可能である。

・抽出対象決定部１２が、抽出対象として複数の人物を選ぶようにしてもよい。抽出対象の人数は、ユーザが都度指定してもよいし、設定記憶部１６に予め設定しておいてもよい。例えば第１動作例や第２動作例において複数の抽出対象を選ぶ場合は、ユーザの指定位置から近い順に複数の人物を選択したり、写りの良い順に複数の人物を選択したりすればよい。抽出対象が複数の場合、抽出対象ごとにシーンの特定や部分動画の作成を実行してもよいし、複数の抽出対象全員が含まれること、若しくは、複数の抽出対象のいずれかが含まれることを条件として、シーンの特定や部分動画の作成を実行してもよい。

・予め設定された属性条件（性別、年齢（年齢層）、人種など）を参照して、抽出対象の絞り込みを行ってもよい。例えば、ユーザの指定位置の近傍に複数の抽出対象候補が検出された場合に、それら候補の顔画像から属性推定を行い、上記属性条件に合致するものを優先的に抽出対象として選択する。これにより、より正確にユーザの意図を反映することができる。なお属性推定は公知の技術を利用可能である。

・上記動作例では、再生中の動画から部分動画の抽出を行っているが、抽出元の動画は再生中の動画に限らない。例えば、抽出元動画記憶部１５に格納されている１又は複数の動画を抽出元の動画とし、それらの動画から一括してシーンの特定及び部分動画の抽出を行ってもよい。これは、多数の動画をバッチ処理するのに適している。

・第５動作例に関して、２つのシーンＡ，Ｂをまとめるべきか否かの判定条件として、シーンＡの画像とシーンＢの画像との相関（連続性）の有無を採用してもよい。例えば、シーンＡの最後の１又は数フレームの画像と、シーンＢの最初の１又は数フレームの画像との間で、抽出対象の位置、大きさ、動きベクトルなどを比較する。それらの値が一致若しくは類似していたら、２つのシーンＡ，Ｂの画像に相関があるとみなし、シーンＡとＢを１つの部分動画とすればよい。また、２つのシーンＡ，Ｂの間の時間間隔がしきい値より短く、かつ、両シーンＡ，Ｂの画像に相関がある場合にのみ、２つのシーンＡ，Ｂをまとめるようにしても構わない。

図１は、本発明の実施形態に係る動画編集装置の機能構成を示すブロック図である。図２は、第１動作例を示す図である。図３は、第３動作例を示す図である。図４は、顔画像リストの表示例を示す図である。図５は、第５動作例を示す図である。

符号の説明

１０表示部
１１入力部
１２抽出対象決定部
１３シーン特定部
１４動画編集部
１５抽出元動画記憶部
１６設定記憶部
１７部分動画記憶部

Claims

動画を表示可能な表示手段と、
前記表示手段に表示された画像上の任意の位置をユーザに指定させ、その指定位置を中心とする所定の顔検出範囲の中で顔検出を実行することにより、その指定位置に存在する人物を抽出対象とする人物として決定する抽出対象決定手段と、
前記抽出対象とする人物の顔を、顔検出に用いられた画像を開始フレームとして、時間軸の順方向と逆方向のそれぞれに追跡することによって、抽出元の動画の中で前記人物が写っているシーンを特定するシーン特定手段と、
前記シーン特定手段により特定されたシーンを含む部分動画を、前記抽出元の動画から抽出する部分動画抽出手段と、
を備える動画編集装置。
動画を表示可能な表示手段を備えた動画編集装置が、
前記表示手段に表示された画像上の任意の位置をユーザに指定させ、その指定位置を中心とする所定の顔検出範囲の中で顔検出を実行することにより、その指定位置に存在する人物を抽出対象とする人物として決定し、
前記抽出対象とする人物の顔を、顔検出に用いられた画像を開始フレームとして、時間軸の順方向と逆方向のそれぞれに追跡することによって、抽出元の動画の中で前記人物が写っているシーンを特定し、
前記特定されたシーンを含む部分動画を、前記抽出元の動画から抽出する動画編集方法。
動画を表示可能な表示手段を備えた動画編集装置に、
前記表示手段に表示された画像上の任意の位置をユーザに指定させ、その指定位置を中心とする所定の顔検出範囲の中で顔検出を実行することにより、その指定位置に存在する人物を抽出対象とする人物として決定する処理と、
前記抽出対象とする人物の顔を、顔検出に用いられた画像を開始フレームとして、時間軸の順方向と逆方向のそれぞれに追跡することによって、抽出元の動画の中で前記人物が写っているシーンを特定する処理と、
前記特定されたシーンを含む部分動画を、前記抽出元の動画から抽出する処理と、
を実行させるプログラム。