JP5752585B2

JP5752585B2 - 映像処理装置、方法及びプログラム

Info

Publication number: JP5752585B2
Application number: JP2011275865A
Authority: JP
Inventors: 滋本井; 山本　晃司; 晃司山本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-12-16
Filing date: 2011-12-16
Publication date: 2015-07-22
Anticipated expiration: 2031-12-16
Also published as: US20130156321A1; JP2013126233A; US8873861B2

Description

本発明の実施形態は、映像処理装置、方法及びプログラムに関する。

結婚式や学校行事など多くの人が集まるイベントでは、複数の撮影者がカメラやビデオでイベントの様子や自分の周辺の様子を撮影する。しかし、個人が撮影した映像は、このようなイベントでの撮影に限らず無駄なシーンや失敗シーンを含むので、撮影者および他人が、未編集のまま個人が撮影した映像を見ることは退屈であり、視聴に要する時間も長くなる。
そこで、映像から重要な区間を抽出して短い映像に編集し、同一のイベントに関して複数の撮像装置により撮影された画像を効率的に閲覧する技術がある。

特開２００８−３１２０６１号公報

しかしながら、上述の技術は、撮影時刻で対応付けられた複数の映像区間のみが要約に重要な区間であるとして、対応付けられた映像区間から要約映像を生成するので、結婚式のスピーチやケーキカットなどイベントの重要シーンだけが含まれる要約となる。結果として、結婚式でテーブルに座っている友人などの映像といったイベントの重要シーンと関係がない個人的なシーンが含まれず、画一的な要約しか生成されない。

本開示は、多様性に富んだ高品質の要約を生成できる映像処理装置、方法及びプログラムを提供することを目的とする。

本実施形態に係る映像処理装置は、取得部、第１抽出部、生成部、第２抽出部、第１算出部、第１選択部、第３抽出部、第２算出部、第２選択部および統合部を含む。取得部は、画像および音響を含む複数の映像を取得する。第１抽出部は、前記映像ごとに、前記画像および前記音響の少なくともどちらか１つを解析し、映像の特性を示しかつ前記複数の映像の間で共通の特徴を示す１以上の特徴量を抽出する。生成部は、前記映像ごとに、前記特徴量の変化に応じて該映像を分割して時系列に沿った複数の区間を生成し、互いに異なる前記映像に含まれる１以上の区間の特徴量の類似度が第１閾値以上の区間を前記複数の映像間で対応付けて複数の対応区間を生成する。第２抽出部は、対応区間を含んだ前記映像の数が第２閾値以上であるかどうかを対応区間ごとに判定し、前記映像の数が該第２閾値以上の対応区間を共通映像区間として抽出する。第１算出部は、前記共通映像区間の前記特徴量のうちの少なくとも１つを用いて、共通映像区間で定義され時間を変数とするスコアであって該共通映像区間に含まれる映像部分を要約映像に含める度合いを示す第１要約スコアを算出する。第１選択部は、前記第１要約スコアに基づいて、前記共通映像区間から要約映像に用いる映像部分を共通要約区間として選択する。第３抽出部は、対応区間を含んだ前記映像の数が前記第２閾値よりも小さい第３閾値以下であるかどうかを対応区間ごとに判定し、前記映像の数が該第３閾値以下の対応区間を個別映像区間として抽出する。第２算出部は、前記個別映像区間の前記特徴量のうちの少なくとも１つを用いて、個別映像区間で定義され時間を変数とするスコアであって該個別映像区間に含まれる映像部分を要約映像に含める度合いを示す第２要約スコアを算出する。第２選択部は、前記第２要約スコアに基づいて、前記個別映像区間から要約映像に用いる映像部分を個別要約区間として選択する。統合部は、前記共通要約区間および前記個別要約区間を統合して要約映像を生成する。

第１の実施形態に係る映像処理装置を示すブロック図。第１の実施形態に係る映像処理装置の動作を示すフローチャート。共通要約スコアおよび個別要約スコアの算出方法の一例を示す図。共通映像区間と個別映像区間とにおける要約対象の選択方法を示す概念図。共通要約区間の選択方法の一例を示す図。個別要約区間の選択方法の一例を示す図。要約映像の生成方法の一例を示す図。第２の実施形態に係る映像処理装置を示すブロック図。

以下、図面を参照しながら本実施形態に係る映像処理装置、方法及びプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作を行うものとして、重複する説明を適宜省略する。
本実施形態に係る映像処理装置について図１のブロック図を参照して説明する。
本実施形態に係る映像処理装置１００は、映像取得部１０１、特徴量抽出部１０２、対応区間生成部１０３、共通区間抽出部１０４、共通区間スコア算出部１０５、共通要約区間選択部１０６、個別区間抽出部１０７、人物選択部１０８、個別区間スコア算出部１０９、個別要約区間選択部１１０、要約区間統合部１１１および要約映像出力部１１２を含む。

映像取得部１０１は、外部から複数の映像を取得する。なお、「映像」は、ここでは画像と音響とを含む動画を想定する。

特徴量抽出部１０２は、映像取得部１０１から複数の映像を受け取り、映像ごとに所定の時間単位で映像の特徴量を抽出する。特徴量は、画像から得られる映像の特性（以下、画像特徴という）および音響から得られる映像の特性（以下、音響特徴という）の少なくともどちらか一方から得られる値である。なお、所定の時間単位は、一定の時間間隔でもよいし、一定のフレーム数でもよい。さらに、抽出する特徴量は、画像特徴および音響特徴のどちらか一方でもよいし、両方を抽出してもよい。
また、入力された映像がＭＰＥＧ（Motion Pictures Expert Group）などで符号化された形式である場合は、特定の圧縮方式が用いられたフレームから特徴量を抽出してもよい。例えば、ＭＰＥＧではフレーム内予測方式であるＩピクチャと、フレーム間予測方式であるＰピクチャおよびＢピクチャと呼ばれるフレームとが存在するが、このうちのＩピクチャだけを用いればよい。ＰピクチャおよびＢピクチャでは、フレーム間予測に用いた他のフレームも含めて復号する必要があるが、Ｉピクチャではそのフレームだけを復号すればよいので、高速に処理できる。

画像特徴としては例えば、色や輝度などの画像自体から解析を必要としない低レベル特徴がある。さらに、エッジや周波数成分、動きの大きさ、局所特徴など比較的簡単な解析を行うことで得られる中レベル特徴と、顔検出などで得られる顔情報といった複数の解析を合わせて行うことで得られる高レベル特徴とがある。また、画像特徴は、色ヒストグラムなどの統計量を用いてもよい。
同様に音響特徴も、音量および周波数成分などの低レベル特徴と各種認識手法を用いて得られる高レベル特徴とがある。高レベル特徴としては例えば、音声認識で得られる文字情報や人の声、音楽などの音の種別、話者の識別または分類結果がある。
また、入力された映像がＭＰＥＧなどの符号化された形式である場合は、符号化されたデータを用いてもよい。符号化されたデータとは、例えば、画像であれば、ＤＣ成分情報、動きベクトル情報やその符号長である。また、音声であれば、周波数情報などを復号することなく抽出し、音響特徴とすることができる。

対応区間生成部１０３は、特徴量抽出部１０２から特徴量を受け取り、映像ごとに時間単位で抽出した特徴量が大きく変化する位置で、１つの映像を複数の区間に分割する。その後、各区間の特徴量を比較して類似度を算出する。複数の映像間で区間の類似度が閾値以上であれば、それらの区間を対応付けて対応区間を生成する。
共通区間抽出部１０４は、対応区間生成部１０３から対応区間を受け取り、対応区間に対応付けられた映像の数が第１閾値以上である場合、この対応区間を共通映像区間として抽出する。
共通区間スコア算出部１０５は、特徴量抽出部１０２から特徴量を、共通区間抽出部１０４から共通映像区間をそれぞれ受け取り、共通映像区間に含まれる映像の特徴量に基づいて、所定の時間単位で共通要約スコアを算出する。共通要約スコアは、どの程度要約映像に含まれるのに適する区間であるかの度合いを示す値であり、例えば画面に登場する顔の大きさや数、笑顔度、鮮明度などを用いて算出される。なお、共通区間スコア算出部１０５は、後述する人物選択部１０８から、要約映像の話題の中心となる要約対象に関する情報を受け取り、要約対象を含む映像部分の共通要約スコアが高くなるように重み付けをしてもよい。なお、要約対象は、本実施形態では要約映像の中心となる人物を例に説明するが、動物、施設および風景など各映像において中心的に撮影されるものであれば何でもよい。
共通要約区間選択部１０６は、共通区間スコア算出部１０５から共通映像区間および対応する共通要約スコアを受け取り、共通要約スコアに基づいて共通映像区間の中から要約映像として用いる映像部分を示す共通要約区間を選択する。

個別区間抽出部１０７は、共通区間抽出部１０４から対応区間を受け取り、対応区間に対応付けられた映像の数が第２閾値以下である場合、この対応区間を個別映像区間として抽出する。なお、第２閾値は、第１閾値未満であり、ゼロでもよい。すなわち、第２閾値がゼロである場合、２つ以上の映像が対応付けられた対応区間が存在すれば、それらの対応区間は共通映像区間として抽出され、その他の映像が個別映像区間として抽出される。
人物選択部１０８は、共通区間抽出部１０４から共通映像区間を、個別区間抽出部１０７から個別映像区間をそれぞれ受け取り、各区間における要約対象を選択する。
個別区間スコア算出部１０９は、人物選択部１０８から個別映像区間と要約対象に関する情報とを受け取り、共通区間スコア算出部１０５と同様に、個別映像区間に含まれる映像の特徴量に基づいて、所定の時間単位で個別要約スコアを算出する。なお、要約対象を含む個別映像区間の個別要約スコアが高くなるように重み付けをしてもよい。

個別要約区間選択部１１０は、個別区間スコア算出部１０９から個別映像区間および対応する個別要約スコアを受け取り、個別要約スコアに基づいて個別映像区間の中から要約映像として用いる区間を示す個別要約区間を選択する。
要約区間統合部１１１は、共通要約区間選択部１０６から共通要約区間を、個別要約区間選択部１１０から個別要約区間をそれぞれ受け取り、共通要約区間と個別要約区間とを統合して要約映像を生成する。
要約映像出力部１１２は、要約区間統合部１１１から要約映像を受け取り、要約映像を外部へ出力する。なお、要約映像の代わりに、映像と要約映像に対応する区間とを特定する情報だけでもよい。

次に、本実施形態に係る映像処理装置１００の動作について図２のフローチャートを参照して説明する。
ステップＳ２０１では、映像取得部１０１が、外部から複数の映像を取得する。
ステップＳ２０２では、特徴量抽出部１０２が、映像ごとに、所定の時間単位で映像の特徴量を算出する。
ステップＳ２０３では、対応区間生成部１０３が、時間単位ごとに抽出した特徴量が大きく変化する位置で、映像を複数の区間に分割する。例えば、画像のフレーム単位に色のヒストグラムを比較し、距離を算出する。そして、距離が大きくなったフレーム間で分割する。距離は、例えば、ヒストグラムのビンごとに頻度の差の絶対値を求め、全ビンの差の絶対値の総和を距離とする。

ステップＳ２０４では、対応区間生成部１０３が、複数の区間の間で、区間の特徴量を比較して類似度を算出する。例えば、区間の特徴量は、区間に含まれる時間単位の特徴量の平均値または特徴量の分布をもとに作成したモデルのパラメータなどを用いればよい。続いて、対応区間生成部１０３が、複数の映像から、区間の類似度が閾値以上である区間をそれぞれ対応付けることで、対応区間を生成する。
ステップＳ２０５では、共通区間抽出部１０４が、対応区間にＮ個以上（Ｎは２以上の自然数）の数の映像が対応付けられているどうかを判定する。映像の数がＮ個以上である場合はステップＳ２０６に進み、映像の数が第１閾値未満である場合は、ステップＳ２０９に進む。
ステップＳ２０６では、対応区間にＮ個以上の数の映像が含まれる場合はイベントの重要なシーンを含むと推測されるので、共通区間抽出部１０４が、それらの対応区間を共通映像区間として抽出する。

ステップＳ２０７では、共通区間スコア算出部１０５が、所定の時間単位における共通映像区間に含まれる映像について、特徴量を用いて共通要約スコアを算出する。なお、所定の時間単位は、上述した一定の時間間隔または一定のフレーム数に加えて、特徴量を算出した区間単位など一定ではない時間間隔でもよい。
ステップＳ２０８では、共通要約区間選択部１０６が、共通映像区間の中から共通要約スコアが閾値以上である映像部分を共通要約区間として選択する。
ステップＳ２０９では、個別区間抽出部１０７が、対応区間に対応付けられた映像の数が、Ｍ個以下（Ｍは整数、但し、０≦Ｍ＜Ｎ）であるかどうかを判定する。映像の数がＭ個以下である場合は、ステップＳ２１０に進み、映像の数がＭ個より大きい場合は、ステップＳ２１３に進む。
ステップＳ２１０では、個別区間抽出部１０７が、それらの対応区間を個別映像区間として抽出する。

ステップＳ２１１では、個別区間スコア算出部１０９が、特徴量を用いて所定の時間単位における個別映像区間に含まれる映像ごとに、個別要約スコアを算出する。
ステップＳ２１２では、個別要約区間選択部１１０が、個別映像区間から個別要約スコアが閾値以上である映像部分を個別要約区間として選択する。
ステップＳ２１３では、要約区間統合部１１１が、共通要約区間および個別要約区間を統合して要約映像を生成する。
ステップＳ２１４では、要約映像出力部１１２が、要約映像を外部に出力する。以上で本実施形態に係る映像処理装置１００の動作を終了する。

次に、共通区間スコア算出部１０５と個別区間スコア算出部１０９とにおいてそれぞれ算出される共通要約スコアと個別要約スコアとの算出方法の一例について、図３を参照して説明する。
図３では、映像の特性を表わすための要素を、映像から抽出してゼロから１の間でスコア付けした値の時間変化を示す。具体的には、顔の数３０１、顔の大きさ３０２、笑顔度３０３、鮮明度３０４、発話３０５、歓声３０６および中心人物３０７といった要素のスコアを算出する。

要約スコア３０８は、上述の要素ごとのスコアを加算して正規化した値である。加算する際に、要素ごとの重要度に応じて重み付けして加算してもよい。例えば、特定の人物が重要なイベントであれば、中心人物３０７、顔の大きさ３０２、および発話３０５のスコアが高くなるように重み付けし、歓声３０６のスコアが低くなるように重み付けすればよい。
なお、ここでは要約スコアを複数の要素から算出する例を示したが、映像の時間変化とともにスコアの変化があれば、ひとつの要素から要約スコアを算出してもよい。また、算出コスト削減のために適宜要素数を減らしてもよい。また、スコアの変化は画像のフレームを基準として算出してもよく、例えば画像に付した番号（フレーム番号）をもとに算出してもよい。

次に、共通区間スコア算出部１０５、人物選択部１０８および個別区間スコア算出部１０９における処理について図４を参照して説明する。
図４は、撮影者Ａ、撮影者Ｂおよび撮影者Ｃのそれぞれが撮影した映像を示し、各映像間で対応する対応区間は、同じ種類の塗りつぶしパターンが用いられている。ここで、共通映像区間４０１と個別映像区間４０２とがすでに抽出されているとする。
人物選択部１０８は、映像ごとに顔検出で得られた複数の顔の特徴量をクラスタリングして人物ごとに分類する。続いて、人物選択部１０８は、クラスタの要素数が閾値以上である人物を要約対象として選択する。共通区間スコア算出部１０５および個別区間スコア算出部１０９ではそれぞれ、共通要約区間および個別要約区間において、要約対象が映像に含まれる映像区間のスコアが高くなるように重み付けして、共通要約スコアおよび個別要約スコアをそれぞれ算出する。

具体的には、例えば結婚式のイベントでは新郎新婦が要約対象となると想定される。従って、新郎新婦の映像を含む映像区間の共通要約スコア、および新郎新婦の映像を含む映像区間の個別要約スコアが高くなるように重み付けをする。また、顔クラスタリングと異なる手法として、音響特徴による話者クラスタリングを行い、人物ごとに分類してもよい。この場合、音響特徴として例えば周波数成分からＭＦＣＣ（メル周波数ケプストラム係数）などを用いてもよい。
このように、要約対象が多く出現するコンテンツについては、個別要約スコアを算出する際に、要約対象を含む映像区間のスコアを高くすることにより、イベントの中心人物に関連しつつ個別の映像も含めることができるので、要約の主題に沿って多様性に富んだ要約映像を生成することができる。

一方、顔クラスタリングや話者クラスタリングで得られた人物ごとのクラスタの要素数が一定の閾値よりも小さい場合は、全体を通しての要約対象がいないと想定される。この場合は、共通映像区間４０１および個別映像区間４０２ごとに顔クラスタリングまたは話者クラスタリングを行い、クラスタの要素数が閾値よりも大きい場合、閾値を超えた要素数を含む映像区間の共通要約スコアまたは個別要約スコアが高くなるように重み付けする。
例えば、セミナーや学会などでは複数の講師、複数の発表者が講演することが想定され、共通映像区間として各講演が抽出されることが想定されるが、共通映像区間全体を通して要約対象として選択される人物はいないと想定される。そこで、共通映像区間ごとの要約対象を算出することで、各講師、および各発表者の映像を含む区間のスコアが高くなり、要約映像として含めることができる。

また、個別区間スコア算出部１０９は、共通映像区間として選択された区間の特徴量と、個別映像区間として選択された区間の特徴量とを比較し、互いの特徴量が異なる値であるほど個別映像区間の要約スコアが高くなるように重み付けしてもよい。この場合、個別区間スコア算出部１０９は、人物選択部１０８から共通映像区間と個別映像区間とを、特徴量抽出部１０２から共通映像区間と個別映像区間とに対応する特徴量を受け取る。その後、画像特徴として動きベクトルを用いて、共通映像区間の映像の動きベクトルと個別映像区間の映像の動きベクトルとの類似度を計算し、類似度が閾値より低い個別映像区間の要約スコアに対して、要約スコアが高くなるように重み付けを行えばよい。
なお、共通映像区間および個別映像区間の数が増加し、要約スコアの計算に時間がかかる場合は、映像区間における色やエッジ成分をヒストグラム化して比較することで、高速に類似度を求めることができる。また、特徴量が音響特徴である場合にも同様に類似度を計算することができる。

さらに、個別区間スコア算出部１０９は、共通映像区間と個別映像区間とにおいて特徴量の類似度を計算した場合と同様に、個別映像区間どうしの特徴量を比較した場合に、互いに異なる特徴量を有するほど要約スコアが高くなるように重み付けしてもよい。
また、個別区間スコア算出部１０９は、個別映像区間の対応付けられた区間の数が少ないほど、この個別映像区間の要約スコアを高く設定してもよい。このようにすることで、個別要約区間としてよりばらけた映像区間を選択することができる。

次に、共通要約区間選択部１０６における共通要約区間の選択処理について図５を参照して説明する。
一例として図３の要約スコア３０８に基づいて共通要約区間を選択する場合を示す。図５に示すように、共通要約区間選択部１０６は、要約スコアが閾値５０１以上の区間である、区間５０２−１から区間５０２−４までを共通要約区間として選択する。なお、閾値５０１は、予め設定した値でもよいし、要約区間の数または要約区間の時間の総和が所定の値となるように設定されてもよい。例えば要約区間の時間が１５分である場合、１５分の要約映像となるように閾値以上の映像区間を組み合わせればよい。

次に、個別要約区間選択部１１０における個別要約区間の選択処理について図６を参照して説明する。
図６は、撮影者Ａ、撮影者Ｂおよび撮影者Ｃが撮影した映像の要約スコア６０１−１、要約スコア６０１−２および要約スコア６０１−３をそれぞれ示す。共通要約区間選択部１０６と同様に個別要約区間選択部１１０は、各映像から、要約スコアが閾値６０２以上である区間６０３−１から区間６０３−５を個別要約区間として選択する。なお、閾値６０２は、共通要約区間選択部１０６における閾値と同じ値でもよいし、異なる値に設定されてもよい。

また、撮影者によって異なる閾値６０２が設定されてもよい。こうすることで、個別要約区間に、要約対象以外の所望の人物を多く含む要約映像を生成することができる。例えば、結婚式において、新郎新婦の親族が撮影した映像の閾値を低く設定し、友人が撮影した映像の閾値を高く設定する。これによって、要約スコアの閾値が低い映像からは多くの区間が個別要約区間として選択され、要約スコアの閾値が高い映像から選択される区間は少なくなる。結果として、個別要約区間として親族が映る映像区間が多く含まれるので、親族が要約映像を閲覧する際に楽しめる要約映像を生成することができる。

次に、要約区間統合部１１１の統合処理について図７を参照して説明する。
図７では、共通要約区間選択部１０６と個別要約区間選択部１１０とにおいてそれぞれ抽出された共通要約区間と個別要約区間とを、時系列順に統合して要約映像を生成する。具体的には、１番早い時刻である共通要約区間５０２−１を選択し、２番目に早い時刻である撮影者Ａが撮影した映像区間である個別要約区間６０３−１を選択し、続いて３番目に早い時刻である撮影者Ｂが撮影した映像区間である個別要約区間６０３−２を選択するといった手順で各区間を統合して要約映像７０１を生成する。なお、ここでは時系列順に各要約区間を統合したが、先に共通要約区間５０２のみを統合し、その後に個別要約区間６０３のみを統合してもよい。このようにすることで、要約映像７０１のバリエーションを増やすことができる。

以上に示した第１の実施形態によれば、複数の映像から要約映像を作成する際に、映像に関する特徴量を用いて区間の対応付けを行い、イベントの重要シーンとなる共通要約区間と重要シーンと異なる個別の映像である個別要約区間とを用いて要約映像を生成することにより、重要シーンに加え、個人的な映像も要約映像に含めることができる。よって、重要シーンのみで構成されるような画一的な要約ではなく、多様性に富んだ高品質の要約映像を生成できる。

（第２の実施形態）
第２の実施形態では、典型パターンに対応する映像区間を要約映像に含める点が異なる。典型パターンは、所定の映像構成となるような映像区間の組み合わせを示す。要約映像に典型パターンを含めた構成にすることで、より高品質な要約映像を生成することができる。
第２の実施形態に係る映像処理装置について図８のブロック図を参照して説明する。
第２の実施形態に係る映像処理装置８００は、映像取得部１０１、特徴量抽出部１０２、対応区間生成部１０３、共通区間抽出部１０４、共通区間スコア算出部１０５、共通要約区間選択部１０６、個別区間抽出部１０７、人物選択部１０８、個別区間スコア算出部１０９、要約区間統合部１１１、要約映像出力部１１２、典型パターン検出部８０１、スコア補正部８０２および個別要約区間選択部８０３を含む。
なお、映像取得部１０１、特徴量抽出部１０２、対応区間生成部１０３、共通区間抽出部１０４、共通区間スコア算出部１０５、共通要約区間選択部１０６、個別区間抽出部１０７、人物選択部１０８、個別区間スコア算出部１０９、要約区間統合部１１１および要約映像出力部１１２は、第１の実施形態と同様の動作を行うためここでの説明は省略する。

典型パターン検出部８０１は、個別区間スコア算出部１０９から個別映像区間の特徴量を受け取り、典型パターン辞書から典型パターンの特徴量モデルをそれぞれ受け取り、個別映像区間の特徴量と典型パターンの特徴量モデルとを比較して類似度を算出する。特徴量モデルは、典型パターンとしての映像の特徴量をモデル化し、時系列に表したモデルである。なお、典型パターン辞書は、典型パターン検出部８０１に予め格納してもよいし、外部から参照するようにしてもよい。

スコア補正部８０２は、典型パターン検出部８０１から個別映像区間と個別映像区間に対応する類似度とを受け取り、類似度が閾値以上である個別映像区間の要約スコアには補正値を加算し、補正要約スコアを算出する。具体的には、後段の個別要約区間選択部１１０において個別要約区間として選択されるように、個別要約区間選択部１１０で設定される閾値よりも高くなるように補正値を設定すればよい。
個別要約区間選択部８０３は、第１の実施形態とほぼ同様の動作を行い、スコア補正部８０２から要約スコアまたは補正要約スコアを受け取り、要約スコアおよび補正要約スコアに基づいて個別要約区間を選択する。
以下、典型パターンの具体例について説明する。
複数の映像が撮影されるイベントとしては、例えば、結婚式、学芸会、舞台、演劇、ダンス、運動会、音楽ライブ、セミナー、講演、スポーツ観戦、花火大会、パーティなどが挙げられる。
それぞれのイベントにおいて、個別要約区間となり得るシーンや撮影対象を列挙すると、例えば結婚式では、式場付近のシーン、受付待ちの友人の談話シーン、コース料理、座席の友人の様子、入退場時の会場の様子、また共通要約区間として選択されたシーン（例えば、友人による余興）における会場の雰囲気などが挙げられる。学芸会では、会場付近のシーン、演目の前後のシーン、休憩中の会場の雰囲気、および、家族と友人と特定の演者とのいずれかを大写しにしたシーンが挙げられる。
また、運動会においては、門や校舎、観客席、家族、友人、先生、お弁当、スコアボード、特定の人物を大写しにしたシーンなどが挙げられる。音楽ライブなどにおいては、曲間の会場、演奏時の会場、休憩中の会場の雰囲気などが挙げられる。セミナーなどにおいては、講師と講師との間のシーン、会場の雰囲気、休憩中の会場の雰囲気などが挙げられる。花火大会については、会場のシーン、友人、家族、料理、景色などが挙げられる。パーティなどでは、会場シーン、プレゼント、料理、友人および家族などが挙げられる。

上述の項目のうち、例えば料理を典型パターンとしたい場合は、お皿の色またはエッジ特徴量を典型パターンの特徴量モデルのパラメータとすればよい。また、建物内のシーンを典型パターンとしたい場合は、構図やエッジ特徴量などを典型パターンの特徴量モデルのパラメータとすればよい。なお、典型パターン辞書の代わりに認識技術を用いてもよい。

以上に示した第２の実施形態によれば、個別映像区間の特徴量と典型パターンの特徴量モデルとの類似度を比較し、閾値以上の類似度を有する映像区間を要約映像に含めることで、プロの編集者が編集したような典型パターンに沿った要約映像となり、より高品質な要約映像を生成することができる。

なお、本実施形態では映像として動画を想定しているが、静止画についても同様の処理を行うことができる。１秒間に１枚から１０数枚程度の細かい間隔で撮影された静止画であれば、動画を１フレームごとに展開して処理したものと考えられるので、画像特徴のみを用いて上述した処理を行い、要約画像を生成することができる。また、一般的な撮影間隔の写真であっても、撮影時間が近いものをクラスタリングした上で、画像特徴から写真間の類似度を算出して対応付けることで、同様の処理を行うことができる。
上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した映像処理装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の映像処理装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，８００・・・映像処理装置、１０１・・・映像取得部、１０２・・・特徴量抽出部、１０３・・・対応区間生成部、１０４・・・共通区間抽出部、１０５・・・共通区間スコア算出部、１０６・・・共通要約区間選択部、１０７・・・個別区間抽出部、１０８・・・人物選択部、１０９・・・個別区間スコア算出部、１１０，８０３・・・個別要約区間選択部、１１１・・・要約区間統合部、１１２・・・要約映像出力部、３０１・・・顔の数、３０２・・・顔の大きさ、３０３・・・笑顔度、３０４・・・鮮明度、３０５・・・発話、３０６・・・歓声、３０７・・・中心人物、３０８，６０１・・・要約スコア、４０１・・・共通映像区間、４０２・・・個別映像区間、５０１，６０２・・・閾値、５０３・・・共通要約区間、６０３・・・個別要約区間、７０１・・・要約映像、８０１・・・典型パターン検出部、８０２・・・スコア補正部。

Claims

画像および音響を含む複数の映像を取得する取得部と、
前記映像ごとに、前記画像および前記音響の少なくともどちらか１つを解析し、映像の特性を示しかつ前記複数の映像の間で共通の特徴を示す１以上の特徴量を抽出する第１抽出部と、
前記映像ごとに、前記特徴量の変化に応じて該映像を分割して時系列に沿った複数の区間を生成し、互いに異なる前記映像に含まれる１以上の区間の特徴量の類似度が第１閾値以上の区間を前記複数の映像間で対応付けて複数の対応区間を生成する生成部と、
対応区間を含んだ前記映像の数が第２閾値以上であるかどうかを対応区間ごとに判定し、前記映像の数が該第２閾値以上の対応区間を共通映像区間として抽出する第２抽出部と、
前記共通映像区間の前記特徴量のうちの少なくとも１つを用いて、共通映像区間で定義され時間を変数とするスコアであって該共通映像区間に含まれる映像部分を要約映像に含める度合いを示す第１要約スコアを算出する第１算出部と、
前記第１要約スコアに基づいて、前記共通映像区間から要約映像に用いる映像部分を共通要約区間として選択する第１選択部と、
対応区間を含んだ前記映像の数が前記第２閾値よりも小さい第３閾値以下であるかどうかを対応区間ごとに判定し、前記映像の数が該第３閾値以下の対応区間を個別映像区間として抽出する第３抽出部と、
前記個別映像区間の前記特徴量のうちの少なくとも１つを用いて、個別映像区間で定義され時間を変数とするスコアであって該個別映像区間に含まれる映像部分を要約映像に含める度合いを示す第２要約スコアを算出する第２算出部と、
前記第２要約スコアに基づいて、前記個別映像区間から要約映像に用いる映像部分を個別要約区間として選択する第２選択部と、
前記共通要約区間および前記個別要約区間を統合して要約映像を生成する統合部と、を具備することを特徴とする映像処理装置。
前記第２算出部は、前記共通映像区間の特徴量と前記個別映像区間の特徴量とを比較し、互いの特徴量が異なるほど該個別映像区間の第２要約スコアが高くなるように重み付けることを特徴とする請求項１に記載の映像処理装置。
前記第２算出部は、前記個別映像区間の特徴量どうしを比較し、互いの特徴量が異なるほど互いの第２要約スコアが高くなるように重み付けることを特徴とする請求項１または請求項２に記載の映像処理装置。
前記第２算出部は、前記個別映像区間として対応付けられた映像の数が少ないほど該個別映像区間の第２要約スコアが高くなるように重み付けることを特徴とする請求項１から請求項３のいずれか１項に記載の映像処理装置。
所定の映像構成となる映像区間の組み合わせを示す典型パターンの特徴量モデルと、前記個別映像区間の特徴量との類似度を算出し、該類似度が第４閾値以上である第１個別映像区間を検出する検出部と、
前記第１個別映像区間について、該第１個別映像区間の第２要約スコアに補正値を加算し、補正要約スコアを生成する補正部と、をさらに具備し、
前記第２選択部は、前記第２要約スコアおよび前記補正要約スコアに基づいて前記個別要約区間を選択することを特徴とする請求項１から請求項４のいずれか１項に記載の映像処理装置。
前記共通映像区間および前記個別映像区間のそれぞれにおいて、前記要約映像の話題の中心となる要約対象を選択する第３選択部をさらに具備し、
前記第２算出部は、前記要約対象を含む個別映像区間の第２要約スコアが高くなるように重み付けることを特徴とする請求項１から請求項５のいずれか１項に記載の映像処理装置。
画像および音響を含む複数の映像を取得し、
前記映像ごとに、前記画像および前記音響の少なくともどちらか１つを解析し、映像の特性を示しかつ前記複数の映像の間で共通の特徴を示す１以上の特徴量を抽出し、
前記映像ごとに、前記特徴量の変化に応じて該映像を分割して時系列に沿った複数の区間を生成し、互いに異なる前記映像に含まれる１以上の区間の特徴量の類似度が第１閾値以上の区間を前記複数の映像間で対応付けて複数の対応区間を生成し、
対応区間を含んだ前記映像の数が第２閾値以上であるかどうかを対応区間ごとに判定し、前記映像の数が該第２閾値以上の対応区間を共通映像区間として抽出し、
前記共通映像区間の前記特徴量のうちの少なくとも１つを用いて、共通映像区間で定義され時間を変数とするスコアであって該共通映像区間に含まれる映像部分を要約映像に含める度合いを示す第１要約スコアを算出し、
前記第１要約スコアに基づいて、前記共通映像区間から要約映像に用いる映像部分を共通要約区間として選択し、
対応区間を含んだ前記映像の数が前記第２閾値よりも小さい第３閾値以下であるかどうかを対応区間ごとに判定し、前記映像の数が該第３閾値以下の対応区間を個別映像区間として抽出し、
前記個別映像区間の前記特徴量のうちの少なくとも１つを用いて、個別映像区間で定義され時間を変数とするスコアであって該個別映像区間に含まれる映像部分を要約映像に含める度合いを示す第２要約スコアを算出し、
前記第２要約スコアに基づいて、前記個別映像区間から要約映像に用いる映像部分を個別要約区間として選択し、
前記共通要約区間および前記個別要約区間を統合して要約映像を生成することを具備することを特徴とする映像処理方法。
コンピュータを、
画像および音響を含む複数の映像を取得する取得手段と、
前記映像ごとに、前記画像および前記音響の少なくともどちらか１つを解析し、映像の特性を示しかつ前記複数の映像の間で共通の特徴を示す１以上の特徴量を抽出する第１抽出手段と、
前記映像ごとに、前記特徴量の変化に応じて該映像を分割して時系列に沿った複数の区間を生成し、互いに異なる前記映像に含まれる１以上の区間の特徴量の類似度が第１閾値以上の区間を前記複数の映像間で対応付けて複数の対応区間を生成する生成手段と、
対応区間を含んだ前記映像の数が第２閾値以上であるかどうかを対応区間ごとに判定し、前記映像の数が該第２閾値以上の対応区間を共通映像区間として抽出する第２抽出手段と、
前記共通映像区間の前記特徴量のうちの少なくとも１つを用いて、共通映像区間で定義され時間を変数とするスコアであって該共通映像区間に含まれる映像部分を要約映像に含める度合いを示す第１要約スコアを算出する第１算出手段と、
前記第１要約スコアに基づいて、前記共通映像区間から要約映像に用いる映像部分を共通要約区間として選択する第１選択手段と、
対応区間を含んだ前記映像の数が前記第２閾値よりも小さい第３閾値以下であるかどうかを対応区間ごとに判定し、前記映像の数が該第３閾値以下の対応区間を個別映像区間として抽出する第３抽出手段と、
前記個別映像区間の前記特徴量のうちの少なくとも１つを用いて、個別映像区間で定義され時間を変数とするスコアであって該個別映像区間に含まれる映像部分を要約映像に含める度合いを示す第２要約スコアを算出する第２算出手段と、
前記第２要約スコアに基づいて、前記個別映像区間から要約映像に用いる映像部分を個別要約区間として選択する第２選択手段と、
前記共通要約区間および前記個別要約区間を統合して要約映像を生成する統合手段として機能させるための映像処理プログラム。
複数の画像を含む１以上の画像群を取得する取得部と、
前記画像群ごとに、前記画像を解析し、画像の特性を示しかつ前記１以上の画像群の間で共通の特徴を示す１以上の特徴量を抽出する第１抽出部と、
前記画像群ごとに、前記特徴量の変化に応じて該画像群に含まれる画像同士の特徴量の類似度が第１閾値以上の画像を前記複数の画像間で対応付けて、複数の画像を含む対応画像を生成する生成部と、
前記対応画像を含んだ前記画像群の数が第２閾値以上であるかどうかを対応画像ごとに判定し、前記画像群の数が該第２閾値以上の対応画像を共通画像として抽出する第２抽出部と、
前記共通画像の前記特徴量を用いて、共通画像で定義され時間を変数とするスコアであって該共通画像に含まれる画像を要約画像に含める度合いを示す第１要約スコアを算出する第１算出部と、
前記第１要約スコアに基づいて、前記共通画像から要約画像に用いる画像を第１要約画像として選択する第１選択部と、
前記対応画像を含んだ前記画像群の数が前記第２閾値よりも小さい第３閾値以下であるかどうかを対応画像ごとに判定し、前記画像群の数が該第３閾値以下の対応画像を個別画像として抽出する第３抽出部と、
前記個別画像の前記特徴量を用いて、個別画像で定義され時間を変数とするスコアであって該個別画像に含まれる画像を要約画像に含める度合いを示す第２要約スコアを算出する第２算出部と、
前記第２要約スコアに基づいて、前記個別画像から要約画像に用いる画像を第２要約画像として選択する第２選択部と、
前記第１要約画像および前記第２要約画像を統合して要約映像を生成する統合部と、を具備することを特徴とする映像処理装置。