JP4893641B2 - ダイジェスト生成装置及びダイジェスト生成方法 - Google Patents

Description

本発明は、ビデオカメラや、デジタルカメラ、さらには動画撮影機能を有する携帯電話等の動画撮影装置で撮影した動画ファイルの要約であるダイジェストを生成するダイジェスト生成装置及びダイジェスト生成方法に関する。

撮影日時間隔を基準として、撮影画像を複数のグループに分け、各グループ内の代表画像を決定する方法がある（例えば、特許文献１参照）。

特開２００４−２９５２３１号公報

しかし、上記方法では、撮影画像のジャンルに関わらず撮影日時間隔に基づいて撮影画像を複数のグループに分けているため、ジャンル毎に最適な代表画像を抽出できない、という問題がある。

特に、ビデオカメラ等の動画撮影装置で撮影した動画ファイルの場合、ジャンルによって動画ファイルの中に含まれる代表部分または特徴部分が異なる、という問題もある。

そこで、本発明は、撮影して得られた複数の動画ファイルを最適にシーン分類し、またジャンル毎に最適な部分を抽出したダイジェストを生成することができるダイジェスト作成装置及びダイジェスト生成方法を提供することを目的とする。

上記の目的を達成するため、本発明のダイジェスト生成装置またはダイジェスト生成方法は、撮影して得られた複数の動画ファイルからダイジェストを生成する際、前記複数の動画ファイルに付与された各動画ファイルのイベントのジャンルを示すジャンル情報と、前記イベントを互いに識別するためのイベント識別情報とが記述されたタグの前記イベント識別情報に基づいて前記複数の動画ファイルをイベント毎に分類し、前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類し、前記タグに記述された前記ジャンル情報に基づくダイジェスト生成法により、前記シーン毎に分類された複数の動画ファイルから一部分を抽出してダイジェストとして生成するものである。

ここで、イベント毎に分類された複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類する際、ジャンル毎に予め閾値を設定しておき、前記イベント毎に分類された前記複数の動画ファイルの前記タグに記述された前記ジャンル情報に基づいて、前記複数の動画ファイルのジャンルに応じた前記閾値を設定し、設定した前記閾値と前記動画ファイル間の撮影間隔とに基づいてシーン毎に分類するようにしても良いし、ジャンル毎に予め閾値の最大値または最小値を設定しておき、各イベントを構成する動画ファイルの属性情報に基づいて前記閾値を決定し、前記イベント毎に分類された前記複数の動画ファイルの前記タグに記述された前記ジャンル情報に基づいて、前記複数の動画ファイルのジャンルに応じた最大値または最小値と、属性情報に基づいて決定した閾値とを比較し、属性情報に基づいて決定した前記閾値が最大値以上または最小値以下の場合、その最大値または最小値を選択する一方、属性情報に基づいて決定した閾値が最大値より小さいまたは最小値より大きい場合、属性情報に基づいて決定した閾値を選択し、選択した閾値または最大値と、動画ファイル間の撮影間隔とに基づいてシーン毎に分類するようにしても良い。また、各イベントを構成する動画ファイルの属性情報に基づいて前記閾値を決定し、かつ、各イベントのジャンルが特定のジャンルの場合のみ、前記属性情報に基づいて決定した前記閾値を所定係数に基づいて調整して、ジャンル毎の閾値の最大値または最小値による制限を行わないようにしても良い。なお、属性情報は、イベントの長さであっても良いし、イベントを構成する動画ファイルの撮影間隔の平均や、イベントを構成する動画ファイルの撮影位置を示す位置情報、さらにはこれらの組合せであっても良い。

本発明のダイジェスト生成装置および方法によれば、複数の動画ファイルを最適にシーン分類し、またジャンル毎に最適な部分を抽出したダイジェストを生成することができる。

実施形態１．
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。

図１は、本発明になるダイジェスト生成装置の一実施の形態のブロック図を示す。本実施の形態のダイジェスト生成装置は、ビデオカメラに適用されたもので、図１に示すように、コンテンツ保持部１１、撮影部３１、タグ作成部３２、イベント分類部４１、シーン分類部４２、ダイジェスト生成部４３、及び入力指示部４４を有する。

コンテンツ保持部１１は、ビデオカメラで撮影した複数の動画ファイル２１と、各動画ファイルに付与されたタグ２２を保持している。すなわち、コンテンツ保持部１１には、撮影部３１により撮影された撮影日時または記録日時が付与された動画ファイル２１が複数記録されている。そして、各動画ファイル２１には、ユーザの操作等に基づくタグ作成部３２により作成された、各動画ファイルに記録されたイベントのジャンル、すなわち運動会、旅行等のイベントの種類または内容を示すジャンル情報と、イベントを互いに識別するためのイベント識別情報、すなわち例えば運動会という同一ジャンルでも別々の運動会毎に運動会１、運動会２等というように同一ジャンルでも互いに識別できるようにした重複しない数値情報等とが記述されたタグ２２が付与されている。なお、各動画ファイルへのタグの付与を、本装置外で行うことも可能であり、この場合には、本装置からタグ作成部３２を省略することができる。同様に、コンテンツ保持部１１、撮影部３１、入力指示部４４を本装置外に備えていても勿論よい。

ここで、「イベント」とは、広義には旅行や運動会等の撮影した内容をいうが、本発明および本実施形態では、タグ作成部３２によって各動画ファイルに付与されたタグ２２が共通な動画ファイルの単位をいう。また、「ジャンル」は、「運動会」、「旅行」等のイベントの内容を示す。従って、１つのイベントにつき１つのジャンルが対応し、動画ファイルのジャンルは、各動画ファイルに付与されたジャンル情報によって特定され、同一ジャンルのイベントは重複しない数値情報等のイベント識別情報によって識別される。なお、イベント識別情報は、同一ジャンルのイベント間だけでなく、種類の異なるイベントとの間でも、重複しない数値情報等としても勿論良い。

図２は、上記のイベントのジャンルの各例を示す。ジャンルには、例えば、旅行・レジャー、運動会、スポーツ、子供・ペット、結婚式・パーティーがあり、タグ作成部３２が各イベントにイベント情報として付与する。

本実施形態では、これらのジャンル毎にシーン分類の閾値及びダイジェスト生成法を定めており、ここでは、例えば、「旅行・レジャー」のジャンルにはシーン分類閾値ａ及びダイジェスト生成法Ａ、「運動会・スポーツ」のジャンルにはシーン分類閾値ｂ及びダイジェスト生成法Ｂ、「子供・ペット」のジャンルにはシーン分類閾値ｃ及びダイジェスト生成法Ｃ、「結婚式・パーティー」のジャンルにはシーン分類閾値ｄ及びダイジェスト生成法Ｄを設定している。なお、Ａ〜Ｄのシーン分類閾値およびダイジェスト生成法については後述する。

図１に戻って説明する。イベント分類部４１は、タグ２２に記述されたジャンル情報とイベント識別情報等により、動画ファイルを同一イベントを撮影した動画ファイル毎に分類する。例えば、別々の運動会や旅行で撮影した複数の動画ファイルを、タグ２２に記述された運動会１、運動会２、旅行１等のジャンル情報とイベント識別情報とによりイベント毎に分類する。なお、ジャンル情報の後に続く“１”、“２”等のイベント識別情報だけでイベントを識別できる場合、すなわち異なるジャンルのイベントでも重複しないようにイベント識別情報が付与されている場合には、イベント識別情報だけでイベントを識別することができる。

続いて、シーン分類部４２は、イベント分類部４１で同一イベントとして分類された動画ファイルを、例えば、図２に示すようなジャンル毎の閾値ａ〜ｄによりシーン毎に分類し、同一イベントの動画ファイルを同じシーン毎に分類する。

図３は、本実施形態１におけるシーン分類部４２での処理の流れを示すフローチャートである。

まず、シーン分類部４２は、イベント分類部４１によってタグ２２に基づいてイベント毎に分類された動画ファイル２１から連続して撮影されたシーンの撮影間隔を算出する（Ｓ１０１）。これは、この撮影間隔がある閾値以上である場合は、その間隔の前後で別々のシーンとして分類するためである。以降のステップでは、ジャンル毎にこの閾値を決定する。なお、以降、動画ファイルを単にファイルと省略して説明する場合がある。

例えば、ジャンルが「旅行・レジャー」の場合、いくつかの場所を移動することが多いため、この場所毎にシーンとして分割することが望まれる。一般的に移動中には撮影をしないことが多く、ある程度長い時間を移動に費やすことが多い。よって、このジャンル「旅行・レジャー」では、ファイルの録画時刻の間隔が、ある程度長い閾値以上であったときにシーンの分割を行う。

図４は、例えばある旅行等の同一イベントで撮影した１３個の動画ファイルのシーン分類の一例を示している。

１３個の動画ファイルそれぞれには、撮影開始時刻、撮影終了時刻が記述されており、これらのファイルで「旅行・レジャー」イベントでの閾値を説明する。一般的な旅行では移動に３０分以上かかると考え、「旅行・レジャー」イベントでのシーン分類の閾値ａを例えば「３０分」とする。勿論、この「３０分」は一例であり、１時間でも、２時間でも、さらには日付単位でも勿論良い。

シーン分類部４２は、図４のファイル１〜ファイル１３の各々について前のファイルからの撮影間隔を算出して、それが上記の閾値ａの「３０分」以上であったときにシーンの分類を行うことにより、図４の最右列に示すように６つのシーンに分類する（Ｓ１０２“Ｙｅｓ”，Ｓ１０３）。

次に、ジャンルが「運動会・スポーツ」の場合の閾値ｂとしては、このジャンルでは、競技あるいは試合毎にシーンとして分類を行うことが望まれる。一般的に競技や試合の間隔は旅行の移動時間よりも短い。そこで、閾値ｂを例えば「１０分」としてシーン分類を行う（Ｓ１０４“Ｙｅｓ”，Ｓ１０５）。

また、ジャンルが「子供・ペット」の場合の閾値ｃとしては、このジャンルに分類されるファイル群として、撮影内容が以下の２通り考えられる。「被写体を長い期間撮影したもの」、そして「旅行等のイベントを子供・ペット中心に撮影したもの」である。

そこで、イベントの長さにより閾値ｃを変更する。シーン分類部４２は、イベントの最初のファイルの撮影開始時刻と、最後のファイルの撮影終了時刻の差が３日以上である場合は、日の変わり目毎にシーンを分類する（Ｓ１０６“Ｙｅｓ”，Ｓ１０７“Ｙｅｓ”，Ｓ１０９）。つまり、日付が同じであれば同一シーンとする一方、日付が異なれば別シーンとする。

その一方、イベントの最初のファイルの撮影開始時刻と、最後のファイルの撮影終了時刻の差が２日以下であった場合は、シーン分類の閾値ｃを例えば「１０分」とする（Ｓ１０６“Ｙｅｓ”，Ｓ１０７“Ｎｏ”，Ｓ１０８）。

また、ジャンルが「結婚式・パーティー」の場合の閾値ｄとしては、このジャンルでは、会場の変更等によりシーンを分類することが望まれる。一般的に、会場の移動には３０分以上かかると考え、シーン分類部４２は、シーン分類の閾値ｄを例えば「３０分」とする（Ｓ１１０“Ｙｅｓ”，Ｓ１１１）。

なお、ジャンルが設定されていない場合、イベント分類部４１は、閾値を例えば「２０分」とする（Ｓ１１２）。

このように、本実施形態のイベント分類部４１は、イベントのジャンル毎に異なる閾値、すなわち各ジャンルに応じた最適な閾値を設定して、各イベントの動画ファイルをシーン毎に分類する。

そして、イベント分類部４１は、以上の方法により決定した閾値と、Ｓ１０１で算出した動画ファイル間の撮影間隔とを比較して、撮影間隔が閾値未満の場合、同一シーンとして分類する分類する一方、撮影間隔が閾値以上である場合、その前後でファイルを別シーンとして分類する（Ｓ１１３）。

再び図１に戻り、ダイジェスト生成部４３は、イベント分類部４１によってシーンに分類された動画ファイルの集合からダイジェストを生成する。

図５は、ダイジェスト生成部４３によるダイジェスト生成法の処理手順を示すフローチャートである。

まず、ダイジェスト生成部４３は、生成するダイジェストの長さを決定する（Ｓ３０１）。生成するダイジェストの長さは全ファイルの合計撮影時間や、ファイル数に比例するようにする等、自動的に決定しても良いし、入力指示部４４により入力しても良い。本実施形態１では、例えば、９０秒のダイジェストを生成するものとする。ダイジェストの長さを自動的に設定する場合、入力指示部４４は省略できる。

次に、ダイジェスト生成部４３は、すべてのシーンのダイジェストを生成し、それらを連結することで全体のダイジェストを生成するため、続いて各シーンにおいて何秒のダイジェストを生成するかを決定する（Ｓ３０２）。各シーンのダイジェストの長さは、Ｓ３０１で定めたダイジェスト時間をシーン数で等分しても良いし、各シーンの合計撮影時間やファイル数等の割合で配分しても良い。ここでは、９０秒をシーン数である３で等分し、各シーンから３０秒ずつダイジェストとして抽出することとする。

次に、ダイジェスト生成部４３は、各シーンのダイジェストを生成する（Ｓ３０３）。本実施形態では、図２に示すように、動画ファイルのジャンルにより、ダイジェストの生成法を変更することで、ジャンルに合わせた最適なダイジェストを生成する。

つまり、本実施形態１では、図２に示すように、イベントのジャンル毎に各イベントの動画ファイルをシーンに分類する際の閾値を変えることができると共に、イベントのジャンル毎にダイジェスト生成法を変えることができる。

次に、ジャンル毎のダイジェスト生成法について詳細に説明する。

まず、ジャンルが「旅行・レジャー」、すなわち観光旅行などでビデオカメラを用いて撮影する場合、事前に被写体を決めて、そこにビデオカメラを向けてから撮影を開始することが多い。そのため、撮影開始直後に抽出するべき映像が存在する。

そこで、ダイジェスト生成部４３は、図６（Ａ）に示すダイジェスト生成法Ａにより、図７（Ａ）に示すようにシーンを構成する各動画ファイルの開始部分を抽出する。

すなわち、ジャンルが「旅行・レジャー」の場合、ダイジェスト生成部４３は、図６（Ａ）に示すダイジェスト生成法Ａにより、同一シーンの全てのファイル、例えば図７（Ａ）の例では６つの動画ファイル１〜６から先頭５秒を抽出し（Ｓ１）、続いて抽出したすべての動画ファイル１〜６の先頭５秒の区間を撮影時刻順に連結する（Ｓ２）。これにより、３０秒のダイジェストが生成する。ここで、すべてのシーンの先頭５秒を抽出しても３０秒に満たない場合、例えば、シーンに含まれるファイルが６つ未満の場合、抽出する長さを５秒以上にしたり、ファイルの中心などから２つ以上の区間を抽出したりすることにより３０秒のダイジェストを生成する。逆に、すべてのシーンの先頭５秒を抽出すると３０秒を超える場合、例えば、シーンに含まれるファイルが６つより多い場合、撮影時間の長いファイルや前のファイルとの撮影間隔が長いファイルから優先的に抽出することにより３０秒のダイジェストを生成する。

次に、ジャンルが「運動会・スポーツ」では、「徒競走で子供がビデオカメラの前を通る」、「野球でヒットを打つ」というような、撮影したいプレーが何時発生するかを、事前に知ることが難しいので、ビデオカメラを撮影状態としながら待機することが多い。そのため、各動画ファイルの中盤以降の部分を抽出することでダイジェストを生成する。

すなわち、ジャンルが「運動会・スポーツ」の場合、ダイジェスト生成部４３は、図６（Ｂ）に示すダイジェスト生成法Ｂにより、まず、同一シーンのすべてのファイル、例えば図７（Ｂ）の例に示すように６つのファイルのほぼ中心の斜線により示す５秒を抽出し（Ｓ１１）、続いて、抽出したすべてのファイルのほぼ中心５秒の区間を撮影時刻順に連結する（Ｓ１２）。このようにダイジェスト生成部４３は、図７（Ｂ）に示す同一シーンの６つのファイルの各５秒の区間を撮影時刻順に連結して３０秒のダイジェストを生成する。なお、すべてのシーンの中心５秒を抽出しても３０秒に満たない場合は、抽出する長さを５秒以上にしたり、ファイルの先頭から３分の１と３分の２の時間の部分から２つの区間を抽出したりすることにより３０秒のダイジェストを生成する。逆に、すべてのシーンの先頭５秒を抽出すると３０秒を超える場合は、撮影時間の長いファイルや前のファイルとの撮影間隔が長いファイルから優先的に抽出することにより３０秒のダイジェストを生成する。

次に、ジャンルが「子供・ペット」では、ジャンルが「旅行・レジャー」と同様に、被写体を捉えてから撮影を開始することが多い。そのため、撮影開始直後に抽出するべき映像が存在する。また、このジャンルでは、一般的に被写体が動き、画面の中央に存在する。そのため、画面中央部分がその周囲と比較して異なる動きをしていたり、異なる色をしていたりする場合、被写体が画像の中央に存在している可能性が高い。そこで、各動画ファイルの開始部分付近で、被写体が画像の中央に存在している可能性が高い部分を抽出することでダイジェストを生成する。

すなわち、ジャンルが「子供・ペット」の場合、ダイジェスト生成部４３は、図６（Ｃ）に示すダイジェスト生成法Ｃにより、まず、各ファイルの画像の中央部分に被写体が存在する区間を検出する（Ｓ２１）。画像の中央部分に被写体が存在する区間を検出する方法としては、例えば、被写体が子供の場合は顔が画面中央にあることにより検出が可能であり、顔は単純に肌色が画面中央にあるかどうか、あるいは肌色と髪や目、口の色の位置関係等から検出する。また、被写体がペットの場合や顔が検出できない場合でも、画像の動きベクトルを抽出し、中央付近の動きがその周囲の動きと異なっている場合、そこに被写体があるものとして検出を行う。

続いて、ダイジェスト生成部４３は、各ファイル毎に、ファイル開始部分に最も近く、かつ、検出された画像の中央部分に被写体が存在する区間内の先頭の５秒間を抽出した後（Ｓ２２）、各ファイル毎に抽出された上記の５秒間の区間を撮影時刻順に連結する（Ｓ２３）。

図７（Ｃ）では、各ファイルにおいて、画像の中心に被写体が存在する部分を灰色で示している。その後、画像の中心に被写体が存在する部分のうち、開始部分に最も近く、被写体が一定時間以上存在する部分を抽出する。ここでは、図７（Ｃ）の斜線部で表される各５秒間を抽出し連結して３０秒のダイジェストを生成する。このようにダイジェスト生成部４３は、図７（Ｃ）に示す同一シーンの６つのファイルの各５秒の区間を撮影時刻順に連結して３０秒のダイジェストを生成する。なお、この場合も、すべてのシーンから５秒の区間を抽出しても３０秒に満たない場合は、抽出する長さを５秒以上にしたり、１ファイルから被写体が存在する区間を２つ以上抽出したりすることにより３０秒のダイジェストを生成する。逆に、すべてのシーンの先頭５秒を抽出すると３０秒を超える場合は、撮影時間の長いファイルや前のファイルとの撮影間隔が長いファイル、被写体の存在する区間が長いものから優先的に抽出することにより３０秒のダイジェストを生成する。

次に、ジャンルが「パーティー」では、イベント中ビデオカメラで撮像し続け、一つの動画ファイル２１が長くなることが多い。そのため、重要なシーンで拍手や歓声が起こったり、他のカメラのフラッシュがたかれたりすることが多い。そこで、動画ファイルの音声情報や画像情報からこれらを検出し、その前後を抽出することでダイジェストを生成する。

すなわち、この場合、ダイジェスト生成部４３は、図６（Ｄ）に示すダイジェスト生成法Ｄにより、まず、撮影した動画ファイルからフラッシュや拍手が発生した時刻を検出し（Ｓ３１）、続いて検出した時刻の直前の５秒間と直後の５秒間の計１０秒間を抽出した後（Ｓ３２）、抽出された上記の１０秒間の区間を撮影時刻順に連結する（Ｓ３３）。

図７（Ｄ）では、ジャンルが「パーティー」の場合のダイジェスト生成法を示したものであり、このジャンル「パーティー」では、音声が一定以上になった部分や、フラッシュがたかれた部分の前後を一定時間抽出する。図７（Ｄ）に斜線部で示すように、音声のピークとフラッシュがたかれた時刻は、３箇所あり、その３箇所の前後５秒ずつ計１０秒を抽出して３０秒のダイジェストを生成する。ここで、３箇所以上のフラッシュや拍手が検出された場合、抽出区間を短くすることですべてのフラッシュと拍手を検出したり、またより大きな拍手やフラッシュの発生する期間の長さ等により優先度をつけ、検出箇所を３箇所に絞っても良い。

同様の方法により、ダイジェスト生成部４３は、シーン２、３についても、各シーンのジャンルに応じてダイジェストを作成する。

図８は、１５個の動画ファイル１〜１５から構成されたあるイベントが３つのシーンに分けられ、各シーン毎にジャンルに応じたダイジェストが生成法によりダイジェストが生成される例を示している。

例えば、図８は、１５個の動画ファイル１〜１５から構成されたあるイベントのジャンルが、例えば、「旅行・レジャー」の場合を示している。つまり、図６（Ａ）に示すダイジェスト生成法Ａにより、シーン１〜３毎に、図７（Ａ）に示すように各動画ファイルの先頭から５秒間の一部分を抽出した例を示している。なお、図７（Ｂ）に示すシーン２では動画ファイルが４つであり、図７（Ｃ）シーン３では動画ファイルが５つであるので、各シーンの動画ファイルの先頭５秒以外からも抽出して、シーン２，３のダイジェストを３０秒としている。

そして、最後に、ダイジェスト生成部４３は、イベントのシーン毎に動画ファイルから抽出したダイジェストを、例えば図９に示すように連結することで１のイベント全体のダイジェストを生成する（Ｓ３０４）。

図９は、図８に示す１５個の動画ファイル１〜１５から構成されたあるイベントのシーン毎に動画ファイルから抽出した３０秒間のダイジェストを３つ連結して、そのイベントのダイジェストを生成した例を示している。

従って、本実施形態１のダイジェスト生成方法及び生成装置によれば、ビデオカメラで撮影した複数の動画ファイルをタグ２２に基づきイベント毎に分類し、更に同一イベントとして分類された複数の動画ファイルを、そのイベントのジャンルに応じて予め定めた閾値によりシーン毎に分類した後、同一のシーンとして分類された複数の動画ファイルのそれぞれから、各動画像ファイルのイベントのジャンルに応じたダイジェスト生成法により動画ファイルの一部分を抽出し、それぞれ抽出した複数の一部分を繋げた画像をダイジェストとして生成するようにしたため、イベントのジャンル毎に最適なダイジェストを自動的に生成することができる。

なお、本実施形態１では、図２に示すように、イベントのジャンル毎に閾値およびダイジェスト生成法を個別に設定して変えることができるように説明したが、本発明では、これに限らず、ジャンル毎に閾値のみを個別に設定し、ダイジェスト生成法は共通にしても、さらには、ジャンル毎に閾値は共通にし、ジャンル毎に閾値のみを個別に設定するようにしても勿論よい。

実施形態２．
上記実施形態１では、イベントのジャンル毎に閾値を変えてシーンの分類を行う方法を説明したが、本実施形態２では、イベントを構成する動画ファイルの属性情報に応じて決定した閾値や係数等によりシーンの分類を行う方法について説明する。ここで言う属性情報とは、撮影時刻、撮影時間、撮影位置、ジャンル情報等の各ファイルに付随する情報、あるいは、全ファイルの撮影時間合計やイベント毎のファイル数等の複数のファイルから得られる情報である。なお、構成自体は、図１に示す実施形態１のものと同じであるので、図１に示す実施形態１の構成を参照して、実施形態２特有の動作を説明する。

図１０は、実施形態２におけるシーン分類の手順を示すフローチャートである。

実施形態２では、まず、図３に示す実施形態１の閾値決定法と同様に、イベント毎に動画ファイル間の撮影間隔を算出し（Ｓ２０１）、続いてそのイベントの長さ、すなわちそのイベントの最初のファイルの撮影開始時刻と最後のファイルの撮影終了時刻との差によって特定イベントのシーン分類の際の閾値を決定する（Ｓ２０２）。例えば、イベントの長さの５％を閾値とするものとすると、イベントの長さが１０時間であった場合、その５％である３０分がシーン分類の閾値となり、イベントの長さが５時間であった場合、その５％である１５分がシーン分類の閾値とする。

ただし、本実施形態２では、さらに、イベントのジャンルが「旅行・レジャー」や「結婚式・パーティー」の場合はＳ２０２にてイベントの長さにより決定した閾値をそのまま用いるが、イベントのジャンルが「運動会・スポーツ」または「子供・ペット」の場合には、Ｓ２０２にて決定した閾値の１／３を閾値とする（Ｓ２０３“Ｙｅｓ”，Ｓ２０４）。これは、イベントのジャンルが「運動会・スポーツ」または「子供・ペット」の場合、短い時間間隔の動画ファイルが多いと予想されるからである。ここで挙げたジャンルと係数は一例であり、どのジャンルにどのような係数を乗じても勿論良い。また、係数は乗じるだけでなく、加算や累乗等をしても良い。なお、このように特定イベントの閾値を変更するＳ２０３，Ｓ２０４の処理は省略しても勿論よい。

そして、シーン分類部４２は、以上のようにして決定された閾値と、予めジャンル毎に決めておいた閾値の最大値とを比較し、短い方をシーン分類の閾値として用いる（Ｓ２０５〜２１５）。

つまり、イベントのジャンルが「旅行・レジャー」かつＳ２０２で決定した閾値が３０分以上であれば、３０分を閾値とする一方（Ｓ２０５“Ｙｅｓ”，Ｓ２０６）、イベントのジャンルが「運動会・スポーツ」かつＳ２０４で決定した閾値が１０分以上であれば、１０分を閾値とする一方（Ｓ２０７“Ｙｅｓ”，Ｓ２０８）、イベントのジャンルが「子供・ペット」でイベントの撮影期間が３日未満かつＳ２０４で決定した閾値が１０分以上であれば、１０分を閾値とする（Ｓ２０９“Ｙｅｓ”，Ｓ２１０“Ｎｏ”，Ｓ２１２“Ｙｅｓ”，Ｓ２１３）。

これに対し、Ｓ２０２やＳ２０４でイベントの長さに応じて決定した閾値が各ジャンルの最大値を超えない場合は、その閾値をシーン分類の閾値とし、以上のようにして決定した閾値により動画ファイルをシーンに分類する（Ｓ２１６）。

なお、イベントをシーンに分類した後の、ジャンル毎のダイジェスト作成法は、上記実施形態１と同様である。

従って、本実施形態２のダイジェスト生成方法及び生成装置によれば、ビデオカメラで撮影した複数の動画ファイルをタグ２２に基づきイベント毎に分類し、更に同一イベントとして分類された複数の動画ファイルを、ジャンル毎に閾値の最大値を設け、イベントの長さに応じて決定した閾値がジャンル毎の閾値の最大値を超えれば、その最大値を閾値とする一方、最大値を超えなければ、イベントの長さに応じて決定した閾値等によりシーンの分類を行い、その後、実施形態１と同様にダイジェストを生成するようにしたため、ジャンル毎に閾値の最大値の制限はあるものの、イベントの長さに応じた閾値を設定してシーン毎に分類できると共に、イベントのジャンル毎に最適なダイジェストを自動的に生成することができる。

なお、本実施形態２では、各ジャンルのシーン分類の閾値の最大値を設定したが、逆に、各ジャンルのシーン分類の閾値の最小値を設定し、イベントの長さに応じて決定した閾値が最小値よりも小さい場合、最小値をシーン分類の閾値としても良い。このようにすれば、例えば、「旅行・レジャー」のジャンルの場合、イベントの長さが短く、閾値が極端に短くなってしまう可能性がある。しかし、「旅行・レジャー」ジャンルでは、少なくとも移動が行われる程度の間隔でシーン分類されることが望ましい。そのため、「旅行・レジャー」のジャンルでは、シーン分類の閾値の最小値を，移動が行われるであろう最短時間である例えば１０分を設定しておき、閾値がこの値以下であった場合には、１０分を閾値とする。勿論、以上で挙げた最大値、最小値の値は一例であり、他の値を与えても良い。

また、本実施形態２では、イベントの長さによりシーン分類の閾値を決定するように説明したが、本発明では、これに限らず、イベントを構成する各動画ファイル間の撮影間隔の平均等を閾値として設定するようにしても勿論よい。

また、本実施形態２では、図１０に示すように、Ｓ２０３，Ｓ２０４の処理により、特定ジャンルのみ、イベントの長さやファイル間の撮影間隔の平均等の属性情報に基づいて決定した閾値に対し、ジャンル毎の最大値や最小値という制限を設けたり、特定ジャンルのみその閾値に係数を乗算等して調整するように説明したが、本発明では、これに限らず、イベントの属性情報に基づいて決定した閾値に対し、図１０のＳ２０３〜Ｓ２１５のステップは省略してジャンル毎の最大値や最小値という制限や、特定ジャンルへの閾値調整を行わないようにしたり、あるいは図１０のＳ２０５〜Ｓ２１５のステップは省略して特定ジャンルへの閾値調整は行うが、ジャンル毎の最大値や最小値という制限を設けないようにしても勿論よい。なお、このことは、後述する実施形態３，４でも同様である。

実施形態３．
実施形態３は、図１０に示す実施形態２のＳ２０２における閾値決定法を変更したもので、その部分についてのみ説明を行う。

つまり、上記実施形態２では、属性情報としてイベントの長さによりシーン分類の際の閾値を決定したが、本実施形態３では，それに加えてそのイベントの全ファイル間の撮影間隔の平均をも用いるものとする。以下に、撮影間隔の平均を用いて閾値を求める例を挙げる。

例えば、あるイベントにおいて、５つの動画ファイルを撮影し、その撮影間隔が５分、１０分、３０分、３分であった場合、それらの平均値の１２分を撮影間隔の平均による閾値とする。

そして、本実施形態４では、イベントの長さと、イベントを構成する全動画ファイル間の撮影間隔の平均という２つの属性情報から得られた閾値の大きい方、あるいは小さい方によりシーン分類の閾値として用いる。勿論、得られた２つの閾値の平均を使用するようにしても良い。

例えば、短い間隔で動画ファイルを撮影したイベントの中に、長い撮影間隔が開いた動画ファイルが１つだけあった場合、撮影間隔の平均による閾値は長くなる。そのため、その平均よりは撮影間隔が短い別シーンの動画ファイルでも、同一シーンで分類されることがあり得る。そのため、本実施形態では、イベントの中に所定値以上の撮影間隔の動画ファイルがあった場合には、イベントの長さに基づき決定した閾値を用いる。

一方、多くの動画ファイルをほぼ一定の撮影間隔で撮影した場合、ファイル数に比例してイベントの長さが長くなるので、イベントの長さによる閾値は長くなってしまう。そのため、イベントにおける動画ファイル数が所定値以上である場合は、撮影間隔の平均値による閾値を用いる。

従って、本実施形態３のダイジェスト生成方法及び生成装置によれば、ビデオカメラで撮影した複数の動画ファイルをタグ２２に基づきイベント毎に分類し、更に同一イベントとして分類された複数の動画ファイルを、イベントの長さに基づき決定した閾値、またはイベントを構成する全動画ファイル間の撮影間隔の平均による閾値のいずれか一方を用いてシーンの分類を行い、その後、実施形態１，２と同様にダイジェストを生成するようにしたため、イベントの長さまたはファイルの撮影間隔に応じた最適なシーン分類を行った上で、イベントのジャンル毎に最適なダイジェストを自動的に生成することができる。

実施形態４．
実施形態４は上記実施形態３と同様に、図１０に示す実施形態２のＳ２０２における閾値決定法を変更したもので、その部分についてのみ説明を行う。

つまり、上記実施形態２では、イベントの長さによって特定ジャンルのシーン分類の際の閾値を決定したが、本実施形態４では、イベントの各ファイルの撮影地点の位置情報により閾値を決定する。そのため、本実施形態４の場合、動画ファイルを撮影するビデオカメラは、ＧＰＳ機能を有しており、撮影して記録した動画ファイルに、撮影地点の位置情報を属性情報として付与している。

そのため、実施形態４では、例えば、イベントを構成する各動画ファイルに付与されている属性情報のＧＰＳ情報に基づいて各動画ファイルの撮影位置を求め、動画ファイル間の移動距離の合計を求める。この合計移動距離に、ある係数を作用させてシーン分類の際の閾値を求める。例えば、移動距離が６００００（ｍ）であった場合、１／２０００を乗じた３０（分）をシーン分類の閾値とする。

従って、本実施形態４のダイジェスト生成方法及び生成装置によれば、ビデオカメラで撮影した複数の動画ファイルをタグ２２に基づきイベント毎に分類し、更に同一イベントとして分類された複数の動画ファイルの位置情報に基づく閾値によりシーンの分類を行い、その後、実施形態１〜３と同様にダイジェストを生成するようにしたため、動画ファイルの位置情報に基づいて最適なシーン分類を行った上で、イベントのジャンル毎に最適なダイジェストを自動的に生成することができる。

なお、上記実施形態１〜４の説明では、動画撮影装置として、ビデオカメラを一例に説明したが、これは一例であり、本発明では、ビデオカメラ以外に、デジタルカメラや動画撮影機能を有する携帯電話等、動画撮影機能を有する装置であれば、本発明の装置および方法は適用される。

また、上記実施形態２〜４では、シーン分類する際の属性情報として、イベントの長さや、イベントを構成する全動画ファイル間の撮影間隔の平均、各動画ファイルの位置情報等の例を挙げたが、本発明では、属性情報はこれらに限定されるものではなく、他の属性情報を用いてシーン分類の閾値を求めても良いし、実施形態３のように複数の属性情報を組み合わせても良い。

また、上記実施形態１〜４では、シーン分類をした後、各シーンからジャンルに応じたダイジェスト生成法により動画ファイルの一部分を抽出してダイジェストを生成するように説明したが、本明細書に記載の発明は、これに限らず、上記実施形態１〜４の方法により閾値を設定してシーン分類をするだけでダイジェストを生成しない装置および方法でも、上記実施形態１〜４の方法により閾値を設定してシーン分類をし、ダイジェスト生成は上記実施形態１〜４のダイジェスト生成方法とは別の方法を採用した装置および方法に適用するようにしても良い。

本発明のダイジェスト生成装置の実施形態１の構成例を示すブロック図である。 実施形態１におけるイベントのジャンルの各例と、ジャンル毎にシーン分類閾値とダイジェスト生成法の設定例とを示す図である。 実施形態１におけるシーン分類処理の手順を示すフローチャートである。 撮影された動画ファイルをシーンに分類した一例を示す図である。 実施形態１におけるダイジェスト生成処理の手順を示すフローチャートである。 （Ａ）〜（Ｄ）、それぞれ、ジャンルに応じたダイジェスト生成法Ａ〜Ｄの一例を示すフローチャートである。 （Ａ）〜（Ｄ）、それぞれ、図６（Ａ）〜（Ｄ）に示すジャンルに応じたダイジェスト生成法Ａ〜Ｄにより各シーンから抽出するカットの一例を示す図である。 本実施形態１によるあるイベントのシーン毎のダイジェスト抽出例を示す図である。 図８によりシーン毎に抽出したダイジェストを繋げてあるイベント全体のダイジェストを生成する例を示す図である。 実施形態２におけるシーン分類の手順を示すフローチャートである。

符号の説明

１１ コンテンツ保持部
２１ 動画ファイル
２２ タグ
３１ 撮影部
３２ タグ作成部
４１ イベント分類部
４２ シーン分類部
４３ ダイジェスト生成部
４４ 入力指示部

Claims (11)

1. 撮影して得られた複数の動画ファイルからダイジェストを生成するダイジェスト生成装置であって、
   前記複数の動画ファイル毎に、各動画ファイルのイベントのジャンルを示すジャンル情報と、前記イベントを互いに識別するためのイベント識別情報とが記述されたタグを作成するタグ作成手段と、
   前記複数の動画ファイルを、前記タグに記述された前記イベント識別情報に基づいてイベント毎に分類するイベント分類手段と、
   前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類するシーン分類手段と、
   前記タグに記述された前記ジャンル情報に基づくダイジェスト生成法により、前記シーン毎に分類された複数の動画ファイルから一部分を抽出してダイジェストとして生成するダイジェスト生成手段と、
   を有し、
   前記シーン分類手段は、
   ジャンル毎に予め閾値が設定されており、
   前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類する際、
   前記イベント毎に分類された前記複数の動画ファイルの前記タグに記述された前記ジャンル情報に基づいて、前記複数の動画ファイルのジャンルに応じた前記閾値を設定し、設定した前記閾値と前記動画ファイル間の撮影間隔とに基づいてシーン毎に分類する、ダイジェスト生成装置。
2. 撮影して得られた複数の動画ファイルからダイジェストを生成するダイジェスト生成装置であって、
   前記複数の動画ファイル毎に、各動画ファイルのイベントのジャンルを示すジャンル情報と、前記イベントを互いに識別するためのイベント識別情報とが記述されたタグを作成するタグ作成手段と、
   前記複数の動画ファイルを、前記タグに記述された前記イベント識別情報に基づいてイベント毎に分類するイベント分類手段と、
   前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類するシーン分類手段と、
   前記タグに記述された前記ジャンル情報に基づくダイジェスト生成法により、前記シーン毎に分類された複数の動画ファイルから一部分を抽出してダイジェストとして生成するダイジェスト生成手段と、
   を有し、
   前記シーン分類手段は、
   ジャンル毎に予め閾値の最大値が設定されており、
   前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類する際、
   各イベントを構成する動画ファイルの属性情報に基づいて前記閾値を決定し、
   前記イベント毎に分類された前記複数の動画ファイルの前記タグに記述された前記ジャンル情報に基づいて、前記複数の動画ファイルのジャンルに応じた前記最大値と、前記属性情報に基づいて決定した前記閾値とを比較し、
   前記属性情報により決定した前記閾値が前記最大値以上の場合、前記最大値を選択する一方、前記属性情報に基づいて決定した前記閾値が前記最大値より小さい場合、前記属性情報に基づいて決定した前記閾値を選択し、
   選択した前記閾値または前記最大値と、前記動画ファイル間の撮影間隔とに基づいてシーン毎に分類する、ダイジェスト生成装置。
3. 撮影して得られた複数の動画ファイルからダイジェストを生成するダイジェスト生成装置であって、
   前記複数の動画ファイル毎に、各動画ファイルのイベントのジャンルを示すジャンル情報と、前記イベントを互いに識別するためのイベント識別情報とが記述されたタグを作成するタグ作成手段と、
   前記複数の動画ファイルを、前記タグに記述された前記イベント識別情報に基づいてイベント毎に分類するイベント分類手段と、
   前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類するシーン分類手段と、
   前記タグに記述された前記ジャンル情報に基づくダイジェスト生成法により、前記シーン毎に分類された複数の動画ファイルから一部分を抽出してダイジェストとして生成するダイジェスト生成手段と、
   を有し、
   前記シーン分類手段は、
   ジャンル毎に予め閾値の最小値が設定されており、
   前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類する際、
   各イベントを構成する動画ファイルの属性情報に基づいて前記閾値を決定し、
   前記イベント毎に分類された前記複数の動画ファイルの前記タグに記述された前記ジャンル情報に基づいて、前記複数の動画ファイルのジャンルに応じた前記最小値と、前記属性情報を決定した前記閾値とを比較し、
   前記属性情報に基づいて決定した前記閾値が前記最小値以下の場合、前記最小値を選択する一方、前記属性情報に基づいて決定した前記閾値が前記最小値より大きい場合、前記属性情報に基づいて決定した前記閾値を選択し、
   選択した前記閾値または前記最小値と、前記動画ファイル間の撮影間隔とに基づいてシーン毎に分類する、ダイジェスト生成装置。
4. 撮影して得られた複数の動画ファイルからダイジェストを生成するダイジェスト生成装置であって、
   前記複数の動画ファイル毎に、各動画ファイルのイベントのジャンルを示すジャンル情報と、前記イベントを互いに識別するためのイベント識別情報とが記述されたタグを作成するタグ作成手段と、
   前記複数の動画ファイルを、前記タグに記述された前記イベント識別情報に基づいてイベント毎に分類するイベント分類手段と、
   前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類するシーン分類手段と、
   前記タグに記述された前記ジャンル情報に基づくダイジェスト生成法により、前記シーン毎に分類された複数の動画ファイルから一部分を抽出してダイジェストとして生成するダイジェスト生成手段と、
   を有し、
   前記シーン分類手段は、
   前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類する際、
   各イベントを構成する動画ファイルの属性情報に基づいて前記閾値を決定し、かつ、各イベントのジャンルが特定のジャンルの場合のみ、前記属性情報に基づいて決定した前記閾値を所定係数に基づいて調整する、ダイジェスト生成装置。
5. 請求項２〜請求項４のいずれか一の請求項に記載のダイジェスト生成装置において、
   前記属性情報は、イベントの長さである、ダイジェスト生成装置。
6. 請求項２〜請求項４のいずれか一の請求項に記載のダイジェスト生成装置において、
   前記属性情報は、イベントを構成する動画ファイルの撮影間隔の平均である、ダイジェスト生成装置。
7. 請求項２〜請求項４のいずれか一の請求項に記載のダイジェスト生成装置において、
   前記属性情報は、イベントを構成する動画ファイルの撮影位置を示す位置情報である、
   ダイジェスト生成装置。
8. 撮影して得られた複数の動画ファイルからダイジェストを生成するダイジェスト生成方法であって、
   前記複数の動画ファイルに付与された各動画ファイルのイベントのジャンルを示すジャンル情報と、前記イベントを互いに識別するためのイベント識別情報とが記述されたタグの前記イベント識別情報に基づいて前記複数の動画ファイルをイベント毎に分類するステップと、
   前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類するステップと、
   前記タグに記述された前記ジャンル情報に基づくダイジェスト生成法により、前記シーン毎に分類された複数の動画ファイルから一部分を抽出してダイジェストとして生成するステップと、
   を有し、
   前記シーン毎に分類するステップは、
   ジャンル毎に予め閾値が設定されており、
   前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類する際、
   前記イベント毎に分類された前記複数の動画ファイルの前記タグに記述された前記ジャンル情報に基づいて、前記複数の動画ファイルのジャンルに応じた前記閾値を設定し、設定した前記閾値と前記動画ファイル間の撮影間隔とに基づいてシーン毎に分類する、ダイジェスト生成方法。
9. 撮影して得られた複数の動画ファイルからダイジェストを生成するダイジェスト生成方法であって、
   前記複数の動画ファイルに付与された各動画ファイルのイベントのジャンルを示すジャンル情報と、前記イベントを互いに識別するためのイベント識別情報とが記述されたタグの前記イベント識別情報に基づいて前記複数の動画ファイルをイベント毎に分類するステップと、
   前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類するステップと、
   前記タグに記述された前記ジャンル情報に基づくダイジェスト生成法により、前記シーン毎に分類された複数の動画ファイルから一部分を抽出してダイジェストとして生成するステップと、
   を有し、
   前記シーン毎に分類するステップは、
   ジャンル毎に予め閾値の最大値が設定されており、
   前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類する際、
   各イベントを構成する動画ファイルの属性情報に基づいて前記閾値を決定し、
   前記イベント毎に分類された前記複数の動画ファイルの前記タグに記述された前記ジャンル情報に基づいて、前記複数の動画ファイルのジャンルに応じた前記最大値と、前記属性情報に基づいて決定した前記閾値とを比較し、
   前記属性情報により決定した前記閾値が前記最大値以上の場合、前記最大値を選択する一方、前記属性情報に基づいて決定した前記閾値が前記最大値より小さい場合、前記属性情報に基づいて決定した前記閾値を選択し、
   選択した前記閾値または前記最大値と、前記動画ファイル間の撮影間隔とに基づいてシーン毎に分類する、ダイジェスト生成方法。
10. 撮影して得られた複数の動画ファイルからダイジェストを生成するダイジェスト生成方法であって、
    前記複数の動画ファイルに付与された各動画ファイルのイベントのジャンルを示すジャンル情報と、前記イベントを互いに識別するためのイベント識別情報とが記述されたタグの前記イベント識別情報に基づいて前記複数の動画ファイルをイベント毎に分類するステップと、
    前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類するステップと、
    前記タグに記述された前記ジャンル情報に基づくダイジェスト生成法により、前記シーン毎に分類された複数の動画ファイルから一部分を抽出してダイジェストとして生成するステップと、
    を有し、
    前記シーン毎に分類するステップは、
    ジャンル毎に予め閾値の最小値が設定されており、
    前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類する際、
    各イベントを構成する動画ファイルの属性情報に基づいて前記閾値を決定し、
    前記イベント毎に分類された前記複数の動画ファイルの前記タグに記述された前記ジャンル情報に基づいて、前記複数の動画ファイルのジャンルに応じた前記最小値と、前記属性情報を決定した前記閾値とを比較し、
    前記属性情報に基づいて決定した前記閾値が前記最小値以下の場合、前記最小値を選択する一方、前記属性情報に基づいて決定した前記閾値が前記最小値より大きい場合、前記属性情報に基づいて決定した前記閾値を選択し、
    選択した前記閾値または前記最小値と、前記動画ファイル間の撮影間隔とに基づいてシーン毎に分類する、ダイジェスト生成方法。
11. 撮影して得られた複数の動画ファイルからダイジェストを生成するダイジェスト生成方法であって、
    前記複数の動画ファイルに付与された各動画ファイルのイベントのジャンルを示すジャンル情報と、前記イベントを互いに識別するためのイベント識別情報とが記述されたタグの前記イベント識別情報に基づいて前記複数の動画ファイルをイベント毎に分類するステップと、
    前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類するステップと、
    前記タグに記述された前記ジャンル情報に基づくダイジェスト生成法により、前記シーン毎に分類された複数の動画ファイルから一部分を抽出してダイジェストとして生成するステップと、
    を有し、
    前記シーン毎に分類するステップは、
    前記イベント毎に分類された前記複数の動画ファイルを、前記動画ファイル間の撮影間隔に基づいてシーン毎に分類する際、
    各イベントを構成する動画ファイルの属性情報に基づいて前記閾値を決定し、かつ、各イベントのジャンルが特定のジャンルの場合のみ、前記属性情報に基づいて決定した前記閾値を所定係数に基づいて調整する、ダイジェスト生成方法。

Images