JP6917210B2 - 要約映像生成装置およびそのプログラム - Google Patents
要約映像生成装置およびそのプログラム Download PDFInfo
- Publication number
- JP6917210B2 JP6917210B2 JP2017120355A JP2017120355A JP6917210B2 JP 6917210 B2 JP6917210 B2 JP 6917210B2 JP 2017120355 A JP2017120355 A JP 2017120355A JP 2017120355 A JP2017120355 A JP 2017120355A JP 6917210 B2 JP6917210 B2 JP 6917210B2
- Authority
- JP
- Japan
- Prior art keywords
- shot
- video
- shots
- candidate
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 17
- 238000007796 conventional method Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Description
本発明は、映像から要約映像を生成する要約映像生成装置およびそのプログラムに関する。
近年、放送番組等の映像から内容を要約した要約映像を生成する映像要約の技術が進化し、自動的に要約映像を生成する手法が開示されている（特許文献１参照）。
特許文献１に開示されている手法（以下、従来手法という）は、与えられた映像（元映像）を分割し、分割映像（ショット）の特徴量を求める。さらに、従来手法は、ショットの特徴量が元映像内において特徴的であることを判別するためのスコアを算出する。
そして、従来手法は、算出したスコアの高い順に所望の要約映像の時間長となるまでショットを選択し、選択したショットを元映像の時間の順番に結合することで、要約映像を生成する。
特許文献１に開示されている手法（以下、従来手法という）は、与えられた映像（元映像）を分割し、分割映像（ショット）の特徴量を求める。さらに、従来手法は、ショットの特徴量が元映像内において特徴的であることを判別するためのスコアを算出する。
そして、従来手法は、算出したスコアの高い順に所望の要約映像の時間長となるまでショットを選択し、選択したショットを元映像の時間の順番に結合することで、要約映像を生成する。
この従来手法は、動きベクトル等の映像の特徴から生成した特徴量をクラスタリングしたスコア、または、当該スコアと元映像の音声を認識して得られる文字データ中の単語に関する特徴量から算出したスコアとを合算して得られるスコアに基づいて、要約映像を構成する各分割映像を決定する。
これによって、従来手法は、元映像から人手を介さずに自動的に要約映像を生成することを可能にしている。
これによって、従来手法は、元映像から人手を介さずに自動的に要約映像を生成することを可能にしている。
前記した従来手法は、スコアの高いショットをそれぞれ独立に抽出して結合することで、要約映像を生成している。すなわち、従来手法は、各ショットの元映像における文脈、ショット間の前後関係、あるいは、元映像のコンテンツ全体における意味的な役割をまったく考慮していない。
そのため、従来手法によって生成された要約映像は、映像開始時点での導入部の映像の欠落に起因する唐突さ、ある特定の事象を説明する一連のショットが分断されることによる不自然さ等を、当該要約映像を視聴する視聴者に感じさせてしまう場合がある。
このように、従来手法によって生成された要約映像を新たな一つのコンテンツとして利用する場合、必ずしも内容的に整合していないショットが機械的に結合されることによる要約映像には、質的な問題が生じる可能性が高い。
そのため、従来手法によって生成された要約映像は、映像開始時点での導入部の映像の欠落に起因する唐突さ、ある特定の事象を説明する一連のショットが分断されることによる不自然さ等を、当該要約映像を視聴する視聴者に感じさせてしまう場合がある。
このように、従来手法によって生成された要約映像を新たな一つのコンテンツとして利用する場合、必ずしも内容的に整合していないショットが機械的に結合されることによる要約映像には、質的な問題が生じる可能性が高い。
本発明は、このような問題に鑑みてなされたものであり、元映像における各ショット間の意味的な不連続性を緩和して要約映像を生成することが可能な要約映像生成装置およびそのプログラムを提供することを課題とする。
前記課題を解決するため、本発明に係る要約映像生成装置は、元映像から当該元映像よりも映像時間が短い時間長となる要約映像を生成する要約映像生成装置であって、映像解析手段と、重要度算出手段と、整合性スコア記憶手段と、整合性評価手段と、ショット選択・結合手段と、を備える。
かかる構成において、要約映像生成装置は、映像解析手段によって、動きベクトル、色分布等により、元映像の変化点となるショットを検出するとともに、特徴量が類似するショットの系列をシーンとして分類する。これによって、映像解析手段は、元映像を、ショットとショットが属するシーンとに分類する。
そして、要約映像生成装置は、重要度算出手段によって、ショットの特徴量に基づいて、当該ショットが元映像内において特徴的であることを示す指標である重要度スコアを算出する。例えば、重要度算出手段は、元映像内において、他のショットに対して色分布が異なる等、特徴的であるショットに対してより高いスコアを与える。
そして、要約映像生成装置は、重要度算出手段によって、ショットの特徴量に基づいて、当該ショットが元映像内において特徴的であることを示す指標である重要度スコアを算出する。例えば、重要度算出手段は、元映像内において、他のショットに対して色分布が異なる等、特徴的であるショットに対してより高いスコアを与える。
また、要約映像生成装置は、整合性スコア記憶手段に、予め学習した、シーンの時間方向の距離に対応したショット同士が共起する確率を、整合性スコアとして記憶しておく。この整合性スコアは、予め学習データから、要約映像において隣接するショットが元映像においてどれだけ離れたシーンで出現するのかを示す出現確率を、ショットが属するシーンの距離（シーン差分）ごとに学習したものである。ここで、学習データは、ショットとシーンが既知の元映像と、元映像から選択したショットが既知の要約映像である。
そして、要約映像生成装置は、整合性評価手段によって、整合性スコア記憶手段から、映像解析手段が検出したショットごとのシーンの距離に対応する整合性スコアを取得し、ショットの組合せに対して整合性スコアを対応付ける。
そして、要約映像生成装置は、整合性評価手段によって、整合性スコア記憶手段から、映像解析手段が検出したショットごとのシーンの距離に対応する整合性スコアを取得し、ショットの組合せに対して整合性スコアを対応付ける。
そして、要約映像生成装置は、ショット選択・結合手段によって、元映像から、重要度スコアにより重要度の高いショットを予め設定された数だけ選択するとともに、重要度の高いショットに対して、整合性スコアにより整合性の度合いが大きいショットを、予め設定された要約映像の時間長となるまで選択して結合する。
これによって、ショット選択・結合手段は、重要度の高いショットだけでは、そのショット間の変化が大きい場合でも、重要度の高いショットに整合性の度合いが大きいショットを付加することで、意味的な不連続性を緩和することができる。
これによって、ショット選択・結合手段は、重要度の高いショットだけでは、そのショット間の変化が大きい場合でも、重要度の高いショットに整合性の度合いが大きいショットを付加することで、意味的な不連続性を緩和することができる。
なお、要約映像生成装置は、コンピュータを、要約映像生成装置の各手段として機能させるための要約映像生成プログラムで動作させることができる。
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、元映像で特徴的な重要度の高いショットのみを抽出するのではなく、重要度の高いショットに対して、さらに、整合性の度合いが大きいショットを付加して要約映像を生成することができる。
これによって、本発明は、元映像における各ショット間の意味的な不連続性を緩和することができ、映像の意味的な流れがより自然な要約映像を生成することができる。
本発明によれば、元映像で特徴的な重要度の高いショットのみを抽出するのではなく、重要度の高いショットに対して、さらに、整合性の度合いが大きいショットを付加して要約映像を生成することができる。
これによって、本発明は、元映像における各ショット間の意味的な不連続性を緩和することができ、映像の意味的な流れがより自然な要約映像を生成することができる。
以下、本発明の実施形態について図面を参照して説明する。
≪第１実施形態≫
〔要約映像生成装置の構成〕
まず、図１を参照して、本発明の第１実施形態に係る要約映像生成装置１の構成について説明する。
≪第１実施形態≫
〔要約映像生成装置の構成〕
まず、図１を参照して、本発明の第１実施形態に係る要約映像生成装置１の構成について説明する。
要約映像生成装置１は、ＭＥＰＧ２ストリーム等の元映像（映像コンテンツ）から、当該元映像よりも映像時間が短い時間長となる要約映像（映像コンテンツ）を生成するものである。
図１に示すように、要約映像生成装置１は、映像解析手段１０と、パラメータ設定手段２０と、重要度算出手段３０と、整合性スコア記憶手段４０と、整合性評価手段５０と、ショット選択・結合手段６０と、を備える。
図１に示すように、要約映像生成装置１は、映像解析手段１０と、パラメータ設定手段２０と、重要度算出手段３０と、整合性スコア記憶手段４０と、整合性評価手段５０と、ショット選択・結合手段６０と、を備える。
映像解析手段１０は、元映像の変化点となるショットを検出するとともに、特徴量が類似するショットの系列をシーンとして分類するものである。映像解析手段１０は、特徴量抽出手段１１と、ショット検出手段１２と、シーン分類手段１３と、を備える。
特徴量抽出手段１１は、元映像から時間単位（例えば、フレーム単位）で特徴量を抽出するものである。この特徴量抽出手段１１は、例えば、画像特徴として、前フレームとの予め定めた大きさのブロック領域ごとの動きベクトル、色情報（色分布等）、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量等を算出する。また、特徴量抽出手段１１は、フレーム内を人物認証した結果の有無または人物識別子等を算出することとしてもよい。
なお、特徴量抽出手段１１が抽出する特徴量は、画像特徴に限定するものではなく、時間単位の特徴を示すものであれば何でもよい。例えば、元映像に音声が付随しているのであれば、その音響特徴（例えば、音声認識で一般的に用いられている対数メルフィルタバンク出力、メル周波数ケプストラム係数等）を抽出し、前記の特徴量と併用してもよい。
ショット検出手段１２は、元映像が変化する映像区間をショット（分割映像）として検出するものである。ここでは、ショット検出手段１２は、特徴量抽出手段１１で抽出された動きベクトルによって、時間方向の変化点を映像区間の区切りとして検出する。
ショット検出手段１２は、元映像の先頭から、検出したショットの順に、インデックスと、ショットの開始点および終了点を示す時間情報（例えば、時、分、秒、フレーム番号）と、特徴量と、を対応付けてシーン分類手段１３に出力する。
ショット検出手段１２は、元映像の先頭から、検出したショットの順に、インデックスと、ショットの開始点および終了点を示す時間情報（例えば、時、分、秒、フレーム番号）と、特徴量と、を対応付けてシーン分類手段１３に出力する。
なお、ショット検出手段１２におけるショットの検出手法は、一般的な手法を用いればよく、例えば、以下の参考文献１に記載されているように、局所的画像特徴と大域的画像特徴とを併用して、ショットを検出することとしてもよい。
（参考文献１）Evlampios Apostolidis, Vasileios. Mezaris, "Fast Shot Segmentation Combining Global and Local Visual Descriptors", Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2014年.
（参考文献１）Evlampios Apostolidis, Vasileios. Mezaris, "Fast Shot Segmentation Combining Global and Local Visual Descriptors", Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2014年.
シーン分類手段１３は、ショット検出手段１２で検出されたショットを、特徴量が類似する連続するショットの部分系列ごとにシーンとして分類するものである。このシーン分類手段１３は、ショットごとに、特徴量の代表値（平均値、中央値等）を算出し、代表値が予め定めた範囲内で近似する隣接するショットをシーンとして分類する。
シーン分類手段１３は、ショット検出手段１２から入力したショット順のインデックス、時間情報および特徴量に、さらに、シーンのインデックスを対応付けた分割映像リストを生成する。
シーン分類手段１３は、ショット検出手段１２から入力したショット順のインデックス、時間情報および特徴量に、さらに、シーンのインデックスを対応付けた分割映像リストを生成する。
なお、ここでは、特徴量として、１種類の特徴量（例えば、画像特徴のみ、音響特徴のみ）で、シーンを分割する例を示したが、画像特徴と音響特徴とを併用して、シーンを分割することとしてもよい。なお、画像特徴と音響特徴とを併用したシーンの分割手法は、以下の参考文献２に記載されているように公知の技術であるため、説明を省略する。
（参考文献２）Panagoiotis Sidiropoulos, Vasileios. Mezaris, Hugo Meinedo, Miguel Bugalho, Isbel Trancoso, "Temporal Video Segmentation to Scenes Using High-Level Audiovisual Features", IEEE Transactions on Circuits and Systems for Video Technology, vol. 21, no. 8, pp. 1163-1177, 2011年.
（参考文献２）Panagoiotis Sidiropoulos, Vasileios. Mezaris, Hugo Meinedo, Miguel Bugalho, Isbel Trancoso, "Temporal Video Segmentation to Scenes Using High-Level Audiovisual Features", IEEE Transactions on Circuits and Systems for Video Technology, vol. 21, no. 8, pp. 1163-1177, 2011年.
ここで、図２を参照して、映像解析手段１０が生成する分割映像リストの例について説明する。図２に示すように、分割映像リストＬ１は、ショットごとに、ショットインデックスＮｓｈｏｔ、シーンインデックスＮｓｃｅｎｅ、ショット開始点Ｔｓｔａｒｔ、ショット終了点Ｔｅｎｄ、および、特徴量Ｆで構成される。
ショットインデックスＮｓｈｏｔは、ショット検出手段１２で検出されたショットに対して、元映像の先頭から順番に付されたインデックスである。
シーンインデックスＮｓｃｅｎｅは、シーン分類手段１３で分類されたシーンに対して、元映像の先頭から順番に付されたインデックスである。
シーンインデックスＮｓｃｅｎｅは、シーン分類手段１３で分類されたシーンに対して、元映像の先頭から順番に付されたインデックスである。
ショット開始点Ｔｓｔａｒｔおよびショット終了点Ｔｅｎｄは、ショット検出手段１２で検出されたショットの開始点（時、分、秒、フレーム番号）および終了点（時、分、秒、フレーム番号）を示す時間情報である。
特徴量Ｆは、特徴量抽出手段１１で抽出された特徴量のうちで、ショット開始点Ｔｓｔａｒｔおよびショット終了点Ｔｅｎｄの映像区間におけるフレームごとの特徴量である。
なお、図２では、１ショット分のデータを、改行“＼”を介して２行で示している。
例えば、分割映像リストＬ１の＃００００２をショットインデックスとするショットは、＊０００１のシーンに属し、開始点“００：００：０４．１８”、終了点“００：００：０６．０９”であり、特徴量が“０．２４１６”等であることを示している。
なお、図２では、１ショット分のデータを、改行“＼”を介して２行で示している。
例えば、分割映像リストＬ１の＃００００２をショットインデックスとするショットは、＊０００１のシーンに属し、開始点“００：００：０４．１８”、終了点“００：００：０６．０９”であり、特徴量が“０．２４１６”等であることを示している。
図１に戻って、要約映像生成装置１の構成について説明を続ける。
映像解析手段１０は、生成した分割映像リストを、パラメータ設定手段２０、重要度算出手段３０、整合性評価手段５０およびショット選択・結合手段６０に出力する。
映像解析手段１０は、生成した分割映像リストを、パラメータ設定手段２０、重要度算出手段３０、整合性評価手段５０およびショット選択・結合手段６０に出力する。
パラメータ設定手段２０は、外部の入力装置２を介して入力される各種のパラメータを設定するものである。このパラメータ設定手段２０は、表示装置３に、パラメータ設定画面を表示してパラメータの設定を受け付ける。
パラメータ設定手段２０は、元映像から、分割映像リストで示されるショットのサムネイル画像を生成し、表示装置３に表示する。また、ユーザからの指示により、パラメータ設定手段２０は、元映像を再生することとしてもよい。
ユーザは、サムネイル画像や再生画像を参照して、各種パラメータを設定する。なお、パラメータ設定手段２０は、予めパラメータの初期値を記憶しておき、表示装置３に表示することとしてもよい。
パラメータ設定手段２０は、元映像から、分割映像リストで示されるショットのサムネイル画像を生成し、表示装置３に表示する。また、ユーザからの指示により、パラメータ設定手段２０は、元映像を再生することとしてもよい。
ユーザは、サムネイル画像や再生画像を参照して、各種パラメータを設定する。なお、パラメータ設定手段２０は、予めパラメータの初期値を記憶しておき、表示装置３に表示することとしてもよい。
また、パラメータ設定手段２０は、初期値またはユーザが設定したパラメータで、要約映像を生成した際に、後記するショット選択・結合手段６０で生成される候補ショットの元映像におけるサムネイル画像を生成し、表示装置３に表示することとしてもよい。これによって、ユーザは要約映像の内容を大まかに確認することができる。
ここで、パラメータ設定手段２０が設定するパラメータは、要約映像の長さ、候補ショット数である。
「要約映像の長さ」は、要約映像生成装置１が生成する要約映像の長さであって、例えば、“０５：００（５分）”のような時間長とする。
「要約映像の長さ」は、要約映像生成装置１が生成する要約映像の長さであって、例えば、“０５：００（５分）”のような時間長とする。
「候補ショット数」は、要約映像として選択するショット数の初期値である。この候補ショット数は、後記するショット選択・結合手段６０において、重要度スコアによって選択されるショット数を示す。なお、この候補ショット数は、ユーザがサムネイル画像を参照して概ねの値を設定することとしてもよいし、要約映像の長さに応じて予め固定の数を用いることとしてもよい。
図１に戻って、要約映像生成装置１の構成について説明を続ける。
パラメータ設定手段２０は、設定したパラメータを、ショット選択・結合手段６０に出力する。
パラメータ設定手段２０は、設定したパラメータを、ショット選択・結合手段６０に出力する。
重要度算出手段３０は、ショットの特徴量に基づいて、当該ショットが元映像内において特徴的であることを示す指標である重要度スコアを算出するものである。
ここでは、重要度算出手段３０は、映像解析手段１０で生成された分割映像リストから、ショットの元映像内における重要度の度合いを示すスコア（重要度スコア）を算出する。この重要度算出手段３０における重要度スコアの算出は、特開２０１２−１０２６５等に記載されているような一般的な手法を用いればよい。
具体的には、重要度算出手段３０は、ショット内から任意に抽出したキーフレームのブロック領域を視覚単語（ｖｉｓｕａｌ ｗｏｒｄ）とし、すべてのショットの視覚単語から、ＴＦ−ＩＤＦ（term frequency-inverse document frequency）法によって求めたＴＦ−ＩＤＦ値を重要度スコアとする。
ここでは、重要度算出手段３０は、映像解析手段１０で生成された分割映像リストから、ショットの元映像内における重要度の度合いを示すスコア（重要度スコア）を算出する。この重要度算出手段３０における重要度スコアの算出は、特開２０１２−１０２６５等に記載されているような一般的な手法を用いればよい。
具体的には、重要度算出手段３０は、ショット内から任意に抽出したキーフレームのブロック領域を視覚単語（ｖｉｓｕａｌ ｗｏｒｄ）とし、すべてのショットの視覚単語から、ＴＦ−ＩＤＦ（term frequency-inverse document frequency）法によって求めたＴＦ−ＩＤＦ値を重要度スコアとする。
この重要度算出手段３０は、算出した重要度スコアをショットに対応付けて重要度スコアリスを生成する。具体的には、重要度算出手段３０は、映像解析手段１０が生成する分割映像リストのショットごとの特徴量を、重要度スコアに置き換えて重要度スコアリストを生成する。
ここで、図３を参照して、重要度算出手段３０が生成する重要度スコアリストの例について説明する。図３に示すように、重要度スコアリストＬ２は、ショットごとに、ショットインデックスＮｓｈｏｔ、シーンインデックスＮｓｃｅｎｅ、ショット開始点Ｔｓｔａｒｔ、ショット終了点Ｔｅｎｄ、および、重要度スコアＰで構成される。
なお、ショットインデックスＮｓｈｏｔ、シーンインデックスＮｓｃｅｎｅ、ショット開始点Ｔｓｔａｒｔおよびショット終了点Ｔｅｎｄは、図２で説明した分割映像リストＬ１と同じものである。よって、シーンインデックスＮｓｃｅｎｅ、ショット開始点Ｔｓｔａｒｔおよびショット終了点Ｔｅｎｄについては、分割映像リストＬ１を参照することとして、重要度スコアリストＬ２から省略しても構わない。
なお、ショットインデックスＮｓｈｏｔ、シーンインデックスＮｓｃｅｎｅ、ショット開始点Ｔｓｔａｒｔおよびショット終了点Ｔｅｎｄは、図２で説明した分割映像リストＬ１と同じものである。よって、シーンインデックスＮｓｃｅｎｅ、ショット開始点Ｔｓｔａｒｔおよびショット終了点Ｔｅｎｄについては、分割映像リストＬ１を参照することとして、重要度スコアリストＬ２から省略しても構わない。
図１に戻って、要約映像生成装置１の構成について説明を続ける。
重要度算出手段３０は、生成した重要度スコアリストをショット選択・結合手段６０に出力する。
重要度算出手段３０は、生成した重要度スコアリストをショット選択・結合手段６０に出力する。
整合性スコア記憶手段４０は、シーンの時間方向の距離に応じて予め整合性の度合いを示す整合性スコアを記憶するものである。この整合性スコア記憶手段４０は、半導体メモリ等の一般的な記憶装置で構成することができる。
通常、映像のシーンはシーン間の距離が離れるほど、意味内容の連続性の度合いが小さく（弱く）なる。そこで、ここでは、元映像におけるショット間の整合性の指標として、それぞれのショットが属するシーンの差に応じて予め整合性スコアを記憶しておく。
具体的には、整合性スコアは、ショット同士が共起する確率であって、要約映像の隣接するショットが元映像においてどれだけ離れたシーンで出現するのかを示す出現確率を、ショットが属するシーンの距離（シーン差分）ごとに学習したものである。なお、この出現確率の算出については、第２実施形態で説明する。
通常、映像のシーンはシーン間の距離が離れるほど、意味内容の連続性の度合いが小さく（弱く）なる。そこで、ここでは、元映像におけるショット間の整合性の指標として、それぞれのショットが属するシーンの差に応じて予め整合性スコアを記憶しておく。
具体的には、整合性スコアは、ショット同士が共起する確率であって、要約映像の隣接するショットが元映像においてどれだけ離れたシーンで出現するのかを示す出現確率を、ショットが属するシーンの距離（シーン差分）ごとに学習したものである。なお、この出現確率の算出については、第２実施形態で説明する。
図４に整合性スコアであるシーン差分の出現確率の例を示す。図４の例は、１つのショットを基準に、時間方向で順方向に離れているシーンの距離を正、逆方向に離れているシーンの距離を負とし、シーン差分の出現確率を示している。
例えば、要約映像の隣接ショットに対応する元映像におけるシーン差分が“２”である出現確率は“０．２１７５”である。なお、シーン差分が“０”とは、隣接ショットが元映像において同一シーンに含まれていることを意味する。この出現確率が高いほど、あるショットに対して要約映像として同時に選択される度合いが大きい（強い）ことになる。
なお、この整合性スコアは、簡易的に、シーンの距離が近いほど大きく、遠いほど小さくした値で予め設定してもよい。
例えば、要約映像の隣接ショットに対応する元映像におけるシーン差分が“２”である出現確率は“０．２１７５”である。なお、シーン差分が“０”とは、隣接ショットが元映像において同一シーンに含まれていることを意味する。この出現確率が高いほど、あるショットに対して要約映像として同時に選択される度合いが大きい（強い）ことになる。
なお、この整合性スコアは、簡易的に、シーンの距離が近いほど大きく、遠いほど小さくした値で予め設定してもよい。
整合性評価手段５０は、分割映像リストと、整合性スコア記憶手段４０に記憶されている整合性スコアとに基づいて、ショットの組合せに対して、当該組合せが要約映像の隣接ショットである整合性を評価するものである。ここで、評価するとは、ショットの組合せに対して、整合性の度合いを示す整合性スコアを対応付けることである。
具体的には、整合性評価手段５０は、映像解析手段１０で生成された分割映像リストに含まれるショットの組合せごとに、ショットが属するシーンの差分を求める。そして、整合性評価手段５０は、ショットの組合せごとに、整合性スコア記憶手段４０に記憶されているシーン差分に対応する整合性スコア（出現確率）を対応付けて整合性スコアリストを生成する。この整合性スコアリストは、ショットの組合せが要約映像の隣接ショットである整合性の度合いを評価した結果となる。
ここで、図５を参照して、整合性評価手段５０が生成する整合性スコアリストの例について説明する。図５に示すように、整合性スコアリストＬ３は、ショットの組合せごとに、対応するショットインデックスＮｓｈｏｔ１，Ｎｓｈｏｔ２と、整合性スコアＣとで構成される。
ショットインデックスＮｓｈｏｔ１，Ｎｓｈｏｔ２は、元映像のショットの組合せを、図２で説明した分割映像リストＬ１に記載されているショットインデックスＮｓｈｏｔの対として記載したものである。
整合性スコアＣは、ショットインデックスＮｓｈｏｔ１，Ｎｓｈｏｔ２のそれぞれのショットが属するシーンの距離（シーン差分）に対応する整合性スコア記憶手段４０に記憶されている整合性スコア（出現確率）である。
ショットインデックスＮｓｈｏｔ１，Ｎｓｈｏｔ２は、元映像のショットの組合せを、図２で説明した分割映像リストＬ１に記載されているショットインデックスＮｓｈｏｔの対として記載したものである。
整合性スコアＣは、ショットインデックスＮｓｈｏｔ１，Ｎｓｈｏｔ２のそれぞれのショットが属するシーンの距離（シーン差分）に対応する整合性スコア記憶手段４０に記憶されている整合性スコア（出現確率）である。
例えば、整合性スコアリストＬ３の３行目は、ショットインデックスが＃００００１，＃００００４である２つのショットの整合性スコアが“０．３５６１”であることを示している。＃００００１，＃００００４の各ショットインデックスは、図２に示した分割映像リストＬ１において、それぞれ、＊０００１，＊０００２の各シーンに属しているため、シーン差分は“１”である。このシーン差分“１”に対する整合性スコアは、図４に示した整合性スコア記憶手段４０の内容により“０．３５６１”となる。
図１に戻って、要約映像生成装置１の構成について説明を続ける。
整合性評価手段５０は、生成した整合性スコアリストをショット選択・結合手段６０に出力する。
整合性評価手段５０は、生成した整合性スコアリストをショット選択・結合手段６０に出力する。
ショット選択・結合手段６０は、重要度算出手段３０で算出された重要度スコアの高いショットに対して、整合性評価手段５０で整合性スコアが高いショットを補間して要約映像を生成するものである。ショット選択・結合手段６０は、候補ショット選択手段６１と、補間ショット探索手段６２と、候補ショット更新手段６３と、候補ショット結合手段６４と、を備える。
候補ショット選択手段６１は、重要度スコアの高いショットから順に、予め設定された数のショットを、要約映像の候補ショットとして選択するものである。
候補ショット選択手段６１は、重要度算出手段３０で生成された重要度スコアリストのショットごとの重要度スコアに基づいて、分割映像リストから、パラメータ設定手段２０で設定されたパラメータである候補ショット数だけショット（候補ショット）を選択する。
候補ショット選択手段６１は、重要度算出手段３０で生成された重要度スコアリストのショットごとの重要度スコアに基づいて、分割映像リストから、パラメータ設定手段２０で設定されたパラメータである候補ショット数だけショット（候補ショット）を選択する。
なお、重要度スコアに基づく候補ショットの選択は、特に限定するものではない。例えば、候補ショット選択手段６１は、重要度スコアリストＬ２（図３参照）のショットごとの重要度スコアを正規化した数値（合計が“１”となるようにスケーリングした数値）を、当該ショットが選択される確率値とする確率分布を求め、その確率分布に従ったサンプルを非復元抽出により抽出して候補ショットとする。
また、例えば、候補ショット選択手段６１は、単純に、重要度スコアリストＬ２（図３参照）のショットごとの重要度スコアが高いショットから順に候補ショットを選択することとしてもよい。
また、例えば、候補ショット選択手段６１は、単純に、重要度スコアリストＬ２（図３参照）のショットごとの重要度スコアが高いショットから順に候補ショットを選択することとしてもよい。
候補ショット選択手段６１は、選択した候補ショットを重要度スコアの高い順にリスト化する。例えば、候補ショット選択手段６１は、図２に示した分割映像リストＬ１から、選択した候補ショットに対応する部分（ショットインデックスＮｓｈｏｔ、シーンインデックスＮｓｃｅｎｅ、ショット開始点Ｔｓｔａｒｔ、ショット終了点Ｔｅｎｄ、重要度スコアＰ）を抽出して、図６に示す候補ショットリストＬ４を生成する。
候補ショット選択手段６１は、生成した候補ショットリストを補間ショット探索手段６２および候補ショット更新手段６３に出力する。
候補ショット選択手段６１は、生成した候補ショットリストを補間ショット探索手段６２および候補ショット更新手段６３に出力する。
補間ショット探索手段６２は、候補ショット選択手段６１で選択された候補ショットに対して整合性スコアの高いショットを、当該候補ショットを補間するショット（補間ショット）として探索するものである。
補間ショット探索手段６２は、整合性評価手段５０で生成された整合性スコアリストを参照し、候補ショットリストの重要度スコアの高い順に、各候補ショットに対して整合性スコアが最も高いショットを補間ショットとして選択しリスト化する。例えば、補間ショット探索手段６２は、図７に示すように、候補ショットと当該候補ショットに対して整合性スコアが高い補間ショットのショットインデックスＮｓｈｏｔおよび時間情報（ショット開始点Ｔｓｔａｒｔ、ショット終了点Ｔｅｎｄ）を配列して補間ショットリストＬ５を生成する。
補間ショット探索手段６２は、整合性評価手段５０で生成された整合性スコアリストを参照し、候補ショットリストの重要度スコアの高い順に、各候補ショットに対して整合性スコアが最も高いショットを補間ショットとして選択しリスト化する。例えば、補間ショット探索手段６２は、図７に示すように、候補ショットと当該候補ショットに対して整合性スコアが高い補間ショットのショットインデックスＮｓｈｏｔおよび時間情報（ショット開始点Ｔｓｔａｒｔ、ショット終了点Ｔｅｎｄ）を配列して補間ショットリストＬ５を生成する。
ここで、補間ショット探索手段６２は、候補ショットおよび補間ショットの総時間長が、パラメータ設定手段２０で設定された要約映像の長さを超える場合、補間ショットの探索を終了する。なお、補間ショット探索手段６２は、探索した補間ショットと同じショットが候補ショットリストに含まれている場合、ショットの重複を避けるため、補間ショットリストへの登録を行わないこととする。
また、補間ショット探索手段６２は、ある候補ショットに対応する補間ショットを探索する際に、当該候補ショットに対して元映像の時間上で前後する他の候補ショットの時刻情報で示される時間を超えて補間ショットを探索しないこととする。
補間ショット探索手段６２は、生成した補間ショットリストを候補ショット更新手段６３に出力する。
また、補間ショット探索手段６２は、ある候補ショットに対応する補間ショットを探索する際に、当該候補ショットに対して元映像の時間上で前後する他の候補ショットの時刻情報で示される時間を超えて補間ショットを探索しないこととする。
補間ショット探索手段６２は、生成した補間ショットリストを候補ショット更新手段６３に出力する。
なお、補間ショット探索手段６２は、候補ショット更新手段６３によって更新された候補ショットに対して、さらに補間ショットを探索する旨の指示があった場合、新たな候補ショットに対して整合性スコアの高いショットを補間ショットとして探索して補間ショットリストを生成し、候補ショット更新手段６３に出力する。
候補ショット更新手段６３は、候補ショット選択手段６１で選択された候補ショットに対して、補間ショット探索手段６２で探索された補間ショットを追加して、候補ショットを更新するものである。
候補ショット更新手段６３は、候補ショット選択手段６１で生成された候補ショットリストに対して、補間ショット探索手段６２で探索された補間ショットを、重要度スコアの大きさの順になるように追加する。
候補ショット更新手段６３は、候補ショット選択手段６１で生成された候補ショットリストに対して、補間ショット探索手段６２で探索された補間ショットを、重要度スコアの大きさの順になるように追加する。
例えば、候補ショット更新手段６３は、図８に示すように、図６に示した候補ショット選択手段６１で生成された候補ショットリストＬ４に、図７に示した補間ショット探索手段６２で生成された補間ショットリストに記載されている補間ショットに対応する情報（ショットインデックス、時間情報、重要度スコア）を追加する。この場合、例えば、図７に示す＃００００４の候補ショットに対応する＃００００５の補間ショットは、重要度スコアが、＃００００６の重要度スコアよりも小さいため、図８に示す候補ショットリストでは、＃００００６の候補ショットよりも後ろに配置されることになる。
なお、候補ショット更新手段６３は、候補ショットリストに登録されているショットの総時間長が、パラメータで指定された要約映像の長さに満たない場合、更新後の候補ショットリストを、補間ショット探索手段６２に出力し、さらなる補間ショットの探索を指示する。このように、候補ショット更新手段６３は、ショットの総時間長が要約映像の長さとなるまで、候補ショットリストを更新する。
候補ショット更新手段６３は、ショットの総時間長が要約映像の長さに達した候補ショットリストを、候補ショット結合手段６４に出力する。
候補ショット更新手段６３は、ショットの総時間長が要約映像の長さに達した候補ショットリストを、候補ショット結合手段６４に出力する。
候補ショット結合手段６４は、候補ショット更新手段６３で更新された候補ショットに対応する時間区間の映像（ショット映像）を、元映像の時間の順番に元映像から切り出し、結合するものである。
なお、元映像から、所定の時間区間の映像を切り出す処理、および、切り出したショット映像を結合する処理は、元映像の映像フォーマットに応じた既知の手法で行うことができる。例えば、候補ショット結合手段６４は、以下の参考文献３に示すＦＦｍｐｅｇ等を用いて映像の切り出し、結合を行うことができる。
（参考文献３）Frantisek Korbel,”FFmpeg Basics: Multimedia handling with a fast audio and video encoder,” CeateSpace Independent Publishing Platform, ISBN: 978-1479327836, 2012年.
なお、元映像から、所定の時間区間の映像を切り出す処理、および、切り出したショット映像を結合する処理は、元映像の映像フォーマットに応じた既知の手法で行うことができる。例えば、候補ショット結合手段６４は、以下の参考文献３に示すＦＦｍｐｅｇ等を用いて映像の切り出し、結合を行うことができる。
（参考文献３）Frantisek Korbel,”FFmpeg Basics: Multimedia handling with a fast audio and video encoder,” CeateSpace Independent Publishing Platform, ISBN: 978-1479327836, 2012年.
候補ショット結合手段６４は、結合した映像を元映像に対する要約映像として出力する。なお、候補ショット結合手段６４は、要約映像を表示装置３に出力し、ユーザが要約映像を視認することで、パラメータを更新することとしてもよい。
以上説明したように要約映像生成装置１を構成することで、要約映像生成装置１は、元映像で重要度が高いショットに対して、さらに整合性を考慮して、ショットを追加して要約映像を生成することができる。
これによって、要約映像生成装置１は、元映像における各ショット間の意味的な不連続性を緩和した要約映像を生成することができる。
これによって、要約映像生成装置１は、元映像における各ショット間の意味的な不連続性を緩和した要約映像を生成することができる。
〔要約映像生成装置の動作〕
次に、図９，図１０を参照（構成については適宜図１参照）して、本発明の第１実施形態に係る要約映像生成装置１の動作について説明する。なお、ここでは、整合性スコア記憶手段４０に、ショットが属するシーンの差に応じた整合性スコア（出現確率）を予め記憶しておくこととする。
次に、図９，図１０を参照（構成については適宜図１参照）して、本発明の第１実施形態に係る要約映像生成装置１の動作について説明する。なお、ここでは、整合性スコア記憶手段４０に、ショットが属するシーンの差に応じた整合性スコア（出現確率）を予め記憶しておくこととする。
図９に示すように、まず、要約映像生成装置１は、映像解析手段１０によって、以下のステップＳ１〜Ｓ４の手順で分割映像リストを生成する。
ステップＳ１において、映像解析手段１０の特徴量抽出手段１１は、元映像からフレーム単位の特徴量を抽出する。
ステップＳ２において、ショット検出手段１２は、ステップＳ１で抽出した特徴量に基づいて、元映像が変化する映像区間をショットとして検出する。
ステップＳ３において、シーン分類手段１３は、ステップＳ２で検出したショットを、特徴量が類似する連続するショットの部分系列ごとにシーンとして分類する。
ステップＳ４において、映像解析手段１０は、ステップＳ２で検出したショット順に、ショットインデックス、シーンインデックス、ショット開始点、ショット終了点および特徴量で構成される分割映像リストＬ１（図２参照）を生成する。
ステップＳ１において、映像解析手段１０の特徴量抽出手段１１は、元映像からフレーム単位の特徴量を抽出する。
ステップＳ２において、ショット検出手段１２は、ステップＳ１で抽出した特徴量に基づいて、元映像が変化する映像区間をショットとして検出する。
ステップＳ３において、シーン分類手段１３は、ステップＳ２で検出したショットを、特徴量が類似する連続するショットの部分系列ごとにシーンとして分類する。
ステップＳ４において、映像解析手段１０は、ステップＳ２で検出したショット順に、ショットインデックス、シーンインデックス、ショット開始点、ショット終了点および特徴量で構成される分割映像リストＬ１（図２参照）を生成する。
そして、要約映像生成装置１は、パラメータ設定手段２０によって、以下のステップ５〜Ｓ７の手順でパラメータを設定する。
ステップＳ５において、パラメータ設定手段２０は、ステップＳ４で生成された分割映像リストに基づいて、元映像からショットごとのサムネイル画像を生成する。
ステップＳ６において、パラメータ設定手段２０は、パラメータの初期値と、ステップＳ５で生成したサムネイル画像とを、表示装置３に表示する。
ステップＳ７において、パラメータ設定手段２０は、外部の入力装置２を介して、パラメータの変更を受け付ける。
ステップＳ５において、パラメータ設定手段２０は、ステップＳ４で生成された分割映像リストに基づいて、元映像からショットごとのサムネイル画像を生成する。
ステップＳ６において、パラメータ設定手段２０は、パラメータの初期値と、ステップＳ５で生成したサムネイル画像とを、表示装置３に表示する。
ステップＳ７において、パラメータ設定手段２０は、外部の入力装置２を介して、パラメータの変更を受け付ける。
次に、要約映像生成装置１は、重要度算出手段３０によって、以下のステップＳ８〜Ｓ９の手順で重要度スコアリストを生成する。
ステップＳ９において、重要度算出手段３０は、ステップＳ４で生成された分割映像リストのショットごとに、元映像内における重要度の度合いを示す重要度スコアを算出する。
ステップＳ１０において、重要度算出手段３０は、ショットのインデックスに当該ショットの重要度スコアを対応付けて重要度スコアリストＬ２（図３参照）を生成する。
ステップＳ９において、重要度算出手段３０は、ステップＳ４で生成された分割映像リストのショットごとに、元映像内における重要度の度合いを示す重要度スコアを算出する。
ステップＳ１０において、重要度算出手段３０は、ショットのインデックスに当該ショットの重要度スコアを対応付けて重要度スコアリストＬ２（図３参照）を生成する。
また、要約映像生成装置１は、整合性評価手段５０によって、以下のステップＳ１０〜Ｓ１１の手順で整合性スコアリストを生成する。
ステップＳ１０において、整合性評価手段５０は、整合性スコア記憶手段４０に記憶されているシーン差分に対応する整合性スコアを参照して、ショットの組合せに対して、それぞれのショットが属するシーンの差分を計算し、シーン差分に対応する整合性スコアを、当該ショットの組合せの評価値とする。
ステップ１１において、整合性評価手段５０は、ショットの組合せを示すショットインデックの対と、対応する整合性スコアとで構成される整合性スコアリストＬ３（図５参照）を生成する。
ステップＳ１０において、整合性評価手段５０は、整合性スコア記憶手段４０に記憶されているシーン差分に対応する整合性スコアを参照して、ショットの組合せに対して、それぞれのショットが属するシーンの差分を計算し、シーン差分に対応する整合性スコアを、当該ショットの組合せの評価値とする。
ステップ１１において、整合性評価手段５０は、ショットの組合せを示すショットインデックの対と、対応する整合性スコアとで構成される整合性スコアリストＬ３（図５参照）を生成する。
なお、ステップＳ８〜Ｓ９の重要度算出手段３０の手順と、ステップＳ１０〜Ｓ１１の整合性評価手段５０の手順は、先に整合性評価手段５０の手順を行っても構わない。あるいは、重要度算出手段３０の手順と整合性評価手段５０の手順とを並列に行っても構わない。
そして、図１０に示すように、要約映像生成装置１は、ショット選択・結合手段６０によって、以下のステップＳ１２〜Ｓ１９の手順で要約映像を生成する。
ステップＳ１２において、ショット選択・結合手段６０の候補ショット選択手段６１は、ステップＳ１１で生成された整合性スコアリストの重要度スコアの高いショットから順に、パラメータとして設定された数のショットを、要約映像の候補ショットとして選択して、候補ショットリストＬ４（図６参照）を生成する。
ステップＳ１２において、ショット選択・結合手段６０の候補ショット選択手段６１は、ステップＳ１１で生成された整合性スコアリストの重要度スコアの高いショットから順に、パラメータとして設定された数のショットを、要約映像の候補ショットとして選択して、候補ショットリストＬ４（図６参照）を生成する。
ステップＳ１３において、補間ショット探索手段６２は、ステップＳ１１で生成された整合性スコアリストを参照し、ステップＳ１２で生成された候補ショットリストの重要度スコアの高い順に、各候補ショットに対して整合性スコアが最も高いショットを補間ショットとして選択することで補間ショットリストＬ５（図７参照）を生成する。
ステップＳ１４において、候補ショット更新手段６３は、ステップＳ１３で生成された補間ショットリストを、上位（重要度スコアの高い順）から走査する。
ステップＳ１５において、候補ショット更新手段６３は、ステップＳ１４で走査した補間ショットを、候補ショットに追加した場合、候補ショットの総時間が、パラメータで指定された要約映像の長さ（時間長）に達していないか否かを判定する。
補間ショットを追加しても要約映像の時間長に満たない場合（ステップＳ１５でＹｅｓ）、ショット選択・結合手段６０は、ステップＳ１６に動作を進める。一方、補間ショットを追加して要約映像の時間長に達した場合（ステップＳ１５でＮｏ）、ショット選択・結合手段６０は、ステップＳ１８に動作を進める。
ステップＳ１５において、候補ショット更新手段６３は、ステップＳ１４で走査した補間ショットを、候補ショットに追加した場合、候補ショットの総時間が、パラメータで指定された要約映像の長さ（時間長）に達していないか否かを判定する。
補間ショットを追加しても要約映像の時間長に満たない場合（ステップＳ１５でＹｅｓ）、ショット選択・結合手段６０は、ステップＳ１６に動作を進める。一方、補間ショットを追加して要約映像の時間長に達した場合（ステップＳ１５でＮｏ）、ショット選択・結合手段６０は、ステップＳ１８に動作を進める。
ステップＳ１６において、候補ショット更新手段６３は、ステップＳ１４で走査した補間ショットを候補ショットリストに追加して、更新した候補ショットリストＬ６（図８参照）を生成する。
ステップＳ１７において、候補ショット更新手段６３は、補間ショットリストの終端まで走査したか否かを判定する。
補間ショットリストの終端まで走査した場合（ステップＳ１７でＹｅｓ）、ショット選択・結合手段６０は、ステップＳ１３に戻って、新たな候補ショットリストに対して、補間ショットリストの生成を行う。一方、補間ショットリストの終端まで走査していない場合（ステップＳ１７でＮｏ）、ショット選択・結合手段６０は、ステップＳ１４に戻って、補間ショットリストの走査を継続し、補間ショットの候補ショットへの追加を行う。
ステップＳ１７において、候補ショット更新手段６３は、補間ショットリストの終端まで走査したか否かを判定する。
補間ショットリストの終端まで走査した場合（ステップＳ１７でＹｅｓ）、ショット選択・結合手段６０は、ステップＳ１３に戻って、新たな候補ショットリストに対して、補間ショットリストの生成を行う。一方、補間ショットリストの終端まで走査していない場合（ステップＳ１７でＮｏ）、ショット選択・結合手段６０は、ステップＳ１４に戻って、補間ショットリストの走査を継続し、補間ショットの候補ショットへの追加を行う。
ステップＳ１８において、候補ショット結合手段６４は、要約映像の時間長に達した候補ショットリストに基づいて、候補ショットに対応する時間区間の映像を元映像から切り出す。
ステップＳ１９において、候補ショット結合手段６４は、ステップＳ１８で切り出したショット映像を、元映像の時間順に結合することで、要約映像を生成する。
ステップＳ１９において、候補ショット結合手段６４は、ステップＳ１８で切り出したショット映像を、元映像の時間順に結合することで、要約映像を生成する。
そして、ステップＳ１９で生成された要約映像を表示装置３に表示して、ユーザがパラメータの変更を行わない場合（ステップＳ２０でＹｅｓ）、要約映像生成装置１は、動作を終了する。一方、ユーザがパラメータの変更を行う場合（ステップＳ２０でＮｏ）、要約映像生成装置１は、ステップＳ７（図９）に戻って、パラメータの変更動作を行う。
以上の動作によって、要約映像生成装置１は、元映像における重要度の高いショットに、当該ショットと連続性の度合いが大きい（強い）ショットを付加して意味的な不連続性を緩和した要約映像を生成することができる。
以上の動作によって、要約映像生成装置１は、元映像における重要度の高いショットに、当該ショットと連続性の度合いが大きい（強い）ショットを付加して意味的な不連続性を緩和した要約映像を生成することができる。
≪第２実施形態≫
次に、図１１を参照して、本発明の第２実施形態に係る要約映像生成装置１Ｂについて説明する。図１で説明した要約映像生成装置１は、整合性スコア記憶手段４０に予め整合性スコアを記憶しておく構成であった。
次に、図１１を参照して、本発明の第２実施形態に係る要約映像生成装置１Ｂについて説明する。図１で説明した要約映像生成装置１は、整合性スコア記憶手段４０に予め整合性スコアを記憶しておく構成であった。
要約映像生成装置１Ｂは、学習データによって整合性スコアを学習する構成とした。
要約映像生成装置１Ｂは、映像解析手段１０と、パラメータ設定手段２０と、重要度算出手段３０と、整合性スコア記憶手段４０と、整合性評価手段５０と、ショット選択・結合手段６０と、整合性スコア学習手段７０と、を備える。整合性スコア学習手段７０以外の構成は、図１で説明した要約映像生成装置１と同じ構成であるため、同一の符号を付して説明を省略する。
要約映像生成装置１Ｂは、映像解析手段１０と、パラメータ設定手段２０と、重要度算出手段３０と、整合性スコア記憶手段４０と、整合性評価手段５０と、ショット選択・結合手段６０と、整合性スコア学習手段７０と、を備える。整合性スコア学習手段７０以外の構成は、図１で説明した要約映像生成装置１と同じ構成であるため、同一の符号を付して説明を省略する。
整合性スコア学習手段７０は、既知の学習データから、元映像のショットにおいて要約映像の隣接ショットが出現する出現確率をショットが属するシーンの距離ごとに整合性スコアとして学習するものである。この学習データは、元映像内のショットインデックスおよびシーンインデックスと、当該元映像から生成した要約映像の元映像内におけるショットインデックスとが既知のデータである。
例えば、元映像内のショットインデックスおよびシーンインデックスには、映像解析手段１０のみを動作させて生成される分割映像リストＬ１（図２参照）のうちのショットインデックスＮｓｈｏｔおよびシーンインデックスＮｓｃｅｎｅを用い、要約映像の元映像内におけるショットインデックスには、元映像から手動で要約映像を生成した際の元映像内におけるショットインデックスを用いればよい。
この整合性スコア学習手段７０は、学習データの要約映像におけるショットに連続するショットが元映像のシーンとしてどれだけ離れたショットとして出現するのかを確率モデルとして学習する。この確率モデルは、以下の式（１）の初項に示すように、要約映像において、ある連続した一組のショットｓｉ，ｓｉ−ｄが、先行するショットｓｉ−ｄが既知の条件の元で、元映像のショットの列ｓｉ−ｄ，…，ｓｉ−１，ｓｉから出現する確率を、ショットｓｉに先行するショット列ｓｉ−ｄ，…，ｓｉ−１が与えられた元での条件付き確率（Ｎグラム確率）として一般的には表現可能である。しかし、本実施例での確率モデルは、以下の式（１）の第３項に示すように、条件付き確率が、要約映像中のショットｓｉと、それに先行するショットｓｉ−ｄとの元映像における距離ｄのみに依存すると仮定したモデルである。ここで、距離ｄは、“０”以上、学習データのシーンインデックスの最大値以下の整数である。
なお、整合性スコア学習手段７０は、学習データとして、あるショットに対して、距離ｄだけ離れたシーンのショットが存在しない場合、その距離ｄに対しては、一般的なスムージング手法によって確率を与える。スムージング手法として、例えば、ノイズ成分が重畳した観測値に対して正規分布等のような一様なカーネル関数をフィッティングさせることによって真の確率値の分布を推定するカーネル密度推定法が適用可能である。
これによって、整合性スコア学習手段７０は、整合性スコアとして、シーンの差分（距離ｄ）ごとの出現確率（図４参照）を学習によって求めることができる。
整合性スコア学習手段７０は、学習した整合性スコアを、シーン差分に対応付けて整合性スコア記憶手段４０に書き込み記憶する。
これによって、整合性スコア学習手段７０は、整合性スコアとして、シーンの差分（距離ｄ）ごとの出現確率（図４参照）を学習によって求めることができる。
整合性スコア学習手段７０は、学習した整合性スコアを、シーン差分に対応付けて整合性スコア記憶手段４０に書き込み記憶する。
以上説明したように要約映像生成装置１Ｂを構成することで、要約映像生成装置１Ｂは、過去の学習データからの学習によって、整合性スコアの精度を高めることができ、整合性の度合いを高めた要約映像を生成することができる。
なお、要約映像生成装置１Ｂの動作は、整合性スコア学習手段７０における整合性スコアの学習の後は、図９，図１０で説明した要約映像生成装置１の動作と同じであるため、説明を省略する。
なお、要約映像生成装置１Ｂの動作は、整合性スコア学習手段７０における整合性スコアの学習の後は、図９，図１０で説明した要約映像生成装置１の動作と同じであるため、説明を省略する。
以上、本発明の実施形態に係る要約映像生成装置１，１Ｂについて説明したが、要約映像生成装置１，１Ｂは、コンピュータを、前記した各手段として機能させるための要約映像生成プログラムで動作させることができる。
１，１Ｂ 要約映像生成装置
１０ 映像解析手段
１１ 特徴量抽出手段
１２ ショット検出手段
１３ シーン分類手段
２０ パラメータ設定手段
３０ 重要度算出手段
４０ 整合性スコア記憶手段
５０ 整合性評価手段
６０ ショット選択・結合手段
６１ 候補ショット選択手段
６２ 補間ショット探索手段
６３ 候補ショット更新手段
６４ 候補ショット結合手段
７０ 整合性スコア学習手段
１０ 映像解析手段
１１ 特徴量抽出手段
１２ ショット検出手段
１３ シーン分類手段
２０ パラメータ設定手段
３０ 重要度算出手段
４０ 整合性スコア記憶手段
５０ 整合性評価手段
６０ ショット選択・結合手段
６１ 候補ショット選択手段
６２ 補間ショット探索手段
６３ 候補ショット更新手段
６４ 候補ショット結合手段
７０ 整合性スコア学習手段
Claims (5)
- 元映像から当該元映像よりも映像時間が短い時間長となる要約映像を生成する要約映像生成装置であって、
前記元映像の変化点となるショットを検出するとともに、特徴量が類似する前記ショットの系列をシーンとして分類する映像解析手段と、
前記ショットの特徴量に基づいて、当該ショットが前記元映像内において特徴的であることを示す指標である重要度スコアを算出する重要度算出手段と、
予め学習した、シーンの時間方向の距離に対応したショット同士が共起する確率を、整合性スコアとして記憶した整合性スコア記憶手段と、
前記整合性スコア記憶手段から、前記映像解析手段が検出した前記ショットごとの前記整合性スコアを取得し、前記ショットの組合せに対して前記整合性スコアを対応付ける整合性評価手段と、
前記元映像から、前記重要度スコアにより重要度の高いショットを予め設定された数だけ選択するとともに、前記重要度の高いショットに対して、前記整合性スコアにより整合性の度合いが大きいショットを、予め設定された前記要約映像の時間長となるまで選択して結合するショット選択・結合手段と、
を備えることを特徴とする要約映像生成装置。 - 元映像内のショットおよびシーンと、当該元映像から生成した要約映像の元映像内におけるショットの位置とが既知の学習データから、
前記学習データの要約映像における隣接するショットが元映像の中に共起する確率を前記整合性スコアとして、前記元映像内のシーンの距離ごとに学習する整合性スコア学習手段を、さらに備えることを特徴とする請求項１に記載の要約映像生成装置。 - 前記ショット選択・結合手段は、
前記重要度スコアの高いショットを予め設定された数だけ前記要約映像の候補ショットとして選択する候補ショット選択手段と、
前記重要度スコアの高い順にそれぞれの前記候補ショットに対して、すべてのショットから前記整合性スコアが最も高いショットを、前記要約映像の時間長を超過しない範囲で補間ショットとして探索する補間ショット探索手段と、
前記候補ショットに前記補間ショットを追加して前記候補ショットを更新する候補ショット更新手段と、
前記候補ショットを、前記元映像の時間順に前記元映像から切り出して結合するショット結合手段と、
を備えることを特徴とする請求項１または請求項２に記載の要約映像生成装置。 - 前記候補ショット更新手段は、更新後の候補ショットの総時間長が、予め設定された前記要約映像の時間長に満たない場合、前記補間ショット探索手段に、前記更新後の候補ショットに対して新たな補間ショットを探索させることを特徴とする請求項３に記載の要約映像生成装置。
- コンピュータを、請求項１から請求項４のいずれか一項に記載の要約映像生成装置として機能させるための要約映像生成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017120355A JP6917210B2 (ja) | 2017-06-20 | 2017-06-20 | 要約映像生成装置およびそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017120355A JP6917210B2 (ja) | 2017-06-20 | 2017-06-20 | 要約映像生成装置およびそのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019003585A JP2019003585A (ja) | 2019-01-10 |
| JP6917210B2 true JP6917210B2 (ja) | 2021-08-11 |
Family
ID=65006942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017120355A Active JP6917210B2 (ja) | 2017-06-20 | 2017-06-20 | 要約映像生成装置およびそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6917210B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110971895B (zh) | 2019-12-18 | 2022-07-08 | 北京百度网讯科技有限公司 | 视频抖动检测方法和装置 |
| WO2021240652A1 (ja) * | 2020-05-26 | 2021-12-02 | 日本電気株式会社 | 情報処理装置、制御方法及び記憶媒体 |
| CN111641868A (zh) * | 2020-05-27 | 2020-09-08 | 维沃移动通信有限公司 | 预览视频生成方法、装置及电子设备 |
| KR102247915B1 (ko) * | 2020-07-24 | 2021-05-04 | 인하대학교 산학협력단 | 부분구간 선형 보간법을 이용한 비지도 비디오 요약을 위한 강화 학습 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4120597B2 (ja) * | 2004-02-18 | 2008-07-16 | 日本電信電話株式会社 | 部分コンテンツ作成方法及び装置及びプログラム |
| JP4032122B2 (ja) * | 2004-06-28 | 2008-01-16 | 国立大学法人広島大学 | 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 |
| JP5886733B2 (ja) * | 2012-12-05 | 2016-03-16 | 日本電信電話株式会社 | 映像群再構成・要約装置、映像群再構成・要約方法及び映像群再構成・要約プログラム |
| JP6378503B2 (ja) * | 2014-03-10 | 2018-08-22 | 国立大学法人 筑波大学 | 要約映像データ作成システム及び方法並びにコンピュータプログラム |
-
2017
- 2017-06-20 JP JP2017120355A patent/JP6917210B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019003585A (ja) | 2019-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110189378B (zh) | 一种视频处理方法、装置及电子设备 | |
| KR102683700B1 (ko) | 비디오 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
| CN108986186B (zh) | 文字转化视频的方法和系统 | |
| CN113709561B (zh) | 视频剪辑方法、装置、设备及存储介质 | |
| JP6917210B2 (ja) | 要約映像生成装置およびそのプログラム | |
| JP4337064B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US8750681B2 (en) | Electronic apparatus, content recommendation method, and program therefor | |
| CN111428088A (zh) | 视频分类方法、装置及服务器 | |
| US20140149865A1 (en) | Information processing apparatus and method, and program | |
| CN110688524B (zh) | 视频检索方法、装置、电子设备及存储介质 | |
| CN110598048B (zh) | 视频检索方法及视频检索映射关系生成方法、装置 | |
| US7769761B2 (en) | Information processing apparatus, method, and program product | |
| CN111708915B (zh) | 内容推荐方法、装置、计算机设备和存储介质 | |
| KR20140108180A (ko) | 멀티미디어 컨텐츠에 접속하기 위한 시스템 및 방법 | |
| JP6557592B2 (ja) | 映像シーン分割装置及び映像シーン分割プログラム | |
| JP6389296B1 (ja) | 映像データ処理装置、映像データ処理方法、及びコンピュータプログラム | |
| CN114363695B (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
| AU2022429021A1 (en) | Video generating method and apparatus, electronic device, and readable storage medium | |
| CN115359409A (zh) | 视频拆分方法、装置、计算机设备和存储介质 | |
| CN114090766A (zh) | 视频文本筛选方法、装置及电子设备 | |
| CN114677402A (zh) | 海报文本布局、海报生成方法及相关装置 | |
| JP5600040B2 (ja) | 映像要約装置，映像要約方法および映像要約プログラム | |
| CN115438223B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN115665508A (zh) | 视频摘要生成的方法、装置、电子设备及存储介质 | |
| JP2006014084A (ja) | 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210521 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210719 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6917210 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |