JP6917210B2 - 要約映像生成装置およびそのプログラム - Google Patents

要約映像生成装置およびそのプログラム Download PDF

Info

Publication number
JP6917210B2
JP6917210B2 JP2017120355A JP2017120355A JP6917210B2 JP 6917210 B2 JP6917210 B2 JP 6917210B2 JP 2017120355 A JP2017120355 A JP 2017120355A JP 2017120355 A JP2017120355 A JP 2017120355A JP 6917210 B2 JP6917210 B2 JP 6917210B2
Authority
JP
Japan
Prior art keywords
shot
video
shots
candidate
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017120355A
Other languages
English (en)
Other versions
JP2019003585A (ja
Inventor
松井 淳
淳 松井
貴裕 望月
貴裕 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2017120355A priority Critical patent/JP6917210B2/ja
Publication of JP2019003585A publication Critical patent/JP2019003585A/ja
Application granted granted Critical
Publication of JP6917210B2 publication Critical patent/JP6917210B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Description

本発明は、映像から要約映像を生成する要約映像生成装置およびそのプログラムに関する。
近年、放送番組等の映像から内容を要約した要約映像を生成する映像要約の技術が進化し、自動的に要約映像を生成する手法が開示されている(特許文献1参照)。
特許文献1に開示されている手法(以下、従来手法という)は、与えられた映像(元映像)を分割し、分割映像(ショット)の特徴量を求める。さらに、従来手法は、ショットの特徴量が元映像内において特徴的であることを判別するためのスコアを算出する。
そして、従来手法は、算出したスコアの高い順に所望の要約映像の時間長となるまでショットを選択し、選択したショットを元映像の時間の順番に結合することで、要約映像を生成する。
この従来手法は、動きベクトル等の映像の特徴から生成した特徴量をクラスタリングしたスコア、または、当該スコアと元映像の音声を認識して得られる文字データ中の単語に関する特徴量から算出したスコアとを合算して得られるスコアに基づいて、要約映像を構成する各分割映像を決定する。
これによって、従来手法は、元映像から人手を介さずに自動的に要約映像を生成することを可能にしている。
特開2012−10265号公報
前記した従来手法は、スコアの高いショットをそれぞれ独立に抽出して結合することで、要約映像を生成している。すなわち、従来手法は、各ショットの元映像における文脈、ショット間の前後関係、あるいは、元映像のコンテンツ全体における意味的な役割をまったく考慮していない。
そのため、従来手法によって生成された要約映像は、映像開始時点での導入部の映像の欠落に起因する唐突さ、ある特定の事象を説明する一連のショットが分断されることによる不自然さ等を、当該要約映像を視聴する視聴者に感じさせてしまう場合がある。
このように、従来手法によって生成された要約映像を新たな一つのコンテンツとして利用する場合、必ずしも内容的に整合していないショットが機械的に結合されることによる要約映像には、質的な問題が生じる可能性が高い。
本発明は、このような問題に鑑みてなされたものであり、元映像における各ショット間の意味的な不連続性を緩和して要約映像を生成することが可能な要約映像生成装置およびそのプログラムを提供することを課題とする。
前記課題を解決するため、本発明に係る要約映像生成装置は、元映像から当該元映像よりも映像時間が短い時間長となる要約映像を生成する要約映像生成装置であって、映像解析手段と、重要度算出手段と、整合性スコア記憶手段と、整合性評価手段と、ショット選択・結合手段と、を備える。
かかる構成において、要約映像生成装置は、映像解析手段によって、動きベクトル、色分布等により、元映像の変化点となるショットを検出するとともに、特徴量が類似するショットの系列をシーンとして分類する。これによって、映像解析手段は、元映像を、ショットとショットが属するシーンとに分類する。
そして、要約映像生成装置は、重要度算出手段によって、ショットの特徴量に基づいて、当該ショットが元映像内において特徴的であることを示す指標である重要度スコアを算出する。例えば、重要度算出手段は、元映像内において、他のショットに対して色分布が異なる等、特徴的であるショットに対してより高いスコアを与える。
また、要約映像生成装置は、整合性スコア記憶手段に、予め学習した、シーンの時間方向の距離に対応したショット同士が共起する確率を、整合性スコアとして記憶しておく。この整合性スコアは、予め学習データから、要約映像において隣接するショットが元映像においてどれだけ離れたシーンで出現するのかを示す出現確率を、ショットが属するシーンの距離(シーン差分)ごとに学習したものである。ここで、学習データは、ショットとシーンが既知の元映像と、元映像から選択したショットが既知の要約映像である。
そして、要約映像生成装置は、整合性評価手段によって、整合性スコア記憶手段から、映像解析手段が検出したショットごとのシーンの距離に対応する整合性スコアを取得し、ショットの組合せに対して整合性スコアを対応付ける。
そして、要約映像生成装置は、ショット選択・結合手段によって、元映像から、重要度スコアにより重要度の高いショットを予め設定された数だけ選択するとともに、重要度の高いショットに対して、整合性スコアにより整合性の度合いが大きいショットを、予め設定された要約映像の時間長となるまで選択して結合する。
これによって、ショット選択・結合手段は、重要度の高いショットだけでは、そのショット間の変化が大きい場合でも、重要度の高いショットに整合性の度合いが大きいショットを付加することで、意味的な不連続性を緩和することができる。
なお、要約映像生成装置は、コンピュータを、要約映像生成装置の各手段として機能させるための要約映像生成プログラムで動作させることができる。
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、元映像で特徴的な重要度の高いショットのみを抽出するのではなく、重要度の高いショットに対して、さらに、整合性の度合いが大きいショットを付加して要約映像を生成することができる。
これによって、本発明は、元映像における各ショット間の意味的な不連続性を緩和することができ、映像の意味的な流れがより自然な要約映像を生成することができる。
本発明の第1実施形態に係る要約映像生成装置の構成を示すブロック構成図である。 映像解析手段が生成する分割映像リストの例を示す図である。 重要度算出手段が生成する重要度スコアリストの例を示す図である。 整合性スコア記憶手段に記憶する整合性スコアであるシーン差分(シーンの距離)ごとの出現確率の例を示す図である。 整合性評価手段が生成する整合性スコアリストの例を示す図である。 ショット選択・結合手段の候補ショット選択手段が生成する候補ショットリストの例を示す図である。 ショット選択・結合手段の補間ショット探索手段が生成する補間ショットリストの例を示す図である。 ショット選択・結合手段の候補ショット更新手段で更新された候補ショットリストの例を示す図である。 本発明の第1実施形態に係る要約映像生成装置の動作を示すフローチャート(1/2)である。 本発明の第1実施形態に係る要約映像生成装置の動作を示すフローチャート(2/2)である。 本発明の第2実施形態に係る要約映像生成装置の構成を示すブロック構成図である。
以下、本発明の実施形態について図面を参照して説明する。
≪第1実施形態≫
〔要約映像生成装置の構成〕
まず、図1を参照して、本発明の第1実施形態に係る要約映像生成装置1の構成について説明する。
要約映像生成装置1は、MEPG2ストリーム等の元映像(映像コンテンツ)から、当該元映像よりも映像時間が短い時間長となる要約映像(映像コンテンツ)を生成するものである。
図1に示すように、要約映像生成装置1は、映像解析手段10と、パラメータ設定手段20と、重要度算出手段30と、整合性スコア記憶手段40と、整合性評価手段50と、ショット選択・結合手段60と、を備える。
映像解析手段10は、元映像の変化点となるショットを検出するとともに、特徴量が類似するショットの系列をシーンとして分類するものである。映像解析手段10は、特徴量抽出手段11と、ショット検出手段12と、シーン分類手段13と、を備える。
特徴量抽出手段11は、元映像から時間単位(例えば、フレーム単位)で特徴量を抽出するものである。この特徴量抽出手段11は、例えば、画像特徴として、前フレームとの予め定めた大きさのブロック領域ごとの動きベクトル、色情報(色分布等)、SIFT(Scale-Invariant Feature Transform)特徴量等を算出する。また、特徴量抽出手段11は、フレーム内を人物認証した結果の有無または人物識別子等を算出することとしてもよい。
なお、特徴量抽出手段11が抽出する特徴量は、画像特徴に限定するものではなく、時間単位の特徴を示すものであれば何でもよい。例えば、元映像に音声が付随しているのであれば、その音響特徴(例えば、音声認識で一般的に用いられている対数メルフィルタバンク出力、メル周波数ケプストラム係数等)を抽出し、前記の特徴量と併用してもよい。
ショット検出手段12は、元映像が変化する映像区間をショット(分割映像)として検出するものである。ここでは、ショット検出手段12は、特徴量抽出手段11で抽出された動きベクトルによって、時間方向の変化点を映像区間の区切りとして検出する。
ショット検出手段12は、元映像の先頭から、検出したショットの順に、インデックスと、ショットの開始点および終了点を示す時間情報(例えば、時、分、秒、フレーム番号)と、特徴量と、を対応付けてシーン分類手段13に出力する。
なお、ショット検出手段12におけるショットの検出手法は、一般的な手法を用いればよく、例えば、以下の参考文献1に記載されているように、局所的画像特徴と大域的画像特徴とを併用して、ショットを検出することとしてもよい。
(参考文献1)Evlampios Apostolidis, Vasileios. Mezaris, "Fast Shot Segmentation Combining Global and Local Visual Descriptors", Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2014年.
シーン分類手段13は、ショット検出手段12で検出されたショットを、特徴量が類似する連続するショットの部分系列ごとにシーンとして分類するものである。このシーン分類手段13は、ショットごとに、特徴量の代表値(平均値、中央値等)を算出し、代表値が予め定めた範囲内で近似する隣接するショットをシーンとして分類する。
シーン分類手段13は、ショット検出手段12から入力したショット順のインデックス、時間情報および特徴量に、さらに、シーンのインデックスを対応付けた分割映像リストを生成する。
なお、ここでは、特徴量として、1種類の特徴量(例えば、画像特徴のみ、音響特徴のみ)で、シーンを分割する例を示したが、画像特徴と音響特徴とを併用して、シーンを分割することとしてもよい。なお、画像特徴と音響特徴とを併用したシーンの分割手法は、以下の参考文献2に記載されているように公知の技術であるため、説明を省略する。
(参考文献2)Panagoiotis Sidiropoulos, Vasileios. Mezaris, Hugo Meinedo, Miguel Bugalho, Isbel Trancoso, "Temporal Video Segmentation to Scenes Using High-Level Audiovisual Features", IEEE Transactions on Circuits and Systems for Video Technology, vol. 21, no. 8, pp. 1163-1177, 2011年.
ここで、図2を参照して、映像解析手段10が生成する分割映像リストの例について説明する。図2に示すように、分割映像リストL1は、ショットごとに、ショットインデックスNshot、シーンインデックスNscene、ショット開始点Tstart、ショット終了点Tend、および、特徴量Fで構成される。
ショットインデックスNshotは、ショット検出手段12で検出されたショットに対して、元映像の先頭から順番に付されたインデックスである。
シーンインデックスNsceneは、シーン分類手段13で分類されたシーンに対して、元映像の先頭から順番に付されたインデックスである。
ショット開始点Tstartおよびショット終了点Tendは、ショット検出手段12で検出されたショットの開始点(時、分、秒、フレーム番号)および終了点(時、分、秒、フレーム番号)を示す時間情報である。
特徴量Fは、特徴量抽出手段11で抽出された特徴量のうちで、ショット開始点Tstartおよびショット終了点Tendの映像区間におけるフレームごとの特徴量である。
なお、図2では、1ショット分のデータを、改行“\”を介して2行で示している。
例えば、分割映像リストL1の#00002をショットインデックスとするショットは、*0001のシーンに属し、開始点“00:00:04.18”、終了点“00:00:06.09”であり、特徴量が“0.2416”等であることを示している。
図1に戻って、要約映像生成装置1の構成について説明を続ける。
映像解析手段10は、生成した分割映像リストを、パラメータ設定手段20、重要度算出手段30、整合性評価手段50およびショット選択・結合手段60に出力する。
パラメータ設定手段20は、外部の入力装置2を介して入力される各種のパラメータを設定するものである。このパラメータ設定手段20は、表示装置3に、パラメータ設定画面を表示してパラメータの設定を受け付ける。
パラメータ設定手段20は、元映像から、分割映像リストで示されるショットのサムネイル画像を生成し、表示装置3に表示する。また、ユーザからの指示により、パラメータ設定手段20は、元映像を再生することとしてもよい。
ユーザは、サムネイル画像や再生画像を参照して、各種パラメータを設定する。なお、パラメータ設定手段20は、予めパラメータの初期値を記憶しておき、表示装置3に表示することとしてもよい。
また、パラメータ設定手段20は、初期値またはユーザが設定したパラメータで、要約映像を生成した際に、後記するショット選択・結合手段60で生成される候補ショットの元映像におけるサムネイル画像を生成し、表示装置3に表示することとしてもよい。これによって、ユーザは要約映像の内容を大まかに確認することができる。
ここで、パラメータ設定手段20が設定するパラメータは、要約映像の長さ、候補ショット数である。
「要約映像の長さ」は、要約映像生成装置1が生成する要約映像の長さであって、例えば、“05:00(5分)”のような時間長とする。
「候補ショット数」は、要約映像として選択するショット数の初期値である。この候補ショット数は、後記するショット選択・結合手段60において、重要度スコアによって選択されるショット数を示す。なお、この候補ショット数は、ユーザがサムネイル画像を参照して概ねの値を設定することとしてもよいし、要約映像の長さに応じて予め固定の数を用いることとしてもよい。
図1に戻って、要約映像生成装置1の構成について説明を続ける。
パラメータ設定手段20は、設定したパラメータを、ショット選択・結合手段60に出力する。
重要度算出手段30は、ショットの特徴量に基づいて、当該ショットが元映像内において特徴的であることを示す指標である重要度スコアを算出するものである。
ここでは、重要度算出手段30は、映像解析手段10で生成された分割映像リストから、ショットの元映像内における重要度の度合いを示すスコア(重要度スコア)を算出する。この重要度算出手段30における重要度スコアの算出は、特開2012−10265等に記載されているような一般的な手法を用いればよい。
具体的には、重要度算出手段30は、ショット内から任意に抽出したキーフレームのブロック領域を視覚単語(visual word)とし、すべてのショットの視覚単語から、TF−IDF(term frequency-inverse document frequency)法によって求めたTF−IDF値を重要度スコアとする。
この重要度算出手段30は、算出した重要度スコアをショットに対応付けて重要度スコアリスを生成する。具体的には、重要度算出手段30は、映像解析手段10が生成する分割映像リストのショットごとの特徴量を、重要度スコアに置き換えて重要度スコアリストを生成する。
ここで、図3を参照して、重要度算出手段30が生成する重要度スコアリストの例について説明する。図3に示すように、重要度スコアリストL2は、ショットごとに、ショットインデックスNshot、シーンインデックスNscene、ショット開始点Tstart、ショット終了点Tend、および、重要度スコアPで構成される。
なお、ショットインデックスNshot、シーンインデックスNscene、ショット開始点Tstartおよびショット終了点Tendは、図2で説明した分割映像リストL1と同じものである。よって、シーンインデックスNscene、ショット開始点Tstartおよびショット終了点Tendについては、分割映像リストL1を参照することとして、重要度スコアリストL2から省略しても構わない。
図1に戻って、要約映像生成装置1の構成について説明を続ける。
重要度算出手段30は、生成した重要度スコアリストをショット選択・結合手段60に出力する。
整合性スコア記憶手段40は、シーンの時間方向の距離に応じて予め整合性の度合いを示す整合性スコアを記憶するものである。この整合性スコア記憶手段40は、半導体メモリ等の一般的な記憶装置で構成することができる。
通常、映像のシーンはシーン間の距離が離れるほど、意味内容の連続性の度合いが小さく(弱く)なる。そこで、ここでは、元映像におけるショット間の整合性の指標として、それぞれのショットが属するシーンの差に応じて予め整合性スコアを記憶しておく。
具体的には、整合性スコアは、ショット同士が共起する確率であって、要約映像の隣接するショットが元映像においてどれだけ離れたシーンで出現するのかを示す出現確率を、ショットが属するシーンの距離(シーン差分)ごとに学習したものである。なお、この出現確率の算出については、第2実施形態で説明する。
図4に整合性スコアであるシーン差分の出現確率の例を示す。図4の例は、1つのショットを基準に、時間方向で順方向に離れているシーンの距離を正、逆方向に離れているシーンの距離を負とし、シーン差分の出現確率を示している。
例えば、要約映像の隣接ショットに対応する元映像におけるシーン差分が“2”である出現確率は“0.2175”である。なお、シーン差分が“0”とは、隣接ショットが元映像において同一シーンに含まれていることを意味する。この出現確率が高いほど、あるショットに対して要約映像として同時に選択される度合いが大きい(強い)ことになる。
なお、この整合性スコアは、簡易的に、シーンの距離が近いほど大きく、遠いほど小さくした値で予め設定してもよい。
整合性評価手段50は、分割映像リストと、整合性スコア記憶手段40に記憶されている整合性スコアとに基づいて、ショットの組合せに対して、当該組合せが要約映像の隣接ショットである整合性を評価するものである。ここで、評価するとは、ショットの組合せに対して、整合性の度合いを示す整合性スコアを対応付けることである。
具体的には、整合性評価手段50は、映像解析手段10で生成された分割映像リストに含まれるショットの組合せごとに、ショットが属するシーンの差分を求める。そして、整合性評価手段50は、ショットの組合せごとに、整合性スコア記憶手段40に記憶されているシーン差分に対応する整合性スコア(出現確率)を対応付けて整合性スコアリストを生成する。この整合性スコアリストは、ショットの組合せが要約映像の隣接ショットである整合性の度合いを評価した結果となる。
ここで、図5を参照して、整合性評価手段50が生成する整合性スコアリストの例について説明する。図5に示すように、整合性スコアリストL3は、ショットの組合せごとに、対応するショットインデックスNshot1,Nshot2と、整合性スコアCとで構成される。
ショットインデックスNshot1,Nshot2は、元映像のショットの組合せを、図2で説明した分割映像リストL1に記載されているショットインデックスNshotの対として記載したものである。
整合性スコアCは、ショットインデックスNshot1,Nshot2のそれぞれのショットが属するシーンの距離(シーン差分)に対応する整合性スコア記憶手段40に記憶されている整合性スコア(出現確率)である。
例えば、整合性スコアリストL3の3行目は、ショットインデックスが#00001,#00004である2つのショットの整合性スコアが“0.3561”であることを示している。#00001,#00004の各ショットインデックスは、図2に示した分割映像リストL1において、それぞれ、*0001,*0002の各シーンに属しているため、シーン差分は“1”である。このシーン差分“1”に対する整合性スコアは、図4に示した整合性スコア記憶手段40の内容により“0.3561”となる。
図1に戻って、要約映像生成装置1の構成について説明を続ける。
整合性評価手段50は、生成した整合性スコアリストをショット選択・結合手段60に出力する。
ショット選択・結合手段60は、重要度算出手段30で算出された重要度スコアの高いショットに対して、整合性評価手段50で整合性スコアが高いショットを補間して要約映像を生成するものである。ショット選択・結合手段60は、候補ショット選択手段61と、補間ショット探索手段62と、候補ショット更新手段63と、候補ショット結合手段64と、を備える。
候補ショット選択手段61は、重要度スコアの高いショットから順に、予め設定された数のショットを、要約映像の候補ショットとして選択するものである。
候補ショット選択手段61は、重要度算出手段30で生成された重要度スコアリストのショットごとの重要度スコアに基づいて、分割映像リストから、パラメータ設定手段20で設定されたパラメータである候補ショット数だけショット(候補ショット)を選択する。
なお、重要度スコアに基づく候補ショットの選択は、特に限定するものではない。例えば、候補ショット選択手段61は、重要度スコアリストL2(図3参照)のショットごとの重要度スコアを正規化した数値(合計が“1”となるようにスケーリングした数値)を、当該ショットが選択される確率値とする確率分布を求め、その確率分布に従ったサンプルを非復元抽出により抽出して候補ショットとする。
また、例えば、候補ショット選択手段61は、単純に、重要度スコアリストL2(図3参照)のショットごとの重要度スコアが高いショットから順に候補ショットを選択することとしてもよい。
候補ショット選択手段61は、選択した候補ショットを重要度スコアの高い順にリスト化する。例えば、候補ショット選択手段61は、図2に示した分割映像リストL1から、選択した候補ショットに対応する部分(ショットインデックスNshot、シーンインデックスNscene、ショット開始点Tstart、ショット終了点Tend、重要度スコアP)を抽出して、図6に示す候補ショットリストL4を生成する。
候補ショット選択手段61は、生成した候補ショットリストを補間ショット探索手段62および候補ショット更新手段63に出力する。
補間ショット探索手段62は、候補ショット選択手段61で選択された候補ショットに対して整合性スコアの高いショットを、当該候補ショットを補間するショット(補間ショット)として探索するものである。
補間ショット探索手段62は、整合性評価手段50で生成された整合性スコアリストを参照し、候補ショットリストの重要度スコアの高い順に、各候補ショットに対して整合性スコアが最も高いショットを補間ショットとして選択しリスト化する。例えば、補間ショット探索手段62は、図7に示すように、候補ショットと当該候補ショットに対して整合性スコアが高い補間ショットのショットインデックスNshotおよび時間情報(ショット開始点Tstart、ショット終了点Tend)を配列して補間ショットリストL5を生成する。
ここで、補間ショット探索手段62は、候補ショットおよび補間ショットの総時間長が、パラメータ設定手段20で設定された要約映像の長さを超える場合、補間ショットの探索を終了する。なお、補間ショット探索手段62は、探索した補間ショットと同じショットが候補ショットリストに含まれている場合、ショットの重複を避けるため、補間ショットリストへの登録を行わないこととする。
また、補間ショット探索手段62は、ある候補ショットに対応する補間ショットを探索する際に、当該候補ショットに対して元映像の時間上で前後する他の候補ショットの時刻情報で示される時間を超えて補間ショットを探索しないこととする。
補間ショット探索手段62は、生成した補間ショットリストを候補ショット更新手段63に出力する。
なお、補間ショット探索手段62は、候補ショット更新手段63によって更新された候補ショットに対して、さらに補間ショットを探索する旨の指示があった場合、新たな候補ショットに対して整合性スコアの高いショットを補間ショットとして探索して補間ショットリストを生成し、候補ショット更新手段63に出力する。
候補ショット更新手段63は、候補ショット選択手段61で選択された候補ショットに対して、補間ショット探索手段62で探索された補間ショットを追加して、候補ショットを更新するものである。
候補ショット更新手段63は、候補ショット選択手段61で生成された候補ショットリストに対して、補間ショット探索手段62で探索された補間ショットを、重要度スコアの大きさの順になるように追加する。
例えば、候補ショット更新手段63は、図8に示すように、図6に示した候補ショット選択手段61で生成された候補ショットリストL4に、図7に示した補間ショット探索手段62で生成された補間ショットリストに記載されている補間ショットに対応する情報(ショットインデックス、時間情報、重要度スコア)を追加する。この場合、例えば、図7に示す#00004の候補ショットに対応する#00005の補間ショットは、重要度スコアが、#00006の重要度スコアよりも小さいため、図8に示す候補ショットリストでは、#00006の候補ショットよりも後ろに配置されることになる。
なお、候補ショット更新手段63は、候補ショットリストに登録されているショットの総時間長が、パラメータで指定された要約映像の長さに満たない場合、更新後の候補ショットリストを、補間ショット探索手段62に出力し、さらなる補間ショットの探索を指示する。このように、候補ショット更新手段63は、ショットの総時間長が要約映像の長さとなるまで、候補ショットリストを更新する。
候補ショット更新手段63は、ショットの総時間長が要約映像の長さに達した候補ショットリストを、候補ショット結合手段64に出力する。
候補ショット結合手段64は、候補ショット更新手段63で更新された候補ショットに対応する時間区間の映像(ショット映像)を、元映像の時間の順番に元映像から切り出し、結合するものである。
なお、元映像から、所定の時間区間の映像を切り出す処理、および、切り出したショット映像を結合する処理は、元映像の映像フォーマットに応じた既知の手法で行うことができる。例えば、候補ショット結合手段64は、以下の参考文献3に示すFFmpeg等を用いて映像の切り出し、結合を行うことができる。
(参考文献3)Frantisek Korbel,”FFmpeg Basics: Multimedia handling with a fast audio and video encoder,” CeateSpace Independent Publishing Platform, ISBN: 978-1479327836, 2012年.
候補ショット結合手段64は、結合した映像を元映像に対する要約映像として出力する。なお、候補ショット結合手段64は、要約映像を表示装置3に出力し、ユーザが要約映像を視認することで、パラメータを更新することとしてもよい。
以上説明したように要約映像生成装置1を構成することで、要約映像生成装置1は、元映像で重要度が高いショットに対して、さらに整合性を考慮して、ショットを追加して要約映像を生成することができる。
これによって、要約映像生成装置1は、元映像における各ショット間の意味的な不連続性を緩和した要約映像を生成することができる。
〔要約映像生成装置の動作〕
次に、図9,図10を参照(構成については適宜図1参照)して、本発明の第1実施形態に係る要約映像生成装置1の動作について説明する。なお、ここでは、整合性スコア記憶手段40に、ショットが属するシーンの差に応じた整合性スコア(出現確率)を予め記憶しておくこととする。
図9に示すように、まず、要約映像生成装置1は、映像解析手段10によって、以下のステップS1〜S4の手順で分割映像リストを生成する。
ステップS1において、映像解析手段10の特徴量抽出手段11は、元映像からフレーム単位の特徴量を抽出する。
ステップS2において、ショット検出手段12は、ステップS1で抽出した特徴量に基づいて、元映像が変化する映像区間をショットとして検出する。
ステップS3において、シーン分類手段13は、ステップS2で検出したショットを、特徴量が類似する連続するショットの部分系列ごとにシーンとして分類する。
ステップS4において、映像解析手段10は、ステップS2で検出したショット順に、ショットインデックス、シーンインデックス、ショット開始点、ショット終了点および特徴量で構成される分割映像リストL1(図2参照)を生成する。
そして、要約映像生成装置1は、パラメータ設定手段20によって、以下のステップ5〜S7の手順でパラメータを設定する。
ステップS5において、パラメータ設定手段20は、ステップS4で生成された分割映像リストに基づいて、元映像からショットごとのサムネイル画像を生成する。
ステップS6において、パラメータ設定手段20は、パラメータの初期値と、ステップS5で生成したサムネイル画像とを、表示装置3に表示する。
ステップS7において、パラメータ設定手段20は、外部の入力装置2を介して、パラメータの変更を受け付ける。
次に、要約映像生成装置1は、重要度算出手段30によって、以下のステップS8〜S9の手順で重要度スコアリストを生成する。
ステップS9において、重要度算出手段30は、ステップS4で生成された分割映像リストのショットごとに、元映像内における重要度の度合いを示す重要度スコアを算出する。
ステップS10において、重要度算出手段30は、ショットのインデックスに当該ショットの重要度スコアを対応付けて重要度スコアリストL2(図3参照)を生成する。
また、要約映像生成装置1は、整合性評価手段50によって、以下のステップS10〜S11の手順で整合性スコアリストを生成する。
ステップS10において、整合性評価手段50は、整合性スコア記憶手段40に記憶されているシーン差分に対応する整合性スコアを参照して、ショットの組合せに対して、それぞれのショットが属するシーンの差分を計算し、シーン差分に対応する整合性スコアを、当該ショットの組合せの評価値とする。
ステップ11において、整合性評価手段50は、ショットの組合せを示すショットインデックの対と、対応する整合性スコアとで構成される整合性スコアリストL3(図5参照)を生成する。
なお、ステップS8〜S9の重要度算出手段30の手順と、ステップS10〜S11の整合性評価手段50の手順は、先に整合性評価手段50の手順を行っても構わない。あるいは、重要度算出手段30の手順と整合性評価手段50の手順とを並列に行っても構わない。
そして、図10に示すように、要約映像生成装置1は、ショット選択・結合手段60によって、以下のステップS12〜S19の手順で要約映像を生成する。
ステップS12において、ショット選択・結合手段60の候補ショット選択手段61は、ステップS11で生成された整合性スコアリストの重要度スコアの高いショットから順に、パラメータとして設定された数のショットを、要約映像の候補ショットとして選択して、候補ショットリストL4(図6参照)を生成する。
ステップS13において、補間ショット探索手段62は、ステップS11で生成された整合性スコアリストを参照し、ステップS12で生成された候補ショットリストの重要度スコアの高い順に、各候補ショットに対して整合性スコアが最も高いショットを補間ショットとして選択することで補間ショットリストL5(図7参照)を生成する。
ステップS14において、候補ショット更新手段63は、ステップS13で生成された補間ショットリストを、上位(重要度スコアの高い順)から走査する。
ステップS15において、候補ショット更新手段63は、ステップS14で走査した補間ショットを、候補ショットに追加した場合、候補ショットの総時間が、パラメータで指定された要約映像の長さ(時間長)に達していないか否かを判定する。
補間ショットを追加しても要約映像の時間長に満たない場合(ステップS15でYes)、ショット選択・結合手段60は、ステップS16に動作を進める。一方、補間ショットを追加して要約映像の時間長に達した場合(ステップS15でNo)、ショット選択・結合手段60は、ステップS18に動作を進める。
ステップS16において、候補ショット更新手段63は、ステップS14で走査した補間ショットを候補ショットリストに追加して、更新した候補ショットリストL6(図8参照)を生成する。
ステップS17において、候補ショット更新手段63は、補間ショットリストの終端まで走査したか否かを判定する。
補間ショットリストの終端まで走査した場合(ステップS17でYes)、ショット選択・結合手段60は、ステップS13に戻って、新たな候補ショットリストに対して、補間ショットリストの生成を行う。一方、補間ショットリストの終端まで走査していない場合(ステップS17でNo)、ショット選択・結合手段60は、ステップS14に戻って、補間ショットリストの走査を継続し、補間ショットの候補ショットへの追加を行う。
ステップS18において、候補ショット結合手段64は、要約映像の時間長に達した候補ショットリストに基づいて、候補ショットに対応する時間区間の映像を元映像から切り出す。
ステップS19において、候補ショット結合手段64は、ステップS18で切り出したショット映像を、元映像の時間順に結合することで、要約映像を生成する。
そして、ステップS19で生成された要約映像を表示装置3に表示して、ユーザがパラメータの変更を行わない場合(ステップS20でYes)、要約映像生成装置1は、動作を終了する。一方、ユーザがパラメータの変更を行う場合(ステップS20でNo)、要約映像生成装置1は、ステップS7(図9)に戻って、パラメータの変更動作を行う。
以上の動作によって、要約映像生成装置1は、元映像における重要度の高いショットに、当該ショットと連続性の度合いが大きい(強い)ショットを付加して意味的な不連続性を緩和した要約映像を生成することができる。
≪第2実施形態≫
次に、図11を参照して、本発明の第2実施形態に係る要約映像生成装置1Bについて説明する。図1で説明した要約映像生成装置1は、整合性スコア記憶手段40に予め整合性スコアを記憶しておく構成であった。
要約映像生成装置1Bは、学習データによって整合性スコアを学習する構成とした。
要約映像生成装置1Bは、映像解析手段10と、パラメータ設定手段20と、重要度算出手段30と、整合性スコア記憶手段40と、整合性評価手段50と、ショット選択・結合手段60と、整合性スコア学習手段70と、を備える。整合性スコア学習手段70以外の構成は、図1で説明した要約映像生成装置1と同じ構成であるため、同一の符号を付して説明を省略する。
整合性スコア学習手段70は、既知の学習データから、元映像のショットにおいて要約映像の隣接ショットが出現する出現確率をショットが属するシーンの距離ごとに整合性スコアとして学習するものである。この学習データは、元映像内のショットインデックスおよびシーンインデックスと、当該元映像から生成した要約映像の元映像内におけるショットインデックスとが既知のデータである。
例えば、元映像内のショットインデックスおよびシーンインデックスには、映像解析手段10のみを動作させて生成される分割映像リストL1(図2参照)のうちのショットインデックスNshotおよびシーンインデックスNsceneを用い、要約映像の元映像内におけるショットインデックスには、元映像から手動で要約映像を生成した際の元映像内におけるショットインデックスを用いればよい。
この整合性スコア学習手段70は、学習データの要約映像におけるショットに連続するショットが元映像のシーンとしてどれだけ離れたショットとして出現するのかを確率モデルとして学習する。この確率モデルは、以下の式(1)の初項に示すように、要約映像において、ある連続した一組のショットs,si−dが、先行するショットsi−dが既知の条件の元で、元映像のショットの列si−d,…,si−1,sから出現する確率を、ショットsに先行するショット列si−d,…,si−1が与えられた元での条件付き確率(Nグラム確率)として一般的には表現可能である。しかし、本実施例での確率モデルは、以下の式(1)の第3項に示すように、条件付き確率が、要約映像中のショットsと、それに先行するショットsi−dとの元映像における距離dのみに依存すると仮定したモデルである。ここで、距離dは、“0”以上、学習データのシーンインデックスの最大値以下の整数である。
Figure 0006917210
なお、整合性スコア学習手段70は、学習データとして、あるショットに対して、距離dだけ離れたシーンのショットが存在しない場合、その距離dに対しては、一般的なスムージング手法によって確率を与える。スムージング手法として、例えば、ノイズ成分が重畳した観測値に対して正規分布等のような一様なカーネル関数をフィッティングさせることによって真の確率値の分布を推定するカーネル密度推定法が適用可能である。
これによって、整合性スコア学習手段70は、整合性スコアとして、シーンの差分(距離d)ごとの出現確率(図4参照)を学習によって求めることができる。
整合性スコア学習手段70は、学習した整合性スコアを、シーン差分に対応付けて整合性スコア記憶手段40に書き込み記憶する。
以上説明したように要約映像生成装置1Bを構成することで、要約映像生成装置1Bは、過去の学習データからの学習によって、整合性スコアの精度を高めることができ、整合性の度合いを高めた要約映像を生成することができる。
なお、要約映像生成装置1Bの動作は、整合性スコア学習手段70における整合性スコアの学習の後は、図9,図10で説明した要約映像生成装置1の動作と同じであるため、説明を省略する。
以上、本発明の実施形態に係る要約映像生成装置1,1Bについて説明したが、要約映像生成装置1,1Bは、コンピュータを、前記した各手段として機能させるための要約映像生成プログラムで動作させることができる。
1,1B 要約映像生成装置
10 映像解析手段
11 特徴量抽出手段
12 ショット検出手段
13 シーン分類手段
20 パラメータ設定手段
30 重要度算出手段
40 整合性スコア記憶手段
50 整合性評価手段
60 ショット選択・結合手段
61 候補ショット選択手段
62 補間ショット探索手段
63 候補ショット更新手段
64 候補ショット結合手段
70 整合性スコア学習手段

Claims (5)

  1. 元映像から当該元映像よりも映像時間が短い時間長となる要約映像を生成する要約映像生成装置であって、
    前記元映像の変化点となるショットを検出するとともに、特徴量が類似する前記ショットの系列をシーンとして分類する映像解析手段と、
    前記ショットの特徴量に基づいて、当該ショットが前記元映像内において特徴的であることを示す指標である重要度スコアを算出する重要度算出手段と、
    予め学習した、シーンの時間方向の距離に対応したショット同士が共起する確率を、整合性スコアとして記憶した整合性スコア記憶手段と、
    前記整合性スコア記憶手段から、前記映像解析手段が検出した前記ショットごとの前記整合性スコアを取得し、前記ショットの組合せに対して前記整合性スコアを対応付ける整合性評価手段と、
    前記元映像から、前記重要度スコアにより重要度の高いショットを予め設定された数だけ選択するとともに、前記重要度の高いショットに対して、前記整合性スコアにより整合性の度合いが大きいショットを、予め設定された前記要約映像の時間長となるまで選択して結合するショット選択・結合手段と、
    を備えることを特徴とする要約映像生成装置。
  2. 元映像内のショットおよびシーンと、当該元映像から生成した要約映像の元映像内におけるショットの位置とが既知の学習データから、
    前記学習データの要約映像における隣接するショットが元映像の中に共起する確率を前記整合性スコアとして、前記元映像内のシーンの距離ごとに学習する整合性スコア学習手段を、さらに備えることを特徴とする請求項1に記載の要約映像生成装置。
  3. 前記ショット選択・結合手段は、
    前記重要度スコアの高いショットを予め設定された数だけ前記要約映像の候補ショットとして選択する候補ショット選択手段と、
    前記重要度スコアの高い順にそれぞれの前記候補ショットに対して、すべてのショットから前記整合性スコアが最も高いショットを、前記要約映像の時間長を超過しない範囲で補間ショットとして探索する補間ショット探索手段と、
    前記候補ショットに前記補間ショットを追加して前記候補ショットを更新する候補ショット更新手段と、
    前記候補ショットを、前記元映像の時間順に前記元映像から切り出して結合するショット結合手段と、
    を備えることを特徴とする請求項1または請求項2に記載の要約映像生成装置。
  4. 前記候補ショット更新手段は、更新後の候補ショットの総時間長が、予め設定された前記要約映像の時間長に満たない場合、前記補間ショット探索手段に、前記更新後の候補ショットに対して新たな補間ショットを探索させることを特徴とする請求項3に記載の要約映像生成装置。
  5. コンピュータを、請求項1から請求項4のいずれか一項に記載の要約映像生成装置として機能させるための要約映像生成プログラム。
JP2017120355A 2017-06-20 2017-06-20 要約映像生成装置およびそのプログラム Active JP6917210B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017120355A JP6917210B2 (ja) 2017-06-20 2017-06-20 要約映像生成装置およびそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017120355A JP6917210B2 (ja) 2017-06-20 2017-06-20 要約映像生成装置およびそのプログラム

Publications (2)

Publication Number Publication Date
JP2019003585A JP2019003585A (ja) 2019-01-10
JP6917210B2 true JP6917210B2 (ja) 2021-08-11

Family

ID=65006942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017120355A Active JP6917210B2 (ja) 2017-06-20 2017-06-20 要約映像生成装置およびそのプログラム

Country Status (1)

Country Link
JP (1) JP6917210B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971895B (zh) 2019-12-18 2022-07-08 北京百度网讯科技有限公司 视频抖动检测方法和装置
WO2021240652A1 (ja) * 2020-05-26 2021-12-02 日本電気株式会社 情報処理装置、制御方法及び記憶媒体
CN111641868A (zh) * 2020-05-27 2020-09-08 维沃移动通信有限公司 预览视频生成方法、装置及电子设备
KR102247915B1 (ko) * 2020-07-24 2021-05-04 인하대학교 산학협력단 부분구간 선형 보간법을 이용한 비지도 비디오 요약을 위한 강화 학습

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4120597B2 (ja) * 2004-02-18 2008-07-16 日本電信電話株式会社 部分コンテンツ作成方法及び装置及びプログラム
JP4032122B2 (ja) * 2004-06-28 2008-01-16 国立大学法人広島大学 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法
JP5886733B2 (ja) * 2012-12-05 2016-03-16 日本電信電話株式会社 映像群再構成・要約装置、映像群再構成・要約方法及び映像群再構成・要約プログラム
JP6378503B2 (ja) * 2014-03-10 2018-08-22 国立大学法人 筑波大学 要約映像データ作成システム及び方法並びにコンピュータプログラム

Also Published As

Publication number Publication date
JP2019003585A (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
CN110189378B (zh) 一种视频处理方法、装置及电子设备
KR102683700B1 (ko) 비디오 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램
CN108986186B (zh) 文字转化视频的方法和系统
CN113709561B (zh) 视频剪辑方法、装置、设备及存储介质
JP6917210B2 (ja) 要約映像生成装置およびそのプログラム
JP4337064B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US8750681B2 (en) Electronic apparatus, content recommendation method, and program therefor
CN111428088A (zh) 视频分类方法、装置及服务器
US20140149865A1 (en) Information processing apparatus and method, and program
CN110688524B (zh) 视频检索方法、装置、电子设备及存储介质
CN110598048B (zh) 视频检索方法及视频检索映射关系生成方法、装置
US7769761B2 (en) Information processing apparatus, method, and program product
CN111708915B (zh) 内容推荐方法、装置、计算机设备和存储介质
KR20140108180A (ko) 멀티미디어 컨텐츠에 접속하기 위한 시스템 및 방법
JP6557592B2 (ja) 映像シーン分割装置及び映像シーン分割プログラム
JP6389296B1 (ja) 映像データ処理装置、映像データ処理方法、及びコンピュータプログラム
CN114363695B (zh) 视频处理方法、装置、计算机设备和存储介质
AU2022429021A1 (en) Video generating method and apparatus, electronic device, and readable storage medium
CN115359409A (zh) 视频拆分方法、装置、计算机设备和存储介质
CN114090766A (zh) 视频文本筛选方法、装置及电子设备
CN114677402A (zh) 海报文本布局、海报生成方法及相关装置
JP5600040B2 (ja) 映像要約装置,映像要約方法および映像要約プログラム
CN115438223B (zh) 视频处理方法、装置、电子设备及存储介质
CN115665508A (zh) 视频摘要生成的方法、装置、电子设备及存储介质
JP2006014084A (ja) 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210719

R150 Certificate of patent or registration of utility model

Ref document number: 6917210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250