JP7369739B2 - 動画要約装置、動画要約方法、及びプログラム - Google Patents

Description

本発明は、動画を要約する技術に関連するものである。

長時間にわたる動画（映像と呼んでもよい）の内容を短時間で把握したいという要求が従来からあり、様々な動画要約技術が提案されている（例えば特許文献１～３）。

一例として、発表を撮影した多数の動画から、優れた発表を選ぶ状況において、個々の動画を、時間をかけて視聴することは難しい。動画要約技術を用いることで、短時間で個々の動画の内容を把握でき、効率的な評価を行うことができる。

特開２０１０－０３９８７７号公報 特開２０１１－０６１２６３号公報 特開２０１５－０９９９５８号公報

従来の動画要約技術においては、一般に、動画から特定のジャンルに関連する画像の特徴を抽出し、その特徴を用いて動画の要約を作成している。しかし、動画には、多くのジャンルが存在しており、今後これまでにないジャンル、表現が生まれてくる可能性もある。

従って、従来技術における動画要約技術では、要約を実施できる動画が特定のジャンルのものに限定されてしまい、汎用的に動画を要約できないという課題がある。

本発明は上記の点に鑑みてなされたものであり、特定のジャンルに限定されない汎用性の高い動画要約技術を提供することを目的とする。

開示の技術によれば、動画の要約を作成する動画要約装置であって、
前記動画に含まれる音声に対して音声認識を行うことにより、テキストを取得する音声テキスト化部と、
前記テキストから得られた文章を複数の文に要約する文章要約部と、
前記複数の文におけるそれぞれの文に対応する時間区間を取得し、前記動画から各時間区間に対応する部分動画を抽出し、抽出された部分動画を結合することにより要約動画を生成する要約動画生成部と、を備え、
前記文章要約部は、前記文章の要約結果である前記複数の文をユーザに対して出力し、
前記要約動画生成部は、ユーザから指定された文を前記複数の文に追加する追加処理、又は、ユーザから指定された文を前記複数の文から削除する削除処理を実行し、前記追加処理又は前記削除処理がなされた複数の文から要約動画を生成する
動画要約装置が提供される。

開示の技術によれば、特定のジャンルに限定されない汎用性の高い動画要約技術を実現することが可能となる。

本発明の実施の形態におけるシステムの全体構成図である。 動画要約装置の機能構成図である。 システムの動作を説明するためのシーケンス図である。 表示画面の例を示す図である。 表示画面の例を示す図である。 動画区間の抽出方法の例を説明するための図である。 装置のハードウェア構成例を示す図である。

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下で説明する実施の形態に限られるわけではない。

以下の説明では、特に断らない限り、「動画」は、音声入りの動画であるものとする。当該音声入りの動画において、音声と動画は同期している。また、動画に音声を含める形式についてはどのような形式であってもよい。例えば、動画と音声が別ファイルで提供される形式のものであってもよい。

（システム構成例）
図１に、本実施の形態におけるシステムの全体構成例を示す。図１に示すように、本システムは、動画要約装置１００と端末２００がネットワーク３００に接続された構成を有する。

動画要約装置１００は、本発明に係る技術により動画を要約する装置である。端末２００は、スマートフォン、ＰＣ等の一般的な端末である。ネットワーク３００は、例えばインターネットである。ネットワーク３００は、ＬＡＮ等の小規模なネットワークであってもよい。

（動画要約装置１００の構成例）
図２に、動画要約装置１００の機能構成例を示す。図２に示すように、動画要約装置１００は、動画データ取得部１１０、音声テキスト化処理部１２０、文章要約部１３０、動画区間抽出部１４０、要約動画生成部１５０、データ記憶部１６０を有する。なお、動画区間抽出部１４０の機能を、要約動画生成部１５０内に含めてもよい。各部の機能概要は下記のとおりである。

動画データ取得部１１０は、端末２００等から動画のデータを取得する。音声テキスト化処理部１２０は、動画における音声を文章に変換する。文章要約部１３０は、音声テキスト化処理部１２０により音声から変換された文章を要約する。動画区間抽出部１４０は、音声テキスト化処理部１２０により得られた要約文（抽出文）の時間位置に基づいて、動画の時間区間を抽出する。要約動画生成部１５０は、動画区間抽出部１４０により抽出された時間区間の動画を用いて要約動画を生成する。データ記憶部１６０は各種データを格納する。

（システムの動作例）
次に、図３のシーケンスチャートの手順に沿って、システムの動作例を説明する。ここでは、端末２００が様々な動画のデータ（動画ファイルと呼んでもよい）を保持していると想定する。また、各動画は、人の発話の音声を含んでいる。

端末２００のユーザがある動画の要約を視聴したと考え、Ｓ１０１において、ユーザは、端末２００に対して要約の視聴を希望する動画を指定する。

Ｓ１０２において、端末２００は、指定された動画のデータを動画要約装置１００にアップロードする。動画要約装置１００の動画データ取得部１１０が動画のデータを受信し、データ記憶部１６０に格納する。

音声テキスト化処理部１２０は、データ記憶部１６０から動画のデータを読み出し、当該データから音声（ここでは人の発話音声）を取得して音声認識を実行し、音声をテキストに変換する（Ｓ１０３、Ｓ１０４）。

Ｓ１０５において、音声テキスト化処理部１２０は、音声から変換されたテキストから、複数の文からなる文章を生成する。この文章は、文の一覧の形式で生成されてもよい。Ｓ１０６において、音声テキスト化処理部１２０は、それぞれの文の時間情報（区間、長さ）を取得する。生成された文章（文の一覧）は各文の時間情報とともにデータ記憶部１６０に格納される。なお、音声認識により音声から文章を生成する技術自体は既存技術である。

Ｓ１０７において、音声テキスト化処理部１２０は、生成した文の一覧（各文の時間情報付き）を端末２００に送信する。Ｓ１０８において、端末２００上に文の一覧が表示される。

図４に、Ｓ１０８において端末２００上に表示される画面の例を示す。この例では、対象となっている動画の時間長、及び、音声認識により得られた文の一覧がその時刻（時間）とともに画面上に表示されている。「要約時間長」の指定により、希望する要約動画の長さ（時間長）を指定できる。また、「要約作成開始」ボタンにより要約開始を指示できる。

なお、希望する要約動画の長さの指定に関しては、文の数で指定してもよい。例えば、全体で１００文がある場合に、文数として「２０」を指定することで、要約により２０文の分の要約動画を作成することができる。

また、全体の長さに対する要約の長さの比率（要約率と呼ぶ）で希望する要約動画の長さを指定してもよい。例えば「６分の１」を指定した場合、６０分の動画から１０分の要約動画が生成され、６分の動画から１分の動画が生成される。

また、希望する要約動画の長さを指定せずに、予め決められた要約率で要約動画を生成してもよい。

図３のＳ１０９において、ユーザは、端末２００上で希望する要約時間長を指定し、要約作成開始を指示する。Ｓ１１０において、要約作成命令とともに、上記時間長が、端末２００から動画要約装置１００に送信される。動画要約装置１００の文章要約部１３０は、要約作成命令と時間長を受信する。

Ｓ１１１において、文章要約部１３０は、音声テキスト化処理部１２０により得られた文章（文の一覧）と時間情報をデータ記憶部１６０から読み出し、指定された時間長になるように、文章の要約を作成する。文章の要約自体は既存技術で実現できる。

文章の要約を行うための既存技術としてどのような技術を使用してもよいが、本実施の形態では、一例として、文章から、複数の文を抽出することで要約を行う。例えば、全体の文章の中に、文１～文６０の６０個の文が含まれているとする。各文には、動画における時間区間（開始時刻、終了時刻、時間長）が対応付けられている。

例えば、指定された時間長が１０分であるとした場合、文章要約部１３０は、要約に含める文の時間長の合計が１０分になるように、例えば、「文１（時間長１分）、文２０（時間長１分）、文２１（時間長２分）、文５３（時間長３分）、文５４（時間長１分）、文６０（時間長２分）」といったようにして、重要と考えられる複数の文を抽出する。抽出された文、及び時間区間の情報はデータ記憶部１６０に格納される。

前述したように、要約の長さとして、時間長ではなく、文の数や要約率を指定することも可能である。文の数が指定された場合には、指定された数だけ文を抽出する。要約率が指定された場合には、その要約率に該当する時間長になるように文を抽出する。

図３の例では、Ｓ１１１の次にＳ１１２に進む。ただし、Ｓ１１１の次にＳ１１２に進むことは例であり、Ｓ１１１の次に、Ｓ１１２の前に、文章要約部１３０は、要約の結果である複数の文（文の一覧）を端末２００に送信してもよい。つまり、要約の結果である複数の文（文の一覧）をユーザに対して出力してもよい。

この場合、端末２００上には、例えば、図５に示す画面が表示される。図５に示すように、図４の画面に文章の要約が追加される。ユーザは、この画面上で、全文の中から要約動画に追加したい時間区間の文を指定することができる。また、要約動画から削除したい時間区間の文を指定することもできる。

上記の文追加の指定がなされた場合、動画要約装置１００において、要約の結果として得られた複数の文にユーザから指定された文を追加して得られた複数の文から要約動画を生成することができる。また、上記の文削除の指定がなされた場合、動画要約装置１００において、要約の結果として得られた複数の文から、ユーザにより指定された文を削除して得られた複数の文から要約動画を生成することができる。

Ｓ１１２において、動画区間抽出部１４０は、Ｓ１１１において抽出されたそれぞれの文について、対応する時間区間の情報を取得する。

例えば、上記の例でいえば、文１に対して（開始時刻：０分０秒，終了時刻：１分０秒）が取得され、文２０に対して、例えば、（開始時刻：２０分３０秒，終了時刻：２１分３０秒）が取得される。他の文についても同様である。

Ｓ１１３において、動画区間抽出部１４０は、Ｓ１１２において取得したそれぞれの時間区間について、時間区間に対応する動画区間（時間区間の時間位置に対応する動画であり、部分動画と呼んでもよい）を、全体の動画から抽出する。

例えば、上記の例を用いると、全体が６０分の動画から、文１に対応する時間区間（開始時刻：０分０秒，終了時刻：１分０秒）の動画１が抽出され、文２０に対応する時間区間（開始時刻：２０分３０秒，終了時刻：２１分３０秒）の動画２０が抽出される。他の時間区間についても同様である。

動画抽出のイメージを図６に示す。図６に示すように、各抽出文の時間区間に対応する区間の動画を抽出する。

図３のＳ１１４において、要約動画生成部１５０は、Ｓ１１３において抽出した動画を結合することにより、要約動画を生成する。例えば、Ｓ１１３において、動画１、動画２０、動画２１、動画５３、動画５４、動画６０が抽出されたとすると、これらを結合した「動画１＋動画２０＋動画２１＋動画５３＋動画５４＋動画６０」が要約動画として生成される。

Ｓ１１５において、要約動画生成部１５０は、生成した要約動画を端末２００に送信する。Ｓ１１６において、端末２００上に要約動画が表示され、ユーザは要約動画を視聴する。

（その他の例）
図３に示したシーケンスは一例であり、図３に示したシーケンスとは異なる手順で処理を行ってもよい。例えば、Ｓ１０７～Ｓ１１０の処理を行わないこととしてもよい。この場合、予め定めた要約率を使用してもよいし、Ｓ１０１、Ｓ１０２において要約の時間長等を端末２００から動画要約装置１００に指定してもよい。

また、図１に示した構成も一例であり、この構成に限定されるわけではない。例えば、端末２００内に動画要約装置１００の機能を含めてもよい。この場合、端末２００は、自端末内で、元の動画から要約動画を生成し、表示することができる。なお、動画要約装置１００の機能を含む端末を「動画要約装置」と呼んでもよい。端末２００内に動画要約装置１００の機能を含める場合、図３における端末２００への情報送信は、端末２００のディスプレイに情報を表示することに相当する。

また、これまでに説明した例では、動画に含まれる音声から音声認識によりテキストを取得し、当該テキストを用いて要約動画を生成することとしているが、字幕等のテキストが含まれる動画に関しては、音声認識を用いることなく、当該テキストを用いて要約動画を生成することとしてもよい。

この場合、例えば、動画のデータ（動画ファイル）には、動画とテキストが含まれる。動画とテキストはタイムスタンプ等により同期しているが、分離しており、動画を解析することなくテキストを取得可能である。

例えば、音声テキスト化処理部１２０が、上記テキストから、複数の文からなる文章を生成する。この文章は、文の一覧の形式で生成され、各文には、その文に対応する動画における時間区間の情報が付されている。この処理以降の処理は、これまでに説明した処理と同様である。動画に含まれるテキストを使用する場合でも、動画抽出のイメージは図６に示したものと同じである。

（ハードウェア構成例）
動画要約装置１００、端末２００はいずれも、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。当該コンピュータは物理マシンであってもよいし、クラウド上の仮想マシンであってもよい。動画要約装置１００、端末２００を総称して「装置」と呼ぶ。

すなわち、当該装置は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

図７は、本実施の形態における上記コンピュータのハードウェア構成例を示す図である。図７のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、及び出力装置１００８等を有する。

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。

インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。

（実施の形態の効果）
本実施の形態に係る技術によれば、動画に含まれる音声又はテキストを利用して動画要約を行うことができるので、動画の特徴を事前に定義することが不要であり、汎用性の高い動画要約技術を実現することができる。また、より具体的な効果として下記の効果がある。

５Ｇの本格化に伴い動画コンテンツの需要は高まっている。かつコロナ禍によるセミナーや研修など各種イベントがほぼ全てオンライン開催となり、その模様を動画として記録することが激増している。そのような状況において、本実施の形態に係る技術により、要約動画を自動的に生成でき、生成した要約動画を、隙間時間にスマホやタブレット等で手軽に視聴することができる。また、セミナーや講演会の記録動画や研修の教材動画の視聴を促すプロモーションとしても非常に有効であり、本技術は世の中で非常に渇望されている。

（実施の形態のまとめ）
本明細書には、少なくとも下記各項の動画要約装置、動画要約方法、及びプログラムが開示されている。
（第１項）
動画の要約を作成する動画要約装置であって、
前記動画に含まれる音声に対して音声認識を行うことにより、テキストを取得する音声テキスト化部と、
前記テキストから得られた文章を複数の文に要約する文章要約部と、
前記複数の文におけるそれぞれの文に対応する時間区間を取得し、前記動画から各時間区間に対応する部分動画を抽出し、抽出された部分動画を結合することにより要約動画を生成する要約動画生成部と
を備える動画要約装置。
（第２項）
動画の要約を作成する動画要約装置であって、
前記動画に含まれるテキストから得られた文章を複数の文に要約する文章要約部と、
前記複数の文におけるそれぞれの文に対応する時間区間を取得し、前記動画から各時間区間に対応する部分動画を抽出し、抽出された部分動画を結合することにより要約動画を生成する要約動画生成部と
を備える動画要約装置。
（第３項）
前記文章要約部は、ユーザから指定された時間長、ユーザから指定された文の数、ユーザから指定された要約率、又は、予め定めた要約率に基づいて、前記要約を実行する
第１項又は第２項に記載の動画要約装置。
（第４項）
前記文章要約部は、前記文章の要約結果である前記複数の文をユーザに対して出力し、
前記要約動画生成部は、ユーザから指定された文を前記複数の文に追加する追加処理、又は、ユーザから指定された文を前記複数の文から削除する削除処理を実行し、前記追加処理又は前記削除処理がなされた複数の文から要約動画を生成する
第１項ないし第３項のうちいずれか１項に記載の動画要約装置。
（第５項）
動画の要約を作成する動画要約装置が実行する動画要約方法であって、
前記動画に含まれる音声に対して音声認識を行うことにより、テキストを取得する音声テキスト化ステップと、
前記テキストから得られた文章を複数の文に要約する文章要約ステップと、
前記複数の文におけるそれぞれの文に対応する時間区間を取得し、前記動画から各時間区間に対応する部分動画を抽出し、抽出された部分動画を結合することにより要約動画を生成する要約動画生成ステップと
を備える動画要約方法。
（第６項）
動画の要約を作成する動画要約装置が実行する動画要約方法であって、
前記動画に含まれるテキストから得られた文章を複数の文に要約する文章要約ステップと、
前記複数の文におけるそれぞれの文に対応する時間区間を取得し、前記動画から各時間区間に対応する部分動画を抽出し、抽出された部分動画を結合することにより要約動画を生成する要約動画生成ステップと
を備える動画要約方法。
（第７項）
コンピュータを、第１項ないし第４項のうちいずれか１項に記載の動画要約装置における各部として機能させるためのプログラム。

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 動画要約装置
１１０ 動画データ取得部
１２０ 音声テキスト化処理部
１３０ 文章要約部
１４０ 動画区間抽出部
１５０ 要約動画生成部
１６０ データ記憶部
１０００ ドライブ装置
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置

Claims (6)

1. 動画の要約を作成する動画要約装置であって、
   前記動画に含まれる音声に対して音声認識を行うことにより、テキストを取得する音声テキスト化部と、
   前記テキストから得られた文章を複数の文に要約する文章要約部と、
   前記複数の文におけるそれぞれの文に対応する時間区間を取得し、前記動画から各時間区間に対応する部分動画を抽出し、抽出された部分動画を結合することにより要約動画を生成する要約動画生成部と、を備え、
   前記文章要約部は、前記文章の要約結果である前記複数の文をユーザに対して出力し、
   前記要約動画生成部は、ユーザから指定された文を前記複数の文に追加する追加処理、又は、ユーザから指定された文を前記複数の文から削除する削除処理を実行し、前記追加処理又は前記削除処理がなされた複数の文から要約動画を生成する
   動画要約装置。
2. 動画の要約を作成する動画要約装置であって、
   前記動画に含まれるテキストから得られた文章を複数の文に要約する文章要約部と、
   前記複数の文におけるそれぞれの文に対応する時間区間を取得し、前記動画から各時間区間に対応する部分動画を抽出し、抽出された部分動画を結合することにより要約動画を生成する要約動画生成部と、を備え、
   前記文章要約部は、前記文章の要約結果である前記複数の文をユーザに対して出力し、
   前記要約動画生成部は、ユーザから指定された文を前記複数の文に追加する追加処理、又は、ユーザから指定された文を前記複数の文から削除する削除処理を実行し、前記追加処理又は前記削除処理がなされた複数の文から要約動画を生成する
   動画要約装置。
3. 前記文章要約部は、ユーザから指定された時間長、ユーザから指定された文の数、ユーザから指定された要約率、又は、予め定めた要約率に基づいて、前記要約を実行する
   請求項１又は２に記載の動画要約装置。
4. 動画の要約を作成する動画要約装置が実行する動画要約方法であって、
   前記動画に含まれる音声に対して音声認識を行うことにより、テキストを取得する音声テキスト化ステップと、
   前記テキストから得られた文章を複数の文に要約する文章要約ステップと、
   前記複数の文におけるそれぞれの文に対応する時間区間を取得し、前記動画から各時間区間に対応する部分動画を抽出し、抽出された部分動画を結合することにより要約動画を生成する要約動画生成ステップと、を備え、
   前記文章要約ステップにおいて、前記文章の要約結果である前記複数の文をユーザに対して出力し、
   前記要約動画生成ステップにおいて、ユーザから指定された文を前記複数の文に追加する追加処理、又は、ユーザから指定された文を前記複数の文から削除する削除処理を実行し、前記追加処理又は前記削除処理がなされた複数の文から要約動画を生成する
   動画要約方法。
5. 動画の要約を作成する動画要約装置が実行する動画要約方法であって、
   前記動画に含まれるテキストから得られた文章を複数の文に要約する文章要約ステップと、
   前記複数の文におけるそれぞれの文に対応する時間区間を取得し、前記動画から各時間区間に対応する部分動画を抽出し、抽出された部分動画を結合することにより要約動画を生成する要約動画生成ステップと、を備え、
   前記文章要約ステップにおいて、前記文章の要約結果である前記複数の文をユーザに対して出力し、
   前記要約動画生成ステップにおいて、ユーザから指定された文を前記複数の文に追加する追加処理、又は、ユーザから指定された文を前記複数の文から削除する削除処理を実行し、前記追加処理又は前記削除処理がなされた複数の文から要約動画を生成する
   動画要約方法。
6. コンピュータを、請求項１ないし３のうちいずれか１項に記載の動画要約装置における各部として機能させるためのプログラム。

Images