JP7086331B2 - ダイジェスト映像生成装置およびダイジェスト映像生成プログラム - Google Patents

Description

特許法第３０条第２項適用 （１）平成３０年４月２日に、日本放送協会が配布したパンフレット（第４７回ＮＨＫ番組技術展の展示内容の概要が記載された刊行物）において公開 （２）平成３０年４月５日に、日本放送協会が開催する第４７回ＮＨＫ番組技術展のウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｎｈｋ．ｏｒ．ｊｐ／ｂａｎｇｉｔｅｎ／ｅｘｈｉｂｉｔｉｏｎ／ｄｅｔａｉｌ／ａｒｔｉｃｌｅ２３．ｈｔｍｌ）において、展示内容の概要を公開

映像コンテンツとしてのダイジェスト映像を生成する、ダイジェスト映像生成装置およびダイジェスト映像生成プログラムに関する。

大量かつ長時間の映像データを、効率よく短時間で視聴するためにダイジェスト映像の生成が行われる。例えば、放送局等で行われているスポーツニュース用のダイジェスト映像制作では、映像編集機を使って、所望の内容が映っている区間の映像だけを取り出して並べ、内容が分かるように、文字スーパーや効果音、映像の特殊効果を用いた演出を付加し、魅力的な映像コンテンツを作成している。

図６は、ダイジェスト編集を簡便に実行する従来の手法の概要を説明するための図である。ダイジェスト映像を制作する場合、従来、ユーザ（ダイジェスト映像制作者）が、素材映像の中から、ダイジェスト映像に用いるシーン（映像の内容としてのひとかたまり）を所定の観点に基づき選択し、その選択したシーンのＩＮ／ＯＵＴ時刻を登録する。図６に示す例では、素材映像から「シーン２」の時刻「ＩＮ２」「ＯＵＴ２」を登録し、別の「シーンｎ」の時刻「ＩＮｎ」「ＯＵＴｎ」を登録する。そして、登録したＩＮ／ＯＵＴ時刻の情報を用いて、元の素材映像から必要な映像部分だけを切り出して並べることにより、ダイジェスト映像を生成する。その後、文字スーパーや効果音、映像の特殊効果等の高度な演出を付加する編集を追加して行う。この高度な演出を付加する際には、高価な映像編集機や当該編集機専門の操作者が必要であった。

一方、映像の編集に関する知識がなくても、映像を加工、生成する手法として、映像制作用スクリプトによる映像生成手法が提案、実用化されている。例えば、ＴＶＭＬ（登録商標）（TV program Making Language）（非特許文献１参照）では、テレビ番組のような映像コンテンツの制作全般に用いることのできるスクリプトにより、素材映像の加工や合成、素材映像の再生制御の他、ＣＧキャラクタを使ったキャラクタアニメーション等を実現することができる。また、ＴＶＭＬは、スクリプトを利用することから、一度制作したコンテンツの素材やタイミングを後で簡単に変更したり、日本語版、英語版などの様々なバリエーションを簡単に制作したりすることも可能となる。

「ＴＶＭＬプレイヤーＸ」、［online］、ＮＨＫ放送技術研究所、［平成３０年４月２日検索］、インターネット＜ＵＲＬ：https://www.nhk.or.jp/strl/tvml/index.html＞

しかしながら、ダイジェスト編集の従来の手法では、ダイジェスト映像制作者による（一つの）観点（例えば「得点シーンを抽出する」）のみでしかシーンを取り出すことができない。つまり、ユーザが、ダイジェスト映像制作者の観点（例えば「得点シーン」）以外の、特定の選手が活躍するシーンや、ハプニング的なシーンだけのダイジェストを編集したい場合には、改めて手動で、素材映像から該当シーンのＩＮ／ＯＵＴ時刻の登録を行い、文字スーパーや効果音等の演出を付加する作業をやり直す必要がある。特に、専門家でないユーザの場合、高度な演出の映像編集が可能な高価な映像編集機や、映像編集に関する専門的な知識を備えておらず、効率的に所望のダイジェスト映像を生成することは困難であった。ましてや、ＴＶＭＬ等の映像制作用スクリプトを用いた効率的な映像制作を行うことも困難であった。

本発明は、このような問題に鑑みてなされたものであり、映像の編集や映像制作用スクリプトに関する専門的な知識がなくても、簡便に所望のダイジェスト映像を生成することができる、ダイジェスト映像生成装置およびダイジェスト映像生成プログラムを提供することを課題とする。

前記課題を解決するために、本発明に係るダイジェスト映像生成装置は、素材映像を編集してダイジェスト映像を生成するダイジェスト生成装置であって、生成観点入力手段と、重み付け手段と、シーン選択手段と、スクリプト編集手段と、映像生成手段と、を備える構成とした。

かかる構成において、ダイジェスト映像生成装置は、生成観点入力手段によって、ダイジェスト映像の生成に関する観点を示すダイジェスト観点情報と、ダイジェスト映像を生成する条件を示すダイジェスト条件情報との入力を受け付ける。
これによって、ダイジェスト映像生成装置は、ダイジェスト映像としてユーザが要望する内容（観点）と、ダイジェスト映像を生成する上での条件（例えば、再生時間やシーン数）とを、取得することができる。

そして、ダイジェスト生成装置は、重み付け手段によって、素材映像に対応するメタ情報を参照し、ダイジェスト観点情報に適合するシーンそれぞれに所定の重みを付加することができる。
これによって、ダイジェスト生成装置は、ダイジェスト観点情報に適合するシーンそれぞれに対して所定の重みを付加し、重みの値が高いシーンを優先してダイジェスト映像に選択させることが可能となる。

そして、ダイジェスト生成装置は、シーン選択手段によって、シーンそれぞれに付加された重みの値が高い程、優先順位が高いシーンとし、ダイジェスト条件情報で示される条件を満たすようにして、ダイジェスト映像に用いるシーンを優先順位に従って選択することができる。
これによって、ダイジェスト生成装置は、ダイジェスト条件情報で示される条件を満たすようにして、重みの値がより高いシーンを優先して選択することが可能となる。

そして、ダイジェスト生成装置は、スクリプト編集手段によって、選択されたシーンを繋ぐように設定するとともに、記憶手段に記憶された演出情報で示される演出のルールに基づき、映像制作用スクリプトを編集することができる。
これによって、ダイジェスト生成装置は、ユーザからダイジェスト映像の演出に関する指示情報を受け取ることなく、ダイジェスト映像に高度な演出を付加することが可能となる。

そして、ダイジェスト生成装置は、映像生成手段によって、編集された映像制作用スクリプトを参照し、素材映像および演出素材情報を用いてダイジェスト映像を生成することができる。
これによって、ダイジェスト生成装置は、映像制作用スクリプトを参照して、自動的にダイジェスト映像を生成することが可能となる。また、一度ダイジェスト映像を生成すれば、素材や演出のタイミングを後で簡単に変更したりすることも可能となる。

本発明によれば、映像の編集や映像制作用スクリプトに関する専門的な知識がなくても、簡便に所望のダイジェスト映像を生成することができる。

本実施形態に係るダイジェスト映像生成装置の構成を示すブロック構成図である。 本実施形態に係るダイジェスト編集ツール画面を例示する図である。 本実施形態に係るメタ情報に重みを付加する処理を説明するための図である。 本実施形態に係るダイジェスト映像に付加される演出を説明するための図である。 本実施形態に係るダイジェスト映像生成装置の動作を示すフローチャートである。 ダイジェスト編集を簡便に実行する従来の手法の概要を説明するための図である。

以下、本発明を実施するための形態（以下、「実施形態」と称する。）について図面を参照して説明する。
≪ダイジェスト映像生成装置の構成≫
まず、図１を参照して、本実施形態に係るダイジェスト映像生成装置１の概略および構成について説明する。

ダイジェスト映像生成装置１は、ダイジェスト映像を生成するための元となる素材映像と、その素材映像に関し各シーンの時間情報および映像内容等を記述したメタ情報とを用いてダイジェスト映像を生成する。このメタ情報には、各シーン（ＩＮ／ＯＵＴ時刻で指定される映像）でどのようなイベントが発生したのかが記述される。イベントは、例えば、素材映像がサッカー試合であれば、「ＡチームのＸ選手がシュート（得点）した」「ＡチームのＸ選手のドリブルした」「ＡチームのＹ選手がファールした」「ＢチームのＺ選手がコーナーキックを蹴った」等の映像内容である。

このダイジェスト映像生成装置１は、ダイジェスト映像を要求する利用者（ユーザ）が操作する端末５から、ダイジェスト映像生成に関する観点（どのような内容のダイジェスト映像を要望するか）の情報（以下、「ダイジェスト観点情報」と称する。）を受け付け、受け付けたダイジェスト観点情報を用いて、各シーンに重みを付加する。例えば、「Ａチーム」および「シュート」というダイジェスト観点情報の入力を受け付け、Ａチームの選手がシュートしたシーンに、重み（例えば「＋３」）を付加する。この重みの値が大きい程、ユーザの観点（要望）に沿ったシーンとすることにより、ダイジェスト映像として選択する際の優先順位を決めることができる。

また、ダイジェスト映像生成装置１は、利用者（ユーザ）が操作する端末５から、生成するダイジェスト映像についての条件（以下、「ダイジェスト条件情報」と称する。）の入力を受け付ける。このダイジェスト条件情報は、例えば、ダイジェスト時間（ダイジェスト映像の再生時間）や、ダイジェスト映像のシーン数の情報である。このダイジェスト時間は、生成されるダイジェスト映像の最長時間（上限）を意味する。また、シーン数は、生成されるダイジェスト映像の最大シーン数（上限）を意味する。つまり、ダイジェスト映像生成装置１は、ユーザが指定した条件（時間やシーン数）を満たすダイジェスト映像を生成する。

ダイジェスト映像生成装置１は、例えば、ダイジェスト条件情報としてダイジェスト時間（再生時間）を受け付けた場合、各シーンに付加された重みの値に基づく優先順位に従い、そのダイジェスト時間に収まるようにシーン群から該当シーンを選択する。そして、ダイジェスト映像生成装置１は、その選択したシーンのイベントと、ダイジェスト観点情報とに基づき、予め設定された、文字スーパーや効果音、映像の特殊効果等の高度な演出を実行させるための映像制作用スクリプトを編集し、その編集された映像制作用スクリプトに基づき、ダイジェスト映像を生成する。

なお、以下に示す実施形態において、ダイジェスト映像生成装置１が生成するダイジェスト映像をスポーツのダイジェスト映像（主に、バスケットボール）として説明するが、本実施形態に係るダイジェスト映像生成装置１が対象とする素材映像は、スポーツの映像に限定されず、大量かつ長時間（ユーザがダイジェスト映像を要望する分量）の映像データであればよい。例えば、演劇の舞台を撮影した映像や、クラッシックコンサート、ニュース素材の映像、小中学校等でのイベント（運動会や合唱発表会等）の素材映像を対象とすることもできる。

このダイジェスト映像生成装置１は、ネットワーク等を介して、ユーザが操作する端末５に接続される。そして、ダイジェスト映像生成装置１は、図１に示すように、入出力手段１０と、制御手段２０と、記憶手段３０とを含んで構成される。
入出力手段１０は、端末５等との間で、情報の送受信を行うための通信インタフェースと、キーボード等の入力装置や、モニタ等の出力装置との間で情報の送受信を行うための入出力インタフェースとから構成される。

記憶手段３０は、フラッシュメモリやハードディスク、ＲＡＭ（Random Access Memory）等により構成される。
この記憶手段３０には、ダイジェスト映像を生成するための素材映像３１０、メタ情報３２０、演出情報３３０、演出素材情報３４０が格納される（詳細は後記）。また、この記憶手段３０には、制御手段２０の各機能を実行するためのプログラム（ダイジェスト映像生成プログラム）が記憶される。

素材映像３１０は、ダイジェスト映像の生成対象となる素材である。スポーツの素材映像であれば、例えば、バスケットボールやサッカー等の試合の映像である。この素材映像は、ユーザの要望による様々な観点でシーンの選択が可能となるように、広画角かつ広品質（たとえば、４Ｋ映像，８Ｋ映像）の固定カメラが撮影した映像であることが望ましい。これにより、画面上で注目する領域（所望のシーンや人物が映っている領域）を、拡大（アップ）した場合でも十分な画質の映像を得ることができる。
なお、この素材映像３１０を外部記憶装置（図示省略）に保存しておき、ダイジェスト映像の生成に必要となる情報を、ダイジェスト映像生成装置１が外部記憶装置に要求して取得するようにしてもよい。

メタ情報３２０は、素材映像毎に設けられる情報であり、シーン番号と、当該シーンの始まりの時刻（ＩＮ：開始時間）および終わりの時刻（ＯＵＴ：終了時間）と、イベント（映像の内容）とが対応付けられて記憶される。このメタ情報３２０には、シーン毎に、端末５から受け付けたダイジェスト観点情報に基づく重みの情報が付される（後記する図３参照）。
また、このメタ情報３２０には、素材映像毎に、その素材映像に特有な情報を初期映像情報として付すことができる。例えば、バスケットボールの素材映像であれば、第１クォーター（ピリオド）から第４クォーターまでのそれぞれについて、ＩＮ／ＯＵＴ時刻、Ａチームが攻めるゴールの画面上位置、Ｂチームが攻めるゴールの画面上の位置、Ａチームの選手がゴールした際に拡大（ズーム）する画面領域、Ｂチームの選手がゴールした際に拡大（ズーム）する画面領域等が、予め設定される。

演出情報３３０は、文字スーパーや効果音、映像の特殊効果等の高度な演出を行うためのルールが格納される。この演出情報３３０には、例えば、スポーツ映像の試合途中のシーンがダイジェスト映像として選択された場合には、そのシーンでの点数（得点経過）の情報を文字スーパーとして付加する。ユーザが応援するチームがゴールしたシーンに、喜びや高揚感を与える効果音を付け、ゴールシーンを拡大（ズーム）する。さらにユーザが応援する選手のシュートが決まった場合には、ＣＧキャラクタが出てきて、派手に喜ぶ動画を付加する。一方、相手チームの選手がファールしたシーンに不快を表現する効果音を付ける。このように、ユーザが指定したダイジェスト観点情報と、そのシーンの内容（イベント）とを組み合わせて、予めどのような演出を付加するのかの情報（ルール）を、演出情報３３０として記憶手段３０に格納しておく。

演出素材情報３４０には、演出情報３３０で指定される、効果音や、ＣＧ素材等の素材データが格納される。この演出素材情報３４０は、映像制作用スクリプトに基づき、素材映像を用いてダイジェスト映像を実際に生成する際に利用される。

制御手段２０は、ダイジェスト映像生成装置１全体の制御を司り、生成観点入力手段２１０と、重み付け手段２２０と、シーン選択手段２３０と、スクリプト編集手段２４０と、映像生成手段２５０とを備える。なお、この制御手段２０は、例えば、記憶手段３０に格納されたプログラム（ダイジェスト映像生成プログラム）を不図示のＣＰＵ（Central Processing Unit）が、ＲＡＭに展開し実行することにより実現される。

生成観点入力手段２１０は、インターネット等を介して、端末５にダイジェスト編集ツール画面１００（図２）を表示させ、ダイジェスト映像に関するユーザの要望を示すダイジェスト観点情報およびダイジェスト条件情報の入力を受け付ける。
具体的には、生成観点入力手段２１０は、次に示す処理を実行する。
生成観点入力手段２１０は、まず、素材映像３１０の種別の選択画面（図示省略）を表示させることにより、種別の選択情報を受け付ける。素材映像３１０の種別は、例えば、スポーツ映像であれば、「バスケットボール」「サッカー」「バレーボール」「水球」「ハンドボール」等の競技名が種別として表示され、その競技名が選択された情報を受け付ける。スポーツ映像以外であれば、例えば、「演劇」「クラッシックコンサート」等の素材映像３１０の種別を表示し、ユーザによる種別の選択情報を受け付ける。

続いて、生成観点入力手段２１０は、例えば、図２に示すようなダイジェスト編集ツール画面１００を端末５に表示させる。
なお、このダイジェスト編集ツール画面１００は、素材映像３１０の種別毎に予め設定されるものである。例えば、種別として「バスケットボール」が選択された場合には、バスケットボール用のダイジェスト観点情報が選択できるように設定されたダイジェスト編集ツール画面１００が表示される。

図２は、素材映像３１０の種別として「バスケットボール」が選択された場合の、ダイジェスト編集ツール画面１００を例示する図である。
図２に示すように、このダイジェスト編集ツール画面１００は、素材映像選択領域１１０と、ダイジェスト生成観点入力領域１２０と、ダイジェスト条件入力領域１３０と、ダイジェスト映像再生領域１４０とを備える。

素材映像選択領域１１０には、ユーザがマウス等で動画タイトルをクリックすることにより、素材映像の選択画面で選択した種別（ここでは、「バスケットボール」）の素材映像の名称が、例えばプルダウンリストとして表示される。例えば、素材映像選択領域１１０の動画タイトルとして「Ａチーム×Ｂチーム」「Ａチーム×Ｃチーム」として表示される素材映像の中から、ダイジェスト映像を生成したい素材映像をユーザに選択させ、その情報を生成観点入力手段２１０が取得する。なお、ここでは、「Ａチーム×Ｂチーム」が選択された旨の情報を、生成観点入力手段２１０が取得したものとする。

ダイジェスト生成観点入力領域１２０には、チーム、選手、イベントについて、ユーザがマウス等でクリックすることにより、チーム名、選手名、イベントがそれぞれプルダウンリストとして表示される。例えば、チーム名として「Ａチーム」、選手名として「Ｘ選手」、イベントとして「３ポイント（Ｐ）シュート（得点）」が、ユーザにより選択されることにより、生成観点入力手段２１０が「Ａチーム」「Ｘ選手」「３ポイント（Ｐ）シュート（得点）」を、ダイジェスト観点情報として取得する。

なお、素材映像３１０の種別が「バスケットボール」である場合には、「２ポイント（Ｐ）シュート（得点）」「２ポイント（Ｐ）シュート（ミス）」「３ポイント（Ｐ）シュート（得点）」「３ポイント（Ｐ）シュート（ミス）」「フリースロー」「ターンオーバー」「ファウル」等を示すプルダウンリストの中から、ユーザが注目するイベントが選択される。このイベントの内容は、素材映像の種別に応じて、予め設定された情報が表示される。
ここで、「Ａチーム」および「Ｘ選手」がユーザにより選択されたことにより、ＡチームおよびＸ選手をユーザが注目している（ひいきのチームや選手である）との前提で、ダイジェスト映像生成装置１は、ダイジェスト映像を生成することができる。

また、生成観点入力手段２１０は、ダイジェスト条件情報の入力を受け付ける。図２に示すダイジェスト編集ツール画面１００のダイジェスト条件入力領域１３０には、「再生時間」（１２０秒）を入力する領域と、「シーン」数（５）を入力する領域が設けられている。ここで、「再生時間」には、ダイジェスト編集される映像について、ユーザが希望する最長の再生時間が入力される。「シーン」数には、ダイジェスト編集される映像に用いる最大のシーン数が入力される。図２のダイジェスト編集ツール画面１００では、どちらかを選択してダイジェスト条件情報を入力するものとしているが、両方の情報を条件としてもよい。
「再生時間」または／および「シーン」の情報を入力した後に、ユーザにより「計算」ボタン１３１がクリック等されることにより、映像制作用スクリプトの編集が行われる。そして、映像制作用スクリプトに基づき生成された場合のダイジェスト映像の再生時間（４１秒）やシーン数（５）が、ダイジェスト条件入力領域１３０に表示される。

なお、ダイジェスト編集ツール画面１００のダイジェスト映像再生領域１４０には、ダイジェスト映像生成装置１が生成したダイジェスト映像が再生される。ユーザは、素材映像選択領域１１０、ダイジェスト生成観点入力領域１２０、ダイジェスト条件入力領域１３０において情報を入力し、ダイジェスト再生ボタン１０１をマウス等でクリックすることにより、ダイジェスト映像を視聴する。また、ユーザは、ＴＶＭＬ保存ボタン１０２をマウス等でクリックすることにより、映像制作用スクリプト（ＴＶＭＬスクリプト）を保存できるようにしてもよい。

図１に戻り、重み付け手段２２０は、生成観点入力手段２１０により特定された素材映像に対応するメタ情報３２０を参照し、ダイジェスト観点情報に応じて各シーンに所定の重みを付加する。
図３は、メタ情報３２０に重みを付加する処理の概要を説明するための図である。
例えば、ダイジェスト観点情報として、生成観点入力手段２１０が、「Ａチーム」「Ｘ選手」「３ポイント（Ｐ）シュート（得点）」の情報を受け付けた場合に、「Ａチーム」を含むシーンには重み「２」、「Ｘ選手」を含むシーンには重み「２」、「３ポイント（Ｐ）シュート（得点）」のイベントを含むシーンには重み「２」を付加する。図３に示す例では、シーン番号「１０」のシーンに、重み２＋２＋２の合計値として重み「６」が付加される（符号３２１参照）。

また、例えば「Ａチーム」「Ｙ選手」「３ポイント（Ｐ）シュート（得点）」を満たすシーン番号「１５」のシーンには、２つの要素（「Ａチーム」、「３ポイント（Ｐ）シュート（得点）」）を満たすとし、２＋０＋２の合計値である重み「４」が付加される（符号３２２参照）。
また、例えば「Ａチーム」「Ｘ選手」「２ポイント（Ｐ）シュート（得点）」を満たすシーンでは、「３ポイント（Ｐ）シュート（得点）」に関連する項目として「２ポイント（Ｐ）シュート（得点）」にも重み「１」を付加するように設定しておき、２＋２＋１の合計値である重み「５」が付加される（符号３２３参照）。
このように、ダイジェスト観点情報として入力された項目に応じて、イベント内容に記載される項目の重みの値（所定の重み）を予め設定しておくことにより、重み付け手段２２０は、各シーンの重みの値を算出する。

図１に戻り、シーン選択手段２３０は、各シーンに付加された重みの情報と、ダイジェスト条件情報とに基づき、ダイジェスト編集に用いるシーンを選択する。
シーン選択手段２３０は、各シーンに付加された重みの値が高い程、優先順位が高いシーンであると評価する。そして、シーン選択手段２３０は、ダイジェスト条件情報（例えば、再生時間が「１２０秒」）を満たす範囲内で、重みの値に基づく優先順位に従ってシーンを選択する。具体的には、シーン選択手段２３０は、重みの値が高い順にシーンを抽出し、ＩＮ／ＯＵＴ時刻（開始時間と終了時間）から算出される当該シーンの長さ（時間）を、抽出したシーン毎に加算し、ダイジェスト条件情報の再生時間で指定される最大の再生時間以内に収まるように、シーンを選択する。
なお、シーン選択手段２３０は、図３の符号３２１と符号３２４で示されるように、重みの値が同じ（例えば、重み「６」）であるシーンがある場合には、例えば、試合が進むにつれて得点の重要度が増すというロジックのもと、より後ろのシーンをダイジェスト映像として選択するように設定しておく。

このシーン選択手段２３０は、ダイジェスト条件情報としてシーン数が選択された場合には、重みの値に基づく優先順位に従って、優先順位の高いシーンから順にそのシーン数（例えば「５」）のシーンを選択する。

スクリプト編集手段２４０は、シーン選択手段２３０が選択した各シーンについて、例えば時間の早い順にシーンを繋ぐようにするとともに、演出情報３３０に基づき、文字スーパーや効果音、映像の特殊効果等の演出を付加したスクリプトを編集する。ここで、スクリプトは、例えばＴＶＭＬ等に準拠した映像制作用スクリプトが用いられる。

スクリプト編集手段２４０は、演出情報３３０に格納されたルールに基づき、画面上の注目している領域への拡大（ズーム）、文字スーパーによる得点経過（例えば、「３０対２５ Ａチームリード」）の付加や、ＣＧ部品やＣＧキャラクタ、効果音等の演出を行う。
例えば、「３ポイント（Ｐ）シュート（得点）」等のシュートシーンがシーン選択手段２３０によって選択された場合に、スクリプト編集手段２４０は、図４に示すように、素材映像（符号ａ）から、シュートシーンを拡大（ズーム）し、拡大映像（符号ｂ）となるようにスクリプトを編集する。
また、スクリプト編集手段２４０は、スポーツ映像の試合途中のシーンがダイジェスト映像として選択された場合には、そのシーンでの点数の情報（得点経過）を文字スーパーとして付加するようにスクリプトを編集する（符号ｃ）。さらに、スクリプト編集手段２４０は、３ポイントシュートが決まった場合には、予め記憶手段３０に演出素材情報３４０として格納していたＣＧキャラクタが出てきて喜ぶように動作するＣＧとその効果音とを付加するようにスクリプトを編集する（符号ｃ）。
このようにして、スクリプト編集手段２４０は、魅力的な演出が付加されたダイジェスト映像の映像制作用スクリプトを生成する。

映像生成手段２５０は、スクリプト編集手段２４０が編集した映像制作用スクリプト（ＴＶＭＬスクリプト）に基づき、素材映像３１０および演出素材情報３４０を用いてダイジェスト映像を生成する。
このように、スクリプトを用いてダイジェスト映像を生成することにより、演出の変更や付加が容易となるとともに、バリエーションの異なる複数のダイジェスト映像を効率的かつ短時間で生成することが可能となる。
例えば、Ｗｅｂベースでダイジェスト映像を端末５に提供する場合、映像データの容量、転送速度等の制限によりまずは低品質な素材映像を用いてダイジェスト映像を生成しユーザに確認を受けた後、編集済みの映像制作用スクリプトを使って、ローカルな環境において高品質なダイジェスト映像を改めて生成することもできる。

以上説明したようにダイジェスト映像生成装置１を構成することで、ダイジェスト映像生成装置１は、ユーザのダイジェスト映像生成に関する観点（ダイジェスト観点情報）と、ダイジェスト映像についての条件（ダイジェスト条件情報）とを反映させて、ダイジェスト映像を生成することができる。さらに、ダイジェスト映像生成装置１は、ダイジェスト映像の生成に関し、映像の編集や映像制作用スクリプトに関する専門的知識がなくても、高度な演出が付加されたダイジェスト映像を簡便に生成することができる。

また、ダイジェスト映像生成装置１は、生成観点入力手段２１０によって、ダイジェスト編集ツール画面１００（図２参照）を端末５の表示画面に表示させることができる。このダイジェスト編集ツール画面１００に表示されるダイジェスト生成観点入力領域１２０とダイジェスト条件入力領域１３０とにより、生成観点入力手段２１０は、ダイジェスト観点情報およびダイジェスト条件情報の入力を受け付けることができる。
これにより、ダイジェスト映像生成装置１は、ユーザのダイジェスト映像生成に関する観点（要望）と条件とを満たしたダイジェスト映像を生成することが可能となる。

また、ダイジェスト映像生成装置１は、ダイジェスト条件情報として、ダイジェスト映像の再生時間またはシーン数の入力を受け付けることができる。
これにより、ユーザが任意に決定した、ダイジェスト映像の再生時間またはシーン数の条件を満たすダイジェスト映像を生成でき、ユーザの要望をより反映させることが可能となる。

また、ダイジェスト映像生成装置１の記憶手段３０において、演出情報３３０として格納される演出のルールは、ダイジェスト観点情報とシーンの内容（イベント）とに応じた演出を予め設定しておくものとした。
これにより、例えば、ダイジェスト観点情報に基づき推定されるひいきのチームや選手が活躍するシーン（イベント）については、ＣＧや効果音を用いてより華やかな演出を付加することが可能となる。よって、映像の演出に関する専門的な知識を有しないユーザであっても、高度な演出が付加されたダイジェスト映像を生成することが可能となる。

なお、ダイジェスト映像生成装置１の生成観点入力手段２１０が端末５に表示させるダイジェスト編集ツール画面１００に、ユーザのひいきのチームやひいきの選手を入力する領域を設けてもよい。これにより、よりユーザの意向に沿った演出を付加することができる。
また、演出情報３３０の演出のルールとして、ダイジェスト観点情報とイベントとに応じた異なる種類の演出を用意しておき、ユーザの好みにより、派手な演出、通常の演出、控えめの演出を選ばせるようにしてもよい。

≪ダイジェスト映像生成装置の動作≫
次に図５を参照（構成については、図１を参照）して、ダイジェスト映像生成装置１の動作について説明する。

まず、ダイジェスト映像生成装置１の生成観点入力手段２１０は、端末５からダイジェスト観点情報およびダイジェスト条件情報の入力を受け付ける（ステップＳ１）。
具体的には、ダイジェスト映像生成装置１は、まず、素材映像３１０（図１参照）の種別の選択画面を端末５に表示させ、種別の選択情報を取得する。
そして、生成観点入力手段２１０は、選択された種別（例えば、「バスケットボール」）の選択情報を受信すると、当該種別に対応したダイジェスト編集ツール画面１００（図２参照）を端末５に表示させる。このダイジェスト編集ツール画面１００により、素材映像（例えば、「Ａチーム×Ｂチーム」）が選択される。

また、生成観点入力手段２１０は、ユーザが要望するダイジェスト映像を生成する上での観点の情報（ダイジェスト観点情報）を取得する。例えば、「Ａチーム」「Ｘ選手」「３ポイント（Ｐ）シュート（得点）」を、ダイジェスト観点情報として取得する。
さらに、生成観点入力手段２１０は、生成するダイジェスト映像についての条件（ダイジェスト条件情報）を取得する。例えば、再生時間として「１２０秒」をダイジェスト条件情報として取得する。

次に、ダイジェスト映像生成装置１の重み付け手段２２０は、ステップＳ１において選択された素材映像についてのメタ情報３２０を参照し、各シーンに、ダイジェスト観点情報に応じた重みを付加する（ステップＳ２）。
例えば、重み付け手段２２０は、図３の符号３２１で示すように、「Ａチーム」「Ｘ選手」「３ポイント（Ｐ）シュート（得点）」を満たすシーン番号「１０」のシーンに、重み「６」を付加する。

続いて、ダイジェスト映像生成装置１のシーン選択手段２３０は、メタ情報３２０の各シーンに付加された重みの情報と、ダイジェスト条件情報とに基づき、ダイジェスト編集に用いるシーンを選択する（ステップＳ３）。
具体的には、シーン選択手段２３０は、ダイジェスト条件情報（例えば、再生時間が「１２０秒」）を満たす範囲内で、各シーンに付加された重みの値に基づく優先順位に従って（重みの値が高い順に）シーンを選択する。

そして、ダイジェスト映像生成装置１のスクリプト編集手段２４０は、選択された各シーンについて、例えば時間の早い順にシーンを繋ぐとともに、演出情報３３０（図１）に基づき、文字スーパーや効果音、映像の特殊効果等の演出（図４の符号ｃ参照）を付加したスクリプト（映像制作用スクリプト）を編集する（ステップＳ４）。

次に、ダイジェスト映像生成装置１の映像生成手段２５０は、ステップＳ４で編集された映像制作用スクリプトを参照し、素材映像３１０および演出素材情報３４０を用いてダイジェスト映像を生成する（ステップＳ５）。
図２に示したダイジェスト編集ツール画面１００の例では、ユーザがダイジェスト再生ボタン１０１をクリック等で選択した情報を受け付けて、映像生成手段２５０が映像制作用スクリプトに基づきダイジェスト映像を生成する。そして、映像生成手段２５０は、生成したダイジェスト映像を端末５に出力し、ダイジェスト編集ツール画面１００のダイジェスト映像再生領域１４０において再生させる。

以上説明した動作によって、ダイジェスト映像生成装置１は、映像の編集や映像制作用スクリプトに関する専門的な知識がなくても、ユーザの要望（観点）を反映し、かつ、高度な演出が付加されたダイジェスト映像を簡便に生成することができる。

なお、上記したように、本発明のダイジェスト映像生成装置１が対象とするダイジェスト映像は、バスケットボール等のスポーツ分野のダイジェスト映像に限定されるものではない。
例えば、演劇、コンサート、ニュース素材の映像、小中学校でのイベント（例えば、運動会や合唱発表会）等の様々な素材映像で、大量かつ長時間の映像データであれば適用可能である。

以上説明したダイジェスト映像生成装置１は、コンピュータを前記した各手段として機能させるプログラム（ダイジェスト映像生成プログラム）で動作させることができる。また、このプログラムは、記録媒体に記録して配布したり、通信回線を介して配布したりすることも可能である。

１ ダイジェスト映像生成装置
１０ 入出力手段
２０ 制御手段
３０ 記憶手段
１００ ダイジェスト編集ツール画面
２１０ 生成観点入力手段
２２０ 重み付け手段
２３０ シーン選択手段
２４０ スクリプト編集手段
２５０ 映像生成手段
３１０ 素材映像
３２０ メタ情報
３３０ 演出情報
３４０ 演出素材情報

Claims (5)

1. 素材映像を編集してダイジェスト映像を生成するダイジェスト映像生成装置であって、
   ダイジェスト映像の生成対象となる前記素材映像、
   前記素材映像ごとに、映像の内容としてのひとかたまりを意味するシーンそれぞれに対応付けて、当該シーンの開始時間と終了時間、および、当該シーンの前記映像の内容を示すイベントが格納されるメタ情報、
   前記ダイジェスト映像に付加する演出のルールが格納される演出情報、並びに、
   前記演出をダイジェスト映像に付加する際の素材データである演出素材情報、が記憶される記憶手段と、
   前記ダイジェスト映像の生成に関する観点を示すダイジェスト観点情報、および、前記ダイジェスト映像を生成する条件を示すダイジェスト条件情報の入力を受け付ける生成観点入力手段と、
   前記素材映像に対応するメタ情報を参照し、前記ダイジェスト観点情報に適合するシーンそれぞれに所定の重みを付加する重み付け手段と、
   前記シーンそれぞれに付加された重みの値が高い程、優先順位が高いシーンとし、前記ダイジェスト条件情報で示される条件を満たすようにして、前記ダイジェスト映像に用いるシーンを前記優先順位に従って選択するシーン選択手段と、
   前記選択されたシーンを繋ぐように設定するとともに、前記演出情報で示される前記ルールに基づく演出がなされるように、映像制作用スクリプトを編集するスクリプト編集手段と、
   前記編集された映像制作用スクリプトを参照し、前記素材映像および前記演出素材情報を用いて前記ダイジェスト映像を生成する映像生成手段と、
   を備えることを特徴とするダイジェスト映像生成装置。
2. 前記ダイジェスト映像生成装置は、端末に通信接続されており、
   前記生成観点入力手段が、前記ダイジェスト観点情報の入力を受け付けるダイジェスト生成観点入力領域と、前記ダイジェスト条件情報の入力を受け付けるダイジェスト条件入力領域とを表示するダイジェスト編集ツール画面を前記端末の表示画面に表示させることにより、前記ダイジェスト観点情報および前記ダイジェスト条件情報の入力を受け付けること
   を特徴とする請求項１に記載のダイジェスト映像生成装置。
3. 前記ダイジェスト条件情報は、前記ダイジェスト映像の再生時間またはシーン数であることを特徴とする
   請求項１または請求項２に記載のダイジェスト映像生成装置。
4. 前記演出情報に格納される前記演出のルールには、前記生成観点入力手段が受け付けるダイジェスト観点情報および前記シーン選択手段が選択するシーンの前記イベントに応じた演出が予め設定されること
   を特徴とする請求項１に記載のダイジェスト映像生成装置。
5. コンピュータを、請求項１乃至請求項４のいずれか１項に記載のダイジェスト映像生成装置として機能させるためのダイジェスト映像生成プログラム。

Images