JP6730757B2 - サーバおよびプログラム、動画配信システム - Google Patents

Description

本発明は、ユーザ端末に配信する動画コンテンツを自動で生成するサーバおよびプログラム、動画配信システムに関する。

従来、動画を複数のチャプタに分割すると共に、メタデータを付加することが行われている。
例えば、特許文献１には、複数のチャプタを有する動画から所望の瞬間のシーン画像を効率的に検索する動画処理装置であって、動画を所定の単位時間毎に複数の大ブロックに分割する大ブロック分割部と、各大ブロックの画像変化の複雑さを数値化する複雑さ分析部と、各大ブロックに係る再生時間を、複雑さに係る数値により複数の小ブロックにそれぞれ分割する小ブロック分割部と、複数の小ブロックを時系列に沿って所定数毎に順次区切ることでチャプタを作成するチャプタ作成部と、を備えてなる動画処理装置が提案されている。

特開２０１１−１３０００７号公報

動画コンテンツを作成することには多大な手間がかかるため、簡便に動画コンテンツを作成することができるシステムの提供が求められていた。

そこで、本発明では、動画コンテンツを簡便に作成することを可能とするサーバおよびプログラム、動画配信システムを提供することを目的とする。

本発明のサーバであって、タグ情報が付された複数のカットから構成されるテンプレートを管理するテンプレート管理部と、イメージデータの入力を受け付ける素材読込部と、入力されたイメージデータ中のオブジェクトを認識し、前記タグ情報との類似度を出力する素材分析部と、前記類似度に基づき前記テンプレートにイメージデータを割り付けるイメージ挿入部と、を備える、ことを特徴とするサーバ。
上記サーバにおいて、学習データを用いて機械学習を行った学習済モデルであり、入力されたイメージデータのアノテーション単語を出力する分類器を備え、前記素材分析部が出力する類似度が、前記分類器用が出力したアノテーション単語と前記タグ情報との単語類似度であることを特徴としてもよい。

上記サーバにおいて、前記テンプレートには色情報が付されており、前記素材分析部が、前記イメージデータと前記色情報との色類似度を出力し、前記イメージ挿入部が、前記単語類似度および／または前記色類似度に基づき前記テンプレートにイメージデータを割り付けることを特徴としてもよい。
上記サーバにおいて、前記素材読込部が、入力されたイメージデータに加え、データベースまたはＷｅｂ上からイメージデータを取得する機能を備えることを特徴としてもよい。

本発明の動画配信システムは、動画コンテンツを作成する上記サーバと、動画配信サーバとを備える動画配信システムであって、動画配信サーバが、動画の配信面が設定されているＷｅｂページのコンテンツ情報を収集するＷｅｂスクレイパーと、前記コンテンツ情報を解析し、予め作成した前記動画コンテンツとの類似度を解析するコンテンツ解析部と、前記類似度が高い動画コンテンツを配信する動画配信部と、を備えることを特徴とする。これらは動画広告の配信などに活用もされる。

本発明のサーバ用プログラムは、前記サーバを、タグ情報が付された複数のカットから構成されるテンプレートを管理するテンプレート管理部と、イメージデータの入力を受け付ける素材読込部と、入力されたイメージデータ中のオブジェクトを認識し、前記タグ情報との類似度を出力する素材分析部と、前記類似度に基づき前記テンプレートにイメージデータを割り付けるイメージ挿入部、として機能させることを特徴とする。

本発明によれば、動画コンテンツを簡便に作成することを可能とするサーバおよびプログラム、動画配信システムを提供することが可能となる。

実施形態例に係る動画編集システムの構成図である。 実施形態例に係る動画編集サーバの構成図である。 テンプレートを構成する画面レイアウト例を説明する図である。 合成動画作成部の構成図である。 素材入力画面例を説明する図である。 素材から動画コンテンツを作成するための各工程を説明する図である。 各カットに最も適した画像・動画を割り当てる処理の説明図である。 動画コンテンツを構成する複数のカットを画面上に一覧表示する態様の説明図である。 動画コンテンツには、ＢＧＭを挿入する画面の説明図である。 要約文作成機能の処理フローである。 文書を形態素解析にかけ、トークンに分ける処理を説明する図である。 テンプレートの各カットへの文章の挿入を説明する図である。 実施形態例に係る動画配信サーバの構成図である。

＜構成＞
実施形態例に係る本発明の動画編集システムは、図１に示すように、動画編集サーバ１と、管理者端末２と、複数台のユーザ端末３とを備えて構成される。図１の例では、動画編集サーバ１を１台で構成する例を説明しているが、複数台のサーバ装置により動画編集サーバ１を実現することも可能である。

動画編集サーバ１は、ＣＰＵを有する処理部、ＨＤＤ等の記憶装置を有する記憶部、および、ＬＡＮポートを有する通信部を備えたサーバ装置に動画編集ソフトウェアおよびデータベースソフトウェアをインストールして構築されている。動画編集ソフトウェアは、図２に示すように、テンプレート管理部１１と、分類器作成部１２と、合成動画作成部１３とを備えている。データベースソフトウェアは、図２に示すように、テンプレートＤＢ２１と、学習データＤＢ２２と、合成動画ＤＢ２３と、組込用素材ＤＢ２４と、を管理している。

テンプレート管理部１１は、テンプレートＤＢ２１に記憶された複数のテンプレートを管理する。各テンプレートは、複数のカットから構成され、各カットには画面レイアウトおよび再生時間が規定されている。テンプレートには、画像ファイルが割り付けられている場合もあり、テンプレートに割り付ける画像ファイルは組込用素材ＤＢ２４から選択することができる。図３は、テンプレートを構成するカットの画面レイアウトの一例である。同図中、テロップフィールド３１に編集された記事素材（テキスト文章）が挿入され、イメージフィールド３２に選択されたイメージ素材が挿入され、ロゴフィールド３３にロゴ素材が挿入される。各テンプレートには、スタイル情報、色情報およびタグ情報が付されている。色情報およびタグ情報は、後述のテンプレート推奨部１３４により利用される。

分類器作成部１２は、学習データを学習データＤＢ２２から取得し、機械学習させることで、学習済モデルである後述の分類器１３３を作成する。分類器作成部１２による分類器１３３の作成は、例えば、年に数回程度行われる。学習データは、インターネットから収集したデータや自社のデータにラベルをつけたものを利用してもよいし、ラベルのついたデータセットを調達して利用してもよい。

合成動画作成部１３は、図４に示すように、素材読込部１３１と、素材分析部１３２と、分類器１３３と、テンプレート推奨部１３４と、イメージ挿入部１３５と、テロップ挿入部１３６と、音楽挿入部１３７とを備えている。

素材読込部１３１は、ユーザ端末３のＷｅｂブラウザ上に素材入力画面ページを表示する。素材読込部１３１は、イメージデータの入力を受け付けるイメージデータ入力部と、文字データの入力を受け付ける文字データ入力部とを備えている。
図５は、素材読込部１３１が出力する素材入力画面の一例を説明する図である。ユーザが素材入稿フィールド５１またはロゴ入稿フィールド５２にイメージデータ（画像・動画）をドラッグアンドドロップすることで、画像・動画素材を入稿することができる。入稿する画像・動画素材の数は、＋ボタンまたは−ボタンをクリックすることにより増減することができる。
文字データ（記事素材）については、タイトルフィールド５３および本文フィールド５４にテキスト文章を入力することにより入稿することができる。各素材を入稿した後、推奨フォーマットボタン５５をクリックすると、推奨フォーマット表示欄に推奨フォーマットが出力される。図５の例では推奨フォーマットを一つだけ表示する仕様としているが、複数の推奨フォーマットを推奨度順に表示させる仕様を採用してもよい。実施形態例と異なり、ユーザが複数のフォーマットの中から任意のフォーマットを手動で選ぶ仕様を採用してもよい。また、テキスト文章の入力を、動画ファイル中の音声を音声認識してテキスト化することでテキスト文章を入力する仕様を採用してもよく、例えば、外部ＡＰＩとして提供される音声認識サービスを利用しもよい。また、ユーザが入力したＵＲＬから、記事素材、画像・動画素材を取得し、組込用素材ＤＢ２４に格納する仕様を採用してもよい。

素材分析部１３２は、入力された素材から抽出される情報とフォーマットに割り付けられたタグ情報との関連性の度合いを算出する。素材からの情報抽出は、分類器１３３により行う。
分類器１３３は、畳み込みニューラルネットワークを利用した学習済モデルであり、動画または画像を入力すると、特定の情報（アノテーション単語）を抽出する。実施形態例の第１分類器は、動画または画像の分類を表す単語（例えば、スタイリッシュ、シンプル）を出力する。実施形態例の第２分類器は、動画または画像に映るオブジェクトを表す単語（例えば、魚介、焼肉、人物、家具）を出力する。

テンプレート推奨部１３４は、素材分析部１３２の出力に基づき最も関連度の高いフォーマットをユーザに推奨する。
イメージ挿入部１３５は、畳み込みニューラルネットワークを利用した学習済モデルであり、入力された素材から抽出される情報と各カットに割り付けられた単語、色および明度の類似度を算出し、最も類似度の高い画像・動画を各カットに割り当てる。ここで、ユーザが入力した画像・動画素材のみならず、予め組込用素材ＤＢ２４に格納した画像・動画素材についても類似度を判定し、割り当てるようにしてよい。
単語の類似度の判定は、単語ベクトルを学習した学習済モデルを用意し、そのベクトルを利用してコサイン類似度やWord Mover’s Distanceなどの方法により単語の類似度を判定する。色の類似度の判定は、例えば、CIELAB座標におけるユークリッド距離を計算することにより行う。具体的には、画像全てのピクセルにおいて、比較対象の色との色差を計算し、その合計値が小さいものを色差が近いものと判定する。動画においては、動画のフレーム画像からサンプリングされた画像において この計算を行う。明度の判定は、例えば画像をグレースケールに変換し、ピクセルのRMSコントラスト値を比較することで行う。動画は色の判定と同様、動画のフレーム画像からサンプリングした画像において この計算を行う。
テロップ挿入部１３６は、選択されたテンプレートの各カットにテロップ（テキスト文章）を挿入する。テロップ挿入部１３６による要約文作成機能の詳細については後述する。
音楽挿入部１３７は、動画コンテンツにＢＧＭとなる音楽を挿入する。

管理者端末２およびユーザ端末３は、入力部、表示部、処理部、記憶部および通信部を備えたコンピュータであり、例えば、スマートフォン、タブレット端末（タブレットＰＣ）、ノートパソコン、デスクトップパソコンなどのＷｅｂブラウザが搭載されたコンピュータである。
管理者は、管理者端末２により動画編集サーバ１の設定変更やデータベースの運用管理などを行う。
ユーザは、ユーザ端末３により動画編集サーバ１にアクセスして、作成された動画コンテンツを閲覧することができる。

本発明の動画編集システムは、図６に示すように、ユーザが入力した素材を分析する素材分析工程、作成する動画のフォーマットを選択するフォーマット選択工程、選択したフォーマットにテロップおよびイメージデータ（静止画・動画）を割り当てる動画構成工程を実行する。
素材分析工程では、素材分析部１３２が記事、画像（静止画）、動画等の素材を分析し、テンプレート推奨部１３４が入力された素材に関連性が高いフォーマットを選び、ユーザに推奨する。例えば、アップロードされた素材から抽出されるタグ情報が「人」、「ネイル」、「せっけん」である場合、「コスメ」、「女性」に近いと判定し、キュートのスタイルが付されたフォーマットＡを推奨する。また、素材より抽出される色情報に基づき推奨フォーマットを選択してもよく、さらには色情報とタグ情報の両方を利用して推奨フォーマットを選択してもよい。

フォーマット選択工程では、ユーザは動画構成に用いられる動画のフォーマットを選択する。ユーザは、テンプレート推奨部１３４が最も推奨するフォーマットをそのまま採用してもよいし、複数推奨されたフォーマットの中から気に入ったフォーマットを選択してもよいし、推奨されていないフォーマットの中から自己の好きなフォーマットを選択してもよい。フォーマットを構成する各カットには、装飾されたフレームが配置されており、また挿入された画像に対するアニメーション効果（例えば、パワーポイントにおけるスプリット、フェード、スライドイン・アウト、スピン、ターンのような効果）が設定されている場合もある。

動画構成工程では、テロップ挿入部１３６が素材から抽出した要約文を作成し、各カットに割り当てる処理、イメージ挿入部１３５が素材から抽出した画像・動画を各カットに割り当てる処理を行う。図７に示すように、フォーマットを構成する各カットには、明度情報、色情報、および、人、車、ビジネス、自然風景などのタグ情報が関連付けられている。イメージ挿入部１３５は、単語、色および明度の類似度に基づき各カットに最も適した画像・動画を判別し、各カットに割り当てる。実施形態例では、イメージ挿入部１３５はユーザが入力した画像・動画素材を各カットに割り当てているが、予め用意された画像・動画素材を各カットに割り当てる仕様を採用してもよい。
画像・動画の割り当てが完了すると、図８に示すように、動画コンテンツを構成する複数のカットを画面上に一覧表示することができる。各カットには、表示される画像・動画およびテロップと共に各カットの再生時間（秒数）の情報も表示される。ユーザは、テキストボタンまたテキストフィールドをクリックすることで、テロップを修正することができ、画像ボタンをクリックすることで画像を差し替えることができる。

作成された動画コンテンツには、音楽挿入部１４によりＢＧＭを挿入することも可能である。図８の画面において、ＢＧＭボタンをクリックすると、図９に示すように、挿入可能なＢＧＭの一覧が表示される。曲名の右側にある再生ボタンをクリックすると、曲の演奏が開始される。曲名の左側にあるチェックボックスをクリックしてプレビューボタンをクリックすると、ＢＧＭが挿入された動画コンテンツのプレビューを再生することが可能となる。

（要約文作成機能）
図１０〜図１２を参照しながらテロップ挿入部１３６による要約文作成機能について説明する。
ＳＴＥＰ９１：段落分割・文書分割
テロップ挿入部１３６は、本文フィールド５４に入力された文書を段落に分割し、各段落内の文書を文書に分割する。また、動画のテロップとして１シーンで表示すると長すぎて可読性を落とす文章（例えば８０文字以上）については、特定の品詞、表記等の条件を満たす箇所で、さらに複数の文章に分割する。
ＳＴＥＰ９２：文書の形態素解析
テロップ挿入部１３６は、各文を形態素解析にかけ、構文解析の最小単位となるトークンを取り出す。図１１に示すように、各トークンには品詞が付与されている。

ＳＴＥＰ９３：不要語・不要段落の削除
テロップ挿入部１３６は、予め定義された無効な文の判定ルールより、無効と定義される文、段落を削除する。例えば、「■」、「▼」などの特定記号から始まる行、特定記号で囲まれた段落、ＵＲＬ、メールアドレス、住所・電話番号などが記載された段落を削除する。
ＳＴＥＰ９４：ストップワード等の削除
テロップ挿入部１３６は、トークンから「に」、「から」、「これ」、「さん」などのあまり意味としては重要でないワード（ストップワード）や助詞などの特定品詞を削除する。
ＳＴＥＰ９５：トークンバイグラムの作成
特定の条件（例えば、予め定義された品詞条件）を満たす複数のトークンを繋げ、トークンバイグラムを得る。例えば、「２０１４年」（名詞、固有名詞、一般）と「６月」（名詞、固有名詞、一般）を繋げて「２０１４年６月」としたり、「ヴェルディ」（固有名詞）と「協賛」（普通名詞）を繋げ、「ヴェルディ協賛」としたりする。

ＳＴＥＰ９６：重要文の抽出
トークンおよびトークンバイグラムを元にＴＦ−ＩＤＦなど単語の重要度を評価する指標から特徴語となるトークンおよびトークンバイアグラムを抽出し、前述の単語類似度判定からセンテンスのセグメンテーションを行い、各セグメントから重要文を抽出することで要約とする。
ＳＴＥＰ９７：テンプレートへの当てはめ
要約（重要文）を構文解析にかけ、文節と構文木に別ける。上述のテンプレートは各カットに挿入できる文字数が定義されているところ、文節間の修飾関係から、文章として自然な区間が各テンプレートに収まるように文を区切り、テンプレートに当てはめる。図１２に、テンプレートの各カットへの文章の挿入例を示す。
以上に説明した要約文作成機能は、日本語のみならず、英語はじめとする多言語に対応が可能である。

＜動画配信サーバ＞
作成した動画コンテンツを配信する機能を持つ動画配信サーバを付加してもよい。なお、動画配信スクリプトが組み込まれたＷｅｂページ６の発信は、外部Ｗｅｂサーバ５を利用する。
動画配信サーバ４は、図１３に示すように、Ｗｅｂスクレイパーと、記事本文抽出部と、記事本文解析部と、動画解析部と、動画配信部と、ハッシュ値データベースと、動画データベースと、を備えている。記事本文解析部および動画解析部をコンテンツ解析部と呼称する場合がある。なお、複数台のサーバ装置により動画配信サーバ４を実現することも可能である。
Ｗｅｂスクレイパーは、動画の配信面が設定されているＷｅｂページのコンテンツ情報を収集する。
記事本文抽出部は、収集したコンテンツ情報から記事の本文に該当する部分を抽出するソフトウェアであり、例えばReadabilityなどのツールにより構成することができる。
記事本文解析部は、抽出した記事本文を形態素解析にかけ、ＴＦ−ＩＤＦなどの方法により重要キーワードを抽出し、ハッシュ値生成MinHashやb-bit Minwise Hashingなどを使い生成された本文ハッシュ値をハッシュ値データベースへＷｅｂページのＵＲＬと共に保存する。

動画解析部は、収集したコンテンツ情報中の動画のテロップを形態素解析にかけ、ＴＦ−ＩＤＦなどの方法により重要キーワードを抽出し、記事本文解析部と同様の方法でテロップハッシュ値を生成し、ハッシュ値データベースへ保存する。動画解析部は、生成したテロップハッシュ値と保存されている記事ハッシュ値から類似度を求め、保存しておく。
動画配信部は、Ｗｅｂページ６に組み込まれたスクリプトが動画の取得をリクエストした際に、受信したＷｅｂページ６のＵＲＬから類似度が高く、現在配信が可能となっている動画を動画データベースから取得し、動画の配信を行う。より詳細には、Ｗｅｂページ６が動画をリクエストする際に送信するリクエストＵＲＬには、Ｗｅｂページ６のＵＲＬがパラメータとして含まれており、動画配信サーバ４は受け取ったパラメータからＷｅｂページ６のＵＲＬを取り出し、動画解析部による解析結果に基づき類似度が高いとされた動画を選択し、Ｗｅｂページ６に配信する。
動画データベースには、上述の動画編集サーバ１により作成した動画を格納することができる。実施形態例の動画配信サーバ４によれば、例えば、Ｗｅｂページ６の記事本文と類似度が高い動画広告を配信することで、ユーザの興味・関心にあったターゲティング広告を効率よく行うことも可能である。

以上に説明した実施形態例の動画編集システムによれば、動画編集用ソフト、動画サーバ、専門技術を持った編集者などを自前で揃えなくとも、簡単に動画コンテンツを作成することが可能となる。例えば、下記のような場面での活用が想定される。
１）ＥＣショップで販売している商品情報の動画化
２）プレスリリース情報、ＣＳＲ情報などを動画で配信
３）利用方法・オペレーションフローなどのマニュアルを動画化
４）動画広告として活用できるクリエイティブを制作

以上、本発明の好ましい実施形態例について説明したが、本発明の技術的範囲は上記実施形態の記載に限定されるものではない。上記実施形態例には様々な変更・改良を加えることが可能であり、そのような変更または改良を加えた形態のものも本発明の技術的範囲に含まれる。

１ 動画編集サーバ
２ 管理者端末
３ ユーザ端末
４ 動画配信サーバ
５ 外部Ｗｅｂサーバ
１１ テンプレート管理部
１２ 分類器作成部
１３ 合成動画作成部
２１ テンプレートＤＢ
２２ 学習データＤＢ
２３ 合成動画ＤＢ
２４ 組込用素材ＤＢ

Claims (6)

1. サーバであって、
   タグ情報が付された複数のカットから構成されるテンプレートを管理するテンプレート管理部と、
   イメージデータの入力を受け付ける素材読込部と、
   入力されたイメージデータ中のオブジェクトを認識し、前記タグ情報との類似度を出力する素材分析部と、
   前記類似度に基づき前記テンプレートにイメージデータを割り付けるイメージ挿入部と、を備え、
   さらに、学習データを用いて機械学習を行った学習済モデルであり、入力されたイメージデータのアノテーション単語を出力する分類器を備え、
   前記タグ情報は、前記カットのそれぞれに個別に付されており、
   前記イメージ挿入部は、カットごとの類似度に基づき、それぞれイメージデータをカットに割り付け、
   前記素材分析部が出力する前記類似度が、前記分類器が出力したアノテーション単語と前記タグ情報との単語類似度である、
   ことを特徴とするサーバ。
2. 前記テンプレートには色情報が付されており、
   前記素材分析部が、前記イメージデータと前記色情報との色類似度を出力し、
   前記イメージ挿入部が、前記単語類似度および／または前記色類似度に基づき前記テンプレートにイメージデータを割り付けることを特徴とする請求項１に記載のサーバ。
3. 前記素材読込部が、入力されたイメージデータに加え、データベースまたはＷｅｂ上からイメージデータを取得する機能を備えることを特徴とする請求項１または２のいずれかに記載のサーバ。
4. 動画コンテンツを作成するサーバと、動画配信サーバとを備える動画配信システムであって、
   前記サーバは、
   タグ情報が付された複数のカットから構成されるテンプレートを管理するテンプレート管理部と、
   イメージデータの入力を受け付ける素材読込部と、
   入力されたイメージデータ中のオブジェクトを認識し、前記タグ情報との類似度を出力する素材分析部と、
   前記類似度に基づき前記テンプレートにイメージデータを割り付けるイメージ挿入部と、を備え、
   前記タグ情報は、前記カットのそれぞれに個別に付されており、
   前記イメージ挿入部は、カットごとの類似度に基づき、それぞれイメージデータをカットに割り付け、
   前記動画配信サーバは、
   動画の配信面が設定されているＷｅｂページのコンテンツ情報を収集するＷｅｂスクレイパーと、
   前記コンテンツ情報を解析し、予め作成した前記動画コンテンツとの類似度を解析するコンテンツ解析部と、
   前記類似度が高い動画コンテンツを配信する動画広告配信部と、を備えることを特徴とする動画配信システム。
5. サーバ用のプログラムにおいて、
   前記サーバを、
   タグ情報が付された複数のカットから構成されるテンプレートを管理するテンプレート管理部と、
   イメージデータの入力を受け付ける素材読込部と、
   入力されたイメージデータ中のオブジェクトを認識し、前記タグ情報との類似度を出力する素材分析部と、
   前記類似度に基づき前記テンプレートにイメージデータを割り付けるイメージ挿入部、として機能させるサーバ用プログラムであって、
   さらに、学習データを用いて機械学習を行った学習済モデルであり、入力されたイメージデータのアノテーション単語を出力する分類器としても機能させ、
   前記タグ情報は、前記カットのそれぞれに個別に付されており、
   前記イメージ挿入部は、カットごとの類似度に基づき、それぞれイメージデータをカットに割り付け、
   前記素材分析部が出力する前記類似度が、前記分類器が出力したアノテーション単語と前記タグ情報との単語類似度である、
   ことを特徴とするサーバ用プログラム。
6. 動画コンテンツを作成するサーバおよび動画配信サーバ用のプログラムにおいて、
   前記サーバを、
   タグ情報が付された複数のカットから構成されるテンプレートを管理するテンプレート管理部と、
   イメージデータの入力を受け付ける素材読込部と、
   入力されたイメージデータ中のオブジェクトを認識し、前記タグ情報との類似度を出力する素材分析部と、
   前記類似度に基づき前記テンプレートにイメージデータを割り付けるイメージ挿入部、として機能させ、
   前記動画配信サーバを、
   動画の配信面が設定されているＷｅｂページのコンテンツ情報を収集するＷｅｂスクレイパーと、
   前記コンテンツ情報を解析し、予め作成した前記動画コンテンツとの類似度を解析するコンテンツ解析部と、
   前記類似度が高い動画コンテンツを配信する動画広告配信部、として機能させるサーバおよび動画配信サーバ用プログラムであって、
   前記タグ情報は、前記カットのそれぞれに個別に付されており、
   前記イメージ挿入部は、カットごとの類似度に基づき、それぞれイメージデータをカットに割り付ける、
   ことを特徴とするサーバおよび動画配信サーバ用プログラム。

Images