JP6603925B1 - 動画編集サーバおよびプログラム - Google Patents

動画編集サーバおよびプログラム Download PDF

Info

Publication number
JP6603925B1
JP6603925B1 JP2018119158A JP2018119158A JP6603925B1 JP 6603925 B1 JP6603925 B1 JP 6603925B1 JP 2018119158 A JP2018119158 A JP 2018119158A JP 2018119158 A JP2018119158 A JP 2018119158A JP 6603925 B1 JP6603925 B1 JP 6603925B1
Authority
JP
Japan
Prior art keywords
moving image
template
unit
similarity
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018119158A
Other languages
English (en)
Other versions
JP2019220098A (ja
Inventor
雄康 高松
雄康 高松
孝弘 坪野
孝弘 坪野
尚武 石橋
尚武 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Open8 Inc
Original Assignee
Open8 Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Open8 Inc filed Critical Open8 Inc
Priority to JP2018119158A priority Critical patent/JP6603925B1/ja
Priority to PCT/JP2019/024741 priority patent/WO2019245033A1/ja
Application granted granted Critical
Publication of JP6603925B1 publication Critical patent/JP6603925B1/ja
Publication of JP2019220098A publication Critical patent/JP2019220098A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】動画コンテンツを簡便に作成することを可能とするサーバおよびプログラムの提供。【解決手段】ユーザ端末に配信するための動画コンテンツを作成するサーバであって、タグ情報が付された複数のカットが規定されたテンプレートを管理するテンプレート管理部と、イメージデータおよび文字データの入力を受け付ける素材読込部と、入力されたイメージデータ中のオブジェクトを認識し、前記タグ情報との類似度を出力する素材分析部と、前記類似度に基づき前記テンプレートにイメージデータを割り付けるイメージ挿入部と、前記文字データから作成したテロップを前記テンプレートに割り付けるテロップ挿入部と、を備え、選択されたテンプレートにイメージデータおよびテロップを割り付けることにより動画コンテンツを作成することを特徴とする動画編集サーバ及びそのプログラム。【選択図】図2

Description

本発明は、ユーザ端末に配信する動画コンテンツを自動で生成するサーバおよびプログラムに関する。
従来、動画を複数のチャプタに分割すると共に、メタデータを付加することが行われている。
例えば、特許文献1には、複数のチャプタを有する動画から所望の瞬間のシーン画像を効率的に検索する動画処理装置であって、動画を所定の単位時間毎に複数の大ブロックに分割する大ブロック分割部と、各大ブロックの画像変化の複雑さを数値化する複雑さ分析部と、各大ブロックに係る再生時間を、複雑さに係る数値により複数の小ブロックにそれぞれ分割する小ブロック分割部と、複数の小ブロックを時系列に沿って所定数毎に順次区切ることでチャプタを作成するチャプタ作成部と、を備えてなる動画処理装置が提案されている。
特開2011−130007号公報
動画コンテンツを作成することには多大な手間がかかるため、簡便に動画コンテンツを作成することができるシステムの提供が求められていた。
そこで、本発明では、動画コンテンツを簡便に作成することを可能とするサーバおよびプログラムを提供することを目的とする。
本発明の動画編集サーバは、ユーザ端末に配信するための動画コンテンツを作成するサーバであって、タグ情報が付された複数のカットが規定されたテンプレートを管理するテンプレート管理部と、イメージデータおよび文字データの入力を受け付ける素材読込部と、入力されたイメージデータ中のオブジェクトを認識し、前記タグ情報との類似度を出力する素材分析部と、前記類似度に基づき前記テンプレートにイメージデータを割り付けるイメージ挿入部と、前記文字データから作成したテロップを前記テンプレートに割り付けるテロップ挿入部と、を備え、選択されたテンプレートにイメージデータおよびテロップを割り付けることにより動画コンテンツを作成することを特徴とする。
上記動画編集サーバにおいて、前記テロップ挿入部が、前記タグ情報との類似度に基づき前記テンプレートに文字データを割り付けることを特徴としてもよい。
上記動画編集サーバにおいて、さらに、入力されたイメージデータに基づき推奨するテンプレートを出力するテンプレート推奨部を備えることを特徴としてもよい。
上記動画編集サーバにおいて、学習データを用いて機械学習を行った学習済モデルであり、入力されたイメージデータのアノテーション単語を出力する分類器を備え、前記素材分析部が出力する類似度が、前記分類器が出力したアノテーション単語と前記タグ情報との単語類似度であることを特徴としてもよい。

上記動画編集サーバにおいて、前記テンプレートには色情報が付されており、前記素材分析部が、前記イメージデータと前記色情報との色類似度を出力し、前記イメージ挿入部が、前記単語類似度および/または前記色類似度に基づき前記テンプレートにイメージデータを割り付けることを特徴としてもよい。
上記動画編集サーバにおいて、前記テロップ挿入部が、前記文字データに含まれる文章情報を要約して前記テロップを作成することを特徴としてもよい。
上記動画編集サーバにおいて、前記素材読込部が、動画ファイル中の音声を音声認識して文字データを入力する機能を備えることを特徴としてもよい。
上記動画編集サーバにおいて、前記素材読込部が、入力されたイメージデータに加え、データベースまたはWeb上からイメージデータを取得する機能を備えることを特徴としてもよい。
本発明の動画配信システムは、上記動画編集サーバと、動画配信サーバとを備える動画配信システムであって、動画配信サーバが、動画の配信面が設定されているWebページのコンテンツ情報を収集するWebスクレイパーと、前記コンテンツ情報を解析し、予め作成した前記動画コンテンツとの類似度を解析するコンテンツ解析部と、前記類似度が高い動画コンテンツを配信する動画配信部と、を備えることを特徴とする。これらは動画広告の配信などに活用もされる。
本発明の動画編集サーバ用プログラムは、インターネットを介してアクセスしたユーザ端末に動画コンテンツを配信するサーバ用の動画編集プログラムにおいて、前記サーバを、タグ情報が付された複数のカットが規定されたテンプレートを管理するテンプレート管理部と、イメージデータおよび文字データの入力を受け付ける素材読込部、入力されたイメージデータ中のオブジェクトを認識し、前記タグ情報との類似度を出力する素材分析部、前記類似度に基づき前記テンプレートにイメージデータを割り付けるイメージ挿入部、および、前記文字データから作成したテロップを挿入するテロップ挿入部、として機能させることを特徴とする。
本発明によれば、動画コンテンツを簡便に作成することを可能とするサーバおよびプログラムを提供することが可能となる。
実施形態例に係る動画編集システムの構成図である。 実施形態例に係る動画編集サーバの構成図である。 テンプレートを構成する画面レイアウト例を説明する図である。 合成動画作成部の構成図である。 素材入力画面例を説明する図である。 素材から動画コンテンツを作成するための各工程を説明する図である。 各カットに最も適した画像・動画を割り当てる処理の説明図である。 動画コンテンツを構成する複数のカットを画面上に一覧表示する態様の説明図である。 動画コンテンツには、BGMを挿入する画面の説明図である。 要約文作成機能の処理フローである。 文書を形態素解析にかけ、トークンに分ける処理を説明する図である。 テンプレートの各カットへの文章の挿入を説明する図である。 実施形態例に係る動画配信サーバの構成図である。
<構成>
実施形態例に係る本発明の動画編集システムは、図1に示すように、動画編集サーバ1と、管理者端末2と、複数台のユーザ端末3とを備えて構成される。図1の例では、動画編集サーバ1を1台で構成する例を説明しているが、複数台のサーバ装置により動画編集サーバ1を実現することも可能である。
動画編集サーバ1は、CPUを有する処理部、HDD等の記憶装置を有する記憶部、および、LANポートを有する通信部を備えたサーバ装置に動画編集ソフトウェアおよびデータベースソフトウェアをインストールして構築されている。動画編集ソフトウェアは、図2に示すように、テンプレート管理部11と、分類器作成部12と、合成動画作成部13とを備えている。データベースソフトウェアは、図2に示すように、テンプレートDB21と、学習データDB22と、合成動画DB23と、組込用素材DB24と、を管理している。
テンプレート管理部11は、テンプレートDB21に記憶された複数のテンプレートを管理する。各テンプレートは、複数のカットから構成され、各カットには画面レイアウトおよび再生時間が規定されている。テンプレートには、画像ファイルが割り付けられている場合もあり、テンプレートに割り付ける画像ファイルは組込用素材DB24から選択することができる。図3は、テンプレートを構成するカットの画面レイアウトの一例である。同図中、テロップフィールド31に編集された記事素材(テキスト文章)が挿入され、イメージフィールド32に選択されたイメージ素材が挿入され、ロゴフィールド33にロゴ素材が挿入される。各テンプレートには、スタイル情報、色情報およびタグ情報が付されている。色情報およびタグ情報は、後述のテンプレート推奨部134により利用される。
分類器作成部12は、学習データを学習データDB22から取得し、機械学習させることで、学習済モデルである後述の分類器133を作成する。分類器作成部12による分類器133の作成は、例えば、年に数回程度行われる。学習データは、インターネットから収集したデータや自社のデータにラベルをつけたものを利用してもよいし、ラベルのついたデータセットを調達して利用してもよい。
合成動画作成部13は、図4に示すように、素材読込部131と、素材分析部132と、分類器133と、テンプレート推奨部134と、イメージ挿入部135と、テロップ挿入部136と、音楽挿入部137とを備えている。
素材読込部131は、ユーザ端末3のWebブラウザ上に素材入力画面ページを表示する。素材読込部131は、イメージデータの入力を受け付けるイメージデータ入力部と、文字データの入力を受け付ける文字データ入力部とを備えている。
図5は、素材読込部131が出力する素材入力画面の一例を説明する図である。ユーザが素材入稿フィールド51またはロゴ入稿フィールド52にイメージデータ(画像・動画)をドラッグアンドドロップすることで、画像・動画素材を入稿することができる。入稿する画像・動画素材の数は、+ボタンまたは−ボタンをクリックすることにより増減することができる。
文字データ(記事素材)については、タイトルフィールド53および本文フィールド54にテキスト文章を入力することにより入稿することができる。各素材を入稿した後、推奨フォーマットボタン55をクリックすると、推奨フォーマット表示欄に推奨フォーマットが出力される。図5の例では推奨フォーマットを一つだけ表示する仕様としているが、複数の推奨フォーマットを推奨度順に表示させる仕様を採用してもよい。実施形態例と異なり、ユーザが複数のフォーマットの中から任意のフォーマットを手動で選ぶ仕様を採用してもよい。また、テキスト文章の入力を、動画ファイル中の音声を音声認識してテキスト化することでテキスト文章を入力する仕様を採用してもよく、例えば、外部APIとして提供される音声認識サービスを利用しもよい。また、ユーザが入力したURLから、記事素材、画像・動画素材を取得し、組込用素材DB24に格納する仕様を採用してもよい。
素材分析部132は、入力された素材から抽出される情報とフォーマットに割り付けられたタグ情報との関連性の度合いを算出する。素材からの情報抽出は、分類器133により行う。
分類器133は、畳み込みニューラルネットワークを利用した学習済モデルであり、動画または画像を入力すると、特定の情報(アノテーション単語)を抽出する。実施形態例の第1分類器は、動画または画像の分類を表す単語(例えば、スタイリッシュ、シンプル)を出力する。実施形態例の第2分類器は、動画または画像に映るオブジェクトを表す単語(例えば、魚介、焼肉、人物、家具)を出力する。
テンプレート推奨部134は、素材分析部132の出力に基づき最も関連度の高いフォーマットをユーザに推奨する。
イメージ挿入部135は、畳み込みニューラルネットワークを利用した学習済モデルであり、入力された素材から抽出される情報と各カットに割り付けられた単語、色および明度の類似度を算出し、最も類似度の高い画像・動画を各カットに割り当てる。ここで、ユーザが入力した画像・動画素材のみならず、予め組込用素材DB24に格納した画像・動画素材についても類似度を判定し、割り当てるようにしてよい。
単語の類似度の判定は、単語ベクトルを学習した学習済モデルを用意し、そのベクトルを利用してコサイン類似度やWord Mover’s Distanceなどの方法により単語の類似度を判定する。色の類似度の判定は、例えば、CIELAB座標におけるユークリッド距離を計算することにより行う。具体的には、画像全てのピクセルにおいて、比較対象の色との色差を計算し、その合計値が小さいものを色差が近いものと判定する。動画においては、動画のフレーム画像からサンプリングされた画像において この計算を行う。明度の判定は、例えば画像をグレースケールに変換し、ピクセルのRMSコントラスト値を比較することで行う。動画は色の判定と同様、動画のフレーム画像からサンプリングした画像において この計算を行う。
テロップ挿入部136は、選択されたテンプレートの各カットにテロップ(テキスト文章)を挿入する。テロップ挿入部136による要約文作成機能の詳細については後述する。
音楽挿入部137は、動画コンテンツにBGMとなる音楽を挿入する。
管理者端末2およびユーザ端末3は、入力部、表示部、処理部、記憶部および通信部を備えたコンピュータであり、例えば、スマートフォン、タブレット端末(タブレットPC)、ノートパソコン、デスクトップパソコンなどのWebブラウザが搭載されたコンピュータである。
管理者は、管理者端末2により動画編集サーバ1の設定変更やデータベースの運用管理などを行う。
ユーザは、ユーザ端末3により動画編集サーバ1にアクセスして、作成された動画コンテンツを閲覧することができる。
本発明の動画編集システムは、図6に示すように、ユーザが入力した素材を分析する素材分析工程、作成する動画のフォーマットを選択するフォーマット選択工程、選択したフォーマットにテロップおよびイメージデータ(静止画・動画)を割り当てる動画構成工程を実行する。
素材分析工程では、素材分析部132が記事、画像(静止画)、動画等の素材を分析し、テンプレート推奨部134が入力された素材に関連性が高いフォーマットを選び、ユーザに推奨する。例えば、アップロードされた素材から抽出されるタグ情報が「人」、「ネイル」、「せっけん」である場合、「コスメ」、「女性」に近いと判定し、キュートのスタイルが付されたフォーマットAを推奨する。また、素材より抽出される色情報に基づき推奨フォーマットを選択してもよく、さらには色情報とタグ情報の両方を利用して推奨フォーマットを選択してもよい。
フォーマット選択工程では、ユーザは動画構成に用いられる動画のフォーマットを選択する。ユーザは、テンプレート推奨部134が最も推奨するフォーマットをそのまま採用してもよいし、複数推奨されたフォーマットの中から気に入ったフォーマットを選択してもよいし、推奨されていないフォーマットの中から自己の好きなフォーマットを選択してもよい。フォーマットを構成する各カットには、装飾されたフレームが配置されており、また挿入された画像に対するアニメーション効果(例えば、パワーポイントにおけるスプリット、フェード、スライドイン・アウト、スピン、ターンのような効果)が設定されている場合もある。
動画構成工程では、テロップ挿入部136が素材から抽出した要約文を作成し、各カットに割り当てる処理、イメージ挿入部135が素材から抽出した画像・動画を各カットに割り当てる処理を行う。図7に示すように、フォーマットを構成する各カットには、明度情報、色情報、および、人、車、ビジネス、自然風景などのタグ情報が関連付けられている。イメージ挿入部135は、単語、色および明度の類似度に基づき各カットに最も適した画像・動画を判別し、各カットに割り当てる。実施形態例では、イメージ挿入部135はユーザが入力した画像・動画素材を各カットに割り当てているが、予め用意された画像・動画素材を各カットに割り当てる仕様を採用してもよい。
画像・動画の割り当てが完了すると、図8に示すように、動画コンテンツを構成する複数のカットを画面上に一覧表示することができる。各カットには、表示される画像・動画およびテロップと共に各カットの再生時間(秒数)の情報も表示される。ユーザは、テキストボタンまたテキストフィールドをクリックすることで、テロップを修正することができ、画像ボタンをクリックすることで画像を差し替えることができる。
作成された動画コンテンツには、音楽挿入部14によりBGMを挿入することも可能である。図8の画面において、BGMボタンをクリックすると、図9に示すように、挿入可能なBGMの一覧が表示される。曲名の右側にある再生ボタンをクリックすると、曲の演奏が開始される。曲名の左側にあるチェックボックスをクリックしてプレビューボタンをクリックすると、BGMが挿入された動画コンテンツのプレビューを再生することが可能となる。
(要約文作成機能)
図10〜図12を参照しながらテロップ挿入部136による要約文作成機能について説明する。
STEP91:段落分割・文書分割
テロップ挿入部136は、本文フィールド54に入力された文書を段落に分割し、各段落内の文書を文書に分割する。また、動画のテロップとして1シーンで表示すると長すぎて可読性を落とす文章(例えば80文字以上)については、特定の品詞、表記等の条件を満たす箇所で、さらに複数の文章に分割する。
STEP92:文書の形態素解析
テロップ挿入部136は、各文を形態素解析にかけ、構文解析の最小単位となるトークンを取り出す。図11に示すように、各トークンには品詞が付与されている。
STEP93:不要語・不要段落の削除
テロップ挿入部136は、予め定義された無効な文の判定ルールより、無効と定義される文、段落を削除する。例えば、「■」、「▼」などの特定記号から始まる行、特定記号で囲まれた段落、URL、メールアドレス、住所・電話番号などが記載された段落を削除する。
STEP94:ストップワード等の削除
テロップ挿入部136は、トークンから「に」、「から」、「これ」、「さん」などのあまり意味としては重要でないワード(ストップワード)や助詞などの特定品詞を削除する。
STEP95:トークンバイグラムの作成
特定の条件(例えば、予め定義された品詞条件)を満たす複数のトークンを繋げ、トークンバイグラムを得る。例えば、「2014年」(名詞、固有名詞、一般)と「6月」(名詞、固有名詞、一般)を繋げて「2014年6月」としたり、「ヴェルディ」(固有名詞)と「協賛」(普通名詞)を繋げ、「ヴェルディ協賛」としたりする。
STEP96:重要文の抽出
トークンおよびトークンバイグラムを元にTF−IDFなど単語の重要度を評価する指標から特徴語となるトークンおよびトークンバイアグラムを抽出し、前述の単語類似度判定からセンテンスのセグメンテーションを行い、各セグメントから重要文を抽出することで要約とする。
STEP97:テンプレートへの当てはめ
要約(重要文)を構文解析にかけ、文節と構文木に別ける。上述のテンプレートは各カットに挿入できる文字数が定義されているところ、文節間の修飾関係から、文章として自然な区間が各テンプレートに収まるように文を区切り、テンプレートに当てはめる。図12に、テンプレートの各カットへの文章の挿入例を示す。
以上に説明した要約文作成機能は、日本語のみならず、英語はじめとする多言語に対応が可能である。
<動画配信サーバ>
作成した動画コンテンツを配信する機能を持つ動画配信サーバを付加してもよい。なお、動画配信スクリプトが組み込まれたWebページ6の発信は、外部Webサーバ5を利用する。
動画配信サーバ4は、図13に示すように、Webスクレイパーと、記事本文抽出部と、記事本文解析部と、動画解析部と、動画配信部と、ハッシュ値データベースと、動画データベースと、を備えている。記事本文解析部および動画解析部をコンテンツ解析部と呼称する場合がある。なお、複数台のサーバ装置により動画配信サーバ4を実現することも可能である。
Webスクレイパーは、動画の配信面が設定されているWebページのコンテンツ情報を収集する。
記事本文抽出部は、収集したコンテンツ情報から記事の本文に該当する部分を抽出するソフトウェアであり、例えばReadabilityなどのツールにより構成することができる。
記事本文解析部は、抽出した記事本文を形態素解析にかけ、TF−IDFなどの方法により重要キーワードを抽出し、ハッシュ値生成MinHashやb-bit Minwise Hashingなどを使い生成された本文ハッシュ値をハッシュ値データベースへWebページのURLと共に保存する。
動画解析部は、収集したコンテンツ情報中の動画のテロップを形態素解析にかけ、TF−IDFなどの方法により重要キーワードを抽出し、記事本文解析部と同様の方法でテロップハッシュ値を生成し、ハッシュ値データベースへ保存する。動画解析部は、生成したテロップハッシュ値と保存されている記事ハッシュ値から類似度を求め、保存しておく。
動画配信部は、Webページ6に組み込まれたスクリプトが動画の取得をリクエストした際に、受信したWebページ6のURLから類似度が高く、現在配信が可能となっている動画を動画データベースから取得し、動画の配信を行う。より詳細には、Webページ6が動画をリクエストする際に送信するリクエストURLには、Webページ6のURLがパラメータとして含まれており、動画配信サーバ4は受け取ったパラメータからWebページ6のURLを取り出し、動画解析部による解析結果に基づき類似度が高いとされた動画を選択し、Webページ6に配信する。
動画データベースには、上述の動画編集サーバ1により作成した動画を格納することができる。実施形態例の動画配信サーバ4によれば、例えば、Webページ6の記事本文と類似度が高い動画広告を配信することで、ユーザの興味・関心にあったターゲティング広告を効率よく行うことも可能である。
以上に説明した実施形態例の動画編集システムによれば、動画編集用ソフト、動画サーバ、専門技術を持った編集者などを自前で揃えなくとも、簡単に動画コンテンツを作成することが可能となる。例えば、下記のような場面での活用が想定される。
1)ECショップで販売している商品情報の動画化
2)プレスリリース情報、CSR情報などを動画で配信
3)利用方法・オペレーションフローなどのマニュアルを動画化
4)動画広告として活用できるクリエイティブを制作
以上、本発明の好ましい実施形態例について説明したが、本発明の技術的範囲は上記実施形態の記載に限定されるものではない。上記実施形態例には様々な変更・改良を加えることが可能であり、そのような変更または改良を加えた形態のものも本発明の技術的範囲に含まれる。
1 動画編集サーバ
2 管理者端末
3 ユーザ端末
4 動画配信サーバ
5 外部Webサーバ
11 テンプレート管理部
12 分類器作成部
13 合成動画作成部
21 テンプレートDB
22 学習データDB
23 合成動画DB
24 組込用素材DB

Claims (10)

  1. ユーザ端末に配信するための動画コンテンツを作成するサーバであって、
    タグ情報が付された複数のカットが規定されたテンプレートを管理するテンプレート管理部と、
    イメージデータおよび文字データの入力を受け付ける素材読込部と、
    入力されたイメージデータ中のオブジェクトを認識し、前記タグ情報との類似度を出力する素材分析部と、
    前記類似度に基づき前記テンプレートにイメージデータを割り付けるイメージ挿入部と、
    前記文字データから作成したテロップを前記テンプレートに割り付けるテロップ挿入部と、
    を備え、選択されたテンプレートにイメージデータおよびテロップを割り付けることにより動画コンテンツを作成することを特徴とする動画編集サーバ。
  2. 前記テロップ挿入部が、前記タグ情報との類似度に基づき前記テンプレートに文字データを割り付けることを特徴とする請求項1に記載の動画編集サーバ。
  3. さらに、入力されたイメージデータに基づき推奨するテンプレートを出力するテンプレート推奨部を備えることを特徴とする請求項1または2に記載の動画編集サーバ。
  4. 学習データを用いて機械学習を行った学習済モデルであり、入力されたイメージデータのアノテーション単語を出力する分類器を備え、
    前記素材分析部が出力する類似度が、前記分類器が出力したアノテーション単語と前記タグ情報との単語類似度であることを特徴とする請求項1ないし3のいずれかに記載の動画編集サーバ。
  5. 前記テンプレートには色情報が付されており、
    前記素材分析部が、前記イメージデータと前記色情報との色類似度を出力し、
    前記イメージ挿入部が、前記単語類似度および/または前記色類似度に基づき前記テンプレートにイメージデータを割り付けることを特徴とする請求項4に記載の動画編集サーバ。
  6. 前記テロップ挿入部が、前記文字データに含まれる文章情報を要約して前記テロップを作成することを特徴とする請求項1ないし5のいずれかに記載の動画編集サーバ。
  7. 前記素材読込部が、動画ファイル中の音声を音声認識して文字データを入力する機能を備えることを特徴とする請求項1ないし6のいずれかに記載の動画編集サーバ。
  8. 前記素材読込部が、入力されたイメージデータに加え、データベースまたはWeb上からイメージデータを取得する機能を備えることを特徴とする請求項1ないし7のいずれかに記載の動画編集サーバ。
  9. 請求項1ないし7のいずれかに記載の動画編集サーバと、動画配信サーバとを備える動画配信システムであって、
    動画配信サーバが、
    動画の配信面が設定されているWebページのコンテンツ情報を収集するWebスクレイパーと、
    前記コンテンツ情報を解析し、予め作成した前記動画コンテンツとの類似度を解析するコンテンツ解析部と、
    前記類似度が高い動画コンテンツを配信する動画広告配信部と、を備えることを特徴とする動画配信システム。
  10. インターネットを介してアクセスしたユーザ端末に動画コンテンツを配信するサーバ用の動画編集プログラムにおいて、
    前記サーバを、
    タグ情報が付された複数のカットが規定されたテンプレートを管理するテンプレート管理部と、
    イメージデータおよび文字データの入力を受け付ける素材読込部、
    入力されたイメージデータ中のオブジェクトを認識し、前記タグ情報との類似度を出力する素材分析部、
    前記類似度に基づき前記テンプレートにイメージデータを割り付けるイメージ挿入部、および、
    前記文字データから作成したテロップを挿入するテロップ挿入部、として機能させることを特徴とする動画編集サーバ用プログラム。
JP2018119158A 2018-06-22 2018-06-22 動画編集サーバおよびプログラム Active JP6603925B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018119158A JP6603925B1 (ja) 2018-06-22 2018-06-22 動画編集サーバおよびプログラム
PCT/JP2019/024741 WO2019245033A1 (ja) 2018-06-22 2019-06-21 動画編集サーバおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018119158A JP6603925B1 (ja) 2018-06-22 2018-06-22 動画編集サーバおよびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019170075A Division JP2020005309A (ja) 2019-09-19 2019-09-19 動画編集サーバおよびプログラム

Publications (2)

Publication Number Publication Date
JP6603925B1 true JP6603925B1 (ja) 2019-11-13
JP2019220098A JP2019220098A (ja) 2019-12-26

Family

ID=68532255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018119158A Active JP6603925B1 (ja) 2018-06-22 2018-06-22 動画編集サーバおよびプログラム

Country Status (2)

Country Link
JP (1) JP6603925B1 (ja)
WO (1) WO2019245033A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021106397A (ja) * 2019-11-25 2021-07-26 株式会社オープンエイト サーバおよびデータ割り当て方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695505B (zh) * 2020-06-11 2024-05-24 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN115525780A (zh) * 2021-06-24 2022-12-27 北京字跳网络技术有限公司 一种模板推荐方法、装置、设备及存储介质
JP7493196B1 (ja) 2024-02-09 2024-05-31 株式会社4Colors 人工知能を活用した比較動画生成システム、動画生成プログラム、及び、動画生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015219689A (ja) * 2014-05-16 2015-12-07 株式会社日立システムズ マルチメディア向け情報発信システム及び方法
JP5903187B1 (ja) * 2015-09-25 2016-04-13 株式会社グロリアス 映像コンテンツ自動生成システム
JP6953128B2 (ja) * 2016-12-09 2021-10-27 キヤノン株式会社 画像処理装置、制御方法、及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021106397A (ja) * 2019-11-25 2021-07-26 株式会社オープンエイト サーバおよびデータ割り当て方法
JP2021119662A (ja) * 2019-11-25 2021-08-12 株式会社オープンエイト サーバおよびデータ割り当て方法
JP2022061934A (ja) * 2019-11-25 2022-04-19 株式会社オープンエイト サーバおよびデータ割り当て方法

Also Published As

Publication number Publication date
WO2019245033A1 (ja) 2019-12-26
JP2019220098A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
US9372926B2 (en) Intelligent video summaries in information access
JP2020005309A (ja) 動画編集サーバおよびプログラム
JP6603925B1 (ja) 動画編集サーバおよびプログラム
US20200193081A1 (en) Automated augmentation of text, web and physical environments using multimedia content
US9213705B1 (en) Presenting content related to primary audio content
US20140163980A1 (en) Multimedia message having portions of media content with audio overlay
US20140164507A1 (en) Media content portions recommended
US20140163957A1 (en) Multimedia message having portions of media content based on interpretive meaning
US20140164506A1 (en) Multimedia message having portions of networked media content
US20140164371A1 (en) Extraction of media portions in association with correlated input
JP6730760B2 (ja) サーバおよびプログラム、動画配信システム
JP6730757B2 (ja) サーバおよびプログラム、動画配信システム
US20140161423A1 (en) Message composition of media portions in association with image content
CN112632950A (zh) Ppt生成方法、装置、设备及计算机可读存储介质
US20140163956A1 (en) Message composition of media portions in association with correlated text
JP6603929B1 (ja) 動画編集サーバおよびプログラム
JP6713183B1 (ja) サーバおよびプログラム
CN117436417A (zh) 演示文稿生成方法、装置、电子设备和存储介质
JP6903365B1 (ja) サーバおよびデータ割り当て方法
CN107066437B (zh) 数字作品标注的方法及装置
JP6710884B2 (ja) サーバおよびプログラム
JP2020129357A (ja) 動画編集サーバおよびプログラム
WO2022201515A1 (ja) サーバおよびアニメーション推薦システム、アニメーション推薦方法、プログラム
WO2022201236A1 (ja) サーバおよびシステム、画像切り抜き方法、プログラム
KR102435244B1 (ko) 음성 정보의 영상 리소스 매칭을 이용한 멀티미디어 변환 콘텐츠 제작 서비스 제공 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190704

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190704

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190919

R150 Certificate of patent or registration of utility model

Ref document number: 6603925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250