JP6979738B1 - サーバおよびアニメーション推薦システム、アニメーション推薦方法、プログラム - Google Patents

Abstract

【課題】複合コンテンツデータを簡便に作成することを可能とする、特に画像に対して適切なアニメーションをユーザに推薦可能とするサーバ等を提供すること。【解決手段】カットに対して、画像データを設定する素材コンテンツデータ設定部と、前記画像データに基準枠を設定する基準枠設定部と、前記基準枠を始点または終点として可視領域を動作するアニメーション種を推薦するアニメーション推薦部と、を備える、ことを特徴とするサーバおよびアニメーション推薦システム、アニメーション推薦作成方法、プログラム。【選択図】図８

Description

本発明は、画像に対するアニメーションを推薦するサーバ等に関する。

従来から、動画等コンテンツデータ作成が行われており、例えば、特許文献１には、複数のチャプタを有する動画から所望のシーン画像を効率的に検索する動画処理装置が提案されている。

特開２０１１−１３０００７号公報

動画等コンテンツデータを作成することには多大な手間がかかり、特に、テキストデータや画像、音データなどの複数の素材コンテンツデータが用いられた複合コンテンツデータを作成する場合には、最適な組み合わせを考慮することがユーザの技術レベルによっては難しいため、簡便に複合コンテンツデータを作成することができるシステムの提供が求められていた。また、画像データについては、アニメーション（ズームやスライドなど）をユーザによって選択する必要があり、適切なアニメーションを選択することもユーザの技術レベルによっては難しいため、適切なアニメーションをユーザに推薦可能なシステムの提供も求められていた。

そこで、本発明では、複合コンテンツデータを簡便に作成することを可能とする、特に適切なアニメーションをユーザに推薦可能とするサーバ等を提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、カットに対して、画像データを設定する素材コンテンツデータ設定部と、前記画像データに関する顕著性情報に基づき前記画像データにアニメーションの始点または終点に適した基準枠を設定する基準枠設定部と、前記基準枠を始点または終点とする前記アニメーション種を推薦するアニメーション推薦部と、を備える、ことを特徴とするサーバである。

本発明によれば、複合コンテンツデータを簡便に作成することを可能とする、特に適切なアニメーションをユーザに推薦可能とするサーバ等を提供することが可能となる。

実施形態例に係るシステムの構成図である。 実施形態例に係るサーバの構成図である。 実施形態例に係る管理端末、ユーザ端末の構成図である。 実施形態例に係るシステムの機能ブロック図である。 カットを構成する画面レイアウト例を説明する図である。 実施形態例に係るシステムのフローチャートである。 複合コンテンツデータを構成する複数のカットを画面上に一覧表示する態様の説明図である。 実施形態例に係るアニメーション推薦を説明する図である。 実施形態例に係る基準枠の設定を説明する図である。 実施形態例に係る顕著性物体検出を説明する図である。 顕著性に基づく検出のための元画像例を示す図である。 図１１の画像に対する顕著性物体検出の一例を示す図である。 実施形態例に係る顕著性マップ検出を説明する図である。 図１１の画像に対する顕著性マップ検出の一例を示す図である。 実施形態例に係るアニメーション推薦例を説明する図である。 図１１の画像に対するハイブリッド顕著性マップ検出の一例を示す図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるサーバ等は、以下のような構成を備える。
［項目１］
カットに対して、画像データを設定する素材コンテンツデータ設定部と、
前記画像データに関する顕著性情報に基づき前記画像データにアニメーションの始点または終点に適した基準枠を設定する基準枠設定部と、
前記基準枠を始点または終点とする前記アニメーション種を推薦するアニメーション推薦部と、を備える、
ことを特徴とするサーバ。
［項目２］
項目１に記載のサーバであって、
さらに、前記顕著性情報に基づきアニメーション種をスコアリングするアニメーションスコア算出部を備え、
前記アニメーション推薦部は、前記アニメーションスコアに基づき、前記アニメーション種を推薦する、
ことを特徴とするサーバ。
［項目４］
項目１または２のいずれかに記載のサーバであって、
前記顕著性情報は、顕著性物体検出及び顕著性マップ検出を用いたハイブリッド顕著性マップ検出により取得される、
ことを特徴とするサーバ。
［項目５］
項目１または２のいずれかに記載のサーバであって、
前記顕著性情報は、顕著性マップ検出により取得される、
ことを特徴とするサーバ。
［項目６］
項目１または２のいずれかに記載のサーバであって、
前記顕著性情報は、顕著性物体検出により取得される、
ことを特徴とするサーバ。
［項目７］
カットに対して、画像データを設定する素材コンテンツデータ設定部と、
前記画像データに関する顕著性情報に基づき前記画像データにアニメーションの始点または終点に適した基準枠を設定する基準枠設定部と、
前記基準枠を始点または終点とするアニメーション種を推薦するアニメーション推薦部と、を備える、
ことを特徴とするアニメーション推薦システム。
［項目８］
素材コンテンツデータ設定部により、カットに対して、画像データを設定するステップと、
基準枠設定部により、前記画像データに関する顕著性情報に基づき前記画像データにアニメーションの始点または終点に適した基準枠を設定するステップと、
アニメーション推薦部により、前記基準枠を始点または終点とするアニメーション種を推薦するステップと、を含む、
ことを特徴とするアニメーション推薦方法。
［項目９］
アニメーション推薦方法をコンピュータに実行させるプログラムであって、
前記アニメーション推薦方法は、
素材コンテンツデータ設定部により、カットに対して、画像データを設定するステップと、
基準枠設定部により、前記画像データに関する顕著性情報に基づき前記画像データにアニメーションの始点または終点に適した基準枠を設定するステップと、
アニメーション推薦部により、前記基準枠を始点または終点とするアニメーション種を推薦するステップと、を含む、
ことを特徴とするプログラム。

＜実施の形態の詳細＞
以下、本発明の実施の形態による複合コンテンツデータを作成するためのシステム（以下「本システム」という）等について説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

＜構成＞
実施形態例に係る本システムは、図１に示すように、サーバ１と、管理者端末２と、ユーザ端末３とを備えて構成される。サーバ１と、管理者端末２と、ユーザ端末３は、ネットワークを介して互いに通信可能に接続されている。ネットワークは、ローカルネットワークであってもよいし、外部ネットワークに接続可能なものであってもよい。図１の例では、サーバ１を１台で構成する例を説明しているが、複数台のサーバ装置によりサーバ１を実現することも可能である。また、サーバ１と管理者端末２が共通化されていてもよい。

＜サーバ１＞
図２は、図１に記載のサーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。また、サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

プロセッサ１０は、サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。なお、プロセッサ１０の処理能力は、必要な情報処理を実行するために十分であればよいので、例えば、プロセッサ１０はＣＰＵのみで構成されていてもよいし、これに限るものでもない。

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納してもよい。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。

送受信部１３は、サーバ１をネットワークに接続する。

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

＜管理者端末２、ユーザ端末３＞
図３に示される管理者端末２、ユーザ端末３もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述したサーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。管理者は、管理者端末２により、例えばサーバ１の設定変更やデータベースの運用管理などを行う。ユーザは、ユーザ端末３によりサーバ１にアクセスして、例えば、複合コンテンツデータを作成または閲覧することなどができる。

＜サーバ１の機能＞
図４は、サーバ１に実装される機能を例示したブロック図である。本実施の形態においては、サーバ１は、通信部１１０、被識別情報解析部１２０、第２のデータ生成部１３０、複合コンテンツデータ生成部１４０、関連付け部１５０、記憶部１６０、分類器１７０、アニメーション推薦部１８０を備えている。複合コンテンツデータ生成部１４０はベースデータ生成部１４２、第２のデータ割り当て部１４４、素材コンテンツデータ割り当て部１４６を含む。また、記憶部１６０は、メモリ１１やストレージ１１等の記憶領域より構成されており、ベースデータ記憶部１６１、素材コンテンツデータ記憶部１６３、複合コンテンツデータ記憶部１６５、インターフェース情報記憶部１６７、アニメーションデータ記憶部１６９などの各種データベースを含む。アニメーション推薦部１８０は、スコア算出部１８２、基準枠設定部１８４を含む。なお、素材コンテンツデータ設定部１９０については、後述するが、例えばプロセッサ１０により実行されている。

通信部１１０は、管理者端末２や、ユーザ端末３と通信を行う。通信部１１０は、ユーザ端末３から、例えば被識別情報を含む第１のデータを受け付ける受付部としても機能する。そして、第１のデータは、例えば、被識別情報を含む記事（例えば、プレスリリースや、ニュースなど）などのテキストデータ、被識別情報を含む画像データ（例えば、写真や、イラストなど）若しくは動画データ、被識別情報を含む音声データなどであってもよい。なお、ここでいうテキストデータは、サーバ１に送信された時点においてテキストデータであるものに限らず、例えば、サーバ１に送信された音声データを既知の音声認識技術により生成されたテキストデータであってもよい。また、第１のデータは、例えば記事などのテキストデータなどが、既存の抽出的要約若しくは生成的要約などの自動要約技術により要約されたもの（被識別情報を含む）であってもよく、その場合、ベースデータに含まれるカット数が減り、複合コンテンツデータ全体のデータ容量を小さくすることができ、内容も簡潔なものとなり得る。

また、ここでいう音声データは、マイク等の入力装置により取得された音声データに限らず、動画データから抽出された音声データや、テキストデータから生成された音声データであってもよい。前者の場合、例えばラフスケッチなどの仮画像及び仮映像による動画といった仮動画から、ナレーションやセリフなどの音声データだけを抽出し、後述されるように当該音声データを基に素材コンテンツデータと共に複合コンテンツデータを生成するようにしてもよい。後者の場合、例えば、ストーリーのあるテキストデータから音声データを作成し、例えば童話であれば、読み上げられたストーリーと素材コンテンツデータによる紙芝居や動画を複合コンテンツデータとして生成するようにしてもよい。

第２のデータ生成部１３０は、例えば第１のデータを分割する必要がないと判定した場合（例えば、テキストデータが予め設定された文字数以下の短文であったりするなど）には、第２のデータ生成部１３０は、そのまま第１のデータを第２のデータとして生成する。一方で、例えば第１のデータを分割する必要があると判定した場合（例えば、予め設定された文字数よりも長文であったりするなど）には、第２のデータ生成部１３０は、第１のデータを分割し、それぞれ第１のデータの被識別情報の少なくとも一部を含む第２のデータとして生成する。この時、併せて第２データの分割数情報についても生成する。なお、第２のデータ生成部１３０による第１のデータ分割の方法は、既知の何れの技術を利用してもよく、例えば、第１のデータがテキスト化できるものであれば、予め設定されたベースデータの各カットの最大文字数や文節間の修飾関係の解析結果に基づき、文章として自然な区間が各カットに収まるように文を区切るようにしてもよい。

被識別情報解析部１２０は、上述の第２のデータを解析し、被識別情報を取得する。ここで、被識別情報は、被識別情報解析部１２０により解析可能であれば、どのような情報であってもよい。一つの態様としては、被識別情報は、言語モデルにより定義された単語形式であり得る。より具体的には、後述の単語ベクトルを伴う一以上の単語（例えば、「渋谷、新宿、六本木」や「渋谷、ランドマーク、若者」など）であってもよい。なお、当該単語には、言語モデルに応じて「ん」などの通常はそれ単体では利用されない単語も含み得る。また、上記単語形式の代わりに文全体を表すベクトルを伴う文書、または画像や動画から抽出された特徴ベクトルであってもよい。

複合コンテンツデータ生成部１４０は、上述の第２のデータ生成部１３０により生成された第２データの分割数情報に応じた数のカット（一以上のカット）を含むベースデータをベースデータ生成部１４２により生成し、ユーザ端末３から新たに入力された素材コンテンツデータおよび／または素材コンテンツデータ記憶部１６３に記憶された素材コンテンツデータと上述の第２のデータが各カットに割り当てられたベースデータを複合コンテンツデータとして生成するとともに複合コンテンツデータ記憶部１６５に記憶し、ユーザ端末３に複合コンテンツデータを表示する。なお、図５は、ベースデータを構成するカットの画面レイアウトの一例である。同図中第２のデータフィールド３１に編集された第２のデータ（例えば、区切られたテキスト文章など）が挿入され、素材コンテンツデータフィールド３２に選択された素材コンテンツデータが挿入される。ベースデータの各カットには、予め設定されている上述の最大文字数（テキストデータの場合）や、画面レイアウト、再生時間（動画の場合）が規定されていてもよい。また、複合コンテンツデータは、必ずしも複合コンテンツデータ記憶部１６５に保存される必要はなく、適当なタイミングで記憶されてもよい。また、第２のデータのみが割り当てられたベースデータを複合コンテンツデータの経過情報としてユーザ端末３に表示するようにしてもよい。

第２のデータ割り当て部１４４は、上述のベースデータ生成部１４２により生成された一以上のカットに、例えばシーン１、シーン２、シーン３やカット１、カット２、カット３といったように番号がふられており、この番号順に、第２のデータを順次割り当てていく。

関連付け部１５０は、上述の第２のデータに含まれる被識別情報の少なくとも一部と、例えば、素材コンテンツデータから抽出される抽出情報（例えば、分類器が抽出したクラスラベルなど）と比較し、例えば、互いの類似度などを判定して、第２のデータに適した素材コンテンツデータ（例えば、類似度が高いものなど）と第２のデータとを互いに関連付けを行う。より具体的な例としては、例えば、第２のデータに含まれる被識別情報が「先生」を表し、抽出情報が「顔」である素材コンテンツデータＡ（例えば、女性の画像）と「山」である素材コンテンツデータＢ（例えば、富士山の画像）が用意されている場合、「先生」から得られる単語ベクトルと「顔」から得られる単語ベクトルの関連は、「先生」から得られる単語ベクトルと「山」から得られる単語ベクトルの関連よりも類似しているため、第２のデータは素材コンテンツデータＡと関連付けられる。なお、素材コンテンツデータの抽出情報は、ユーザが予め抽出して素材コンテンツデータ記憶部１６３に記憶したものであってもよく、後述の分類器１７０により抽出されたものであってもよい。また、上記類似度の判定は、単語ベクトルを学習した学習済モデルを用意し、そのベクトルを利用してコサイン類似度やWord Mover’s Distanceなどの方法により単語の類似度を判定してもよい。

素材コンテンツデータは、例えば、画像データや、動画データ、音データ（例えば、音楽データ、音声データ、効果音など）などであり得るが、これに限定されない。また、素材コンテンツデータは、ユーザまたは管理者が素材コンテンツデータ記憶部１６３に格納するものであってもよいし、ネットワーク上から、素材コンテンツデータを取得し、素材コンテンツデータ記憶部１６３に格納するものであってもよい。

素材コンテンツデータ割り当て部１４６は、上述の関連付けに基づき、対応する第２のデータが割り当てられたカットに、適した素材コンテンツデータを割り当てる。

インターフェース情報記憶部１６７は、管理者端末２若しくはユーザ端末３の表示部（ディスプレイ等）に表示するための各種制御情報を格納している。

分類器１７０は、学習データを学習データ記憶部（不図示）から取得し、機械学習させることで、学習済モデルとして作成される。分類器１７０の作成は、定期的に行われる。分類器作成用の学習データは、ネットワークから収集したデータやユーザ保有のデータにクラスラベルをつけたものを利用してもよいし、クラスラベルのついたデータセットを調達して利用してもよい。そして、分類器１７０は、例えば、畳み込みニューラルネットワークを利用した学習済モデルであり、素材コンテンツデータを入力すると、１つまたは複数の抽出情報（例えば、クラスラベルなど）を抽出する。分類器１７０は、例えば、素材コンテンツデータに関連するオブジェクトを表すクラスラベル（例えば、魚介、焼肉、人物、家具）を抽出する。

図６は、複合コンテンツデータを作成する流れの一例を説明する図である。

まず、サーバ１は、少なくとも被識別情報を含む第１のデータをユーザ端末３より通信部１１０を介して受け付ける（ステップＳ１０１）。本例においては、被識別情報は、例えば一以上の単語であり、第１のデータは、例えば一以上の単語を含む記事からなるテキストデータまたはそのテキストデータを要約したものであり得る。

次に、サーバ１は、被識別情報解析部１２０により、第１のデータを解析して被識別情報を取得し、第２のデータ生成部１３０により、被識別情報の少なくとも一部を含む一以上の第２のデータ及び分割数情報を生成する（ステップＳ１０２）。

次に、サーバ１は、複合コンテンツデータ生成部１４０により、上述の分割数情報に応じた数のカットを含むベースデータをベースデータ生成部１４２により生成する（ステップＳ１０３）。

次に、サーバ１は、第２のデータ割り当て部により、第２のデータをカットに割り当てる（ステップＳ１０４）。なお、この状態のベースデータをユーザ端末３にて表示をするようにして、経過を確認可能にしてもよい。

次に、サーバ１は、第２のデータに含まれる被識別情報の少なくとも一部と、素材コンテンツデータから抽出された抽出情報に基づき、関連付け部１５０により、素材コンテンツデータ記憶部１６３の素材コンテンツデータと第２のデータとを互いに関連付けし（ステップＳ１０５）、素材コンテンツデータ割り当て部１４６によりその素材コンテンツデータをカットに割り当てる（ステップＳ１０６）。

そして、サーバ１は、第２のデータ及び素材コンテンツデータが割り当てられたベースデータを複合コンテンツデータとして生成するとともに複合コンテンツデータ記憶部１６５に記憶し、ユーザ端末３に複合コンテンツデータを表示する（ステップＳ１０７）。なお、複合コンテンツデータの表示は、図７に例示するように、複合コンテンツデータを構成する複数のカットを画面上に一覧表示することができる。各カットには、表示される素材コンテンツデータおよび第２データと共に各カットの再生時間（秒数）の情報も表示されてもよい。ユーザは、例えば、第２のデータフィールド３１や対応するボタンをクリックすることで、その内容を修正することができ、素材コンテンツデータフィールド３２や対応するボタンをクリックすることで素材コンテンツデータを差し替えることができる。さらに、他の素材コンテンツデータをユーザがユーザ端末から各シーンに追加することも可能である。

なお、上述の複合コンテンツデータを作成する流れは一例であり、例えば、ベースデータを読み出すためのステップＳ１０２は、第２のデータまたは素材コンテンツデータの割り当てまでに読み出されていればいつ実行されていてもよい。また、例えば、第２のデータの割り当てのためのステップＳ１０４と、関連付けのためのステップＳ１０５と、素材コンテンツデータの割り当てのためのステップＳ１０６の順番も、互いに齟齬が生じなければ何れの順番で実行されてもよい。

また、これまで説明した被識別情報解析部１２０及び関連付け部１５０、分類器１７０を用いた素材コンテンツデータ設定部１９０は、複合コンテンツデータ作成システムの１つの設定機能であってもよく、素材コンテンツデータ設定部１９０による設定方法はこれに限らない。例えば、ベースデータは上述の例ではベースデータ生成部１４２により生成されているが、これに代えてベースデータ記憶部１６１から読み出すようにしてもよい。読み出されたベースデータは、例えば所定の数の空白カットを含むものであってもよいし、所定の素材コンテンツデータや書式情報などが各カットに設定済みのテンプレートデータ（例えば、音楽データや背景画像、フォント情報などが設定されている）であってもよい。さらに、従来の複合コンテンツデータ作成システムと同様に、ユーザ端末からユーザが各データフィールドの全てまたは一部に対して任意の素材コンテンツを設定可能にしてもよいし、例えば第２のデータフィールド３１にユーザがユーザ端末により任意のテキストを入力し、これらのテキストから上述のように被識別情報を抽出して素材コンテンツを関連付けるといったように、ユーザ操作と組み合わせた設定方法であってもよい。

（アニメーション推薦機能）
図８〜図１２を参照しながら、アニメーション推薦部１８０による画像に対するアニメーションの推薦方法例について説明する。例えば、上述のステップ１０＊において実施される。

図８は、アニメーション推薦の流れの一例を説明する図である。ここでいうアニメーションとは、例えば、ズームイン、ズームアウト、上下左右方向へ移動するスライド等の既知のアニメーションを含むものであり、例えばアニメーションデータ記憶部１６９などにアニメーション動作のためのプログラムデータが格納されていてもよい。

図８の例示においては、スコア算出部１８２を用いて、各カットに設定された画像データに対して何れのアニメーション種が適切であるかスコアリングし、当該スコアに応じてアニメーションを推薦する。スコア算出部１８２は、アニメーション推薦モデルに基づき画像に対して上記スコアリングを実行する。アニメーション推薦モデルは、例えば、不特定多数の人に所定の画像を提示して、それに合うアニメーションを選択してもらい、当該画像に関する顕著性情報（詳細は後述）とアニメーション種のセットを教師データとして機械学習させることで生成してもよい。

アニメーションについては、例えば図９に例示されるように、画像全体に対して基準枠を設け、例えば図示の基準枠の位置が始点または終点となるように基準枠を動作させることで各アニメーションとして動作する。基準枠の大きさは、例えば予め所定値で設定されていてもよいし、ユーザがユーザ端末より設定してもよい。

基準枠の位置は、基準枠設定部１８４により、顕著性判定モデルに基づき、アニメーションで最も可視化したい所定の位置に設定される。顕著性判定モデルは、例えば図１０の顕著性物体検出や図１３の顕著性マップ検出などのような既知の学習方法により得られる顕著性に関する学習済みモデルである。これを用いることで、基準枠設定部１８４は、図１０や図１３に例示されるような顕著性情報に基づき、例えば顕著性の最も高い部分を多く含むように基準枠の位置を設定する。

図１０では、顕著性物体検出モデルを用いた例であり、例えばエンコーダデコーダモデルなどの既知の方法で実現可能である。図１０では、顕著性物体として、大小それぞれの山々だけが検出されており、基準枠設定部１８４は、基準枠の大きさに対して、顕著性物体の占有割合が大きい位置（例えば、大きい山々だけを囲う位置）に基準枠を設定する。例えば、図１１の動物画像に対して、顕著性物体検出モデルを用いた場合には、図１２のように動物の形状が検出された結果が得られる。

また、図１３では、顕著性マップ検出モデルを用いた例であり、例えば畳み込みニューラルネットワークを利用した学習済モデルなどの既知の方法で実現可能である。図１３では、顕著性マップとして、各ピクセルの視覚的顕著性の強さを判別しており、例示として、黒い部分の濃さが視覚的顕著性の強さを表現している。基準枠設定部１８４は、基準枠の大きさに対して、視覚的顕著性の強さの占有割合が大きい位置（例えば、大きい山々だけを囲う位置）に基準枠を設定する。例えば、図１１の動物画像に対して、顕著性マップ検出モデルを用いた場合には、図１４のように動物の顔部分に視覚的顕著性が強く検出された結果が得られる。

なお、スコア算出部１８２は、上述の機械学習によるスコア算出に限らず、例えば、図１０−１４に示される顕著性情報に基づき、アニメーション中で顕著性の高いエリアが多く表示されるアニメーション種に対して高いスコアを算出するようにしてもよい。例えば、スコア算出部１８２は、各アニメーションを画像に対して実行して各々の動きに対してスコア算出を行い、例えば図１５に示されるように、一点鎖線の基準枠から左にスライドし、点線の基準枠の位置でスライドを終了するような左スライドのアニメーションを推薦したりする。

このように、アニメーション推薦部１８０によって、画像に対して適切なアニメーションをユーザに推薦可能となる。

ところで、図１０の顕著性物体検出を用いた場合には、顕著性の濃淡がないため、ユーザが意図しない部分が基準枠の位置となることもあり得る。図１３の顕著性マップ検出を用いた場合においても、物体の全体像が不明であるために、ユーザが意図しない部分が基準枠の位置となったり、意図しない部分を含むアニメーションとなったりすることもあり得る。

そこで図１６に示されるように、顕著性情報の取得のために、顕著性物体検出と顕著性マップ検出を組み合わせたハイブリッド顕著性マップ検出モデルを用いることで、視覚的に最も可視領域に収めたい物体の輪郭とその物体の中で最も重要な箇所の双方の情報を捉え、基準枠設定の精度を高めることができ、より適切なアニメーションを推薦することができる。

さらに、顕著性の検出の精度は画質の影響を受けることを鑑み、例えば既知の超解像度技術を組み合わせることで、先に画像の解像度を上げてから、顕著性の検出を行うことで、より顕著性情報の精度を高めることができる。

以上に説明した実施形態例の本システムによれば、編集用ソフト、サーバ、専門技術を持った編集者などを自前で揃えなくとも、簡単に複合コンテンツデータを作成することが可能となる。例えば、下記のような場面での活用が想定される。
１）ＥＣショップで販売している商品情報の動画化
２）プレスリリース情報、ＣＳＲ情報などを動画で配信
３）利用方法・オペレーションフローなどのマニュアルを動画化
４）動画広告として活用できるクリエイティブを制作

以上、本発明の好ましい実施形態例について説明したが、本発明の技術的範囲は上記実施形態の記載に限定されるものではない。上記実施形態例には様々な変更・改良を加えることが可能であり、そのような変更または改良を加えた形態のものも本発明の技術的範囲に含まれる。

１ サーバ
２ 管理者端末
３ ユーザ端末

Claims (9)

1. カットに対して、画像データを設定する素材コンテンツデータ設定部と、
   前記画像データに関する顕著性情報に基づき前記画像データに基準枠を設定する基準枠設定部と、
   前記基準枠を始点または終点として可視領域を動作するアニメーション種を推薦するアニメーション推薦部と、を備える、
   ことを特徴とするサーバ。
2. 請求項１に記載のサーバであって、
   さらに、前記画像データに関する顕著性情報に基づきアニメーション種をスコアリングするスコア算出部を備え、
   前記アニメーション推薦部は、前記スコアリングに基づき、前記アニメーション種を推薦する、
   ことを特徴とするサーバ。
3. 請求項１または２のいずれかに記載のサーバであって、
   前記基準枠設定部は、前記画像データに関する顕著性情報に基づき前記基準枠を設定する、
   ことを特徴とするサーバ。
4. 請求項２または３のいずれかに記載のサーバであって、
   前記顕著性情報は、顕著性物体検出及び顕著性マップ検出を用いたハイブリッド顕著性マップ検出により取得される、
   ことを特徴とするサーバ。
5. 請求項２または３のいずれかに記載のサーバであって、
   前記顕著性情報は、顕著性マップ検出により取得される、
   ことを特徴とするサーバ。
6. 請求項２または３のいずれかに記載のサーバであって、
   前記顕著性情報は、顕著性物体検出により取得される、
   ことを特徴とするサーバ。
7. カットに対して、画像データを設定する素材コンテンツデータ設定部と、
   前記画像データに基準枠を設定する基準枠設定部と、
   前記基準枠を始点または終点として可視領域を動作するアニメーション種を推薦するアニメーション推薦部と、を備える、
   ことを特徴とするアニメーション推薦システム。
8. 素材コンテンツデータ設定部により、カットに対して、画像データを設定するステップと、
   基準枠設定部により、前記画像データに基準枠を設定するステップと、
   アニメーション推薦部により、前記基準枠を始点または終点として可視領域を動作するアニメーション種を推薦するステップと、を含む、
   ことを特徴とするアニメーション推薦方法。
9. アニメーション推薦方法をコンピュータに実行させるプログラムであって、
   前記アニメーション推薦方法は、
   素材コンテンツデータ設定部により、カットに対して、画像データを設定するステップと、
   基準枠設定部により、前記画像データに基準枠を設定するステップと、
   アニメーション推薦部により、前記基準枠を始点または終点として可視領域を動作するアニメーション種を推薦するステップと、を含む、
   ことを特徴とするプログラム。
   
   

Images